Nato nel 1819 nell’attuale Saarland poco dopo la caduta dell’Impero e la ridefinizione delle frontiere che ne seguì, Gouvy sarebbe potuto nascere francese se gli azzardi della storia non avessero fatto di lui un prussiano. Ciò nonostante, viene scolarizzato nel collegio di Sarreguemines e quindi nel liceo di Metz, dove nel 1836 ottiene un diploma di filosofia. Prosegue gli studi giuridici a Parigi ma, non avendo superato gli esami nel 1839, decide di dedicarsi alla carriera musicale. Segue privatamente le lezioni di Zimmerman (pianoforte), Eckert (violino) e Elwart (armonia), quindi completa la propria formazione in Germania e in Italia. Forte di questa duplice cultura – francese e tedesca – fa ritorno in Francia nel 1844. Tutta la sua arte ne risentirà.
Artista facoltoso, Gouvy divide il proprio tempo tra Parigi, Lipsia (dove morrà nel 1898) e Hombourg- Haut nella dimora di famiglia, dove ama cercare ispirazione. Benché ampiamente noto sulle due rive del Reno (è corrispondente della Regia Accademia di Berlino e dell’Académie des beaux-arts di Parigi), Gouvy risente un po’ della propria situazione di “straniero”, che gli impedisce di beneficiare delle reti ufficiali fino alla naturalizzazione francese nel 1851. Anche se la sua opera è ampiamente dominata dalla musica da camera (in parte inedita fino a tempi recentissimi), a lui si devono anche numerose composizioni orchestrali (tra cui nove sinfonie) e religiose (Requiem, Stabat Mater, Messe brève), oltre a vari lavori drammatici, tra cui sei cantate e due opere.