Après avoir joué avec plusieurs groupes de rock dans des bals, des clubs, il intègre le groupe Taï Phong avec lequel il enregistre 3 albums de 1975 à 1979.
Il enregistre son premier album solo en 1981 (avec « Il suffira d'un signe »), puis quatre albums entre 1982 et 1989 avec des chansons comme « Quand la musique est bonne », « Comme toi », « Au bout de mes rêves », « Envole-moi », « Je te donne », « Là-bas »…
De 1990 à 1995, il fonde le trio Fredericks Goldman Jones avec Carole Fredericks et Michael Jones. Ils enregistreront deux albums incluant les chansons « Né en 17 à Leidenstadt », « A nos actes manqués », « Rouge », "Juste après" …
En 1997 il reprendra une carrière solo avec les albums « En passant » (incluant « Sache que je », « Bonne idée », « On ira »…) puis "Chansons pour les pieds" en 2001 (« Ensemble », « Tournent les violons », « Je voudrais vous revoir »…).
Jean-Jacques Goldman a également écrit pour d'autres artistes parmi lesquels Johnny Hallyday, Céline Dion, Patrick Fiori, Patricia Kaas, Khaled,... Il a aussi écrit, composé et enregistré « La chanson des Restos» à la demande de Coluche. »