Herr Berger wurde am 30. März 1935 in Heidelberg, Deutschland, geboren. Er begann mit 10 klassisches Klavier zu lernen, aber mit 14 hörte er eine Jazz-Jam-Session, die ihn dazu veranlasste, seine eigene Musik zu spielen. 1953 schloss er sich einer Gruppe an, zu der Frau Sertso gehörte, die er bald heiraten würde. Sie überlebt ihn zusammen mit ihrer Tochter Savia.
In den 1950er Jahren lernte Herr Berger als Hauspianist im Heidelberger Club Cave 54 modernen Jazz in nächtlichen Jams mit amerikanischen Musikern von Militärkapellen, die in der Nähe stationiert waren. Er erwarb einen Ph.D. 1963 promovierte er in Musikwissenschaft und Philosophie in Deutschland und hatte Philosophieprofessuren an zwei Universitäten in Deutschland inne. Aber Mitte der 1960er Jahre wandte er sich der Musik zu.
Er zog nach Paris und schloss sich einer Gruppe unter der Leitung des Trompeters Don Cherry an, der Weltmusikmelodien aus Kurzwellen-Radiosendungen gelernt hatte. 1966 lud Mr. Cherry Mr. Berger nach New York City ein, um auf „Symphony for Improvisers“, einem wegweisenden Free-Jazz-Album, zu spielen.
Mr. Berger machte 1967 sein Debütalbum als Leader, „From Now On“, und nahm es Ende der 1960er Jahre mit Mr. Cherry und anderen auf. Er machte mehr als zwei Dutzend Alben als Leader und viele andere als Sideman. Sein schlankes, lineares, frei melodisches Vibraphonspiel machte ihn wiederholt zum Top-Vibraphonisten in der Musikerumfrage des Magazins Down Beat.
1971 gründete Herr Berger mit Frau Sertso, Herrn Coleman und einem Beirat, dem John Cage, Gil Evans, Buckminster Fuller und Willem de Kooning angehörten, die Creative Music Foundation. Er zog 1972 nach Woodstock und eröffnete das Creative Music Studio, das sich in einer nahe gelegenen Berghütte mit Wohnungen und Aufführungsräumen niederließ.
Führende Musiker wie Mr. Braxton, Mr. DeJohnette, Cecil Taylor und Dave Holland schlossen sich Studenten in Improvisationsgruppen an. Mehr als 550 Aufführungen wurden aufgezeichnet und später für ein Archiv digitalisiert, das 2012 von der Columbia University Library erworben wurde.