Anna Emilie Rink wurde am 10. Januar 1919 in Wien geboren. Ihr Vater Ernst besaß eine Fabrik. Ihre Mutter Marta (Haas) Rink, eine Hausfrau, starb an Brustkrebs, als Anni 10 Jahre alt war; zwei Schwestern starben ebenfalls an der Krankheit. Ihr Vater starb, als sie 17 war. Der Familie ging es gut, und Anni wurde von einem Hauspersonal betreut, zu dem ein Chauffeur, eine Köchin und ein Kindermädchen gehörten.
1939 verließ sie Wien und reiste per Schiff von Italien nach Los Angeles.
„Wenn sie von ihrer Flucht vor den Nazis erzählte“, sagte ihr Sohn Tobi, „hatten die Leute gesagt, wie schrecklich und beängstigend es gewesen sein muss, aus der Heimat gerissen und als junge Frau ganz allein in eine unbekannte Welt geworfen zu werden. Sie hat den Leuten immer gesagt, dass sie im Gegenteil eine behütete und repressive Welt hinter sich lässt und sich auf ein großes Abenteuer einlässt. Sie wollte nach Amerika!“
In Los Angeles fand Anni Arbeit als Au Pair und Assistentin von Christine Olden, einer Psychoanalytikerin, die wie Anni aus Österreich stammte und die University of California mit einem Bachelor in Musik abschloss. (Sie erwarb später einen Master-Abschluss am Bank Street College of Education.) Unter den europäischen Expatriates, die Dr. Oldens Kreis bildeten, war Peter Bergman, ein in Polen geborener Aktivist, Verleger und Schriftsteller, der Menschen bei der Flucht geholfen hatte die Nazis. Anni und Peter verliebten sich ineinander und heirateten kurz nach ihrem Umzug nach New York im Jahr 1943.
Anni arbeitete als Musiklehrerin an einer progressiven Schule im East Village und schrieb eine Kinderfibel zum Blockflötenspiel. Peter eröffnete in einem vierstöckigen Backstein-Stadthaus in Chelsea einen Verlag, die Polyglot Press. Als er das Gebäude kaufte, zog die Familie ein.
Dr. Bergmans Büro befand sich im obersten Stockwerk, und sie dekorierte es mit Schwung und Flair, mit Blumentapeten, bunten Textilien und Regalen voller Bücher und anderer Sammlungen.
In ihrem Büro mit seiner Fülle an Farben und Objekten war es „wie ein Eintreten in eine magische Welt“, sagte Sebastian Zimmerman, ein Psychiater und Fotograf, der Dr. wie er es ausdrückte, ihre natürlichen Lebensräume. Dr. Bergman erklärte, dass sie ihr Büro so gestaltet habe, dass es „eine abgeschiedene Welt ist, in der die Kinder die volle Freiheit haben, sich auszudrücken und zu erkunden“.