Als Albert noch ein Kleinkind war, zog seine Mutter Mabel (Ishem) Raboteau, eine Lehrerin und Hausangestellte, mit ihm und seinen beiden Schwestern nach Ann Arbor, Michigan, um den Schrecken der Jim-Crow-Ära im tiefen Süden zu entkommen und neue Möglichkeiten im Norden zu finden.
Seine Familie war römisch-katholisch und besuchte Pfarrschulen, sowohl in Michigan als auch in Pasadena, Kalifornien, wohin seine Familie 1958 zog. Zu diesem Zeitpunkt hatte seine Mutter Royal L. Woods geheiratet, einen ehemaligen Priester aus Mississippi, der den Klerus verlassen hatte Rassismus in der Kirche.
Herr Woods lehrte Albert Latein und Griechisch, und trotz seiner eigenen Auswirkungen auf die katholische Kirche beeinflusste er Alberts Interesse in seiner Kindheit, Mönch zu werden, ebenso wie Alberts eifrige Lektüre progressiver katholischer Schriftsteller wie Dorothy Day und Thomas Merton.
Obwohl Dr. Raboteau nie dem Priesteramt beitrat, prägte sein Interesse an der Religion seine akademische und berufliche Laufbahn. Er besuchte die Loyola University, heute Loyola Marymount University, eine Jesuiteninstitution in Los Angeles und erhielt 1966 einen Master-Abschluss in Literatur an der University of California, Berkeley.
Seine Zeit in Berkeley fiel mit dem Tumult der Gegenkultur- und Antikriegsbewegungen sowie der Blütezeit zusammen des schwarzen politischen Bewusstseins an den Universitäten. An der Marquette University, wo er einen Master-Abschluss in Theologie machte, half er bei einem Protest, der die Schule für zwei Wochen schloss, und forderte Marquette auf, mehr schwarze Studenten und Dozenten aufzunehmen.
Nach seinem Abschluss an der Marquette lehrte Dr. Raboteau Theologie an der Xavier University in New Orleans. Aber die Kurse machten ihn fertig und zwangen ihn, sich Fragen über seine eigenen Überzeugungen zu stellen, die er nicht beantworten wollte.