Er studierte Anfang der 1940er Jahre am Missionary Training Institute (heute Nyack College in New York) und machte 1947 seinen Bachelor in Geschichte in Wheaton in Illinois. Er kehrte nach Birmingham zurück, nachdem die Polizei dort einen schwarzen Pfarrer erschossen hatte, der hatte schwarze Wähler registriert.
„Ich ging zum Bestattungsunternehmen, wo der Reverend war, und stand im Sarg über ihm“, sagte Oliver dem Wheaton-Magazin. „Ich sah ihn an und dachte: ‚Wenn sie das einem Minister antun, wenn nicht etwas unternommen wird, um dieses System zu reparieren, dann werde ich mich eines Tages wie er hinlegen, und es wird mein Ende sein.’“ Er selbst habe zwei Attentate überlebt, sagte er.
1948, als er 23 Jahre alt war und als Pastor der African American Church in Birmingham diente, wurde er zusammen mit mehreren weißen Bürgerrechtsaktivisten verhaftet, weil sie in seiner Kirche „nicht getrennte Sitzgelegenheiten zugelassen“ hatten.
Er erwarb einen Bachelor- und einen Master-Abschluss in Theologie am Westminster Theological Seminary in Pennsylvania; diente sieben Jahre lang als Pastor einer orthodoxen presbyterianischen Kirche im Norden von Maine; und kehrte dann nach Birmingham zurück, wo er von 1960 bis 1965 mit dem Inter-Citizens Committee und Rev. Fred L. Shuttlesworth, einem frühen Mitarbeiter von Rev. Dr. Martin Luther King Jr., zusammenarbeitete.
Die Ehe von Herrn Oliver mit Ruby King wurde geschieden. Außer seiner Tochter aus dieser Ehe hinterlässt er seine Frau Lorna (Silvera) Oliver; ein Sohn, Claude, ebenfalls aus erster Ehe; und ein Enkel.
In Brooklyn war Herr Oliver von 1967 bis 1992 Pastor der Westminster Bethany Presbyterian Church und ein Jahr lang Seelsorger an der Fifth Avenue Presbyterian Church in Manhattan.
Nachdem er in den frühen 1950er Jahren seinen Theologieabschluss erworben hatte, erinnerte er sich in einem Interview mit der Nachrichtenseite des Westminster Theological Seminary im Jahr 2013: „Die Vorgesetzten in der Kirche verstanden, dass es keine Zukunft für mich gab, in eine weiße Kirche berufen zu werden“. .“
„Da kam der Ruf, in Maine zu dienen“, sagte er, „und ich nahm das an und ging dorthin und diente. Aber die Rassentrennung in Amerika ist immer noch so stark wie in den 40er und 50er Jahren.“ Diese Kluft sei „nur höflicher, aber nicht weniger real, nicht weniger fest und nicht weniger uneinnehmbar“.