Aber Douglass erkannte schnell, was Johnson vorhatte. Vor dem Ende seines ersten Amtsjahres hatte Johnson eine Amnestie-Proklamation für Ex-Konföderierten angekündigt, die es südlichen Landbesitzern, die ihn persönlich ersuchten, erlaubte, ihr Eigentum zu behalten. Statt auf Wiederaufbau zu verweisen, bestand er auf dem Begriff „Restaurierung“. Im Süden stürzten sich ermutigte weiße Mobs auf Schwarze und verübten die Massaker von 1866 in Memphis und New Orleans. Douglass sagte als Teil einer Delegation schwarzer Amerikaner, die das Weiße Haus besuchten, um für das Wahlrecht der Schwarzen zu argumentieren, zu Johnson: „Sie geben Ihren Feinden das Wahlrecht und entziehen Ihren Freunden das Wahlrecht.“
Johnson, stur und dünnhäutig, reagierte auf Kritik, indem er empört und defensiv wurde, sogar grenzwertig “aus den Angeln gehoben”, schreibt Levine. Ohne die zunehmende Opposition, fährt er fort, „hätte vielleicht ein gütigerer und pragmatischerer Johnson entstanden sein“.
Der Vorschlag ist nicht überzeugend, um es milde auszudrücken. Levine legt großen Wert auf die Tatsache, dass Johnson 1865 privat einen Plan für ein begrenztes Wahlrecht für Schwarze zum Ausdruck gebracht hatte. Gleichzeitig bestand Johnson jedoch öffentlich darauf, dass ein zu radikales Wahlrecht „einen Krieg der Rassen“ auslösen würde. Und was immer Johnson gesagt hat, was er tatsächlich gesagt hat? Tat könnte nicht klarer sein. Er nutzte seine Macht, um den Wiederaufbau auf Schritt und Tritt zu untergraben, und leitete das, was die Historikerin Annette Gordon-Reed einen „Slow-Motion-Völkermord“ nannte.
Levine erzählt flink den Weg zu Johnsons eventueller Amtsenthebung – einschließlich eines bizarren Jobangebots, das Johnson inoffiziell Douglass unterbreitete, um der Kommissar des Freedmen’s Bureau zu werden, einer Agentur, die Johnson alles andere in seiner Macht Stehende zu tun schien, um zu beeinträchtigen oder sogar zu zerstören.
Aber als Johnson schließlich angeklagt wurde, war es nicht wegen seiner Subversion des Wiederaufbaus; es war, weil er die Zustimmung des Kongresses nicht erhalten hatte, bevor er seinen Kriegsminister entließ. Die Artikel zur Amtsenthebung waren „trocken legalistisch“, fast alle konzentrierten sich auf Verstöße gegen das Tenure of Office Act, das der Kongress erst im Jahr zuvor verabschiedet hatte. Die Republikaner versuchten, Johnson als Gesetzesbrecher darzustellen, während sie die Frage der Rasse eifrig vermieden. Diese Fixierung auf technische Details, so Levine, „erlaubte dem Kongress, Johnson anzuklagen, nicht weil er Hunderttausenden Schwarzen im Süden Schaden zugefügt hatte, sondern weil er einen Weißen entlassen hatte.“
Angesichts des endemischen Rassismus sowohl im Norden als auch im Süden gab es dafür zweifellos praktische Gründe, aber Levine zeigt anschaulich, wie Douglass, wie während des gesamten Bürgerkriegs, immer wieder versuchte, auf das größere moralische Bild aufmerksam zu machen. Noch vor der Amtsenthebung erklärte Douglass dem Publikum, wie Johnson die „Mängel“ in der Verfassung ausnutzte, die es einem „schlechten und bösen Präsidenten“ ermöglichten, „königliche Befugnisse“ zu übernehmen. Nach dem Prozess erklärte Douglass, Johnson hätte seines Amtes enthoben werden sollen, weil er versucht hatte, schwarze Amerikaner in einen „Zustand zu versetzen, der nur weniger erbärmlich ist als die Sklaverei, aus der der Krieg für die Union sie gerettet hatte“. Die Amtsenthebung wegen des Tenure of Office Act hatte Johnsons Schande unter einem Haufen legalistischer Spitzfindigkeiten begraben.
Die Ankläger haben vielleicht versucht, pragmatisch zu sein, aber auf Nummer sicher zu gehen, hat nicht funktioniert; Johnson setzte sich mit einer Stimme durch. Einer seiner Biografen, Hans Trefousse, hat es einmal so formuliert: „Wenn Sie aus Gründen, die nicht die wahren Gründe sind, ein Amtsenthebungsverfahren anklagen, können Sie wirklich nicht gewinnen.“