Der streitsüchtige und exzentrische John Ford hatte mehrere Western mit John Wayne in Farbe gedreht, von „The Searchers“ bis „She Wore a Yellow Ribbon“.
Doch als es darum ging, „Der Mann, der Liberty Valance erschoss“ aus dem Jahr 1962 mit Duke und James Stewart auf dem Paramount-Gelände zu drehen, entschied sich der Regisseur stattdessen für Schwarzweiß.
Es gibt widersprüchliche Angaben darüber, warum diese Entscheidung getroffen wurde, unter anderem, dass Ford dachte, es sei ein besseres Medium.
Der Kameramann William H. Clothier sagte jedoch später: „Es gab einen Grund, und zwar nur einen … Oberstes Ziel war es, die Kosten zu senken.“
„Sonst wären wir im Monument Valley oder Brackettville gewesen und hätten Farbvorräte gehabt. Ford musste diese Bedingungen akzeptieren oder den Film nicht drehen.“
Darüber hinaus sagte der Reese-Schauspieler Lee Van Clef – der später in Clint Eastwoods Spaghetti-Western mitspielte –, dass Ford die Einmischung verärgert habe und daher seinen Ärger an Wayne auslassen würde, dessen Besetzung als Doniphon vom Studio gefordert wurde. Der Pompey-Schauspieler Woody Strode erinnerte sich, dass Ford Duke „immer wieder wegen seines Scheiterns als Football-Spieler belästigte“ und ihn mit Strode verglich, der ein ehemaliger NFL-Spieler war. Darüber hinaus verspottete der Regisseur Wayne immer wieder, weil er sich nicht für den Zweiten Weltkrieg gemeldet hatte, was dem Star in seinen späteren Jahren ein schlechtes Gewissen einbrachte.
Im Vergleich dazu hatte Ford Kampfdokumentationen für das Office of Strategic Services gedreht und war in der Schlacht von Midway verwundet worden, während Ranse-Star Stewart ein Bomberpilot war, der mit Auszeichnung diente. Der Filmemacher fragte seinen Westernstar: „Wie reich bist du geworden, als Jimmy sein Leben riskierte?“
Laut Michael Munns „John Wayne – Der Mann hinter dem Mythos“ sagte Strode, dass die ständige Verspottung des Regisseurs „Wayne wirklich verärgerte, aber er würde es nie an Ford auslassen.“ Der Grund dafür war, dass die Filme des Filmemachers ihn zu einem Hollywood-Star gemacht hatten und der Pompey-Schauspieler behauptete: „Am Ende hat er es an mir ausgelassen.“ Als die beiden Schauspieler eine Außenaufnahme auf einem Pferdewagen drehten, war Wayne kurz davor, die Kontrolle über die Pferde zu verlieren.
Als Strode versuchte, ihm zu helfen, stieß Duke seinen Co-Star weg. Dann, als die Rosse angehalten hatten, versuchte er, einen Schlag mit seinem jüngeren Co-Star aufzunehmen. Ford schrie damals: „Schlag ihn nicht, Woody! Wir brauchen ihn!“ Am Ende sagte Wayne zu Strode: „Wir müssen zusammenarbeiten. Wir müssen beide Profis sein.“ Strode machte Ford für fast die gesamte Spannung am Set von „The Man From Liberty Valance“ verantwortlich. Der Pompey-Schauspieler urteilte: „Was für ein miserabler Film.“
Mitten in den Dreharbeiten fragte Duke Stewart sogar, warum er nicht auch das Ziel von Fords Beleidigungen sei, was anderen Mitgliedern der Besetzung und der Crew aufgefallen war. Doch dann, gegen Ende der Dreharbeiten, fragte der Regisseur den Ranse-Star, was er aus Strodes Kostümen für den Anfang und das Ende des Films gemacht habe, als ihre Charaktere als 25 Jahre älter dargestellt wurden.
Stewart sagte: „Für mich sieht es ein bisschen nach Onkel Remussy aus.“ Dies war eine Anspielung auf den umstrittenen fiktiven Erzähler afroamerikanischer Volksmärchen des 19. Jahrhunderts, der später die Hauptfigur in Disneys Film Song of the South aus dem Jahr 1946 war – einem Film, den Disney heute aufgrund seiner rassistischen Stereotypisierung nicht mehr zur Verfügung stellt.
Als Antwort sagte Ford: „Was ist los mit Onkel Remus?“ Dann machte der Regisseur die Crew auf sich aufmerksam und rief: „Einem unserer Spieler gefällt Woodys Kostüm nicht. Nun, ich weiß nicht, ob Herr Stewart Vorurteile gegenüber Negern hat, aber ich wollte nur, dass Sie alle davon wissen.“ Stewart sagte später, dass er danach „in ein Mauseloch kriechen wollte“ und Wayne sagte zu ihm: „Nun, willkommen im Club.“ Ich bin froh, dass du es geschafft hast.“