Seine Mutter schickte ihn schließlich auf ein römisch-katholisches Internat in Schottland, wo er seine Liebe zu Autos und Geschwindigkeit entdeckte, insbesondere nachdem er im Jaguar eines Freundes mitgefahren war.
Obwohl er sich in Sprachen auszeichnete – er sprach mehrere fließend, darunter Italienisch – und seine Aufnahmeprüfungen für die Universität bestanden, schwänzte er das College, um in den Rennsport zu gehen. Er verdiente seinen Lebensunterhalt mit einer Reihe von alltäglichen Jobs, unter anderem als Vertreter in Yorkshire für die Campbell Soup Company.
Zwischendurch reiste er durch Europa und arbeitete als unbezahlter Mechaniker in Boxencrews auf einigen der kleineren Rennstrecken des Kontinents. Gelegentlich fuhr er auch Rennen, aber mit wenig Erfolg.
Stattdessen stellte er fest, dass er ein Händchen für die geschäftliche Seite des Sports hatte. Während er durch Europa zog, kaufte und verkaufte er Teile, vermittelte den Strom von Zündkerzen und Reifen zwischen Dutzenden von Rennteams und baute einen kleinen Haufen Geld auf, um sein eigenes Team zu gründen.
1966 gründete er Frank Williams Racing Cars mit Piers Courage als seinem Fahrer, der an Formel-2-Rennen teilnahm. Drei Jahre später waren sie in die Formel 1 aufgestiegen, die Elite des Autorennsports, und Mr. Courage, der reiche, schneidige Erbe eines brauenden Vermögens, war plötzlich eine der bekanntesten Sportfiguren Großbritanniens.
Obwohl Mr. Williams sagte, er habe nach dem Tod seines Freundes nie daran gedacht, den Sport aufzugeben, hatte dies eindeutig Auswirkungen auf ihn und sein Team. Da er keinen gewinnenden Fahrer finden konnte, war er bald hoch verschuldet, wich Schuldeneintreibern aus und arbeitete von einer Telefonzelle aus, nachdem er seine Telefonrechnungen nicht mehr bezahlt hatte.
Seine Frau Virginia, die er 1974 geheiratet hatte, hielt ihn über Wasser, jonglierte mit Rechnungen und lieh ihm Geld, das ihre Eltern ihr geschickt hatten. Er gab es frei für seine Besessenheit aus; Als sie ihm einmal acht Pfund für Lebensmittel gab, gab er es stattdessen für Zündkerzen aus.