„Sie fing an, schmutzig zu kämpfen“, lachte Smith 2005 in einem Interview mit Motorsport.com. “Du kannst nicht gegen deine Mutter und Gott kämpfen, also habe ich aufgehört zu fahren.”
Während seiner Teenagerjahre begann Smith, Dirt-Track-Rennen zu fördern. Später leitete er die National Stock Car Racing Association und gründete den Charlotte Motor Speedway, der 1960 eröffnet wurde. Als der Speedway nach einigen Jahren bankrott ging, verkaufte Smith wieder Autos und kaufte 1969 sein erstes Autohaus. Smith begann leise, Anteile an der