Obwohl ihr Hollywood-Erfolg die Jugend nicht überlebte, war Frau Withers die seltene Kinderschauspielerin, die für die reale Welt vorbereitet ins Erwachsenenalter eintrat – und mit Geld auf der Bank. Ihre Eltern „lehrten Jane im Alter von sieben Jahren Buchführung“, schrieb Herr Moore, im Gegensatz zu fast allen anderen Eltern, die sich weigerten, ihre Essenskarten aufwachsen zu lassen und in den meisten Fällen ihr Geld verschleuderten. Es war ein Punkt des Stolzes für ihren Vater, einen Goodrich-Manager, dass sein Gehalt die Ausgaben der Familie deckte.
Jane Withers wurde am 12. April 1926 in Atlanta als Tochter von Walter und Lavinia Withers geboren. Ihre Mutter, ein Filmfan, wählte Jane als Namen, weil sie dachte, dass er auf einem Festzelt gut aussehen würde. Im Alter von 4 Jahren sang, tanzte und imitierte das pummelige Kind mit dem Buster Brown-Haarschnitt Greta Garbo; in Rechnung gestellt als “Dixie’s Dainty Dewdrop”, hatte sie ihr eigenes lokales Radioprogramm.
Als Jane 6 Jahre alt war, zog die Familie nach Hollywood. Nach zwei Jahren Kaufhausmodellierung und Bitparts wurde sie als Joy Smythe in “Bright Eyes” besetzt.
Wie Frau Temple spielte Frau Withers in den meisten ihrer Filme eine Waise. In „Paddy O’Day“ (1935) war ihre Retterin Rita Cansino – die bald in Rita Hayworth umbenannt wurde – in ihrer ersten Hauptrolle. In „45 Fathers“ (1937) wurde sie von einer Gruppe alter Männer adoptiert.
1937 stand Frau Withers auf der Liste der Top-10-Kinostars der Theaterbesitzer auf dem sechsten Platz, obwohl sie nur in B-Filmen auftrat. Und der Verkauf von Jane Withers Papierpuppen, Haarschleifen, Socken und Krimis ähnlich der Nancy Drew-Serie brachte ihr mehr Geld ein als ihre Filme.
Stardom brachte Frau Withers auch Tausende von Puppen und Teddybären, die meisten von ihnen von Fans geschickt. Zu diesen Fans gehörte Präsident Franklin D. Roosevelt, der von seiner Frau Eleanor einen Teddybären überbringen ließ.