Hollywood-Starlet Nancy Venturi sagte einmal: „Er hatte Sex im Kopf. Er würde mit jedem schlafen, der vorbeikam.“ Die Möglichkeiten waren grenzenlos. Sinatra war eines der allerersten Musik-Teenager-Idole, lange bevor er auch ein großer Hollywood-Star wurde. Er hatte seine erste Frau Nancy mit 24 geheiratet und präsentierte sich als gesunder Familienvater mit drei kleinen Kindern, Nancy, Frank Jr. und Tina, aber in den frühen 1940er Jahren war der Star bereits für seine Eroberungen aus diesen frühen Big-Band-Tagen berüchtigt. Bandleader Tommy Dorsey erinnerte sich: „Er war kein Matinee-Idol. Er war ein dünnes Kind mit großen Ohren.
Sinatra erzählte es seinem Freund Joey D’Orazio. „Ich kann jede Frau haben, die ich will. Ich kann einfach nicht anders. Ich will Nancy nicht verletzen. Ich will einfach nicht mehr mit ihr schlafen.“
Stattdessen schlief er sich durch Fans und dann eine Reihe von Hollywood-Starlets sowie einige der größten Namen auf der Leinwand, von Ava Gardner bis Marilyn Monroe (gerüchteweise), Lana Turner und Marlene Dietrich, sowie Engagements für Lauren Bacall und Juliet Prowse und eine kurze Ehe mit Mia Farrow.
Die außergewöhnliche Stimme und das Charisma des Stars waren zweifellos ein Faktor – ebenso wie die berühmten Spanner. Die Schauspielerin und enge Freundin Ruta Lee sagte: „Diese fabelhaften blauen Augen von Frank Sinatra waren so durchdringend, als er bei dir war, dass diese blauen Augen bei dir blieben, du hattest das Gefühl, er würde in deine Seele eindringen, es war etwas Unglaubliches.“
Gardner war viel unverblümter, als sie das größte Kapital ihres Mannes beschrieb.
Im ersten Jahr seiner Ehe mit Nancy hatte Sinatra bereits seine erste Geliebte, die Schauspielerin Alora Gooding, in einer Wohnung untergebracht, aber seine Eroberungen keineswegs auf sie beschränkt. Bandpianist Joe Bushkin sagte: „Wann immer er auf eine Frau schießen könnte, würde er es tun.“
Anscheinend waren es nicht nur die körperlichen Eigenschaften von Sinatra, die beeindruckten. Venturi erinnert sich: „Sein Liebesspiel hatte etwas ungewöhnlich Intensives. Zumindest war es bei mir so.“
Der Star würde schließlich sein Match in Gardner treffen. Zwischen ständigem Rudern und Sex war ihre Beziehung tagsüber genauso explosiv wie nachts. Sinatra sagte: „Wenn wir uns tagsüber nicht umgebracht hätten, hätten wir uns vielleicht im Bett umgebracht.“
Ihre Ehe von 1951 war notorisch instabil und begann bald auseinanderzufallen, doch er blieb noch lange nach ihrer Scheidung von 1957 von ihr besessen. Russo enthüllte: „Sie hat ihn verrückt gemacht, verrückt. Ich habe viele Nächte mit ihm verbracht und geweint wie ein kleines Kind, weil er sie so sehr geliebt hat.“
1964 sagte Sinatra dem Schauspieler Brad Dexter: „Sie ist die einzige Frau, in die ich in meinem ganzen Leben verliebt war.“
Lange bevor er Gardner kennenlernte und mit dem Gedanken liebäugelte, seine Frau für Lana Turner zu verlassen, hatte Sinatra offenbar einige Zeit nach 1942 auch eine brisante Affäre mit Dietrich.
Die Texterin Sammy Cahn, die oft als Sinatras „persönlicher Songwriter“ angesehen wurde, sagte: „Ich weiß, dass sie etwas am Laufen hatten. Es wäre schwierig gewesen, ihr zu widerstehen. Sie hatte Kräfte als Liebhaberin, von denen hinter den Händen der Leute gesprochen wurde – nicht zuletzt weil sie angeblich die Meisterin in Sachen Oralsex war.”
Ein riesiger Stern erwies sich jedoch als völlig gleichgültig gegenüber Sinatras Reizen, körperlich oder anderweitig.
Ende 1954, zwei Jahre bevor sie zusammen in High Society auftraten, versuchte Sinatra, Grace Kelly zu verführen, während er noch mit Gardner verheiratet war. Obwohl die Schauspielerinnen befreundet waren, geriet diese Ehe häufig ins Wanken und sie stimmte zu, mit ihm auszugehen. Leider tauchte er betrunken und verzweifelt auf und konnte anscheinend nicht aufhören, über seine Frau zu sprechen.
Celeste Holm, Co-Star der High Society, sagte: „Er hatte keine Anziehungskraft auf sie. Grace betrachtete Frank als Straßenkind … Sie war auf einer anderen Ebene. Sie war eine Prinzessin, lange bevor sie Prinz Rainier heiratete.“