Der Schauspieler hatte für seinen Erfolg hart gepfropft. In Peking aufgewachsen und von seinem Vater verlassen, floh seine Mutter 1932 mit ihren Kindern nach Paris, wo der talentierte Akrobat Yul beim Cirque d’Hiver Trapezkünstler wurde. Bei einem schrecklichen Sturz im Jahr 1937 brachen ihm viele Knochen und er konnte acht Monate lang nicht gehen. Er wandte seine Aufmerksamkeit der Bühne zu und segelte 1940 nach Amerika.
Während eines Jahrzehnts mit Nebenjobs und Gelegenheitsjobs hatte er eine Affäre mit dem gutaussehenden Frauenschwarm Hurd Hatfield, der 1945 in The Picture of Dorian Gray sowie 1961 in El Cid neben Charlton Heston mitspielte. Er war viermal verheiratet und hatte auch Affären mit Marlene Dietrich, Joan Crawford, Judy Garland und dem Künstler Jean Cocteau.
In der Zwischenzeit führte Brynners Besessenheit von seinem eigenen Aussehen dazu, dass er sein Trainingsprogramm erhöhte, als er erfuhr, dass er 1956 in Die Zehn Gebote neben Hestons Moses den Pharao Ramses II spielte, um nicht von dem strammen Schauspieler überschattet zu werden.
Dies bedeutete, dass er in phänomenaler Form war, als er im selben Jahr als König Mongkut von Siam in der Filmversion von Der König und ich auftrat und den Oscar als bester Hauptdarsteller gewann. Sein beeindruckender Körperbau war auch für alle sichtbar, als Bilder von einem nackten Shooting auftauchten, das er mit dem schwulen Fotografen George Platt Lynes hatte. Brynner wiederum war selbst ein versierter Fotograf und machte bekannte Schnappschüsse von berühmten Freunden wie Frank Sinatra, Elizabeth Taylor, Anthony Quinn, Sophia Loren, Mia Farrow und Audrey Hepburn.