Gary ersetzte Simon in der US-Version von The X Factor während des Starts der Show im Jahr 2011.
Der Leadsänger von Take That wurde während seiner Zeit in der Show von Tom Bower, der Simons Biografie Sweet Revenge verfasste, als “hölzern” gebrandmarkt.
Das Buch behauptete auch, dass Simon „irritiert“ war, nachdem Gary 2012 für seine Verdienste um die Unterhaltungsindustrie und Wohltätigkeitsorganisationen eine OBE verliehen wurde.
Auf die Frage nach Berichten, dass er aus der Show entlassen werden würde, antwortete Gary: “Ich rede nicht mit Simon, ich rede mit ITV.”