Es dauerte bis in die 2010er Jahre, bis die Leistungsfähigkeit von neuronalen Netzen, die über Backpropagation trainiert wurden, wirklich Wirkung zeigte. In Zusammenarbeit mit ein paar Doktoranden zeigte Hinton, dass seine Technik besser als alle anderen war, um einen Computer dazu zu bringen, Objekte in Bildern zu identifizieren. Sie trainierten auch ein neuronales Netzwerk, um die nächsten Buchstaben in einem Satz vorherzusagen, ein Vorläufer der heutigen großen Sprachmodelle.
Einer dieser Doktoranden war Ilya Sutskever, der später OpenAI mitbegründete und die Entwicklung von ChatGPT leitete. „Wir bekamen die ersten Ahnungen, dass dieses Zeug erstaunlich sein könnte“, sagt Hinton. „Aber es hat lange gedauert, bis man verstanden hat, dass es in großem Maßstab gemacht werden muss, um gut zu sein.“ In den 1980er Jahren waren neuronale Netze ein Witz. Die damals vorherrschende Idee, bekannt als symbolische KI, war, dass Intelligenz die Verarbeitung von Symbolen wie Wörtern oder Zahlen beinhaltet.
Aber Hinton war nicht überzeugt. Er arbeitete an neuronalen Netzen, Software-Abstraktionen von Gehirnen, in denen Neuronen und die Verbindungen zwischen ihnen durch Code repräsentiert werden. Indem die Art und Weise geändert wird, wie diese Neuronen verbunden sind – indem die Zahlen geändert werden, die zu ihrer Darstellung verwendet werden – kann das neuronale Netzwerk im Handumdrehen neu verdrahtet werden. Mit anderen Worten, es kann dazu gebracht werden, zu lernen.
„Mein Vater war Biologe, also dachte ich in biologischen Begriffen“, sagt Hinton. „Und symbolisches Denken ist eindeutig nicht der Kern biologischer Intelligenz.
„Krähen können Rätsel lösen, und sie haben keine Sprache. Sie tun es nicht, indem sie Zeichenketten speichern und sie manipulieren. Sie tun dies, indem sie die Stärke der Verbindungen zwischen Neuronen in ihrem Gehirn verändern. Und so muss es möglich sein, komplizierte Dinge zu lernen, indem man die Verbindungsstärken in einem künstlichen neuronalen Netz verändert.“
Eine neue Intelligenz
Seit 40 Jahren betrachtet Hinton künstliche neuronale Netze als einen schwachen Versuch, biologische nachzuahmen. Jetzt glaubt er, dass sich das geändert hat: Indem wir versuchen, das nachzuahmen, was biologische Gehirne tun, denkt er, ist uns etwas Besseres eingefallen. „Es ist beängstigend, wenn man das sieht“, sagt er. „Es ist ein plötzlicher Umschwung.“
Hintons Befürchtungen werden vielen als Stoff für Science-Fiction erscheinen. Aber hier ist sein Fall.
Wie der Name schon sagt, werden große Sprachmodelle aus massiven neuronalen Netzen mit einer großen Anzahl von Verbindungen erstellt. Aber sie sind winzig im Vergleich zum Gehirn. „Unser Gehirn hat 100 Billionen Verbindungen“, sagt Hinton. „Große Sprachmodelle haben bis zu einer halben Billion, höchstens eine Billion. Doch GPT-4 weiß Hunderte Male mehr als jede einzelne Person. Vielleicht hat es tatsächlich einen viel besseren Lernalgorithmus als wir.“