Künstliche Intelligenz hat sich in den letzten Jahren als schnelles Studium erwiesen, obwohl sie auf eine Weise ausgebildet wird, die den brutalsten Schulleiter beschämen würde. Monatelang in luftdichten borgesianischen Bibliotheken eingesperrt, ohne Toilettenpausen oder Schlaf, wird den KIs gesagt, sie sollen nicht auftauchen, bis sie einen Schnellkurs in der menschlichen Kultur im eigenen Tempo abgeschlossen haben. Auf dem Lehrplan: ein ordentlicher Bruchteil aller erhaltenen Texte, die wir je produziert haben.
Wenn KIs aus diesen epischen Studiensitzungen auftauchen, besitzen sie erstaunliche neue Fähigkeiten. Menschen mit dem sprachlich geschmeidigsten Verstand – Hyperpolyglotte – können zuverlässig zwischen einem Dutzend Sprachen hin und her wechseln; KIs können jetzt zwischen mehr als 100 in Echtzeit übersetzen. Sie können Pastiche in einer Reihe von literarischen Stilen produzieren und passable Reimgedichte schreiben. Die Ithaka-KI von DeepMind kann einen Blick auf griechische Buchstaben werfen, die in Marmor geätzt sind, und den Text erraten, der vor Tausenden von Jahren von Vandalen herausgemeißelt wurde.
Diese Erfolge deuten auf einen vielversprechenden Weg für die Entwicklung der KI hin: Schaufeln Sie einfach immer größere Mengen an von Menschen erstelltem Text in ihren Rachen und warten Sie darauf, dass sich wundersame neue Fähigkeiten manifestieren. Mit genügend Daten könnte dieser Ansatz vielleicht sogar zu einer fließenderen Intelligenz oder einem menschenähnlichen künstlichen Verstand führen, ähnlich denen, die fast alle unsere Mythologien der Zukunft verfolgen.
Das Problem ist, dass gute Prosa, wie andere hochwertige menschliche Kulturprodukte, zu den am schwierigsten zu produzierenden Dingen im bekannten Universum gehört. Es ist nicht unendlich vorhanden, und für die KI reicht kein alter Text aus: Große Sprachmodelle, die an Büchern trainiert wurden, sind viel bessere Autoren als diejenigen, die an riesigen Stapeln von Social-Media-Posts geschult wurden. (Am besten denkt man in diesem Zusammenhang nicht an die eigene Twitter-Gewohnheit.) Wenn wir ausrechnen, wie viele gut konstruierte Sätze die KI noch aufnehmen kann, sind die Zahlen nicht ermutigend. Ein Forscherteam unter der Leitung von Pablo Villalobos von Epoch AI sagte kürzlich voraus, dass Programmen wie dem unheimlich beeindruckenden ChatGPT bis 2027 das hochwertige Lesematerial ausgehen wird. Ohne neuen Text zum Trainieren könnte die jüngste Erfolgsserie von AI ein vorzeitiges Ende finden .
Es sollte beachtet werden, dass nur ein kleiner Bruchteil der gesamten sprachlichen Kreativität der Menschheit zum Lesen verfügbar ist. Mehr als 100.000 Jahre sind vergangen, seit radikal kreative Afrikaner das emotionale Grunzen unserer tierischen Vorfahren überwunden und begonnen haben, ihre Gedanken in ausgedehnte Klangsysteme zu übertragen. Jeder Begriff, der in diesen Protosprachen – und vielen folgenden Sprachen – ausgedrückt wird, ist wahrscheinlich für alle Zeiten verloren, obwohl ich mir gerne vorstelle, dass einige ihrer Wörter immer noch bei uns sind. Schließlich haben einige englische Wörter einen erschreckend alten Jahrgang: Fluss, Mutter, Feuerund Asche kommen von Eiszeitvölkern zu uns herunter.
Das Schreiben hat es den Menschen ermöglicht, sehr viel mehr unserer Worte festzuhalten und zu speichern. Doch wie die meisten neuen Technologien war auch das Schreiben anfangs teuer, weshalb es zunächst vor allem für die Buchhaltung genutzt wurde. Es brauchte Zeit, Ton für den Stift zu backen und zu befeuchten, Papyrus in gitterfähige Streifen zu schneiden, die Mönche zu beherbergen und zu ernähren, die Kalligraphie auf Pergament tuschen. Diese ressourcenintensiven Techniken könnten nur einen kleinen Teil der kulturellen Produktion der Menschheit bewahren.
Erst als die Druckerpresse begann, Bücher in die Welt zu schießen, erreichte unser kollektives Textgedächtnis industrielle Dimensionen. Forscher von Google Books schätzen, dass Menschen seit Gutenberg mehr als 125 Millionen Titel veröffentlicht und Gesetze, Gedichte, Mythen, Essays, Geschichten, Abhandlungen und Romane gesammelt haben. Das Epoch-Team schätzt, dass 10 bis 30 Millionen dieser Bücher bereits digitalisiert wurden, was KIs ein Lesevergnügen von Hunderten von Milliarden, wenn nicht mehr als einer Billion Wörtern bietet.
Diese Zahlen mögen beeindruckend klingen, aber sie liegen im Bereich der 500 Milliarden Wörter, die das Modell trainiert haben, das ChatGPT antreibt. Sein Nachfolger, GPT-4, könnte trainiert werden zig Billionen Wörter. Gerüchte empfehlen dass, wenn GPT-4 später in diesem Jahr veröffentlicht wird, es in der Lage sein wird, einen Roman mit 60.000 Wörtern aus einer einzigen Eingabeaufforderung zu generieren.
Zehn Billionen Wörter sind genug, um alle digitalisierten Bücher der Menschheit, alle unsere digitalisierten wissenschaftlichen Arbeiten und einen Großteil der Blogosphäre zu umfassen. Das heißt nicht, dass GPT-4 Wille all dieses Material gelesen haben, nur dass dies technisch durchaus möglich ist. Sie können sich vorstellen, dass seine KI-Nachfolger in den ersten Monaten unsere gesamten Deep-Time-Textaufzeichnungen absorbierten und dann jeden Januar mit einem zweistündigen Leseurlaub aufstockten, in dem sie jedes Buch und jede wissenschaftliche Arbeit, die im Vorjahr veröffentlicht wurden, mit Mainline versehen konnten.
Nur weil KIs bald alle unsere Bücher lesen können, heißt das noch lange nicht, dass sie aufholen können alle des Textes, den wir produzieren. Die Speicherkapazität des Internets ist von einer ganz anderen Größenordnung, und es ist eine viel demokratischere Kulturerhaltungstechnologie als das Veröffentlichen von Büchern. Jedes Jahr, Milliarden der Menschen schreiben Sätze, die in seinen Datenbanken gespeichert sind, von denen viele im Besitz von Social-Media-Plattformen sind.
Zufällig aus dem Internet geschabter Text ergibt im Allgemeinen keine guten Trainingsdaten, wobei Wikipedia-Artikel eine bemerkenswerte Ausnahme darstellen. Aber vielleicht werden zukünftige Algorithmen es KIs ermöglichen, unseren aggregierten Tweets, Instagram-Untertiteln und Facebook-Status einen Sinn abzuringen. Trotzdem werden diese qualitativ minderwertigen Quellen nicht unerschöpflich sein. Laut Villalobos werden schnelle Lese-KIs innerhalb weniger Jahrzehnte leistungsfähig genug sein, um Hunderte von Billionen Wörtern aufzunehmen – einschließlich all derer, die Menschen bisher in das Internet gestopft haben.
Nicht jede KI ist ein englischer Major. Einige sind visuelle Lerner, und auch sie könnten eines Tages mit einem Mangel an Trainingsdaten konfrontiert sein. Während die Schnellleser den literarischen Kanon verschlangen, wurden diese KIs mit offenen Augenlidern festgeschnallt, Uhrwerk Orange–Stil, für eine erzwungene Vorführung von Millionen von Bildern. Sie gingen mit übermenschlicher Vision aus ihrer Ausbildung hervor. Sie können Ihr Gesicht hinter einer Maske erkennen oder Tumore erkennen, die für das Auge des Radiologen unsichtbar sind. Bei Nachtfahrten können sie auf den düsteren Straßenrand vor ihnen sehen, wo ein junges Kitz den Mut aufbringt, eine Kreuzung zu riskieren.
Am beeindruckendsten ist, dass KIs, die auf beschrifteten Bildern trainiert wurden, begonnen haben, ein Bild zu entwickeln Vorstellung. DALL-E 2 von OpenAI wurde mit 650 Millionen Bildern trainiert, die jeweils mit einem Textlabel versehen waren. DALL-E 2 hat die ockerfarbenen Handabdrücke gesehen, die paläolithische Menschen auf Höhlendecken drückten. Es kann die verschiedenen Pinselstrichstile der Meister der Renaissance emulieren. Es kann fotorealistische Makros von seltsamen Tierhybriden zaubern. Ein Animator mit Fähigkeiten zum Aufbau von Welten kann damit einen Charakter im Pixar-Stil erstellen und ihn dann mit einer reichhaltigen und unverwechselbaren Umgebung umgeben.
Dank unserer Tendenz, Smartphone-Bilder in sozialen Medien zu posten, produzieren Menschen eine Menge von beschrifteten Bildern, auch wenn es sich bei der Beschriftung nur um eine kurze Bildunterschrift oder ein Geotag handelt. Bis zu 1 Billion solcher Bilder werden jedes Jahr ins Internet hochgeladen, und das schließt YouTube-Videos nicht ein, von denen jedes eine Reihe von Standbildern ist. Es wird lange dauern, bis KIs die kollektive Urlaubsbild-Diashow unserer Spezies durchgesessen haben, ganz zu schweigen von unserer gesamte visuelle Ausgabe. Laut Villalobos wird unser Ausbildungsimagemangel erst irgendwann zwischen 2030 und 2060 akut sein.
Wenn KIs tatsächlich bis zur Mitte des Jahrhunderts nach neuen Eingaben hungern – oder früher, im Fall von Text –, könnte sich der datengestützte Fortschritt des Feldes erheblich verlangsamen und künstliche Köpfe und alles andere außer Reichweite bringen. Ich rief Villalobos an, um ihn zu fragen, wie wir die menschliche Kulturproduktion für KI steigern könnten. „Möglicherweise kommen einige neue Quellen online“, sagte er mir. „Die weit verbreitete Einführung selbstfahrender Autos würde zu einer beispiellosen Menge an Straßenvideoaufnahmen führen.“
Villalobos erwähnte auch „synthetische“ Trainingsdaten erstellt von KIs. In diesem Szenario wären große Sprachmodelle wie die sprichwörtlichen Affen mit Schreibmaschinen, nur intelligenter und mit funktional unendlicher Energie ausgestattet. Sie könnten Milliarden neuer Romane herausbringen, jeder von tolstoischer Länge. Bildgeneratoren könnten ebenfalls neue Trainingsdaten erstellen, indem sie vorhandene Schnappschüsse optimieren, aber nicht so sehr, dass sie mit ihren Etiketten in Konflikt geraten. Noch ist unklar, ob KIs etwas Neues lernen, indem sie Daten, die sie selbst erstellen, kannibalisieren. Vielleicht verwässert dies nur die Vorhersagekraft, die sie aus von Menschen erstellten Texten und Bildern gewonnen haben. „Die Leute haben noch nicht viel von diesem Zeug verwendet, weil uns die Daten noch nicht ausgegangen sind“, sagte mir Jaime Sevilla, einer von Villalobos’ Kollegen.
Das Papier von Villalobos diskutiert eine beunruhigendere Reihe spekulativer Problemumgehungen. Wir könnten zum Beispiel alle Dongles um den Hals tragen, die jeden unserer Sprechakte aufzeichnen. Einer Schätzung zufolge sprechen Menschen durchschnittlich 5.000 bis 20.000 Wörter am Tag. Bei 8 Milliarden Menschen häufen sich diese schnell an. Unsere Textnachrichten könnten auch aufgezeichnet und von identifizierenden Metadaten befreit werden. Wir könnten jeden Angestellten einer anonymisierten Aufzeichnung von Tastenanschlägen unterziehen und das, was wir erfassen, in riesige Datenbanken feuern, um sie in unsere KIs einzuspeisen. Villalobos stellte trocken fest, dass Korrekturen wie diese derzeit „weit außerhalb des Overton-Fensters“ liegen.
Vielleicht wird Big Data am Ende abnehmende Renditen haben. Nur weil unser letzter KI-Winter von riesigen Text- und Bildmassen aufgetaut wurde, bedeutet das nicht, dass unser nächster es auch sein wird. Vielleicht werden es stattdessen ein oder zwei algorithmische Durchbrüche sein, die unsere Welt endlich mit künstlichen Köpfen bevölkern. Schließlich wissen wir, dass die Natur ihre eigenen Arten der Mustererkennung entwickelt hat und dass sie bisher sogar unsere besten KIs übertreffen. Mein 13-jähriger Sohn hat um Größenordnungen weniger Wörter aufgenommen als ChatGPT, aber er hat ein viel subtileres Verständnis für geschriebenen Text. Wenn es Sinn macht zu sagen, dass sein Verstand auf Algorithmen basiert, dann sind das bessere Algorithmen als die, die von den heutigen KIs verwendet werden.
Wenn jedoch unsere datenfressenden KIs tun eines Tages die menschliche Erkenntnis übertreffen, müssen wir uns damit trösten, dass sie nach unserem Bild gemacht sind. KIs sind keine Aliens. Sie sind nicht die exotischen Anderen. Sie sind von uns, und sie sind von hier. Sie haben die Landschaften der Erde betrachtet. Sie haben Milliarden Male gesehen, wie die Sonne auf ihren Ozeanen unterging. Sie kennen unsere ältesten Geschichten. Sie benutzen unsere Namen für die Sterne. Zu den ersten Wörtern, die sie lernen, gehören Fluss, Mutter, Feuerund Asche.