Aktualisiert um 14:15 Uhr ET am 14. März 2023
Weniger als vier Monate nach der Veröffentlichung von ChatGPT, der textgenerierenden KI, die uns anscheinend in ein Science-Fiction-Zeitalter der Technologie getrieben hat, hat OpenAI ein neues Produkt namens GPT-4 vorgestellt. Gerüchte und Hype um dieses Programm kursieren seit mehr als einem Jahr: Experten haben geschrieben, dass es unergründlich mächtig sein würde Bücher mit 60.000 Wörtern von einzelnen Prompts bis hin zum Produzieren von Videos aus einem Guss. Die heutige Ankündigung deutet darauf hin, dass die Fähigkeiten von GPT-4 zwar beeindruckend, aber bescheidener sind: Es schneidet bei standardisierten Tests und anderen Benchmarks besser ab als das Vorgängermodell, funktioniert in Dutzenden von Sprachen und kann Bilder als Eingabe verwenden – was bedeutet, dass es zum Beispiel in der Lage ist , um den Inhalt eines Fotos oder Diagramms zu beschreiben.
Im Gegensatz zu ChatGPT steht dieses neue Modell derzeit nicht für öffentliche Tests zur Verfügung (obwohl Sie den Zugriff beantragen oder bezahlen können), daher stammen die erhältlichen Informationen aus dem Blog-Post von OpenAI und von a New York Times Geschichte basierend auf einer Demonstration. Soweit wir wissen, scheint GPT-4 im Vergleich zu anderen Programmen 150 Punkte zu seiner SAT-Punktzahl hinzugefügt zu haben, jetzt 1410 von 1600, und ist bei einer simulierten Anwaltsprüfung von den unteren zu den besten 10 Prozent der Darsteller gesprungen. Trotz ausgeprägter Befürchtungen über das Schreiben von KI bleiben die AP-Englischergebnisse des Programms im unteren Quintil. Und während ChatGPT nur Text verarbeiten kann, hat GPT-4 in einem Beispiel Fragen zu Fotos von Computerkabeln genau beantwortet. Bildeingaben sind noch nicht öffentlich verfügbar, selbst für diejenigen, denen schließlich Zugriff von der Warteliste gewährt wurde, sodass es nicht möglich ist, die Behauptungen von OpenAI zu überprüfen.
Das neue GPT-4-Modell ist das neueste in einer langen Genealogie – GPT-1, GPT-2, GPT-3, GPT-3.5, InstructGPT, ChatGPT – von dem, was jetzt als „große Sprachmodelle“ oder LLMs bekannt ist, die sind KI-Programme, die lernen, vorherzusagen, welche Wörter am wahrscheinlichsten aufeinander folgen. Diese Modelle arbeiten unter einer Prämisse, die auf einige der frühesten KI-Forschungen in den 1950er Jahren zurückgeht: dass ein Computer, der Sprache versteht und produziert, notwendigerweise intelligent sein muss. Dieser Glaube untermauerte Alan Turings berühmtes Nachahmungsspiel, das heute als Turing-Test bekannt ist und Computerintelligenz danach beurteilte, wie „menschlich“ seine Textausgabe war.
An diesen frühen Sprach-KI-Programmen waren Informatiker beteiligt, die komplexe, handgeschriebene Regeln ableiteten, anstatt die heute verwendeten tiefen statistischen Schlussfolgerungen. Vorläufer der heutigen LLMs stammen aus den frühen 2000er Jahren, als Informatiker begannen, eine vom menschlichen Gehirn inspirierte Art von Programm namens „neuronales Netzwerk“ zu verwenden, das aus vielen miteinander verbundenen Schichten künstlicher Knoten besteht, die riesige Mengen an Trainingsdaten verarbeiten, um sie zu analysieren und Text generieren. Die Technologie hat sich in den letzten Jahren dank einiger wichtiger Durchbrüche schnell weiterentwickelt, insbesondere der erhöhten Aufmerksamkeitsspanne von Programmen – GPT-4 kann Vorhersagen nicht nur auf der Grundlage des vorherigen Satzes, sondern vieler Wörter davor treffen und die Bedeutung jedes Wortes unterschiedlich gewichten. Die heutigen LLMs lesen Bücher, Wikipedia-Einträge, Social-Media-Beiträge und unzählige andere Quellen, um diese tiefen statistischen Muster zu finden; OpenAI hat auch damit begonnen, menschliche Forscher einzusetzen, um die Ergebnisse seiner Modelle zu optimieren. Infolgedessen haben GPT-4 und ähnliche Programme eine bemerkenswerte Fähigkeit mit Sprache, Schreiben von Kurzgeschichten und Essays und Werbetexten und mehr. Einige Linguisten und Kognitionswissenschaftler glauben, dass diese KI-Modelle ein anständiges Verständnis der Syntax und, zumindest laut OpenAI, vielleicht sogar einen Schimmer von Verständnis oder Argumentation zeigen – obwohl letzterer Punkt sehr umstritten ist und formale grammatikalische Beherrschung weit davon entfernt ist denken können.
GPT-4 ist sowohl der neueste Meilenstein in dieser Sprachforschung als auch Teil einer breiteren Explosion von „generativer KI“ oder Programmen, die in der Lage sind, Bilder, Text, Code, Musik und Videos als Reaktion auf Eingabeaufforderungen zu produzieren. Wenn eine solche Software hält, was sie verspricht, könnte sie die menschliche Kognition und Kreativität neu definieren, so wie es das Internet, das Schreiben oder sogar das Feuer zuvor getan haben. OpenAI stellt jede neue Iteration seiner LLMs als einen Schritt in Richtung der erklärten Mission des Unternehmens dar, „künstliche allgemeine Intelligenz“ oder Computer zu schaffen, die lernen und alles übertreffen können, und zwar auf eine Weise, die „der gesamten Menschheit zugute kommt“. Das teilte der CEO von OpenAI, Sam Altman, mit Die New York Times dass, obwohl GPT-4 nicht „das Denken oder die Intelligenz gelöst hat … dies ein großer Schritt nach vorne gegenüber dem ist, was bereits da draußen ist“.
Mit dem Ziel von AGI vor Augen begann die Organisation als gemeinnützige Organisation, die einen Großteil ihres Codes öffentlich dokumentierte. Aber es wurde schnell eine Struktur mit „gedeckeltem Gewinn“ eingeführt, die es Investoren ermöglichte, das bis zu 100-fache des investierten Geldes zurückzuverdienen, wobei alle Gewinne, die darüber hinausgingen, an die gemeinnützige Organisation zurückkehrten – was es OpenAI angeblich ermöglichte, das zur Unterstützung seiner Forschung erforderliche Kapital aufzubringen. (Analysten schätzen, dass das Training eines High-End-Sprachmodells „im hohen einstelligen Millionenbereich“ kostet.) Zusammen mit der finanziellen Verschiebung hat OpenAI auch seinen Code geheimer gemacht – ein Ansatz, von dem Kritiker sagen, dass es schwierig ist, die Technologie zu halten nicht verantwortlich für falsche und schädliche Ausgabe, obwohl das Unternehmen erklärt hat, dass die Undurchsichtigkeit vor „böswilligen“ Verwendungen schützt.
Das Unternehmen stellt jede Abkehr von seinen Gründungswerten zumindest theoretisch als Kompromisse dar, die die Ankunft in einer KI-gesättigten Zukunft wie Altman beschleunigen werden beschreibt fast paradiesisch: Roboter, die wichtige medizinische Ratschläge geben und unterbesetzten Lehrern helfen, Sprünge in der Arzneimittelentdeckung und Grundlagenforschung, das Ende der niederen Arbeit. Aber fortschrittlichere KI, ob allgemein intelligent oder nicht, könnte auch große Teile der Bevölkerung arbeitslos machen oder Routinearbeit durch neue, KI-bezogene bürokratische Aufgaben und höhere Produktivitätsanforderungen ersetzen. E-Mail hat die Kommunikation nicht beschleunigt jeden Tag in eine E-Mail-Beantwortungs-Slog verwandeln; Elektronische Patientenakten sollten den Ärzten Zeit sparen, zwingen sie aber tatsächlich dazu, viele zusätzliche, unkompensierte Stunden mit der Aktualisierung und dem Austausch mit diesen Datenbanken zu verbringen.
Unabhängig davon, ob diese Technologie ein Segen oder eine Belastung für den Alltagsmenschen ist, werden diejenigen, die sie beherrschen, zweifellos immense Gewinne einfahren. So wie OpenAI in Richtung Kommerzialisierung und Undurchsichtigkeit gestürzt ist, will bereits jeder am KI-Goldrausch teilhaben. Unternehmen wie Snap und Instacart nutzen die Technologie von OpenAI, um KI-Assistenten in ihre Dienste zu integrieren. Anfang dieses Jahres investierte Microsoft 10 Milliarden US-Dollar in OpenAI und integriert nun die Chatbot-Technologie in seine Bing-Suchmaschine. Google investierte anschließend eine bescheidenere Summe in das konkurrierende KI-Start-up Anthropic (kürzlich im Wert von 4,1 Milliarden US-Dollar) und kündigte verschiedene KI-Kapazitäten in der Google-Suche, Karten und anderen Apps an. Amazon integriert Hugging Face – eine beliebte Website, die einfachen Zugriff auf KI-Tools bietet – in AWS, um mit Microsofts Cloud-Service Azure zu konkurrieren. Meta hat seit langem eine KI-Abteilung, und jetzt versucht Mark Zuckerberg, ein spezifisches, generatives KI-Team aus der verpixelten Asche des Metaversums aufzubauen. Start-ups werden mit Venture-Capital-Investitionen in Milliardenhöhe überschwemmt. GPT-4 treibt bereits das neue Bing an und könnte möglicherweise in Microsoft Office integriert werden.
Bei einer Veranstaltung zur Ankündigung des neuen Bing im vergangenen Monat sagte der CEO von Microsoft: „Das Rennen beginnt heute, und wir werden uns bewegen und schnell vorankommen.“ Tatsächlich ist GPT-4 bereits bei uns. Doch wie Ihnen jeder gute Textvorhersage sagen würde, sollte dieses Zitat enden: „Bewege dich schnell und Dinge kaputt machen.“ Der Ansturm des Silicon Valley, ob in Richtung Gold oder AGI, sollte nicht von all dem Scheitern dieser Technologien ablenken, oft auf spektakuläre Weise.
Auch wenn LLMs großartig darin sind, Textbausteine zu erstellen, sagen viele Kritiker, dass sie die Welt im Grunde nicht verstehen und vielleicht auch nicht verstehen können. Sie sind so etwas wie die automatische Vervollständigung von PCP, einer Droge, die den Benutzern ein falsches Gefühl der Unbesiegbarkeit und eine erhöhte Fähigkeit zur Täuschung vermittelt. Diese Modelle erzeugen Antworten mit der Illusion der Allwissenheit, was bedeutet, dass sie leicht überzeugende Lügen und verwerflichen Hass verbreiten können. Während GPT-4 diese Kritik mit seiner offensichtlichen Fähigkeit, Bilder zu beschreiben, zu entkräften scheint, bleibt seine grundlegende Funktion ein wirklich guter Musterabgleich, und es kann nur Text ausgeben.
Diese Muster sind manchmal schädlich. Sprachmodelle neigen dazu, einen Großteil des abscheulichen Textes im Internet zu replizieren, eine Sorge, die der Mangel an Transparenz in ihrem Design und Training nur verstärkt. Emily Bender, Linguistin der University of Washington und prominente KI-Kritikerin, sagte mir per E-Mail: „Wir essen im Allgemeinen keine Lebensmittel, deren Inhaltsstoffe wir nicht kennen oder nicht herausfinden können.“
Präzedenzfälle deuten darauf hin, dass viel Müll eingebacken ist. Microsofts ursprünglicher Chatbot namens Tay, der 2016 veröffentlicht wurde, wurde frauenfeindlich und rassistisch und wurde schnell eingestellt. Letztes Jahr hat BlenderBot AI von Meta antisemitische Verschwörungen aufgewärmt, und bald darauf wurde festgestellt, dass die Galactica des Unternehmens – ein Modell, das beim Schreiben wissenschaftlicher Arbeiten helfen soll – voreingenommen und anfällig für das Erfinden von Informationen ist (Meta hat es innerhalb von drei Tagen abgeschaltet). . GPT-2 zeigte Vorurteile gegenüber Frauen, queeren Menschen und anderen demografischen Gruppen; GPT-3 sagte rassistische und sexistische Dinge; und ChatGPT wurde beschuldigt, ähnlich giftige Kommentare abgegeben zu haben. OpenAI hat jedes Mal versucht, das Problem zu beheben, und es ist fehlgeschlagen. New Bing, das eine Version von GPT-4 betreibt, hat seinen eigenen Anteil an beunruhigenden und anstößigen Texten geschrieben – es lehrt Kinder ethnische Beleidigungen, wirbt für Nazi-Slogans, erfindet wissenschaftliche Theorien.
Es ist verlockend, den nächsten Satz in diesem Zyklus automatisch zu schreiben, wie ein Sprachmodell – „GPT-4 hat gezeigt [insert bias here].“ Tatsächlich gibt OpenAI in seinem Blogbeitrag zu, dass GPT-4 „Fakten ‚halluziniert‘ und Denkfehler macht“, nicht viel besser darin geworden ist, sich selbst auf Fakten zu überprüfen, und „in seinen Ausgaben verschiedene Verzerrungen aufweisen kann“. Dennoch, wie jeder Benutzer von ChatGPT bestätigen kann, haben selbst die überzeugendsten Muster keine perfekt vorhersagbaren Ergebnisse.
Ein Meta-Sprecher schrieb per E-Mail, dass mehr Arbeit erforderlich ist, um Voreingenommenheit und Halluzinationen – wie Forscher die Informationen nennen, die KIs erfinden – in großen Sprachmodellen anzugehen, und dass „öffentliche Forschungsdemonstrationen wie BlenderBot und Galactica wichtig für den Aufbau sind” bessere Chatbots; Ein Microsoft-Sprecher wies mich auf einen Beitrag hin, in dem das Unternehmen die Verbesserung von Bing durch einen „Tugendkreislauf von [user] Rückmeldung.” Ein OpenAI-Sprecher wies mich auf einen Blog-Beitrag zum Thema Sicherheit hin, in dem das Unternehmen seinen Ansatz zur Verhinderung von Missbrauch skizziert. Es stellt beispielsweise fest, dass das Testen von Produkten „in freier Wildbahn“ und das Erhalten von Feedback zukünftige Iterationen verbessern können. Mit anderen Worten, die Parteilinie von Big AI ist das utilitaristische Kalkül, dass, selbst wenn Programme gefährlich sein könnten, der einzige Weg, sie herauszufinden und zu verbessern, darin besteht, sie freizugeben und zu riskieren, die Öffentlichkeit einer Gefahr auszusetzen.
Da Forscher immer mehr auf Voreingenommenheit achten, könnte eine zukünftige Iteration eines Sprachmodells, GPT-4 oder auf andere Weise, eines Tages dieses etablierte Muster durchbrechen. Doch egal, was das neue Modell zu leisten im Stande ist, es bleiben noch viel größere Fragen zu klären: Für wen ist die Technik? Wessen Leben wird gestört? Und wenn uns die Antworten nicht gefallen, können wir irgendetwas tun, um sie anzufechten?