Die Website Stack Overflow wurde 2008 als Ort für Programmierer erstellt, an dem sie sich gegenseitig Fragen beantworten können. Zu dieser Zeit gab es im Web nur wenige hochwertige technische Informationen. Wenn Sie beim Codieren nicht weiterkommen und Hilfe brauchen, sind alte, verstreute Forenthreads, die oft nirgendwohin führen, die beste Wahl. Jeff Atwood und Joel Spolsky, ein Paar prominenter Softwareentwickler, versuchten, dieses Problem zu lösen, indem sie das Programmieren von Fragen und Antworten in eine Art Multiplayer-Spiel verwandelten. Bei Stack Overflow – der Name bezieht sich auf eine häufige Ursache für Programmabstürze – konnten Benutzer Punkte sammeln, wenn sie häufig gestellte Fragen posteten und hilfreiche Antworten hinterließen. Abzeichen für gesammelte Punkte und besondere Privilegien; Benutzer würden durch eine Mischung aus Altruismus und Ruhm motiviert sein.
Innerhalb von drei Jahren nach seiner Gründung war Stack Overflow für arbeitende Programmierer, die es täglich konsultierten, unverzichtbar geworden. Seiten von Stack Overflow dominierten die Programmiersuchergebnisse; Die Website hatte monatlich mehr als 16 Millionen einzelne Besucher von schätzungsweise neun Millionen Programmierern weltweit. Fast neunzig Prozent davon gelangten über Google. Die gleiche Geschichte spielte sich im gesamten Web ab: Dies war die Ära des „Web 2.0“, und Websites, die Wissen aus den Köpfen von Menschen extrahieren und es für andere organisieren konnten, boomten. Yelp, Reddit, Flickr, Goodreads, Tumblr und Stack Overflow wurden alle innerhalb weniger Jahre eingeführt, in einer Zeit, in der Google sein eigenes außergewöhnliches Wachstum erlebte. Web 2.0 und Google haben sich gegenseitig befeuert: Durch die Indexierung dieser Crowdsourcing-Wissensprojekte konnte Google kostenlos auf riesige, dichte Bestände hochwertiger Informationen zugreifen, und dieselben Websites konnten über Google Nutzer und Mitwirkende gewinnen. Das rücksichtslose Streben des Suchunternehmens nach den Daten anderer Personen wurde mit der Tatsache entschuldigt, dass es Benutzer zu den von ihm gesammelten Inhalten führte. Damals maß Google seinen Erfolg unter anderem auch daran, wie schnell Nutzer seine Suchseiten verließen: Ein kurzer Aufenthalt bedeutete, dass ein Nutzer gefunden hatte, was er suchte.
All dies begann sich zu ändern, kaum dass es begonnen hatte. Etwa zu dieser Zeit führte Google die OneBox ein, eine Funktion, die Suchenden sofortige Antworten über den Suchergebnissen lieferte. (Wenn Sie nach Kinoterminen suchen, werden diese in der OneBox über einer Liste mit Links zu Kinos angezeigt.) Durch die Funktion wurde der Datenverkehr von genau den Websites abgezogen, die dies ermöglicht haben. Yelp war ein aufschlussreicher Fall: Google wollte auf dem „lokalen“ Markt konkurrieren, verfügte jedoch nicht über eine eigene Sammlung von Restaurant- und Kleinunternehmensbewertungen. Luther Lowe, der frühere Leiter der Abteilung für öffentliche Ordnung bei Yelp, erzählte mir kürzlich, dass Google alles versucht habe, um sich Zugang zu verschaffen, von der Lizenzierung der Daten von Yelp (Yelp lehnte ab) bis hin zur Ermutigung seiner eigenen Nutzer, Rezensionen zu schreiben (zu diesem Zeitpunkt wollte niemand einen Beitrag leisten). ) oder sogar den vollständigen Kauf von Yelp (es ging erneut zurück). „Was blieb ihnen übrig, als diese Strategien scheiterten – Lizenzierung, Leistungswettbewerb, Kauf der Inhalte?“ sagte Lowe. „Sie mussten es stehlen.“ In den Jahren 2010 und 2011, so Lowe, habe Yelp dabei erwischt, wie Google seine Inhalte ohne Namensnennung gelöscht habe. Die Daten gaben Google gerade genug Schwung, um sein eigenes Bewertungsprodukt zu starten. Als Yelp Google öffentlich vorwarf, seine Daten gestohlen zu haben, stoppte das Unternehmen, doch der Schaden war bereits angerichtet. (Ähnliches passierte bei einer Firma namens Genius, für die ich einmal gearbeitet habe. Wir verklagten Google, weil es Liedtexte aus unserer Datenbank in die OneBox kopiert hatte; ich half zu beweisen, dass das passierte, indem ich mithilfe eines Apostrophmusters eine versteckte Botschaft in die Liedtexte einbettete das heißt im Morsecode „Auf roter Hand.“ Google hat vor dem Berufungsgericht im Second Circuit gewonnen. Genius beantragte beim Obersten Gerichtshof, den Fall anzuhören, aber das Gericht lehnte ab.)
Im Jahr 2012 verdoppelte Google die OneBox mit einem Redesign, das die klassischen blauen Links zu externen Websites zugunsten von Googles eigenen Eigenschaften wie Shopping und Maps und sofortigen Antworten von Websites wie Wikipedia zurückstellte. Dies machte Google noch bequemer und leistungsfähiger, hatte aber auch den Effekt, dass das Web an Nutzern ausgehungert wurde: Statt dass eine Suche Sie beispielsweise zu einer Wikipedia-Seite führt, wo Sie sich dem kleinen Prozentsatz der Besucher anschließen könnten, die am Ende einen Beitrag leisten, werden Sie Ich würde Ihre Antwort direkt von Google erhalten. Laut Lowe verließen bis zu achtzig Prozent der Suchenden Suchergebnisseiten mit dem neuen Design, ohne jemals auf einen Link zu klicken. Viele Web 2.0-Lieblinge, die voll von nutzergenerierten Inhalten sind, verzeichneten einen Rückgang der Besucherzahlen. Ungefähr zu dieser Zeit begann in gewisser Weise die Qualität des Webs als Ganzes zu sinken, mit Ausnahme der wenigen Crowdsourcing-Wissensprojekte, die überlebten. Es gibt einen Grund dafür, dass das Anhängen von „reddit“ oder „wiki“ an Suchbegriffe zu einem unverzichtbaren Produktivitäts-Hack geworden ist: In einem ausgehöhlten Web voller Spammer und Content-Farmen sind dies einige der letzten Orte, an denen sich echte, sachkundige Menschen aufhalten .
Heutzutage vollenden große Sprachmodelle wie ChatGPT von OpenAI und Bard von Google einen Prozess, der mit der OneBox begonnen wurde: Ihr Ziel ist es, das Web so umfassend zu erfassen, dass es genauso gut nicht existieren könnte. Die Frage ist, ob dieser Ansatz nachhaltig ist. LLMs sind für ihre Intelligenz auf riesige Bestände menschlicher Schrift angewiesen – die Artefakte von unser Intelligenz. Sie sind insbesondere auf informationsreiche Quellen angewiesen. Bei der Erstellung von ChatGPT war Wikipedia der wichtigste Datensatz von OpenAI, gefolgt von Reddit; Etwa zweiundzwanzig Prozent der Trainingsdaten von GPT-3 bestanden aus Webseiten, die mit Reddit-Benutzern verlinkt waren und von ihnen positiv bewertet wurden. ChatGPT ist ein so guter Programmierer, dass die versierten Entwickler, die ich kenne, Stack Overflow nicht mehr verwenden – und doch ist ChatGPT zum Teil durch das Studium von Stack Overflow zu einem so guten Programmierer geworden. Kürzlich schätzte eine Gruppe von Forschern, dass die Zahl neuer Beiträge auf Stack Overflow seit dem Start von ChatGPT um 16 Prozent zurückgegangen ist.
Ich bin kein Power-User von Stack Overflow, aber ich bin Programmierer und verlasse mich seit mehr als einem Jahrzehnt auf die Website. Ich habe Projekte bei GitHub (einer Website für Open-Source-Code) eingereicht, auf Reddit gepostet und Wikipedia-Seiten bearbeitet. Mittlerweile veröffentliche ich seit Jahren Blogbeiträge und Code auf meiner Website. Wie alle anderen hatte auch ich nicht den Verdacht, dass ich GPT-Futter produziere; Wenn ich das gewusst hätte, hätte ich vielleicht eine Gegenleistung verlangt oder sogar meine Beiträge zurückgehalten. Im April kündigte der CEO von Reddit an, dass von nun an jedes Unternehmen, das große Datenmengen von seiner Website benötigt, für dieses Privileg bezahlen muss. (Da der Schritt andere Apps bedrohte, die nichts mit KI zu tun hatten, reagierten Reddit-Benutzer mit der „Verdunkelung“ großer Teile der Website und betonten, dass der Erfolg des Unternehmens von unentgeltlichen Community-Beiträgen abhänge.) Stack Overflow hat eine ähnliche Ankündigung gemacht.
Vielleicht gelingt es den Crowdsourcing-Seiten, ihre Inhalte abzuschotten. Aber es kann egal sein. Hochwertige Daten sind nicht unbedingt eine erneuerbare Ressource, insbesondere wenn Sie sie wie ein riesiges, jungfräuliches Ölfeld behandeln, das Ihnen zur Verfügung steht. Die Websites, die Chatbots vorangetrieben haben, funktionieren wie Wissensökonomien und verwenden verschiedene Arten von Währungen – Punkte, Prämien, Abzeichen, Boni –, um Informationen dorthin zu vermitteln, wo sie am meisten benötigt werden, und Chatbots schwächen bereits die Nachfrageseite dieser Marktplätze aus und verhungern menschliche Motoren, die das Wissen überhaupt erst geschaffen haben. Das ist natürlich ein Problem für uns: Wir alle profitieren von einem von Menschen betriebenen Web. Aber es ist auch ein Problem für die KI. Es ist möglich, dass KIs das gesamte Web nur einmal aufsaugen können. Um immer intelligenter zu werden, benötigen sie neue Wissensreservoirs. Woher wird es kommen?
KI-Unternehmen haben ihre Aufmerksamkeit bereits auf eine mögliche Quelle gelenkt: Chat. Jeder, der einen Chatbot wie Bard oder ChatGPT verwendet, nimmt an einer umfangreichen Schulungsübung teil. Tatsächlich könnte ein Grund dafür, dass diese Bots kostenlos zur Verfügung gestellt werden, darin liegen, dass die Daten eines Benutzers wertvoller sind als sein Geld: Alles, was Sie in das Textfeld eines Chatbots eingeben, ist Wasser für sein Modell. Darüber hinaus tippen wir nicht nur, sondern fügen E-Mails, Dokumente, Codes, Handbücher, Verträge usw. ein. Wir bitten die Bots oft, dieses Material zusammenzufassen und stellen dann gezielte Fragen dazu und führen so eine Art Close-Reading-Seminar durch. Derzeit gibt es eine Grenze dafür, wie viel Sie in das Eingabefeld eines Bots einfügen können, aber die Menge an neuen Daten, die wir ihnen auf einmal zuführen können, wird nur zunehmen.
Es wird nicht lange dauern, bis viele von uns auch mit dem Massenimport unserer privatesten Dokumente in diese Modelle beginnen werden. Ein Chatbot hat mich noch nicht gebeten, ihm Zugriff auf meine E-Mail-Archive – oder auf meine Texte, meinen Kalender, meine Notizen und Dateien – zu gewähren. Aber im Austausch für einen kompetenten persönlichen KI-Assistenten könnte ich versucht sein, meine Privatsphäre zu gefährden. Ein persönlicher Assistent-Bot könnte mich dazu bringen, eine Browser-Erweiterung zu installieren, die verfolgt, wo ich im Internet unterwegs bin, damit sie aus meinen detaillierten Such- und Browsing-Mustern lernen kann. Und ChatGPT und seine Artgenossen werden bald „multimodal“ werden und in der Lage sein, Text, Bilder, Videos und Ton fließend zu mischen und zu produzieren. Die meiste Sprache wird tatsächlich eher gesprochen als geschrieben, und so bieten Bots an, uns zu helfen, indem sie unsere Besprechungen und Telefonanrufe oder sogar unsere alltäglichen Interaktionen transkribieren.
Bevor Modelle wie GPT-3.5 und GPT-4 ihren Weg in das benutzerorientierte ChatGPT-Produkt fanden, wurden sie mit dem abgestimmt, was OpenAI „Reinforcement Learning from Human Feedback“ oder RLHF nennt. Im Wesentlichen bezahlte OpenAI menschliche Tester dafür, Gespräche mit dem Rohmaterial zu führen die Qualität seiner Antworten modellieren und bewerten; Das Modell lernte aus diesen Bewertungen und passte seine Antworten immer besser an unsere Absichten an. Dank RLHF ist ChatGPT so unheimlich gut darin, genau zu verstehen, was Sie fragen und wie eine gute Antwort aussehen sollte. Dieser Prozess war wahrscheinlich teuer. Aber jetzt ist RLHF kostenlos und in viel größerem Umfang durch Gespräche mit realen Benutzern erhältlich. Dies gilt auch dann, wenn Sie nicht auf eine der Schaltflächen „Daumen hoch“, „Daumen runter“ oder „Das war hilfreich“ unten in einem Chat-Transkript klicken. GPT-4 ist so gut darin, Texte zu interpretieren, dass es ein Chat-Transkript untersuchen und selbst entscheiden kann, ob es gute Arbeit geleistet hat. Die Konversationen eines Modells können sogar die eines anderen Modells ankurbeln: Es wurde behauptet, dass ChatGPT-Konkurrenten wie Google Bard ihr Training durch den Konsum von ChatGPT-Transkripten abgeschlossen haben, die online veröffentlicht wurden. (Google hat dies bestritten.)
Der Einsatz von Chatbots zur Bewertung und Schulung anderer Chatbots weist den Weg zu dem letztendlichen Ziel, den Menschen vollständig aus dem Kreislauf zu entfernen. Die vielleicht grundlegendste Einschränkung der heutigen großen Sprachmodelle besteht darin, dass sie auf Wissen angewiesen sind, das von Menschen generiert wurde. Eine grundlegende Veränderung wird eintreten, wenn die Bots in der Lage sind, selbst Wissen zu generieren. Ein möglicher Weg sind sogenannte synthetische Daten. KI-Forscher polstern ihre Datensätze schon seit langem ganz selbstverständlich auf: Ein auf Bildern trainiertes neuronales Netzwerk könnte beispielsweise einen Vorverarbeitungsschritt durchlaufen, bei dem jedes Bild um neunzig Grad gedreht, verkleinert oder gespiegelt wird, wodurch etwas entsteht für jedes Bild acht oder sechzehn Varianten. Aber die Behandlung kann noch viel aufwändiger sein. In der Forschung zu autonomen Fahrzeugen ist die Erfassung realer Fahrdaten unglaublich teuer, da man ein echtes Auto mit Sensoren ausstatten und damit herumfahren muss; Es ist viel billiger, ein simuliertes Auto zu bauen und es durch eine virtuelle Umgebung mit simulierten Straßen und Wetterbedingungen fahren zu lassen. Heutzutage ist es üblich, hochmoderne selbstfahrende KIs zu trainieren, indem man sie Millionen von Kilometern auf der Straße und Milliarden von Kilometern in Simulationen zurücklegt.