OpenAI übernimmt den Kampf gegen KI-„Halluzinationen“, wie das Unternehmen am Mittwoch bekannt gab, mit einer neueren Methode zum Training von KI-Modellen.
Die Forschung kommt zu einer Zeit, in der Fehlinformationen, die von KI-Systemen ausgehen, hitziger denn je diskutiert werden, inmitten des generativen KI-Booms und im Vorfeld der US-Präsidentschaftswahlen 2024. OpenAI beschleunigte den generativen KI-Boom letztes Jahr mit der Veröffentlichung seines auf GPT-3 und GPT-4 basierenden Chatbots ChatGPT und übertraf innerhalb von zwei Monaten die 100-Millionen-Monat-Benutzerzahl, was Berichten zufolge einen Rekord für die am schnellsten wachsende App aufstellte. Miteinander ausgehen, Microsoft hat mehr als 13 Milliarden US-Dollar in OpenAI investiert und der Wert des Startups hat rund 29 Milliarden US-Dollar erreicht.
KI-Halluzinationen treten auf, wenn Modelle wie ChatGPT von OpenAI oder GoogleDie Barden fabrizieren Informationen vollständig und verhalten sich so, als würden sie Fakten verbreiten. Ein Beispiel: In Googles eigenem Februar-Werbevideo für Bard stellt der Chatbot eine unwahre Behauptung über das James Webb-Weltraumteleskop auf. Kürzlich führte ChatGPT in einer Klageschrift vor einem New Yorker Bundesgericht „falsche“ Fälle an, und die beteiligten New Yorker Anwälte könnten mit Sanktionen rechnen.
„Selbst hochmoderne Modelle neigen dazu, Unwahrheiten zu produzieren – sie neigen dazu, in Momenten der Unsicherheit Fakten zu erfinden“, schreiben die OpenAI-Forscher in dem Bericht. „Diese Halluzinationen sind besonders problematisch in Bereichen, die eine mehrstufige Argumentation erfordern, da ein einziger logischer Fehler ausreicht, um eine viel größere Lösung zum Scheitern zu bringen.“
Die potenzielle neue Strategie von OpenAI zur Bekämpfung der Erfindungen: Trainieren Sie KI-Modelle so, dass sie sich für jeden einzelnen richtigen Denkschritt belohnen, wenn sie zu einer Antwort gelangen, anstatt nur eine korrekte endgültige Schlussfolgerung zu belohnen. Der Ansatz wird „Prozessüberwachung“ genannt, im Gegensatz zu „Ergebnisüberwachung“, und könnte den Forschern zufolge zu einer besser erklärbaren KI führen, da die Strategie Modelle dazu ermutigt, eher einem menschenähnlichen Ketten-von-„Gedanken“-Ansatz zu folgen.
„Das Erkennen und Abmildern logischer Fehler oder Halluzinationen eines Modells ist ein entscheidender Schritt zum Aufbau einer abgestimmten AGI [or artificial general intelligence]„, sagte Karl Cobbe, Mathgen-Forscher bei OpenAI, gegenüber CNBC und wies darauf hin, dass OpenAI den Prozessüberwachungsansatz zwar nicht erfunden hat, das Unternehmen jedoch dabei hilft, ihn voranzutreiben. „Die Motivation hinter dieser Forschung besteht darin, Halluzinationen anzugehen, um Modelle besser zu machen.“ fähig, anspruchsvolle Denkprobleme zu lösen.“
OpenAI hat einen begleitenden Datensatz mit 800.000 menschlichen Etiketten veröffentlicht, den es zum Trainieren des im Forschungsbericht erwähnten Modells verwendet hat, sagte Cobbe.
Ben Winters, Senior Counsel beim Electronic Privacy Information Center und Leiter des KI- und Menschenrechtsprojekts, äußerte sich skeptisch und sagte gegenüber CNBC, er wäre daran interessiert, den vollständigen Datensatz und die dazugehörigen Beispiele zu sehen.
„Ich glaube einfach nicht, dass dies allein die Bedenken hinsichtlich Fehlinformationen und falschen Ergebnissen nennenswert mindert … wenn es tatsächlich in freier Wildbahn eingesetzt wird“, sagte Winters. Er fügte hinzu: „Es ist auf jeden Fall wichtig, ob sie planen, das umzusetzen, was sie durch ihre Forschung hier herausgefunden haben.“ [into their products]und wenn nicht, wirft das einige ziemlich ernsthafte Fragen darüber auf, was sie bereit sind, der Öffentlichkeit zugänglich zu machen.“
Da nicht klar ist, ob das OpenAI-Papier von Experten begutachtet oder in einem anderen Format begutachtet wurde, sagte Suresh Venkatasubramanian, Direktor des Zentrums für Technologieverantwortung an der Brown University, gegenüber CNBC, dass er die Forschung eher als vorläufige Beobachtung denn als alles andere betrachte.
„Dies muss in der Forschungsgemeinschaft geklärt werden, bevor wir dazu etwas Sicheres sagen können“, sagte Venkatasubramanian. „In dieser Welt gibt es sehr regelmäßig viele Ergebnisse, und aufgrund der allgemeinen Instabilität in der Funktionsweise großer Sprachmodelle funktioniert das, was in einer Umgebung, einem Modell und einem Kontext funktionieren könnte, in einer anderen Umgebung, einem anderen Modell und einem anderen Kontext möglicherweise nicht .”
Venkatasubramanian fügte hinzu: „Einige der halluzinatorischen Dinge, über die sich die Leute Sorgen gemacht haben, sind [models] Erstellen von Zitaten und Referenzen. In diesem Papier gibt es keine Beweise dafür, dass dies funktionieren würde … Ich sage nicht, dass es nicht funktionieren wird; Ich sage, dass dieses Papier diesen Beweis nicht liefert.“
OpenAI reagierte nicht auf eine Anfrage nach einem Kommentar mit der Frage, ob die Forschung in irgendeiner Form extern überprüft wurde oder wann, wenn überhaupt, das Unternehmen plant, die neue Strategie in ChatGPT und seine anderen Produkte zu implementieren.
„Es ist auf jeden Fall willkommen zu sehen, dass Unternehmen versuchen, an der Entwicklung ihrer Systeme herumzubasteln, um diese Art von Fehlern zu reduzieren. Ich denke, der Schlüssel liegt darin, dies als Unternehmensforschung zu interpretieren, angesichts der vielen Hindernisse, die einer tieferen Form der Rechenschaftspflicht entgegenstehen „, sagte Sarah Myers West, Geschäftsführerin des AI Now Institute, gegenüber CNBC.
West fügte hinzu: „[OpenAI is] Wir veröffentlichen mit diesem Dokument einen kleinen Datensatz menschlichen Feedbacks, enthalten jedoch keine grundlegenden Details zu den Daten, die zum Trainieren und Testen von GPT-4 verwendet werden. Es gibt also immer noch ein enormes Maß an Undurchsichtigkeit, das alle sinnvollen Bemühungen zur Rechenschaftspflicht im Bereich der KI in Frage stellt, auch wenn diese Systeme bereits direkte Auswirkungen auf die Menschen haben.“