Im Juli 2023 stellte OpenAI ein neues Team vor, das dafür sorgen soll, dass zukünftige KI-Systeme, die möglicherweise intelligenter sind als alle Menschen zusammen, sicher gesteuert werden können. Um zu signalisieren, wie ernst es dem Unternehmen mit diesem Ziel ist, versprach es öffentlich, 20 % seiner damals verfügbaren Rechenressourcen dafür bereitzustellen.
Jetzt, weniger als ein Jahr später, wurde dieses Team, das sich Superalignment nannte, aufgrund von Personalrücktritten und Vorwürfen aufgelöst, dass OpenAI Produkteinführungen Vorrang vor KI-Sicherheit einräumt. Laut einem halben Dutzend Quellen, die mit der Funktionsweise des Superalignment-Teams von OpenAI vertraut sind, hat OpenAI seine Zusage, dem Team 20 % seiner Rechenleistung zur Verfügung zu stellen, nie erfüllt.
Stattdessen, so die Quellen, sah das Team wiederholt, dass seine Anfragen nach Zugang zu Grafikprozessoren, den speziellen Computerchips, die zum Trainieren und Ausführen von KI-Anwendungen benötigt werden, von der Führung von OpenAI abgelehnt wurden, obwohl das gesamte Rechenbudget des Teams nie annähernd das erreichte versprochene 20 %-Schwelle.
Die Enthüllungen stellen in Frage, wie ernst es OpenAI jemals war, sein öffentliches Versprechen einzuhalten, und ob anderen öffentlichen Verpflichtungen des Unternehmens vertraut werden sollte. OpenAI antwortete nicht auf Anfragen nach Kommentaren zu dieser Geschichte.
Das Unternehmen sieht sich derzeit mit einer Gegenreaktion konfrontiert, weil es für seine KI-Sprachgenerierungsfunktionen eine Stimme verwendet, die der der Schauspielerin Scarlett Johansson auffallend ähnelt. In diesem Fall wurden Fragen zur Glaubwürdigkeit der öffentlichen Aussagen von OpenAI aufgeworfen, dass die Ähnlichkeit zwischen der KI-Stimme, die es „Sky“ nennt, und Johanssons Stimme rein zufällig sei. Johansson sagt, dass Sam Altman, Mitbegründer und CEO von OpenAI, letzten September, als die Sky-Stimme zum ersten Mal vorgestellt wurde, an sie herangetreten sei und um Erlaubnis gebeten habe, ihre Stimme verwenden zu dürfen. Sie lehnte ab. Und sie sagt, Altman habe letzte Woche erneut um Erlaubnis gebeten, ihre Stimme zu verwenden, kurz vor einer genau beobachteten Demonstration seines neuesten GPT-4o-Modells, bei dem die Sky-Stimme verwendet wurde. OpenAI hat bestritten, Johanssons Stimme ohne ihre Erlaubnis verwendet zu haben, und erklärt, es habe eine professionelle Schauspielerin bezahlt, deren Namen es angeblich nicht offenlegen darf, um Sky zu erschaffen. Aber Johanssons Behauptungen haben nun Zweifel daran aufkommen lassen – einige spekulieren in den sozialen Medien, dass OpenAI tatsächlich Johanssons Stimme geklont oder möglicherweise auf irgendeine Weise die Stimme einer anderen Schauspielerin mit der von Johansson vermischt hat, um Sky zu erschaffen.
Das Superalignment-Team von OpenAI wurde unter der Leitung von Ilya Sutskever, dem Mitbegründer und ehemaligen Chefwissenschaftler von OpenAI, gegründet, dessen Ausscheiden aus dem Unternehmen letzte Woche bekannt gegeben wurde. Jan Leike, ein langjähriger OpenAI-Forscher, war Co-Leiter des Teams. Er kündigte am Freitag, zwei Tage nach Suzkevers Abgang, seinen eigenen Rücktritt an. Anschließend teilte das Unternehmen den verbleibenden Mitarbeitern des etwa 25-köpfigen Teams mit, dass es aufgelöst und innerhalb des Unternehmens neu eingesetzt werde.
Es war ein schneller Untergang für ein Team, dessen Arbeit OpenAI weniger als ein Jahr zuvor als lebenswichtig für das Unternehmen und entscheidend für die Zukunft der Zivilisation eingestuft hatte. Superintelligenz ist die Idee eines zukünftigen, hypothetischen KI-Systems, das intelligenter wäre als alle Menschen zusammen. Es handelt sich um eine Technologie, die sogar über das erklärte Ziel des Unternehmens hinausgeht, künstliche allgemeine Intelligenz (AGI) zu schaffen – ein einziges KI-System, das so intelligent ist wie jeder Mensch.
Superintelligenz, so das Unternehmen bei der Bekanntgabe des Teams, könne eine existenzielle Gefahr für die Menschheit darstellen, indem sie versuche, Menschen zu töten oder zu versklaven. „Wir haben keine Lösung, um eine potenziell superintelligente KI zu steuern und zu kontrollieren und zu verhindern, dass sie abtrünnig wird“, sagte OpenAI in seiner Ankündigung. Das Superalignment-Team sollte diese Lösungen erforschen.
Es handelte sich um eine so wichtige Aufgabe, dass das Unternehmen in seiner Ankündigung erklärte, es werde „20 % der Rechenleistung, die wir bisher in den nächsten vier Jahren gesichert haben“ für diese Aufgabe bereitstellen.
Aber ein halbes Dutzend Quellen, die mit der Arbeit des Superalignment-Teams vertraut sind, sagten, dass der Gruppe diese Rechenleistung nie zugewiesen wurde. Stattdessen erhielt das Unternehmen deutlich weniger Mittel aus dem regulären Rechnerzuteilungsbudget des Unternehmens, das vierteljährlich neu bewertet wird.
Eine Quelle, die mit der Arbeit des Superalignment-Teams vertraut ist, sagte, dass es nie klare Maßstäbe für die genaue Berechnung des 20-Prozent-Betrags gebe, so dass die Interpretation weit gefasst sei. Die Quelle sagte beispielsweise, dem Team sei nie mitgeteilt worden, ob das Versprechen „20 % pro Jahr für vier Jahre“ oder „5 % pro Jahr für vier Jahre“ oder einen variablen Betrag bedeute, der am Ende „1 % oder 2 % für“ bedeuten könnte die ersten drei Jahre und dann der Großteil des Engagements im vierten Jahr.“ Auf jeden Fall alle Quellen Vermögen Ein Gesprächspartner für diese Geschichte bestätigte, dass dem Superalignment-Team bis Juli 2023 nie auch nur annähernd 20 % der gesicherten Rechenleistung von OpenAI zur Verfügung gestellt wurden.
OpenAI-Forscher können auch Anfragen für sogenanntes „Flex“-Computing stellen – Zugriff auf zusätzliche GPU-Kapazität über das Budget hinaus –, um zwischen den vierteljährlichen Budgetierungsbesprechungen neue Projekte zu bearbeiten. Diese Quellen sagten jedoch, dass flexible Anfragen des Superalignment-Teams von Vorgesetzten routinemäßig abgelehnt wurden.
Bob McGrew, Vizepräsident für Forschung bei OpenAI, war der leitende Angestellte, der das Team darüber informierte, dass diese Anfragen abgelehnt wurden, sagten die Quellen, aber andere Mitarbeiter des Unternehmens, darunter die Chief Technology Officer Mira Murati, waren an den Entscheidungen beteiligt. Weder McGrew noch Murati antworteten auf Anfragen, zu dieser Geschichte einen Kommentar abzugeben.
Während das Team einige Nachforschungen anstellte – es veröffentlichte im Dezember 2023 ein Papier, in dem seine Experimente detailliert beschrieben wurden, um ein weniger leistungsfähiges KI-Modell erfolgreich zur Steuerung eines leistungsfähigeren Modells zu bringen –, vereitelte der Mangel an Rechenleistung die ehrgeizigeren Ideen des Teams, so die Quelle.
Nach seinem Rücktritt veröffentlichte Leike am Freitag eine Reihe von Beiträgen auf X (ehemals Twitter), in denen er seinen ehemaligen Arbeitgeber kritisierte und sagte: „Sicherheitskultur und -prozesse sind gegenüber glänzenden Produkten in den Hintergrund getreten.“ Er sagte auch: „In den letzten Monaten ist mein Team gegen den Wind gesegelt. Manchmal hatten wir Probleme mit der Rechenleistung und es wurde immer schwieriger, diese wichtige Forschung durchzuführen.“
Fünf Quellen, die mit der Arbeit des Superalignment-Teams vertraut sind, bestätigten Leikes Bericht und sagten, dass sich die Probleme beim Zugriff auf die Rechenleistung im Zuge des Showdowns vor Thanksgiving zwischen Altman und dem Vorstand der gemeinnützigen OpenAI-Stiftung verschlimmerten.
Sutskever, der im Vorstand war, hatte für die Entlassung von Altman gestimmt und war die Person, die der Vorstand ausgewählt hatte, um Altman die Nachricht zu überbringen. Als die Mitarbeiter von OpenAI als Reaktion auf die Entscheidung rebellierten, veröffentlichte Sutskever anschließend auf X, dass er seine Beteiligung an Altmans Entlassung „zutiefst bedauere“. Letztendlich wurde Altman wieder eingestellt und Sutskever und mehrere andere Vorstandsmitglieder, die an seiner Entlassung beteiligt waren, traten aus dem Vorstand zurück. Sutskever kehrte nach Altmans Wiedereinstellung nie mehr zu OpenAI zurück, hatte das Unternehmen jedoch erst letzte Woche offiziell verlassen.
Eine Quelle bestritt die Art und Weise, wie die anderen Quellen Vermögen sprach mit beschrieb die Rechenprobleme, mit denen das Superalignment-Team konfrontiert war, und sagte, sie seien bereits vor Sutskevers Beteiligung an dem gescheiterten Putsch aufgetreten und hätten die Gruppe von Anfang an geplagt.
Obwohl es einige Berichte gab, dass Sutskever das Superalignment-Team weiterhin aus der Ferne mitleitete, sagten mit der Arbeit des Teams vertraute Quellen, dass dies nicht der Fall sei und dass Sutskever keinen Zugriff auf die Arbeit des Teams hatte und danach keine Rolle bei der Leitung des Teams spielte Das Erntedankfest.
Mit dem Weggang von Sutskever verlor das Superalignment-Team die einzige Person im Team, die über genügend politisches Kapital innerhalb der Organisation verfügte, um sich erfolgreich für die Rechenleistungszuteilung einzusetzen, so die Quellen.
Neben Leike und Sutskever hat OpenAI in den letzten Monaten mindestens sechs weitere KI-Sicherheitsforscher aus verschiedenen Teams verloren. Ein Forscher, Daniel Kokotajilo, sagte gegenüber der Nachrichtenseite Vox, dass er „nach und nach das Vertrauen in die Führung von OpenAI und ihre Fähigkeit, verantwortungsvoll mit AGI umzugehen, verloren hat, also habe ich gekündigt.“
Als Reaktion auf Leikes Kommentare schrieben Altman und Mitbegründer Greg Brockman, der Präsident von OpenAI, auf X, dass sie „dankbar dafür seien [Leike] für alles, was er für OpenAI getan hat.“ Die beiden schrieben weiter: „Wir müssen unsere Sicherheitsarbeit weiter verbessern, um den Herausforderungen jedes neuen Modells gerecht zu werden.“
Anschließend legten sie ihre Sicht auf den künftigen Ansatz des Unternehmens zur KI-Sicherheit dar, der einen viel stärkeren Schwerpunkt auf dem Testen von derzeit in der Entwicklung befindlichen Modellen als auf der Entwicklung theoretischer Ansätze zur Gewährleistung zukünftiger, leistungsstärkerer Modelle umfassen würde. „Wir brauchen eine sehr enge Feedbackschleife, strenge Tests, sorgfältige Überlegungen bei jedem Schritt, erstklassige Sicherheit und eine Harmonie von Sicherheit und Fähigkeiten“, schrieben Brockman und Altman und fügten hinzu, dass „empirisches Verständnis dabei helfen kann, den weiteren Weg zu bestimmen.“ ”
Die Leute, mit denen gesprochen wurde Vermögen taten dies anonym, entweder weil sie angaben, sie hätten Angst, ihren Arbeitsplatz zu verlieren, oder weil sie befürchteten, ihr Anteilskapital im Unternehmen zu verlieren, oder beides. Mitarbeiter, die OpenAI verlassen haben, wurden gezwungen, Trennungsvereinbarungen zu unterzeichnen, die eine strikte Nichtverunglimpfungsklausel enthalten, die besagt, dass das Unternehmen sein unverfallbares Eigenkapital zurückfordern kann, wenn sie das Unternehmen öffentlich kritisieren oder sogar die Existenz der Klausel anerkennen. Und den Mitarbeitern wurde gesagt, dass jeder, der sich weigert, die Trennungsvereinbarung zu unterzeichnen, auch sein Eigenkapital einbüßt.
Nachdem Vox über diese Trennungsbedingungen berichtet hatte, veröffentlichte Altman auf X, dass ihm diese Bestimmung nicht bekannt gewesen sei und dass ihm diese Tatsache „wirklich peinlich“ sei. Er sagte, OpenAI habe nie versucht, die Klausel durchzusetzen und das unverfallbare Eigenkapital von irgendjemandem zurückzufordern. Er sagte, das Unternehmen sei dabei, seine Austrittspapiere zu aktualisieren, um das Problem zu „beheben“, und dass jeder frühere Mitarbeiter, der über die Bestimmungen in den von ihm unterzeichneten Austrittspapieren besorgt sei, sich diesbezüglich direkt an ihn wenden könne und die Änderungen vorgenommen würden.