Eine Kamera bewegt sich durch eine Wolke aus mehrfarbigen Würfeln, von denen jeder eine E-Mail-Nachricht darstellt. Drei vorbeiziehende Würfel sind mit „k****@enron.com“, „m***@enron.com“ und „j*****@enron.com“ beschriftet. Während sich die Kamera herausbewegt, bilden die Würfel Cluster ähnlicher Farben.
Dies ist eine Visualisierung eines großen E-Mail-Datensatzes der Enron Corporation, der häufig zum Trainieren künstlicher Intelligenzsysteme wie ChatGPT verwendet wird.
Jeremy White
Letzten Monat erhielt ich eine alarmierende E-Mail von jemandem, den ich nicht kannte: Rui Zhu, ein Doktorand. Kandidat an der Indiana University Bloomington. Herr Zhu hatte meine E-Mail-Adresse, erklärte er, weil GPT-3.5 Turbo, eines der neuesten und robustesten Large Language Models (LLM) von OpenAI, sie ihm zugestellt hatte.
Meine Kontaktinformationen waren in einer Liste geschäftlicher und privater E-Mail-Adressen von mehr als 30 Mitarbeitern der New York Times enthalten, die einem Forschungsteam, darunter Herr Zhu, im Herbst dieses Jahres aus GPT-3.5 Turbo extrahiert werden konnte. Mit etwas Arbeit sei es dem Team gelungen, „die Einschränkungen des Modells bei der Beantwortung datenschutzbezogener Anfragen zu umgehen“, schrieb Herr Zhu.
Meine E-Mail-Adresse ist kein Geheimnis. Aber der Erfolg des Forscherexperiments sollte Alarmglocken schrillen lassen, denn es zeigt das Potenzial von ChatGPT und ähnlichen generativen KI-Tools, mit nur wenigen Anpassungen viel sensiblere persönliche Informationen preiszugeben.
Wenn Sie ChatGPT eine Frage stellen, durchsucht es nicht einfach das Internet, um die Antwort zu finden. Stattdessen greift es auf das zurück, was es aus Unmengen an Informationen „gelernt“ hat – Trainingsdaten, die zur Eingabe und Entwicklung des Modells verwendet wurden –, um ein Modell zu generieren. LLMs schulen mit riesigen Textmengen, die persönliche Informationen aus dem Internet und anderen Quellen enthalten können. Diese Trainingsdaten informieren darüber, wie das KI-Tool funktioniert, sie sollen jedoch nicht wörtlich abgerufen werden.
Theoretisch gilt: Je mehr Daten einem LLM hinzugefügt werden, desto tiefer werden die Erinnerungen an die alten Informationen in den Tiefen des Modells vergraben. Ein Prozess, der als katastrophales Vergessen bekannt ist, kann dazu führen, dass ein LLM zuvor gelernte Informationen als weniger relevant ansieht, wenn neue Daten hinzugefügt werden. Dieser Prozess kann von Vorteil sein, wenn Sie möchten, dass das Modell Dinge wie persönliche Informationen „vergisst“. Allerdings haben Herr Zhu und seine Kollegen – neben anderen – kürzlich herausgefunden, dass das Gedächtnis von LLMs, genau wie das menschliche, auf die Probe gestellt werden kann.
Im Fall des Experiments, bei dem meine Kontaktinformationen offengelegt wurden, gaben die Forscher der Indiana University GPT-3.5 Turbo eine kurze Liste verifizierter Namen und E-Mail-Adressen von Mitarbeitern der New York Times, was dazu führte, dass das Modell ähnliche Ergebnisse zurückgab, die es aus seinen Trainingsdaten abgerufen hatte .
Ähnlich wie das menschliche Gedächtnis war der Rückruf des GPT-3.5 Turbo nicht perfekt. Die Ergebnisse, die die Forscher extrahieren konnten, waren immer noch anfällig für Halluzinationen – eine Tendenz, falsche Informationen zu produzieren. In der Beispielausgabe, die sie den Times-Mitarbeitern zur Verfügung stellten, waren viele der persönlichen E-Mail-Adressen entweder um ein paar Zeichen falsch oder völlig falsch. Aber 80 Prozent der vom Modell zurückgegebenen Arbeitsadressen waren korrekt.
Unternehmen wie OpenAI, Meta und Google verwenden unterschiedliche Techniken, um zu verhindern, dass Benutzer über Chat-Eingabeaufforderungen oder andere Schnittstellen nach persönlichen Informationen fragen. Eine Methode besteht darin, dem Tool beizubringen, Anfragen nach persönlichen Informationen oder anderen datenschutzbezogenen Ausgaben abzulehnen. Ein durchschnittlicher Benutzer, der ein Gespräch mit ChatGPT eröffnet, indem er nach persönlichen Informationen fragt, wird abgewiesen, aber Forscher haben kürzlich Wege gefunden, diese Sicherheitsmaßnahmen zu umgehen.
Vorkehrungen getroffen
Wenn Sie ChatGPT direkt nach persönlichen Daten wie E-Mail-Adressen, Telefonnummern oder Sozialversicherungsnummern fragen, erhalten Sie eine vorgefertigte Antwort.
Herr Zhu und seine Kollegen arbeiteten nicht direkt mit der standardmäßigen öffentlichen Schnittstelle von ChatGPT, sondern mit der Anwendungsprogrammierschnittstelle oder API, die externe Programmierer für die Interaktion mit GPT-3.5 Turbo nutzen können. Der von ihnen verwendete Prozess, Feinabstimmung genannt, soll es Benutzern ermöglichen, einem LLM mehr Wissen über einen bestimmten Bereich zu vermitteln, beispielsweise Medizin oder Finanzen. Aber wie Herr Zhu und seine Kollegen herausfanden, kann es auch dazu verwendet werden, einige der in das Tool integrierten Abwehrmechanismen zu durchkreuzen. Anfragen, die normalerweise in der ChatGPT-Schnittstelle abgelehnt würden, wurden akzeptiert.
„Sie verfügen nicht über den Schutz der fein abgestimmten Daten“, sagte Herr Zhu.
„Es ist uns sehr wichtig, dass die Feinabstimmung unserer Modelle sicher ist“, antwortete ein OpenAI-Sprecher auf eine Bitte um Stellungnahme. „Wir trainieren unsere Modelle, um Anfragen nach privaten oder sensiblen Informationen über Personen abzulehnen, selbst wenn diese Informationen im offenen Internet verfügbar sind.“
Die Sicherheitslücke ist besonders besorgniserregend, da niemand – außer einer begrenzten Anzahl von OpenAI-Mitarbeitern – wirklich weiß, was im Trainingsdatenspeicher von ChatGPT lauert. Laut der Website von OpenAI sucht das Unternehmen nicht aktiv nach persönlichen Informationen und verwendet keine Daten von „Websites, die in erster Linie persönliche Informationen sammeln“, um seine Tools zu entwickeln. OpenAI weist außerdem darauf hin, dass seine LLMs keine Informationen kopieren oder in einer Datenbank speichern: „Ähnlich wie eine Person, die ein Buch gelesen hat und es zur Seite legt, haben unsere Modelle keinen Zugriff auf Trainingsinformationen, nachdem sie daraus gelernt haben.“
Abgesehen von seinen Zusicherungen darüber, welche Trainingsdaten es nicht verwendet, schweigt OpenAI jedoch bekanntermaßen darüber, welche Informationen es tatsächlich verwendet und welche Informationen es in der Vergangenheit verwendet hat.
„Soweit ich weiß, verfügt kein im Handel erhältliches großes Sprachmodell über starke Abwehrmechanismen zum Schutz der Privatsphäre“, sagte Dr. Prateek Mittal, Professor an der Fakultät für Elektro- und Computertechnik der Princeton University.
Dr. Mittal sagte, dass KI-Unternehmen nicht garantieren könnten, dass diese Modelle keine sensiblen Informationen gelernt hätten. „Ich denke, das stellt ein großes Risiko dar“, sagte er.
LLMs sind darauf ausgelegt, weiterzulernen, wenn neue Datenströme eingeführt werden. Zwei der LLMs von OpenAI, GPT-3.5 Turbo und GPT-4, gehören zu den leistungsstärksten Modellen, die heute öffentlich verfügbar sind. Das Unternehmen nutzt natürlichsprachliche Texte aus vielen verschiedenen öffentlichen Quellen, darunter auch Websites, lizenziert aber auch Eingabedaten von Dritten.
Einige Datensätze sind in vielen LLMs gleich. Einer davon ist ein Korpus von etwa einer halben Million E-Mails, darunter Tausende von Namen und E-Mail-Adressen, die veröffentlicht wurden, als Enron Anfang der 2000er Jahre von Energieregulierungsbehörden untersucht wurde. Die Enron-E-Mails sind für KI-Entwickler nützlich, weil sie Hunderttausende Beispiele dafür enthalten, wie echte Menschen kommunizieren.
OpenAI veröffentlichte im vergangenen August seine Feinabstimmungsschnittstelle für GPT-3.5, die laut Forschern den Enron-Datensatz enthielt. Ähnlich wie bei den Schritten zum Extrahieren von Informationen über Times-Mitarbeiter sagte Herr Zhu, dass er und seine Forscherkollegen in der Lage waren, mehr als 5.000 Paare von Enron-Namen und E-Mail-Adressen mit einer Genauigkeitsrate von rund 70 Prozent zu extrahieren, indem sie nur 10 bekannte Angaben machten Paare.
Dr. Mittal sagte, das Problem mit privaten Informationen in kommerziellen LLMs sei vergleichbar mit dem Training dieser Modelle mit voreingenommenen oder toxischen Inhalten. „Es gibt keinen Grund zu der Annahme, dass das resultierende Modell privat ist oder auf magische Weise keinen Schaden anrichtet“, sagte er.