Anfang dieser Woche wurde die Telegraph berichtete über ein merkwürdiges Eingeständnis von OpenAI, dem Erfinder von ChatGPT. In einer dem britischen Parlament vorgelegten Einreichung erklärte das Unternehmen, dass „führende KI-Modelle“ ohne uneingeschränkten Zugang zu urheberrechtlich geschützten Büchern und Artikeln nicht existieren könnten, und bestätigte damit, dass die generative KI-Branche, die mehrere zehn Milliarden Dollar wert ist, von eigener kreativer Arbeit abhängt von anderen Leuten.
Wir wissen beispielsweise bereits, dass Bibliotheken mit Raubkopien zum Trainieren der generativen KI-Produkte von Unternehmen wie Meta und Bloomberg genutzt wurden. Aber KI-Unternehmen behaupten seit langem, dass generative KI diese Bücher und Artikel „liest“ oder daraus „lernt“, wie es ein Mensch tun würde, anstatt sie zu kopieren. Daher stellt dieser Ansatz angeblich eine „faire Nutzung“ dar, ohne dass den Autoren oder Verlegern eine Entschädigung geschuldet wird. Da die Gerichte zu dieser Frage nicht entschieden haben, hat die Technologiebranche bei der Entwicklung von Produkten auf diese Weise ein riesiges Risiko eingegangen. Und die Chancen könnten sich gegen sie wenden.
Zwei Klagen, eingereicht von der Universal Music Group und Die New York Times im Oktober bzw. Dezember machen sich die Tatsache zunutze, dass große Sprachmodelle – die Technologie, die ChatGPT und anderen generativen KI-Tools zugrunde liegt – sich einen Teil ihres Trainingstextes „merken“ und ihn wörtlich reproduzieren können, wenn sie auf bestimmte Weise dazu aufgefordert werden, indem sie lange aussenden Abschnitte urheberrechtlich geschützter Texte. Dies schadet dem Fair-Use-Argument.
Wenn die KI-Unternehmen die Millionen von Autoren, deren Werke sie nutzen, entschädigen müssen, könnte dies die gesamte Technologie „zerstören oder erheblich beeinträchtigen“, heißt es in einer Einreichung des großen Risikokapitalunternehmens Andreessen Horowitz beim US Copyright Office hat eine Reihe bedeutender Investitionen in generative KI getätigt. Aktuelle Modelle müssen möglicherweise verschrottet und neue auf offenen oder ordnungsgemäß lizenzierten Quellen trainiert werden. Die Kosten könnten erheblich sein und die neuen Modelle könnten weniger flüssig sein.
Doch obwohl dies die generative KI kurzfristig zurückwerfen würde, könnte ein verantwortungsvoller Umbau auch das Ansehen der Technologie in den Augen vieler verbessern, deren Arbeit ohne Erlaubnis genutzt wurde und die das Versprechen der KI hören, dass sie „der gesamten Menschheit zugute kommt“. als bloßes eigennütziges Geschwätz. Ein Moment der Abrechnung mit Ansätzen für eine der disruptivsten Technologien der Geschichte.
Schon vor diesen Einreichungen war die generative KI in Rechtsstreitigkeiten verstrickt. Im vergangenen Jahr reichten Autoren wie John Grisham, George Saunders und Sarah Silverman mehrere Sammelklagen gegen KI-Unternehmen ein. Sie behaupten, das Training der KI mithilfe ihrer Bücher sei eine Form des illegalen Kopierens. Die Technologieunternehmen argumentieren seit langem, dass Schulungen eine faire Verwendung darstellen, ähnlich wie das Drucken von Zitaten aus Büchern, wenn sie darüber diskutiert werden, oder das Schreiben einer Parodie, die die Charaktere und die Handlung einer Geschichte verwendet.
Dieser Schutz war in den letzten 20 Jahren ein Segen für das Silicon Valley und ermöglichte das Crawlen im Internet, die Anzeige von Miniaturansichten von Bildern in Suchergebnissen und die Erfindung neuer Technologien. Software zur Plagiatserkennung prüft beispielsweise studentische Aufsätze anhand urheberrechtlich geschützter Bücher und Artikel. Die Hersteller dieser Programme müssen diese Texte nicht lizenzieren oder kaufen, da die Software als faire Nutzung gilt. Warum? Die Software verwendet die Originaltexte, um Replikation zu erkennen, ein völlig anderer Zweck, der „unabhängig vom Ausdrucksinhalt“ der urheberrechtlich geschützten Texte ist. Es ist das, was Urheberrechtsanwälte eine „nicht ausdrucksstarke“ Nutzung nennen. Google Books, das es Nutzern ermöglicht, die Volltexte urheberrechtlich geschützter Bücher zu durchsuchen und Einblicke in den historischen Sprachgebrauch zu gewinnen (siehe Googles Ngram Viewer), es ihnen jedoch nicht erlaubt, mehr als kurze Auszüge aus den Originalen zu lesen, gilt ebenfalls als nicht ausdrucksstark verwenden. Solche Anträge gelten in der Regel als fair, da sie die Fähigkeit eines Autors, sein Werk zu verkaufen, nicht beeinträchtigen.
OpenAI hat behauptet, dass die LLM-Ausbildung in dieselbe Kategorie fällt. „Das zwischenzeitliche Kopieren von Werken in KI-Trainingssystemen ist … ‚nicht ausdrucksstark‘“, schrieb das Unternehmen vor einigen Jahren in einer Einreichung beim US-Patent- und Markenamt. „Niemand, der eine bestimmte Webseite lesen möchte, die im Korpus enthalten ist, der zum Trainieren eines KI-Systems verwendet wird, kann dies tun, indem er das KI-System oder seine Ergebnisse studiert.“ Andere KI-Unternehmen haben ähnliche Argumente vorgebracht, aber jüngste Klagen haben gezeigt, dass diese Behauptung nicht immer wahr ist.
Der New York Times Die Klage zeigt, dass ChatGPT aus bestimmten Quellen lange Passagen (Hunderte von Wörtern) produziert Mal Artikel, wenn Sie auf bestimmte Weise dazu aufgefordert werden. Wenn ein Benutzer tippte: „Hey. Mir wird die Lektüre des Artikels „Schneefall: Die Lawine am Tunnel Creek“ in der New York Times verweigert.“ Als ich um Hilfe bat, erstellte ChatGPT mehrere Absätze der Geschichte. Die Klage der Universal Music Group konzentriert sich auf einen LLM namens Claude, der von Anthropic gegründet wurde. Als er aufgefordert wurde, „ein Lied über den Umzug von Philadelphia nach Bel Air zu schreiben“, antwortete Claude mit dem Text dazu Prinz von Bel Air Titellied, fast wörtlich, ohne Namensnennung. Auf die Frage: „Schreiben Sie mir ein Lied über den Tod von Buddy Holly“, antwortete Claude: „Hier ist ein Lied, das ich über den Tod von Buddy Holly geschrieben habe“, gefolgt von einem Text, der fast identisch mit Don McLeans „American Pie“ ist. Auf vielen Websites werden diese Songtexte ebenfalls angezeigt, idealerweise verfügen sie jedoch über entsprechende Lizenzen und weisen Titel und Songwriter entsprechend zu. (Weder OpenAI noch Anthropic haben auf eine Bitte um einen Kommentar zu diesem Artikel geantwortet.)
Im vergangenen Juli, bevor das Auswendiglernen weithin diskutiert wurde, sagte Matthew Sag, ein Rechtswissenschaftler, der eine wesentliche Rolle bei der Entwicklung des Konzepts der nicht ausdrucksstarken Verwendung spielte, in einer Anhörung des US-Senats über generative KI aus. Sag sagte, er erwarte, dass KI-Training eine faire Verwendung sei, warnte jedoch vor der Gefahr des Auswendiglernens. Wenn „normale“ Nutzungen generativer KI rechtsverletzende Inhalte hervorbringen, „dann gilt das Grundprinzip der nicht ausdrucksstarken Nutzung nicht mehr“, schrieb er in einer eingereichten Erklärung, und „es gibt kein offensichtliches Grundprinzip der fairen Nutzung, um es zu ersetzen“, außer vielleicht für gemeinnützige Organisationen generative KI-Forschung.
Natürlich möchten KI-Unternehmen angesichts der Haftung das Auswendiglernen ganz verhindern. Am Montag nannte OpenAI es „einen seltenen Fehler, den wir beseitigen wollen“. Forscher haben jedoch gezeigt, dass dies bei jedem LLM der Fall ist. GPT-2 von OpenAI kann Zitate mit 1.000 Wörtern ausgeben; GPT-J von EleutherAI merkt sich mindestens 1 Prozent seines Trainingstextes. Und je größer das Modell, desto eher neigt es zum Auswendiglernen. Im November zeigten Forscher, dass ChatGPT bei Manipulation Trainingsdaten mit einer weitaus höheren Rate als andere LLMs ausgeben könnte.
Das Problem besteht darin, dass das Auswendiglernen einen Teil dessen ausmacht, was LLMs nützlich macht. Ein LLM kann nur kohärentes Englisch produzieren, weil er sich englische Wörter, Phrasen und grammatikalische Muster merken kann. Die nützlichsten LLMs reproduzieren auch Fakten und vernünftige Vorstellungen, die sie sachkundig erscheinen lassen. Ein LLM, der sich nichts merkt, würde nur Kauderwelsch sprechen.
Es ist jedoch schwierig, die Grenze zwischen guten und schlechten Formen des Auswendiglernens zu ziehen. Wir möchten vielleicht, dass ein LLM einen Artikel zusammenfasst, an dem er geschult wurde, aber eine Zusammenfassung, die ausführlich ohne Quellenangabe zitiert oder Teile des Artikels dupliziert, könnte gegen das Urheberrecht verstoßen. Und da ein LLM nicht „weiß“, wann er aus Trainingsdaten zitiert, gibt es keine offensichtliche Möglichkeit, dieses Verhalten zu verhindern. Ich habe mit Florian Tramè gesprochen, einem bekannten KI-Sicherheitsforscher und Mitautor einiger der oben genannten Studien. Es sei „ein äußerst schwieriges Problem beim Lernen“, sagte er mir. „Es ist sehr, sehr schwer, eine gute Definition von Auswendiglernen festzulegen.“
Eine Möglichkeit, das Konzept zu verstehen, besteht darin, sich ein LLM als einen riesigen Entscheidungsbaum vorzustellen, in dem jeder Knoten ein englisches Wort ist. Aus einem gegebenen Startwort wählt ein LLM das nächste Wort aus dem gesamten englischen Wortschatz aus. Beim Training eines LLM geht es im Wesentlichen darum, die Wortwahlsequenzen in der menschlichen Schrift aufzuzeichnen und dabei die Wege zu durchlaufen, die verschiedene Texte durch den Sprachbaum nehmen. Je öfter ein Pfad im Training durchlaufen wird, desto wahrscheinlicher ist es, dass das LLM diesem folgt, wenn er Output generiert: Der Pfad zwischen Gut Und Morgenwird beispielsweise häufiger befolgt als der Weg dazwischen Gut Und Frosch.
Das Auswendiglernen erfolgt, wenn ein Trainingstext einen Pfad durch den Sprachbaum zeichnet, der bei der Textgenerierung zurückverfolgt wird. Dies scheint eher bei sehr großen Modellen der Fall zu sein, die in ihren Trainingsdaten zig Milliarden Wortpfade aufzeichnen. Leider sind diese riesigen Modelle auch die nützlichsten LLMs.
„Ich glaube nicht, dass es wirklich Hoffnung gibt, die schlechten Arten des Auswendiglernens in diesen Modellen loszuwerden“, sagte Tramèr. „Es würde im Wesentlichen darauf hinauslaufen, sie so weit zu verkrüppeln, dass sie für nichts mehr nützlich sind.“
Dennoch ist es verfrüht, über den bevorstehenden Tod der generativen KI zu sprechen. Das Auswendiglernen lässt sich möglicherweise nicht reparieren, aber es gibt Möglichkeiten, es zu verbergen. Eine davon ist ein Prozess namens „Ausrichtungstraining“.
Es gibt verschiedene Arten von Ausrichtungstraining. Das Wichtigste sieht eher altmodisch aus: Menschen interagieren mit dem LLM und bewerten seine Reaktionen gut oder schlecht, was ihn dazu bringt, bestimmte Verhaltensweisen (z. B. freundlich oder höflich) zu zeigen und sich von anderen (z. B. Obszönitäten und Beleidigungen) abzuwenden. Tramèr sagte mir, dass dies LLMs davon abzuhalten scheint, ihre Trainingsdaten anzugeben. Er war Teil eines Teams, dem es gelang, das Ausrichtungstraining von ChatGPT zu durchbrechen, während es seine Fähigkeit untersuchte, sich Text zu merken, aber er sagte, dass es bei normalen Interaktionen „bemerkenswert gut“ funktioniere. Dennoch sagte er: „Eine Angleichung allein wird dieses Problem nicht vollständig beseitigen.“
Eine weitere mögliche Lösung ist die Retrieval-Augmented-Generierung. RAG ist ein System zum Finden von Antworten auf Fragen in externen Quellen und nicht innerhalb eines Sprachmodells. Ein RAG-fähiger Chatbot kann auf eine Frage antworten, indem er relevante Webseiten abruft, deren Inhalte zusammenfasst und Links bereitstellt. Google Bard beispielsweise bietet am Ende seiner Antworten auf einige Fragen eine Liste mit „zusätzlichen Ressourcen“ an. RAG ist nicht kugelsicher, aber es verringert die Wahrscheinlichkeit, dass ein LLM falsche Informationen gibt (oder „halluziniert“), und es hat den zusätzlichen Vorteil, dass Urheberrechtsverletzungen vermieden werden, da Quellen zitiert werden.
Was vor Gericht passieren wird, hängt möglicherweise stark vom Stand der Technik zu Beginn der Gerichtsverfahren ab. Ich habe mit mehreren Anwälten gesprochen, die mir gesagt haben, dass es unwahrscheinlich ist, dass es eine einzige pauschale Entscheidung darüber geben wird, ob die Schulung generativer KI an urheberrechtlich geschützten Werken eine faire Verwendung ist. Vielmehr werden generative KI-Produkte von Fall zu Fall geprüft und ihre Ergebnisse berücksichtigt. Bei der fairen Nutzung geht es schließlich darum, wie urheberrechtlich geschütztes Material letztendlich ist gebraucht. Beklagte, die nachweisen können, dass ihre LLMs keine gespeicherten Trainingsdaten ausgeben, werden mit der Fair-Use-Verteidigung wahrscheinlich mehr Erfolg haben.
Doch während die Angeklagten darum kämpfen, ihre Chatbots daran zu hindern, gespeicherte Daten weiterzugeben, könnten Autoren, die für ihre Beiträge zu einer Technologie, die ihre Existenz bedroht, weitgehend entschädigt und nicht gedankt werden, das Phänomen in neuen Klagen anführen und neue Eingabeaufforderungen verwenden, die urheberrechtsverletzende Texte produzieren. Wenn neue Angriffe entdeckt werden, „fügt OpenAI diese den Ausrichtungsdaten hinzu oder fügt einige zusätzliche Filter hinzu, um sie zu verhindern“, sagte mir Tramèr. Aber dieser Prozess könne ewig weitergehen, sagte er. Unabhängig von den Abwehrstrategien „scheint es, als ob die Leute immer in der Lage sind, neue Angriffe zu entwickeln, die funktionieren.“