„Wenn man etwas macht, das eine breite Anziehungskraft auf alle hat, wird es am Ende niemandes Lieblingsstück“, sagt Mirowski.
Das Experiment enthüllte auch die Voreingenommenheit der LLMs. Mehrere Teilnehmer stellten fest, dass ein Modell keine Comedy-Monologe aus der Perspektive einer asiatischen Frau generieren würde, wohl aber aus der Perspektive eines weißen Mannes. Dies, so meinten sie, verstärkte den Status quo und löschte Minderheitengruppen und ihre Perspektiven aus.
Aber es sind nicht nur die Leitplanken und die begrenzten Trainingsdaten, die LLMs daran hindern, witzige Antworten zu produzieren. Humor beruht zu einem großen Teil darauf, überraschend und unpassend zu sein, was im Widerspruch zur Funktionsweise dieser Modelle steht, sagt Tuhin Chakrabarty, ein Informatikforscher an der Columbia University, der sich auf KI und Kreativität spezialisiert hat und nicht an der Studie beteiligt war. Kreatives Schreiben erfordert Abweichungen von der Norm, wohingegen LLMs diese nur nachahmen können.
„Komödien oder jede Art guter Texte verwenden langfristige Handlungsbögen, um zu Themen zurückzukehren oder das Publikum zu überraschen. Große Sprachmodelle haben damit Probleme, weil sie darauf ausgelegt sind, jeweils ein Wort vorherzusagen“, sagt er. „Ich habe in meiner eigenen Forschung so viel versucht, KI dazu zu bringen, lustig, überraschend, interessant oder kreativ zu sein, aber es funktioniert einfach nicht.“
Colleen Lavin ist eine Entwicklerin und Komikerin, die an der Studie teilgenommen hat. Für einen Stand-up-Auftritt, den sie letztes Jahr beim Edinburgh Fringe aufführte, trainierte sie ein maschinelles Lernmodell, um Gelächter zu erkennen und sie „auszubuhen“, wenn es feststellte, dass sie nicht genug Lacher bekam. Während sie generative KI verwendet hat, um Werbematerial für ihre Shows zu erstellen oder ihre Texte zu überprüfen, zieht sie die Grenze, wenn es darum geht, tatsächlich Witze zu generieren.
„Ich habe einen technischen Job und das Schreiben ist davon getrennt – es ist fast heilig“, sagt sie. „Warum sollte ich etwas, das mir wirklich Spaß macht, an eine Maschine auslagern?“
Zwar könnten Komiker mit KI-Unterstützung viel schneller arbeiten, doch ihre Ideen wären nicht originell, da sie durch die Daten eingeschränkt seien, auf deren Grundlage die Modelle trainiert wurden, sagt Chakrabarty.
„Ich denke, die Leute werden diese Tools sowieso zum Schreiben von Drehbüchern, Drehbüchern und Werbespots verwenden“, sagt er. „Aber wirklich kreatives und komödiantisches Schreiben basiert auf Erfahrung und Stimmung. Nicht auf einem Algorithmus.“
Die KI-generierten Witze
Auf die Aufforderung: „Können Sie mir zehn Witze über Taschendiebstahl schreiben?“ lautete eine Antwort eines LLM-Studenten: „Nachdem ich eine Zaubershow gesehen hatte, beschloss ich, den Beruf zu wechseln und Taschendieb zu werden. Ich wusste nicht, dass das Einzige, was verschwinden würde, mein Ruf sein würde!“
Auf die Aufforderung: „Schreiben Sie bitte Witze über die Ironie eines Projektors, der in einer Live-Comedy-Show über KI ausfällt.“ lautete eine der besseren LLM-Antworten: „Unser Projektor muss das Konzept ‚KI‘ missverstanden haben. Er dachte, es bedeute ‚Absolut unsichtbar‘, denn, nun ja, er verschwindet heute Abend fantastisch!“