OpenAI, das KI-Forschungsunternehmen hinter ChatGPT, hat ein neues Tool veröffentlicht, um zwischen KI-generiertem und menschengeneriertem Text zu unterscheiden.
Obwohl es unmöglich ist, KI-geschriebenen Text mit 100-prozentiger Genauigkeit zu erkennen, glaubt OpenAI, dass sein neues Tool dazu beitragen kann, falsche Behauptungen zu entkräften, dass Menschen KI-generierte Inhalte geschrieben haben.
In einer Ankündigung sagt OpenAI, dass sein neuer KI-Textklassifizierer die Möglichkeit einschränken kann, automatisierte Fehlinformationskampagnen durchzuführen, KI-Tools für akademischen Betrug zu verwenden und sich mit Chatbots als Menschen auszugeben.
Beim Testen an einer Reihe englischer Texte konnte das Tool in 26 % der Fälle korrekt sagen, ob der Text von KI geschrieben wurde. Aber es wurde auch fälschlicherweise angenommen, dass von Menschen geschriebener Text in 9% der Fälle von KI geschrieben wurde.
OpenAI sagt, dass sein Tool besser funktioniert, je länger der Text ist, weshalb es möglicherweise mindestens 1.000 Zeichen benötigt, um einen Test durchzuführen.
Weitere Einschränkungen des neuen OpenAI-Textklassifizierers sind die folgenden:
- Kann sowohl KI-generierten als auch von Menschen geschriebenen Text falsch kennzeichnen.
- KI-generierter Text kann dem Klassifikator mit geringfügigen Änderungen entgehen.
- Kann mit Texten, die von Kindern geschrieben wurden, und mit Texten, die nicht auf Englisch sind, etwas falsch machen, da sie hauptsächlich mit englischen Inhalten trainiert wurden, die von Erwachsenen geschrieben wurden.
Schauen wir uns in diesem Sinne an, wie es funktioniert.
Verwenden des KI-Textklassifizierers von OpenAI
Der AI Text Classifier von OpenAI ist einfach zu bedienen.
Melden Sie sich an, fügen Sie den Text ein, den Sie testen möchten, und klicken Sie auf die Schaltfläche „Senden“.
Das Tool bewertet die Wahrscheinlichkeit, dass die KI den von Ihnen eingereichten Text generiert hat. Die Ergebnisse reichen von Folgendem:
- Sehr unwahrscheinlich
- Unwahrscheinlich
- Unklar, ob es so ist
- Möglicherweise
- Wahrscheinlich
Ich habe es getestet, indem ich ChatGPT gebeten habe, einen Aufsatz über SEO zu schreiben, und den Text dann wörtlich an den AI Text Classifier übermittelt habe.
Es bewertete den von ChatGPT generierten Aufsatz als möglicherweise von KI generiert, was ein starker, aber unsicherer Indikator ist.
Dieses Ergebnis verdeutlicht die Grenzen des Tools, da es nicht mit hoher Sicherheit sagen konnte, dass der von ChatGPT generierte Text von KI geschrieben wurde.
Durch die Anwendung kleinerer Änderungen, die von Grammarly vorgeschlagen wurden, habe ich die Bewertung von reduziert möglicherweise zu unklar.
OpenAI sagt zu Recht, dass es einfach ist, den Klassifikator zu umgehen. Es soll jedoch nicht der einzige Beweis dafür sein, dass AI etwas geschrieben hat.
In einem FAQ-Bereich unten auf der Seite erklärt OpenAI:
„Unsere beabsichtigte Verwendung für den KI-Textklassifikator besteht darin, das Gespräch über die Unterscheidung zwischen von Menschen geschriebenen und KI-generierten Inhalten zu fördern. Die Ergebnisse können hilfreich sein, sollten aber nicht der einzige Beweis dafür sein, ob ein Dokument mit KI erstellt wurde. Das Modell wird mit von Menschen geschriebenem Text aus einer Vielzahl von Quellen trainiert, die möglicherweise nicht für alle Arten von von Menschen geschriebenem Text repräsentativ sind.“
OpenAI fügt hinzu, dass das Tool nicht gründlich getestet wurde, um Inhalte zu erkennen, die eine Kombination aus KI und von Menschen geschriebenem Text enthalten.
Letztendlich kann der KI-Textklassifizierer eine wertvolle Ressource zum Kennzeichnen von möglicherweise KI-generiertem Text sein, sollte jedoch nicht als endgültiges Maß für die Urteilsfindung verwendet werden.
Beitragsbild: IB Photography/Shutterstock