„Diese Arbeit macht einen wichtigen Schritt in die richtige Richtung“, sagt Douwe Kiela, Forscher bei Hugging Face, einem KI-Unternehmen, das an Open-Source-Sprachmodellen arbeitet. Er schlägt vor, dass der Feedback-gesteuerte Trainingsprozess über viele Runden wiederholt werden könnte, um das Modell noch weiter zu verbessern. Laut Leike könnte OpenAI dies tun, indem es auf Kundenfeedback aufbaut.
InstructGPT macht immer noch einfache Fehler und produziert manchmal irrelevante oder unsinnige Antworten. Wenn zum Beispiel eine Eingabeaufforderung gegeben wird, die eine Unwahrheit enthält, wird diese Unwahrheit als wahr angesehen. Und weil es darauf trainiert wurde, das zu tun, was die Leute verlangen, wird InstructGPT weitaus giftigere Sprache produzieren als GPT-3, wenn es dazu angewiesen wird.
Ehud Reiter, der an der Universität von Aberdeen, Großbritannien, an KI zur Textgenerierung arbeitet, begrüßt jede Technik, die die Menge an Fehlinformationen reduziert, die Sprachmodelle produzieren. Er merkt jedoch an, dass für einige Anwendungen, wie z. B. KI, die medizinische Ratschläge gibt, keine Unwahrheit akzeptabel ist. Reiter stellt in Frage, ob große Sprachmodelle, basierend auf neuronalen Black-Box-Netzen, jemals die Sicherheit der Benutzer garantieren könnten. Aus diesem Grund bevorzugt er eine Mischung aus neuronalen Netzen und symbolischer KI, fest codierte Regeln beschränken, was ein Modell sagen kann und was nicht.
Unabhängig vom Ansatz bleibt noch viel zu tun. „Wir sind noch nicht einmal annähernd an der Lösung dieses Problems“, sagt Kiela.