Das Trustworthy Language Model nutzt mehrere Techniken zur Berechnung seiner Bewertungen. Zunächst wird jede an das Tool übermittelte Abfrage an mehrere verschiedene große Sprachmodelle gesendet. Cleanlab verwendet fünf Versionen von DBRX, einem Open-Source-Modell, das von Databricks, einem KI-Unternehmen mit Sitz in San Francisco, entwickelt wurde. (Aber die Technologie funktioniert mit jedem Modell, sagt Northcutt, einschließlich der Llama-Modelle von Meta oder der GPT-Serie von OpenAI, den Modellen hinter ChatpGPT.) Wenn die Antworten jedes dieser Modelle gleich oder ähnlich sind, trägt dies zu einer höheren Punktzahl bei.
Gleichzeitig sendet das Trustworthy Language Model auch Variationen der ursprünglichen Abfrage an jedes der DBRX-Modelle und tauscht Wörter mit derselben Bedeutung ein. Auch hier gilt: Wenn die Antworten auf synonyme Anfragen ähnlich sind, trägt dies zu einer höheren Punktzahl bei. „Wir experimentieren auf unterschiedliche Weise mit ihnen, um unterschiedliche Ergebnisse zu erhalten und zu sehen, ob sie einverstanden sind“, sagt Northcutt.
Das Tool kann auch mehrere Modelle dazu bringen, Antworten aufeinander abzustimmen: „Es ist wie: ‚Hier ist meine Antwort – was denken Sie?‘“ „Nun, hier ist meins – was meinst du?“ Und du lässt sie reden.“ Diese Interaktionen werden überwacht und gemessen und fließen ebenfalls in die Bewertung ein.
Nick McKenna, Informatiker bei Microsoft Research in Cambridge, Großbritannien, der an großen Sprachmodellen zur Codegenerierung arbeitet, ist optimistisch, dass der Ansatz nützlich sein könnte. Aber er bezweifelt, dass es perfekt sein wird. „Eine der Gefahren, die wir bei Modellhalluzinationen sehen, besteht darin, dass sie sich sehr subtil einschleichen können“, sagt er.
In einer Reihe von Tests verschiedener großer Sprachmodelle hat Cleanlab gezeigt, dass seine Vertrauenswürdigkeitswerte gut mit der Genauigkeit der Antworten dieser Modelle korrelieren. Mit anderen Worten: Werte nahe 1 gehen mit richtigen Antworten einher, Werte nahe 0 mit falschen Antworten. In einem anderen Test stellten sie außerdem fest, dass die Verwendung des Trustworthy Language Model mit GPT-4 zuverlässigere Antworten lieferte als die alleinige Verwendung von GPT-4.
Große Sprachmodelle generieren Text, indem sie das wahrscheinlichste nächste Wort in einer Sequenz vorhersagen. In zukünftigen Versionen seines Tools plant Cleanlab, seine Ergebnisse noch genauer zu machen, indem es auf die Wahrscheinlichkeiten zurückgreift, die ein Modell zur Erstellung dieser Vorhersagen verwendet hat. Es möchte auch auf die numerischen Werte zugreifen, die Modelle jedem Wort in ihrem Vokabular zuweisen, um diese Wahrscheinlichkeiten zu berechnen. Diesen Detaillierungsgrad bieten bestimmte Plattformen wie Amazons Bedrock, mit denen Unternehmen große Sprachmodelle ausführen können.
Cleanlab hat seinen Ansatz anhand von Daten der Berkeley Research Group getestet. Das Unternehmen musste in Zehntausenden Unternehmensdokumenten nach Hinweisen auf Compliance-Probleme im Gesundheitswesen suchen. Dies per Hand zu erledigen, kann Wochen mit Fachkräften in Anspruch nehmen. Durch die Überprüfung der Dokumente mithilfe des Trustworthy Language Model konnte die Berkeley Research Group erkennen, bei welchen Dokumenten sich der Chatbot am wenigsten sicher war, und nur diese überprüfen. Dadurch sei der Arbeitsaufwand um rund 80 % reduziert worden, sagt Northcutt.
In einem anderen Test arbeitete Cleanlab mit einer großen Bank zusammen (Northcutt wollte sie nicht nennen, sagte aber, sie sei ein Konkurrent von Goldman Sachs). Ähnlich wie die Berkeley Research Group musste die Bank in rund 100.000 Dokumenten nach Hinweisen auf Versicherungsansprüche suchen. Auch hier reduzierte das Trustworthy Language Model die Anzahl der Dokumente, die manuell überprüft werden mussten, um mehr als die Hälfte.
Das mehrmalige Ausführen jeder Abfrage durch mehrere Modelle dauert länger und kostet viel mehr als das typische Hin und Her mit einem einzelnen Chatbot. Aber Cleanlab präsentiert das Trustworthy Language Model als Premium-Service zur Automatisierung anspruchsvoller Aufgaben, die in der Vergangenheit für große Sprachmodelle tabu gewesen wären. Die Idee besteht nicht darin, bestehende Chatbots zu ersetzen, sondern die Arbeit menschlicher Experten zu übernehmen. Wenn das Tool den Zeitaufwand für die Beschäftigung qualifizierter Wirtschaftswissenschaftler oder Anwälte auf 2.000 US-Dollar pro Stunde verkürzen kann, werden sich die Kosten lohnen, sagt Northcutt.
Langfristig hofft Northcutt, dass seine Technologie durch die Verringerung der Unsicherheit über die Antworten von Chatbots das Versprechen großer Sprachmodelle einem breiteren Benutzerkreis zugänglich machen wird. „Die Halluzinationssache ist kein Problem eines großen Sprachmodells“, sagt er. „Es ist ein Unsicherheitsproblem.“