Das Meta-Team hinter Galactica argumentiert, dass Sprachmodelle besser sind als Suchmaschinen. „Wir glauben, dass dies die nächste Schnittstelle dafür sein wird, wie Menschen auf wissenschaftliche Erkenntnisse zugreifen“, schreiben die Forscher.
Dies liegt daran, dass Sprachmodelle Informationen „potentiell speichern, kombinieren und über sie nachdenken“ können. Aber das „möglicherweise“ ist entscheidend. Es ist ein verschlüsseltes Eingeständnis, dass Sprachmodelle all das noch nicht können. Und sie werden es vielleicht nie können.
„Sprachmodelle sind nicht wirklich kenntnisreich, abgesehen von ihrer Fähigkeit, Muster von Wortfolgen zu erfassen und sie probabilistisch auszuspucken“, sagt Shah. “Es vermittelt ein falsches Gefühl von Intelligenz.”
Gary Marcus, Kognitionswissenschaftler an der New York University und lautstarker Kritiker von Deep Learning, äußerte sich in einem Substack-Beitrag mit dem Titel „A Few Words About Bullshit“ und sagte, dass die Fähigkeit großer Sprachmodelle, von Menschen geschriebenen Text nachzuahmen, nichts sei mehr als „eine Statistik der Superlative“.
Und doch ist Meta nicht das einzige Unternehmen, das sich für die Idee einsetzt, dass Sprachmodelle Suchmaschinen ersetzen könnten. In den letzten Jahren hat Google sein Sprachmodell PaLM beworben, um Informationen nachzuschlagen.
Es ist eine verlockende Idee. Aber zu behaupten, dass der menschenähnliche Text, den solche Modelle generieren, immer vertrauenswürdige Informationen enthalten wird, wie es Meta anscheinend bei seiner Werbung für die Galactica tat, ist leichtsinnig und unverantwortlich. Es war ein unerzwungener Fehler.