Microsoft hat ein neues Konversationsmodell zur Beantwortung von Fragen angekündigt, das andere Methoden übertrifft und Fragen schneller und präziser beantwortet und dabei deutlich weniger Ressourcen verbraucht.
Was vorgeschlagen wird, ist eine neue Methode zur Rangfolge von Passagen aus Inhalten mithilfe dessen, was sie Generative Retrieval For Conversational Question Answering nennen und das sie GCoQA nennen.
Die Forscher schreiben, dass die nächste Richtung darin besteht, zu untersuchen, wie es für die allgemeine Websuche verwendet werden kann.
Generative Retrieval für die Beantwortung von Konversationsfragen
Ein autoregressives Sprachmodell sagt voraus, was das nächste Wort oder die nächste Phrase ist.
Dieses Modell verwendet autoregressive Modelle, die „Identifikatorzeichenfolgen“ verwenden, die im Klartext Darstellungen von Passagen in einem Dokument sind.
In dieser Implementierung verwenden sie den Seitentitel (um zu identifizieren, worum es auf der Seite geht) und Abschnittstitel (um zu identifizieren, worum es in einer Textpassage geht).
Das Experiment wurde mit Wikipedia-Daten durchgeführt, bei denen man sich darauf verlassen kann, dass die Seitentitel und Abschnittstitel beschreibend sind.
Sie werden verwendet, um das Thema eines Dokuments und das Thema der in einem Abschnitt des Dokuments enthaltenen Passagen zu identifizieren.
Wenn man es in der realen Welt verwendet, ist es also so, als würde man das Titelelement verwenden, um zu erfahren, worum es auf einer Webseite geht, und die Überschriften, um zu verstehen, worum es in den Abschnitten einer Webseite geht.
Die „Identifikatoren“ sind eine Möglichkeit, all dieses Wissen als Darstellung zu kodieren, die den Passagen auf der Webseite und den Titeln zugeordnet wird.
Die abgerufenen Passagen werden später in ein anderes autoregressives Modell eingefügt, um die Antworten auf Fragen zu generieren.
Generativer Abruf
Für den Abrufteil verwendet das Modell laut Forschungsbericht eine Technik namens „Beam Search“, um Identifikatoren (Darstellungen von Passagen auf der Webseite) zu generieren, die dann in der Reihenfolge der Wahrscheinlichkeit, die Antwort zu sein, geordnet werden.
Die Forscher schreiben:
„…wir nutzen die Strahlsuche… eine häufig verwendete Technik, um mehrere Identifikatoren statt nur einer zu generieren.
Jedem generierten Bezeichner wird eine Sprachmodellbewertung zugewiesen, sodass wir auf der Grundlage dieser Bewertungen eine Rangliste der generierten Bezeichner erhalten können.
Die Ranking-Identifikatoren könnten natürlich einer Rangliste von Passagen entsprechen.“
In der Forschungsarbeit heißt es dann weiter, dass der Prozess als „hierarchische Suche“ angesehen werden könne.
Hierarchisch bedeutet in diesem Szenario, dass die Ergebnisse zuerst nach Seitenthema und dann nach den Passagen innerhalb der Seite (unter Verwendung der Abschnittsüberschriften) geordnet werden.
Sobald diese Passagen abgerufen wurden, generiert ein anderes autoregressives Modell die Antwort basierend auf den abgerufenen Passagen.
Vergleich mit anderen Methoden
Die Forscher fanden heraus, dass GCoQA viele andere häufig verwendete Methoden, mit denen sie es verglichen, übertraf.
Es war nützlich, um Einschränkungen (Engpässe) anderer Methoden zu überwinden.
In vielerlei Hinsicht verspricht dieses neue Modell eine tiefgreifende Veränderung bei der Beantwortung von Gesprächsfragen.
Es verbraucht beispielsweise nur ein Zehntel der Speicherressourcen im Vergleich zu aktuellen Modellen, was einen enormen Effizienzsprung darstellt und zudem schneller ist.
Die Forscher schreiben:
„…es wird bequemer und effizienter, unsere Methode in der Praxis anzuwenden.“
Die Microsoft-Forscher kommen später zu dem Schluss:
„GCoQA profitiert von feinkörnigen Kreuzinteraktionen im Decoder-Modul und könnte sich effektiver um den Konversationskontext kümmern.
Darüber hinaus weist GCoQA in der Praxis einen geringeren Speicherverbrauch und eine höhere Inferenzeffizienz auf.“
Einschränkungen von GCoQA
Es gibt jedoch einige Einschränkungen, die gelöst werden müssen, bevor dieses Modell angewendet werden kann.
Sie fanden heraus, dass GCoQA aufgrund der Verwendung der „Beam Search“-Technik Einschränkungen aufwies, die die Fähigkeit von GCoQA einschränkte, sich an „großräumige Passagen“ zu erinnern.
Auch die Vergrößerung der Strahlgröße half nichts, da sie das Modell verlangsamte.
Eine weitere Einschränkung besteht darin, dass Wikipedia zwar zuverlässig Überschriften sinnvoll verwendet.
Die Verwendung auf Webseiten außerhalb von Wikipedia könnte jedoch dazu führen, dass das Modell auf einen Stolperstein stößt.
Auf vielen Webseiten im Internet gelingt es nicht, mit ihren Abschnittsüberschriften genau anzugeben, worum es in einer Passage geht (was SEOs und Verlage eigentlich tun sollten).
In der Forschungsarbeit wird Folgendes festgestellt:
„Die Generalisierbarkeit von GCoQA ist ein berechtigtes Anliegen.
GCoQA verlässt sich beim Abrufen relevanter Passagen stark auf die semantische Beziehung zwischen der Frage und den Passagen-IDs.
Während GCoQA anhand von drei akademischen Datensätzen evaluiert wurde, bleibt seine Wirksamkeit in realen Szenarien, in denen Fragen oft mehrdeutig sind und es schwierig ist, sie mit den Identifikatoren abzugleichen, ungewiss und erfordert weitere Untersuchungen.“
GCoQA ist eine vielversprechende neue Technologie
Letztendlich stellten die Forscher fest, dass die Leistungssteigerungen ein großer Gewinn seien. Die Einschränkungen müssen überwunden werden.
Das Forschungspapier kommt zu dem Schluss, dass es zwei vielversprechende Bereiche gibt, die weiter erforscht werden müssen:
„(1) Untersuchung des Einsatzes von generativem Retrieval in allgemeineren Websuchszenarien, in denen Identifikatoren nicht direkt aus Titeln verfügbar sind; und (2) Untersuchung der Integration von Passagenabruf und Antwortvorhersage in einem einzigen generativen Modell, um ihre internen Beziehungen besser zu verstehen.“
Wert von GCoQA
Das Forschungspapier (Generative Retrieval for Conversational Question Answering) wurde von einem der Forscher auf GitHub veröffentlicht.
Besuchen Sie diese GitHub-Seite, um den Link zum PDF zu finden.
Wie es manchmal vorkommt, verschwinden Forschungsarbeiten hinter einer Paywall, sodass es keine Garantie dafür gibt, dass sie in Zukunft noch verfügbar sind.
GCoQA wird möglicherweise nicht bald in einer Suchmaschine verfügbar sein.
Der Wert von GCoQA besteht darin, dass es zeigt, wie Forscher daran arbeiten, Möglichkeiten zu finden, generative Modelle zu nutzen, um die Websuche, wie wir sie heute kennen, zu verändern.
Dies könnte eine Vorschau darauf sein, wie die Suchmaschinen der relativ nahen Zukunft aussehen könnten.
Lesen Sie die Ankündigung und die Zusammenfassung des Forschungspapiers:
Generative Retrieval für die Beantwortung von Konversationsfragen
Ausgewähltes Bild von Shutterstock/Sundry Photography