Brave kündigte seine neue datenschutzorientierte KI-Suchmaschine namens Answer with AI an, die mit einem eigenen Suchindex von Milliarden von Websites arbeitet. Ihre aktuelle Suchmaschine bedient bereits 10 Milliarden Suchanfragen pro Jahr, was bedeutet, dass die KI-gestützte Suchmaschine von Brave mittlerweile eine der größten KI-Suchmaschinen im Internet ist.
Viele in der Suchmaschinenmarketing- und E-Commerce-Community haben aufgrund von KI-Suchmaschinen Bedenken hinsichtlich der Zukunft des Webs geäußert. Die KI-Suchmaschine von Brave zeigt weiterhin Links an und, was am wichtigsten ist, beantwortet kommerzielle oder transaktionale Anfragen nicht standardmäßig mit KI, was für SEOs und Online-Unternehmen eine gute Nachricht sein dürfte. Brave schätzt das Web-Ökosystem und wird die Besuchsmuster von Websites überwachen.
Search Engine Journal sprach mit Josep M. Pujol, Chief of Search bei Brave, der Fragen zum Suchindex und zur Funktionsweise mit KI beantwortete und vor allem mitteilte, was SEOs und Geschäftsinhaber wissen müssen, um ihre Rankings zu verbessern.
Antwort mit KI wird von Brave unterstützt
Im Gegensatz zu anderen KI-Suchlösungen basiert die KI-Suchmaschine von Brave vollständig auf einem eigenen Suchindex gecrawlter und bewerteter Websites. Die gesamte zugrunde liegende Technologie, vom Suchindex über die Large Language Models (LLMs) bis hin zur Retrieval Augmented Generation (RAG)-Technologie, wurde von Brave entwickelt. Dies ist vor allem unter dem Gesichtspunkt des Datenschutzes von Vorteil und macht die Brave-Suchergebnisse einzigartig, was sie noch weiter von anderen Me-too-Suchmaschinenalternativen unterscheidet.
Suchtechnologie
Die Suchmaschine selbst wird komplett intern erstellt. Laut Josep M. Pujol, Suchchef bei Brave:
„Wir haben Abfragezeitzugriff auf alle unsere Indizes, mehr als 20 Milliarden Seiten, was bedeutet, dass wir beliebige Informationen in Echtzeit extrahieren (Schemata, Tabellen, Snippets, Beschreibungen usw.). Außerdem gehen wir sehr detailliert vor, welche Daten verwendet werden sollen, von ganzen Absätzen oder Texten auf einer Seite bis hin zu einzelnen Sätzen oder Zeilen in einer Tabelle.
Da uns eine komplette Suchmaschine zur Verfügung steht, steht nicht das Auffinden, sondern die Auswahl und das Ranking im Vordergrund. Darüber hinaus haben wir für die Seiten in unserem Index Zugriff auf dieselben Informationen, die für das Ranking verwendet werden, wie z. B. Bewertungen, Beliebtheit usw. Dies ist von entscheidender Bedeutung, um bei der Auswahl relevanterer Quellen zu helfen.“
Retrieval Augmented Generation (RAG)
Die Funktionsweise der Suchmaschine besteht darin, dass sie über einen Suchindex und große Sprachmodelle sowie dazwischenliegende RAG-Technologie (Retrieval Augmented Generation) verfügt, die dafür sorgt, dass die Antworten aktuell und faktenbasiert bleiben. Ich fragte nach RAG und Josep bestätigte, dass es so funktioniert.
Er antwortete:
„Sie haben Recht, dass unsere neue Funktion RAG verwendet. Tatsächlich haben wir diese Technik bereits bei unserer vorherigen Summarizer-Funktion verwendet, die im März 2023 veröffentlicht wurde. Bei dieser neuen Funktion erweitern wir jedoch sowohl die Quantität als auch die Qualität der im Inhalt der Eingabeaufforderung verwendeten Daten. ”
Große Sprachmodelle verwendet
Ich fragte nach den Sprachmodellen, die in der neuen KI-Suchmaschine verwendet werden, und wie sie eingesetzt werden.
„Modelle werden auf AWS p4-Instanzen mit VLLM bereitgestellt.
Als Haupt-LLM-Modell verwenden wir eine Kombination aus Mixtral 8x7B und Mistral 7B.
Wir führen jedoch auch mehrere individuell trainierte Transformatormodelle für Hilfsaufgaben wie semantisches Matching und Fragebeantwortung aus. Diese Modelle sind aufgrund strenger Latenzanforderungen (10–20 ms) viel kleiner.
Diese Hilfsaufgaben sind für unsere Funktion von entscheidender Bedeutung, da sie die Auswahl der Daten vornehmen, die letztendlich in der endgültigen LLM-Eingabeaufforderung angezeigt werden. Bei diesen Daten kann es sich um abfrageabhängige Textausschnitte, Schemata, Tabellendaten oder interne strukturierte Daten handeln, die aus unseren Rich Snippets stammen. Es geht nicht darum, viele Daten abrufen zu können, sondern darum, die Kandidaten auszuwählen, die dem Eingabeaufforderungskontext hinzugefügt werden sollen.
Beispielsweise verarbeitet die Abfrage „Präsidenten Frankreichs nach Partei“ 220 KB Rohdaten, einschließlich 462 Zeilen, die aus 47 Tabellen und 7 Schemata ausgewählt wurden. Die Eingabeaufforderungsgröße beträgt etwa 6500 Token und die endgültige Antwort beträgt lediglich 876 Bytes.
Kurz gesagt könnte man sagen, dass wir mit „Answer with AI“ von 20 Milliarden Seiten auf ein paar tausend Token kommen.“
Wie KI mit lokalen Suchergebnissen funktioniert
Als nächstes fragte ich, wie die neue Suchmaschine die lokale Suche aufzeigen wird. Ich habe Josep gefragt, ob er einige Szenarien und Beispielanfragen mitteilen könnte, bei denen die KI-Antwortmaschine lokale Unternehmen aufdecken wird. Wenn ich zum Beispiel nach den besten Burgern in San Francisco frage, stellt die KI-Antwortmaschine dann eine Antwort darauf bereit und verlinkt darauf? Wird dies für Leute nützlich sein, die Geschäfts- oder Urlaubsreisepläne planen?
Josep antwortete:
„Der Brave Search-Index verfügt über mehr als 1 Milliarde standortbasierte Schemata, aus denen wir mehr als 100 Millionen Unternehmen und andere Points of Interest extrahieren können.
Answer with AI ist ein Überbegriff für Suche + LLMs + mehrere spezialisierte Modelle und Dienste für maschinelles Lernen zum Abrufen, Einordnen, Bereinigen, Kombinieren und Darstellen von Informationen. Wir erwähnen dies, weil LLMs nicht alle Entscheidungen treffen. Derzeit nutzen wir sie hauptsächlich zur Synthese unstrukturierter und strukturierter Informationen, was sowohl im Offline-Betrieb als auch im Abfragebetrieb geschieht.
Manchmal fühlt sich das Endergebnis sehr LLM-beeinflusst an (das ist der Fall, wenn wir glauben, dass die Antwort auf die Benutzerfrage ein einzelner Point of Interest ist, z. B. „Checkin Faro Cuisine“, und manchmal ist ihre Arbeit subtiler (z. B. „Beste Burger“) sf“), das Erstellen einer Geschäftsbeschreibung über verschiedene Webreferenzen hinweg oder das Konsolidieren einer Kategorie für das Unternehmen in einer konsistenten Taxonomie.“
Tipps für ein gutes Ranking
Als nächstes fragte ich, ob die Verwendung strukturierter Daten von Schema.org nützlich sei, um einer Website zu einem besseren Ranking in Brave zu verhelfen, und ob er weitere Tipps für SEO und Online-Unternehmen hätte.
Er antwortete:
„Auf jeden Fall legen wir besonderen Wert auf strukturierte Daten von schema.org, wenn wir den Kontext der LLM-Eingabeaufforderung erstellen. Am besten verfügen Sie über strukturierte Daten über Ihr Unternehmen (Standardschemata von schema.org). Je umfassender diese Schemata sind, desto genauer wird die Antwort sein.
Allerdings kann unsere Antwort mit KI auch Daten über das Unternehmen anzeigen, die nicht in diesen Schemata enthalten sind. Es ist jedoch immer ratsam, Informationen in verschiedenen Formaten zu wiederholen.
Einige Unternehmen verlassen sich für ihre Geschäftsinformationen nur auf Aggregatoren (Yelp, Tripadvisor, Gelbe Seiten). Das Hinzufügen von Schemata zur Unternehmenswebsite bietet Vorteile, selbst wenn sie nur zum Crawlen von Bots dienen.“
Pläne für die KI-Suche im Brave Browser
Brave teilte mit, dass sie irgendwann in naher Zukunft die neue KI-Suchfunktion direkt in den Brave Browser integrieren werden.
Josep erklärte:
„Wir planen, die KI-Antwort-Engine sehr bald in Brave Leo (den im Brave-Browser eingebetteten KI-Assistenten) zu integrieren. Benutzer haben die Möglichkeit, die Antwort an Leo zu senden und die Sitzung dort fortzusetzen.“
Andere Fakten
In der Ankündigung von Brave wurden auch diese Fakten über die neue Suchmaschine geteilt:
„Die generativen Antworten von Brave Search bestehen nicht nur aus Text. Die tiefe Integration zwischen Index und Modell ermöglicht es uns, online kontextbezogene Anreicherungen benannter Entitäten zu kombinieren (ein Prozess, der einer Person, einem Ort oder einer Sache mehr Kontext hinzufügt), während die Antwort generiert wird. Das bedeutet, dass Antworten generativen Text mit anderen Medientypen kombinieren, einschließlich Informationskarten und Bildern.
Die Antwortmaschine von Brave Search kann sogar Daten aus dem Index und geo-lokalen Ergebnissen kombinieren, um umfassende Informationen zu interessanten Punkten bereitzustellen. Bis heute verfügt der Brave Search-Index über mehr als 1 Milliarde standortbasierte Schemata, aus denen wir mehr als 100 Millionen Unternehmen und andere Points of Interest extrahieren können. Diese Auflistungen – größer als jeder öffentliche Datensatz – bedeuten, dass die Antwortmaschine umfassende, sofortige Ergebnisse für Sehenswürdigkeiten auf der ganzen Welt liefern kann.“
Probieren Sie die neue KI-Suche unter http://search.brave.com/ aus.