Google hat kürzlich die Dokumentation seines Google-Extended-Webcrawler-Benutzeragenten aktualisiert, um Änderungen in der Produktbenennung widerzuspiegeln und die Auswirkungen auf die Suche klarzustellen, die für diejenigen, die sich für die Blockierung des Crawlers entscheiden, ein Problem darstellen können. Die aktualisierte Dokumentation bietet klarere Anleitungen zur Steuerung des Inhaltszugriffs zur Verwendung im KI-Modelltraining.
Von Google erweiterter Benutzeragent
Google-Extended wurde am 28. September 2023 eingeführt und bietet Web-Publishern einen User-Agent, mit dem sie steuern können, wie ihre Websites gecrawlt werden. Herausgeber können den Google-Extended-Benutzeragenten mithilfe des Robots Exclusion Protocol zulassen oder verbieten, was ihnen die Möglichkeit gibt, das Scraping ihrer Inhalte und die Aufnahme in KI-Trainingsdatensätze abzulehnen.
Google beschreibt Google-Extended als „eigenständiges Produkt-Token“, aber das ist keine Standardterminologie dafür, wie Publisher das Konzept von User Agents verstehen.
Die ursprüngliche Ankündigung beschrieb den neuen Benutzeragenten wie folgt:
„Heute kündigen wir Google-Extended an, eine neue Kontrolle, mit der Web-Publisher verwalten können, ob ihre Websites zur Verbesserung der generativen APIs von Bard und Vertex AI beitragen, einschließlich zukünftiger Generationen von Modellen, die diese Produkte unterstützen.
Durch die Verwendung von Google-Extended zur Steuerung des Zugriffs auf Inhalte auf einer Website kann ein Website-Administrator entscheiden, ob er diesen KI-Modellen helfen möchte, mit der Zeit genauer und leistungsfähiger zu werden.“
Das Blockieren von Google-Extended erfolgt mit dem User Agent „Google-Extended“:
User-agent: Google-Extended Disallow: /
Google Changelog
Google führt ein Änderungsprotokoll über wichtige Aktualisierungen der Anleitung und Kommunikation mit Web-Publishern und der Suchmaschinenmarketing-Community. Im Changelog der Google-Entwicklerseiten wurde eine Änderung der Google-Extended-Dokumentation angekündigt.
Die Überarbeitung erfolgt nach der Umbenennung von Bard in Gemini Apps und legt fest, dass die Indexierung von Google-Extended nun zu den generativen APIs von Gemini Apps und Vertex AI beiträgt. Der neue Wortlaut versichert den Verlagen, dass dies keine Auswirkungen auf die Google-Suche hat, und berücksichtigt potenzielle Bedenken hinsichtlich der möglichen Auswirkungen einer Ablehnung der erweiterten KI-Datenerfassung durch Google.
Was hat sich geändert?
Im Änderungsprotokoll von Google wird klargestellt, dass Google-Extended Crawling ausschließlich Gemini Apps vorbehalten ist und keine Auswirkungen auf die Google-Suche hat.
Das Changelog empfiehlt:
„Die Beschreibung des Google-Extended-Produkt-Tokens wurde aktualisiert
Was: Mit der Namensänderung von Bard in Gemini Apps haben wir klargestellt, dass Gemini Apps von Google-Extended betroffen ist, und basierend auf dem Feedback des Herausgebers haben wir angegeben, dass Google-Extended keine Auswirkungen auf die Google-Suche hat.“
In der aktualisierten Anleitung wird der Markenname Bard nicht mehr verwendet, sondern auf Gemini umgestellt. Und folgender Satz wurde hinzugefügt:
„Google-Extended hat keinen Einfluss auf die Aufnahme oder das Ranking einer Website in der Google-Suche.“
Lesen Sie die aktualisierte Crawler-Übersicht von Google:
Übersicht über Google Crawler und Fetcher (User Agents)
Ausgewähltes Bild von Shutterstock/Ribkhan