Tag: GoogleExtendedCrawlerDokumentation

Google hat kürzlich die Dokumentation seines Google-Extended-Webcrawler-Benutzeragenten aktualisiert, um Änderungen in der Produktbenennung widerzuspiegeln und die Auswirkungen auf die Suche klarzustellen, die für diejenigen, die sich für die Blockierung des Crawlers entscheiden, ein Problem darstellen können. Die aktualisierte Dokumentation bietet klarere Anleitungen zur Steuerung des Inhaltszugriffs zur Verwendung im KI-Modelltraining.

Von Google erweiterter Benutzeragent

Google-Extended wurde am 28. September 2023 eingeführt und bietet Web-Publishern einen User-Agent, mit dem sie steuern können, wie ihre Websites gecrawlt werden. Herausgeber können den Google-Extended-Benutzeragenten