Google hat die Liste seiner offiziellen Crawler aktualisiert, indem es den Namen und die Informationen für einen relativ unbekannten Crawler hinzugefügt hat, den Publisher hin und wieder gesehen haben, für den es jedoch zuvor keine Dokumentation gab.
Obwohl Google eine offizielle Dokumentation für diesen Crawler hinzugefügt hat, scheinen die bereitgestellten Informationen zu einer weiteren Klärung anzuregen.
Sonderfall-Crawler
Google verfügt über verschiedene Arten von Crawlern (auch bekannt als Bots und Spiders).
Die verschiedenen Formen von Crawlern sind:
- Gewöhnliche Crawler
Diese Bots werden hauptsächlich zur Indizierung verschiedener Arten von Inhalten verwendet. Einige gängige Crawler werden jedoch auch für Suchtesttools, die interne Verwendung durch das Google-Produktteam und das Crawlen im Zusammenhang mit KI verwendet. - Vom Benutzer ausgelöste Abrufe
Dabei handelt es sich um Bots, die von Benutzern ausgelöst werden. Dazu gehören Verwendungszwecke wie das Abrufen von Feeds oder die Website-Verifizierung. - Spezial-Crawler
Dies gilt für Sonderfälle wie die Qualitätsprüfung von Webseiten für mobile Anzeigen oder für Push-Benachrichtigungen über Google APIs. Diese Bots befolgen nicht die globalen Benutzeragentenanweisungen in robots.txt, die mit einem Sternchen gekennzeichnet sind
.
Die neue Crawler-Dokumentation ist für den Google-Safety User Agent. Der Crawler ist nicht neu, aber die Dokumentation ist neu.
Google-Sicherheitscrawler
Die Dokumentation im Special-Case-Crawler Google-Safety-Crawler wird von den Google-Prozessen zum Auffinden von Malware verwendet.
Der Google-Safety Crawler ist einzigartig unter den Spezial-Crawlern und ignoriert alle robots.txt-Anweisungen vollständig.
Die neue Dokumentation zum Google-Safety Crawler:
„Der Google-Safety-Benutzeragent kümmert sich um missbrauchsspezifisches Crawling, beispielsweise um die Malware-Erkennung für öffentlich gepostete Links auf Google-Websites.
Dieser Benutzeragent ignoriert die robots.txt-Regeln.“
"Google-Safety"
Die vollständige Agentenzeichenfolge für den Crawler:
Lesen Sie die neue Dokumentation für den Google-Safety-Benutzeragenten auf der Google Search Central-Seite für Crawler im Abschnitt zu Spezial-Crawlern.
Übersicht über Google-Crawler und Fetcher (Benutzeragenten) – Sonderfall-Crawler