Tag: CrawlerDokumentation
Die Google Crawler-Dokumentation enthält eine neue IP-Liste
Google hat seine Googlebot- und Crawler-Dokumentation aktualisiert, um eine Reihe von IPs für Bots hinzuzufügen, die von Nutzern von Google-Produkten ausgelöst werden. Die Namen der Feeds wurden geändert, was für Publisher wichtig ist, die von Google kontrollierte IP-Adressen auf die Whitelist setzen. Die Änderung wird für Publisher nützlich sein, die Scraper blockieren möchten, die die Cloud von Google nutzen, und andere Crawler, die nicht direkt mit Google selbst verbunden sind.
Neue Liste von IP-Adressen
Google gibt an, dass die Liste
Google aktualisiert die Crawler-Dokumentation, um einen Tippfehler zu beheben
Google hat einen Tippfehler in der Crawler-Dokumentation behoben, der dazu geführt hat, dass einer seiner Crawler versehentlich falsch identifiziert wurde.
Im Allgemeinen ist dies ein kleines Problem, aber es ist ein großes Problem für SEOs und Publisher, die auf die Dokumentation angewiesen sind, um Firewall-Regeln festzulegen.
Wenn die korrekten Daten nicht angegeben werden, kann dies dazu führen, dass eine Website versehentlich einen legitimen Google-Crawler blockiert.
Google-Inspektionstool
Der Tippfehler befindet sich im Abschnitt der Dokumentation zum Google Inspection Tool.
Hierbei handelt