Google hat kürzlich einen neuen Web-Crawler namens „GoogleOther“ eingeführt, der den Googlebot, seinen primären Suchindex-Crawler, entlasten soll.
Die Hinzufügung dieses neuen Crawlers wird Google letztendlich dabei helfen, seine Crawling-Vorgänge zu optimieren und zu rationalisieren.
Web-Crawler, auch bekannt als Robots oder Spider, entdecken und scannen Websites automatisch.
Der Googlebot ist für den Aufbau des Indexes für die Google-Suche verantwortlich.
GoogleOther ist ein generischer Web-Crawler, der von verschiedenen Produktteams innerhalb von Google verwendet wird, um öffentlich zugängliche Inhalte von Websites abzurufen.
In einem LinkedIn-Beitrag teilt Google Search Analyst Gary Illyes weitere Details mit.
Aufteilung der Verantwortlichkeiten zwischen Googlebot und GoogleOther
Der Hauptzweck des neuen GoogleOther-Crawlers besteht darin, die nicht wesentlichen Aufgaben zu übernehmen, die derzeit vom Googlebot ausgeführt werden.
Dadurch kann sich der Googlebot jetzt ausschließlich auf den Aufbau des von der Google-Suche verwendeten Suchindex konzentrieren.
In der Zwischenzeit übernimmt GoogleOther andere Jobs, wie z. B. Crawls für Forschung und Entwicklung (F&E), die nicht direkt mit der Suchindizierung zusammenhängen.
Illyes erklärt auf LinkedIn:
„Wir haben einen neuen Crawler, GoogleOther, zu unserer Crawler-Liste hinzugefügt, der den Googlebot letztendlich etwas entlasten wird. Dies ist eine No-Op-Änderung für Sie, aber ich denke, es ist trotzdem interessant.
Während wir optimieren, wie und was der Googlebot crawlt, wollten wir sicherstellen, dass die Crawling-Jobs des Googlebot nur intern zum Erstellen des Index verwendet werden, der von der Suche verwendet wird. Dafür haben wir einen neuen Crawler, GoogleOther, hinzugefügt, der einige der anderen Aufgaben des Googlebot ersetzen wird, wie z. B. F&E-Crawls, um etwas Crawling-Kapazität für Googlebot freizugeben.“
GoogleOther erbt die Infrastruktur des Googlebots
GoogleOther nutzt dieselbe Infrastruktur wie Googlebot, was bedeutet, dass es dieselben Einschränkungen und Funktionen besitzt, einschließlich Hostlastbeschränkungen, robots.txt (allerdings mit einem anderen User-Agent-Token), HTTP-Protokollversion und Abrufgröße.
Im Wesentlichen ist GoogleOther ein Googlebot, der unter einem anderen Namen operiert.
Auswirkungen für SEOs und Website-Inhaber
Die Einführung von GoogleOther sollte sich nicht wesentlich auf Websites auswirken, da es mit derselben Infrastruktur und denselben Einschränkungen wie Googlebot arbeitet.
Nichtsdestotrotz ist es eine bemerkenswerte Entwicklung in den laufenden Bemühungen von Google, seine Web-Crawling-Prozesse zu optimieren und zu rationalisieren.
Wenn Sie sich Sorgen um GoogleOther machen, können Sie es auf folgende Weise überwachen:
- Analysieren Sie Serverprotokolle: Serverprotokolle regelmäßig überprüfen, um Anfragen von GoogleOther zu identifizieren. Dies hilft Ihnen zu verstehen, wie oft Ihre Website gecrawlt wird und welche Seiten sie besucht.
- Aktualisieren Sie robots.txt: Stellen Sie sicher, dass Ihre robots.txt-Datei aktualisiert wird, um gegebenenfalls spezifische Regeln für GoogleOther einzuschließen. Dies hilft Ihnen, den Zugriff und das Crawling-Verhalten auf Ihrer Website zu kontrollieren.
- Überwachen Sie die Crawling-Statistiken in der Google Search Console: Behalten Sie die Crawling-Statistiken in der Google Search Console im Auge, um Änderungen der Crawling-Häufigkeit, des Crawling-Budgets oder der Anzahl der indexierten Seiten seit der Einführung von GoogleOther zu beobachten.
- Verfolgen Sie die Leistung der Website: Überwachen Sie regelmäßig die Leistungskennzahlen Ihrer Website, wie z. B. Ladezeiten, Absprungraten und Nutzerinteraktion, um mögliche Korrelationen mit den Crawling-Aktivitäten von GoogleOther zu erkennen. Auf diese Weise können Sie erkennen, ob der neue Crawler unvorhergesehene Probleme auf Ihrer Website verursacht.
Quelle: Google
Beitragsbild: BestForBest/Shutterstock