Google gab bekannt, dass das Tool zur Begrenzung der Crawling-Rate in der Suchkonsole, das am 8. Januar 2024 entfernt werden soll, eingestellt wird, und verwies auf Verbesserungen beim Crawling, die es im Wesentlichen überflüssig gemacht haben.
Tool zur Begrenzung der Crawling-Rate der Search Console
Das Tool zur Begrenzung der Crawling-Rate wurde vor fünfzehn Jahren, im Jahr 2008, in der Search Console eingeführt. Der Zweck des Tools bestand darin, Publishern eine Möglichkeit zu bieten, das Crawling des Googlebots so zu steuern, dass es den Server nicht überlastet.
Es gab eine Zeit, in der es bei einigen Herausgebern zu viel Crawling gab, was dazu führen konnte, dass der Server den Benutzern keine Webseiten bereitstellen konnte.
Genug Leute haben sich darüber beschwert, dass Google das Tool schließlich in der Suchkonsole veröffentlicht hat.
Die Wirkung des Tools bestand darin, Google Daten bereitzustellen. Laut Google dauerte es in der Regel etwa einen Tag, bis Anträge zur Einschränkung des Crawlings in Kraft traten, und blieben 90 Tage lang in Kraft.
Warum Google das Ratenbegrenzer-Tool entfernt
In der Ankündigung heißt es, dass die Crawling-Algorithmen einen Zustand erreicht haben, in dem der Googlebot automatisch erkennen kann, wenn ein Server seine Kapazitätsgrenze erreicht, und sofort Maßnahmen ergreifen kann, um die Crawling-Geschwindigkeit zu verlangsamen.
Darüber hinaus gab Google an, dass das Tool nur selten genutzt wurde und bei der Nutzung die Crawling-Rate grundsätzlich auf die niedrigste Einstellung eingestellt war.
Künftig wird die minimale Crawling-Rate standardmäßig auf einen niedrigeren Wert eingestellt, ähnlich dem, den die Publisher üblicherweise anfordern.
Laut Ankündigung:
„Mit der Abschaffung des Crawling-Limiter-Tools setzen wir auch die minimale Crawling-Geschwindigkeit auf einen niedrigeren Wert, vergleichbar mit den alten Crawling-Raten-Grenzwerten.
Das bedeutet, dass wir die Einstellungen, die einige Websitebesitzer in der Vergangenheit festgelegt haben, effektiv weiterhin berücksichtigen, wenn das Suchinteresse gering ist, und unsere Crawler nicht die Bandbreite der Website verschwenden.“
Die Search Console weniger komplex machen
Durch das Entfernen des Tools wird die Verwendung der Suchkonsole einfacher, da sie weniger mit Tools überladen ist, die selten verwendet werden.
Dies wiederum sollte das Benutzererlebnis für die Suchkonsole verbessern.
Publisher, die weiterhin Probleme mit der Crawling-Rate des Googlebot haben, können weiterhin das Googlebot-Berichtsformular verwenden, um Feedback an Google zu senden.
Lesen Sie die offizielle Ankündigung von Google:
Bevorstehende Einstellung des Crawl Rate Limiter Tools in der Search Console
Ausgewähltes Bild von Shutterstock/Salarko