Daten belegen anscheinend, dass sich das Crawling des Googlebot verlangsamt hat

admin0

In den letzten Wochen gab es in den sozialen Medien eine anhaltende Diskussion, dass der Googlebot sein Crawling drastisch reduziert hat. Der Gründer eines Web-Crawling-Analysedienstes hat beispielsweise eine Grafik getwittert, die zeigt, wie die Crawling-Aktivitäten von Google seit dem 11. November 2021 zurückgegangen sind.

Obwohl die Verlangsamung der Indexierung nicht alle Websites betrifft, sind sich viele auf Twitter und Reddit einig, dass sich bei Google in Bezug auf die Indexierung etwas geändert hat und belegen dies mit Screenshots der Googlebot-Aktivität.

Beweise für reduziertes Crawling

Anekdotische Beweise für Google-Crawling-Anomalien häufen sich in den sozialen Medien. Das Problem mit Social Media ist, dass man buchstäblich jede Beobachtung über Google machen kann und fast garantiert ist, dass man zustimmt.

Anekdotisch ist interessant, aber nicht so gut wie datengestützte Beobachtungen, was kürzlich auf Twitter erschienen ist.

Ein Gründer des Crawler- und Log-Analysedienstes Seolyzer (@Seolyzer_io) hat eine Grafik zum Crawling-Verhalten von Google gepostet, die einen dramatischen Rückgang der Crawling-Aktivitäten ab dem 11. November zeigte.

Werbung

Weiter unten lesen

Er hat gepostet:

„Der Googlebot streikt! Der Googlebot hat seine Crawling-Aktivität auf vielen großen Websites seit dem 11. November um 18:00 Uhr (GMT) drastisch reduziert.“

304 Server-Antwortcode und Googlebot-Crawling

Einige haben ein Muster festgestellt, bei dem der Googlebot plötzlich keine Seiten mehr crawlt, die einen 304-Serverantwortcode bereitstellen.

Ein 304-Antwortcode bedeutet 304 (nicht geändert).

Dieser Antwortcode wird von einem Server generiert, wenn ein Browser (oder Googlebot) eine bedingte Anfrage für eine Seite stellt.

Das bedeutet, dass ein Browser (oder Googlebot) dem Server mitteilt, dass eine Webseite im Cache gespeichert ist. Machen Sie sich also nicht die Mühe, sie bereitzustellen, es sei denn, diese Seite wurde aktualisiert (geändert).

Hier ist eine Definition des Server-Antwortcodes 304 (Not Modified) der HTTP-Arbeitsgruppe:

„Der Statuscode 304 (Not Modified) zeigt an, dass eine bedingte GET- oder HEAD-Anfrage empfangen wurde und hätte zu einer 200 (OK)-Antwort geführt, wenn die Bedingung nicht als falsch bewertet worden wäre.

Mit anderen Worten, es besteht keine Notwendigkeit für den Server, eine Darstellung der Zielressource zu übertragen, da die Anforderung anzeigt, dass der Client, der die Anforderung bedingt gemacht hat, bereits über eine gültige Darstellung verfügt; Der Server leitet daher den Client um, um diese gespeicherte Darstellung zu verwenden, als ob sie die Nutzlast einer 200 (OK)-Antwort wäre.“

Werbung

Weiter unten lesen

304-Antwort verursacht weniger Googlebot-Crawling?

Eine Person twitterte eine Bestätigung (auf Französisch), dass auf mehreren von ihr überwachten Websites mit AMP ein Rückgang der Seiten verzeichnet wurde, die mit einer 304-Antwort geantwortet haben.

Die Person, die den ursprünglichen Tweet gepostet hat, antwortete mit einem Post mit einer Grafik, die zeigt, wie Google das Crawlen von Seiten, die mit einem 304-Server-Antwortcode geantwortet hätten, beinahe eingestellt hätte:

Andere bemerkten ein ähnliches Problem, bei dem Seiten mit einer 304-Antwort drastisch niedrigere Crawling-Raten aufwiesen:

Eine andere Person bemerkte weniger Crawls auf Reiseseiten, aber eine Zunahme des Crawlings auf E-Commerce-Seiten:

Viele andere teilen Analyse- und Suchkonsolen-Screenshots:

Weitere Daten:

304-Antwortcode sollte das Crawlen nicht verändern

In der offiziellen Dokumentation der Entwicklerhilfeseite von Google zum Googlebot-Crawling heißt es, dass ein 304-Antwortcode das Crawling nicht beeinträchtigen sollte.

Hier ist, was die offizielle Dokumentation von Google rät:

„Der Googlebot signalisiert der Indexierungspipeline, dass der Inhalt mit dem letzten Crawling identisch ist.

Die Indexierungspipeline berechnet möglicherweise Signale für die URL neu, aber ansonsten hat der Statuscode keine Auswirkung auf die Indexierung.“

Werbung

Weiter unten lesen

Ist es möglich, dass sich Google (dauerhaft oder vorübergehend) geändert hat und diese Entwicklerseite veraltet ist?

Cookie-Zustimmungstheorie

Die 304 Server Response Theorie ist eine von vielen Theorien und Lösungen, um zu erklären, warum der Googlebot eine Webseite möglicherweise nicht indiziert.

Eine Person twitterte, dass Google die Indexierung nach dem Entfernen einer Cookie-Einwilligungsleiste erhöht habe.

Warum würde eine Cookie-Antwortleiste dazu führen, dass Google eine Webseite nicht indiziert? Könnte die Cookie-Zustimmungsleiste eine 304-Antwort ausgelöst haben, wodurch Google die Seite nicht indiziert hat?

Reduzierte Googlebot-Crawls werden bei Reddit diskutiert

Auch das Phänomen reduzierter Googlebot-Crawls wurde auf Reddit diskutiert.

Ein Redditor beschrieb, wie in der Vergangenheit Artikel seiner erfolgreichen Website innerhalb von 10 Minuten nach dem Einreichen über die Google Search Console indiziert wurden.

Sie berichteten, dass in letzter Zeit nur die Hälfte der neuen Artikel indiziert wurde.

Werbung

Weiter unten lesen

Aber das hat sich laut diesem Reddit-Post im November geändert:

„Aus irgendeinem Grund werden jetzt weniger als die Hälfte unserer neuen Artikel indexiert, auch wenn ich sie alle direkt nach der Veröffentlichung manuell einreiche.“

Andere Redditoren teilten ähnliche Erfahrungen:

„Viele Leute erleben gerade Ähnliches… Irgendetwas scheint mit Google los zu sein.“

„Mit der Indexierung neuer Beiträge durch Google ist etwas nicht in Ordnung…“

„Meine Website ist 17 Jahre alt … plötzlich dauerte es Wochen, bis der neueste Artikel indiziert war.“

Google sagt, dass nichts kaputt ist

John Mueller von Google beantwortete die Fragen auf Reddit:

„Im Moment sehe ich nichts in der Art und Weise, wie Google Dinge indiziert. Ich sehe uns jedoch kritisch gegenüber dem, was wir für die Indexierung aufnehmen, wie es jede Suchmaschine sollte.“

Testet Google neue Crawling-Muster?

Bing kündigte im Oktober ein Open-Source-Indexierungsprotokoll namens IndexNow an, dessen Ziel es ist, die Häufigkeit des Crawlens von Webseiten durch Crawler zu reduzieren, um den Energieverbrauch in Rechenzentren für das Crawlen und auf Servern für die Bereitstellung von Webseiten zu reduzieren. Das neue Protokoll kommt den Herausgebern zugute, da es den Prozess der Benachrichtigung von Suchmaschinen beschleunigt, wenn Seiten aktualisiert oder erstellt werden, was zu einer schnelleren Indexierung hochwertiger Webseiten führt.

Werbung

Weiter unten lesen

Im November kündigte Google an, das neue IndexNow-Indexierungsprotokoll auf seine Vorteile zu testen.

Energie einzusparen und den CO2-Fußabdruck zu reduzieren ist eines unserer wichtigsten Themen der heutigen Zeit. Könnte es sein, dass Google die Möglichkeiten verbessert, das Crawling zu reduzieren, ohne radikal auf ein neues Protokoll umzusteigen?

Hat Google das Crawlen von Webseiten reduziert?

Es gibt einige Behauptungen, dass Google die Indexierung ganz eingestellt hat, aber das ist falsch. Es gibt jedoch erhebliche Diskussionen über soziale Medien, die mit Daten unterstützt werden, um zu belegen, dass sich die Indexierungsmuster des Googlebot geändert haben.


source site

Leave a Reply