In einer aktuellen Erklärung auf LinkedIn teilte Google-Analyst Gary Illyes seine Mission für dieses Jahr mit: herauszufinden, wie das Web noch weniger gecrawlt werden kann.
Dies folgt auf einen Reddit-Beitrag, in dem die Wahrnehmung diskutiert wird, dass Google weniger crawlt als in den Vorjahren.
Während Illyes klarstellt, dass Google ungefähr die gleiche Menge crawlt, betont er die Notwendigkeit einer intelligenteren Planung und einer Konzentration auf URLs, die mit größerer Wahrscheinlichkeit gecrawlt werden sollten.
Die Aussage von Illyes steht im Einklang mit der anhaltenden Diskussion unter SEO-Experten über das Konzept eines „Crawling-Budgets“, das davon ausgeht, dass Websites innerhalb einer begrenzten Anzahl von Seiten bleiben müssen, die Suchmaschinen täglich crawlen können, um ihre Seiten zu indexieren.
Das Search Relations-Team von Google hat dieses Missverständnis jedoch kürzlich in einem Podcast entlarvt und erklärt, wie Google das Crawlen anhand verschiedener Faktoren priorisiert.
Crawling-Priorisierung und Suchnachfrage
In einem vor zwei Wochen veröffentlichten Podcast erklärte Illyes, wie Google entscheidet, wie viel gecrawlt wird:
„Wenn die Suchnachfrage sinkt, dann korreliert das auch damit, dass das Crawling-Limit sinkt.“
Obwohl er den Begriff „Suchnachfrage“ nicht klar definiert hat, bezieht er sich aus der Sicht von Google wahrscheinlich auf die Nachfrage nach Suchanfragen. Mit anderen Worten: Wenn die Suchanfragen nach einem bestimmten Thema zurückgehen, hat Google möglicherweise weniger Grund, Websites zu diesem Thema zu crawlen.
Illyes betonte auch, wie wichtig es sei, Suchmaschinen davon zu überzeugen, dass es sich lohnt, den Inhalt einer Website abzurufen.
„Wenn Sie die Anzahl unserer Crawler erhöhen möchten, müssen Sie die Suche irgendwie davon überzeugen, dass es sich lohnt, Ihre Inhalte abzurufen, und das ist im Grunde das, worauf der Planer hört.“
Obwohl Illyes nicht näher darauf eingegangen ist, wie dies erreicht werden kann, könnte eine Interpretation darin bestehen, sicherzustellen, dass Inhalte für Benutzertrends relevant und auf dem neuesten Stand bleiben.
Konzentrieren Sie sich auf Qualität
Google hat zuvor klargestellt, dass ein festes „Crawling-Budget“ größtenteils ein Mythos ist.
Stattdessen sind die Crawling-Entscheidungen der Suchmaschine dynamisch und werden von der Inhaltsqualität bestimmt.
Wie Illyes es ausdrückte:
„Die Terminplanung ist sehr dynamisch. Sobald wir von der Suchindizierung die Signale erhalten, dass die Qualität des Inhalts über diese vielen URLs hinweg gestiegen ist, würden wir einfach anfangen, die Nachfrage anzukurbeln.“
Der Weg nach vorn
Die Mission von Illyes, die Crawling-Effizienz zu verbessern, indem die Menge an Crawling und Bytes auf der Leitung reduziert wird, ist ein Schritt in Richtung eines nachhaltigeren und praktischeren Webs.
Während er die Community um Input bittet, bittet Illyes um Vorschläge für interessante Internetentwürfe oder Standards von der IETF oder anderen Standardisierungsgremien, die zu diesen Bemühungen beitragen könnten.
„Eine Verringerung des Crawlings ohne Einbußen bei der Crawling-Qualität wäre für alle von Vorteil“, schließt er.
Warum sich SEJ darum kümmert
Die Aussage von Illyes zur Reduzierung des Crawlings unterstreicht die Notwendigkeit, sich auf Qualität und Relevanz zu konzentrieren. Bei SEO geht es nicht nur um technische Optimierungen, sondern auch um die Erstellung wertvoller, benutzerzentrierter Inhalte, die die Suchnachfrage befriedigen.
Wenn wir die dynamische Natur der Crawling-Entscheidungen von Google verstehen, können wir alle fundiertere Entscheidungen bei der Optimierung unserer Websites und der Zuweisung von Ressourcen treffen.
Wie Ihnen das helfen kann
Mit dem von Illyes geteilten Wissen können Sie mehrere umsetzbare Schritte unternehmen:
- Qualität priorisieren: Konzentrieren Sie sich auf die Erstellung hochwertiger, relevanter und ansprechender Inhalte, die die Absichten der Benutzer erfüllen und mit der aktuellen Suchnachfrage übereinstimmen.
- Halten Sie den Inhalt aktuell: Aktualisieren und aktualisieren Sie Ihre Inhalte regelmäßig, um sicherzustellen, dass sie für Ihre Zielgruppe wertvoll bleiben.
- Überwachen Sie Suchnachfragetrends: Passen Sie Ihre Content-Strategie an neue Trends und Themen an und stellen Sie sicher, dass Ihre Website relevant und es wert ist, gecrawlt zu werden.
- Implementieren Sie technische Best Practices: Stellen Sie sicher, dass Ihre Website über eine saubere, gut strukturierte Architektur und eine robuste interne Verlinkungsstrategie verfügt, um effizientes Crawlen und Indexieren zu ermöglichen.
Denken Sie bei der Verfeinerung Ihrer SEO-Strategien an die wichtigsten Erkenntnisse aus den Aussagen von Illyes und an die Erkenntnisse, die das Search Relations-Team von Google bereitgestellt hat.
Mit diesen Erkenntnissen sind Sie für den Erfolg gerüstet, wenn Google die Crawling-Frequenz reduziert.
Ausgewähltes Bild: Skorzewiak/Shutterstock