Google hat eine neue Folge seiner Lehrvideoreihe „How Search Works“ veröffentlicht, in der erklärt wird, wie seine Suchmaschine Webseiten durch Crawlen erkennt und darauf zugreift.
Google Engineer-Details zum Crawling-Prozess
In der siebenminütigen Folge von Google-Analyst Gary Illyes bietet das Unternehmen einen detaillierten Einblick in die technischen Aspekte der Funktionsweise des Googlebot – der Software, die Google zum Crawlen des Webs verwendet.
Illyes beschreibt die Schritte, die der Googlebot unternimmt, um auf den Billionen von Webseiten im Internet neue und aktualisierte Inhalte zu finden und diese auf Google durchsuchbar zu machen.
Illyes erklärt:
„Die meisten neuen URLs, die Google entdeckt, stammen von anderen bekannten Seiten, die Google zuvor gecrawlt hat.
Sie können sich eine Nachrichtenseite mit verschiedenen Kategorieseiten vorstellen, die dann auf einzelne Nachrichtenartikel verweisen.
Google kann die meisten veröffentlichten Artikel entdecken, indem es die Kategorieseite von Zeit zu Zeit erneut aufruft und die URLs extrahiert, die zu den Artikeln führen.“
Wie Googlebot das Web crawlt
Der Googlebot beginnt damit, Links von bekannten Webseiten zu folgen, um neue URLs zu entdecken. Dieser Vorgang wird URL-Erkennung genannt.
Es vermeidet eine Überlastung von Websites, indem jede einzelne mit einer einzigartigen, individuellen Geschwindigkeit gecrawlt wird, die auf den Antwortzeiten des Servers und der Inhaltsqualität basiert.
Googlebot rendert Seiten mit einer aktuellen Version des Chrome-Browsers, um jegliches JavaScript auszuführen und dynamische Inhalte, die von Skripten geladen werden, korrekt anzuzeigen. Außerdem werden nur öffentlich zugängliche Seiten gecrawlt, nicht diejenigen, die sich hinter Logins verbergen.
Verwandt: Google beantwortet eine Frage zum Crawl-Budget
Verbesserung der Erkennung und Crawlbarkeit
Illyes betonte den Nutzen von Sitemaps – XML-Dateien, die die URLs einer Website auflisten –, um Google dabei zu helfen, neue Inhalte zu finden und zu crawlen.
Er empfahl Entwicklern, ihre Content-Management-Systeme automatisch Sitemaps generieren zu lassen.
Auch die Optimierung technischer SEO-Faktoren wie Website-Architektur, Geschwindigkeit und Crawling-Anweisungen kann die Crawlbarkeit verbessern.
Hier sind einige zusätzliche Taktiken, um die Crawlbarkeit Ihrer Website zu verbessern:
- Vermeiden Sie eine Erschöpfung des Crawling-Budgets – Websites, die häufig aktualisiert werden, können das Crawling-Budget des Googlebots überfordern und verhindern, dass neue Inhalte entdeckt werden. Eine sorgfältige CMS-Konfiguration und die Tags rel= „next“ / rel= „prev“ können hilfreich sein.
- Implementieren Sie eine gute interne Verlinkung – Durch die Verknüpfung mit neuen Inhalten von Kategorie- und Hub-Seiten kann Googlebot neue URLs entdecken. Eine effektive interne Linkstruktur unterstützt die Crawlbarkeit.
- Stellen Sie sicher, dass die Seiten schnell geladen werden – Bei Websites, die langsam auf Googlebot-Abrufe reagieren, kann die Crawling-Rate gedrosselt werden. Durch die Optimierung der Seitenleistung kann das Crawlen beschleunigt werden.
- Eliminieren Sie Soft-404-Fehler – Durch die Behebung von Soft 404-Fehlern, die durch CMS-Fehlkonfigurationen verursacht wurden, wird sichergestellt, dass URLs zu gültigen Seiten führen, was den Crawling-Erfolg verbessert.
- Erwägen Sie Änderungen an robots.txt – Eine zu enge robots.txt kann hilfreiche Seiten blockieren. Ein SEO-Audit kann Einschränkungen aufdecken, die sicher entfernt werden können.
Neueste Lehrvideoserie
Das neueste Video kommt, nachdem Google letzte Woche die Bildungsreihe „How Search Works“ gestartet hat, um die Such- und Indexierungsprozesse zu beleuchten.
Die neu veröffentlichte Episode zum Thema Crawling gibt Einblick in eine der grundlegendsten Operationen der Suchmaschine.
In den kommenden Monaten wird Google weitere Episoden produzieren, die sich mit Themen wie Indexierung, Qualitätsbewertung und Suchverfeinerung befassen.
Die Serie ist auf dem YouTube-Kanal von Google Search Central verfügbar.
FAQ
Wie läuft der von Google beschriebene Crawling-Prozess ab?
Der Crawling-Prozess von Google, wie er in der jüngsten Episode der Serie „How Search Works“ beschrieben wird, umfasst die folgenden wichtigen Schritte:
- Der Googlebot erkennt neue URLs, indem er Links von bekannten Seiten folgt, die er zuvor gecrawlt hat.
- Es durchsucht Websites strategisch mit einer angepassten Geschwindigkeit, um eine Überlastung der Server zu vermeiden, und berücksichtigt dabei Reaktionszeiten und Inhaltsqualität.
- Der Crawler rendert Seiten auch mit der neuesten Version von Chrome, um von JavaScript geladene Inhalte korrekt anzuzeigen und nur auf öffentlich verfügbare Seiten zuzugreifen.
- Die Optimierung technischer SEO-Faktoren und die Verwendung von Sitemaps können das Crawlen neuer Inhalte durch Google erleichtern.
Wie können Vermarkter sicherstellen, dass ihre Inhalte effektiv vom Googlebot entdeckt und gecrawlt werden?
Vermarkter können die folgenden Strategien anwenden, um die Auffindbarkeit und Crawlbarkeit ihrer Inhalte für den Googlebot zu verbessern:
- Implementieren Sie eine automatisierte Sitemap-Generierung in ihren Content-Management-Systemen.
- Konzentrieren Sie sich auf die Optimierung technischer SEO-Elemente wie Website-Architektur und Ladegeschwindigkeit und setzen Sie Crawl-Anweisungen angemessen ein.
- Stellen Sie sicher, dass häufige Inhaltsaktualisierungen das Crawling-Budget nicht erschöpfen, indem Sie das CMS effizient konfigurieren und Paginierungs-Tags verwenden.
- Erstellen Sie eine effektive interne Linkstruktur, die beim Entdecken neuer URLs hilft.
- Überprüfen und optimieren Sie die robots.txt-Datei der Website, um sicherzustellen, dass sie den Googlebot nicht zu stark einschränkt.