Search Relations von Google beantwortete in der neuesten Folge des Podcasts „Search Off The Record“ mehrere Fragen zur Webseitenindizierung.
Die besprochenen Themen waren, wie man den Googlebot daran hindert, bestimmte Abschnitte einer Seite zu crawlen, und wie man verhindert, dass der Googlebot überhaupt auf eine Website zugreift.
John Mueller und Gary Illyes von Google beantworteten die in diesem Artikel untersuchten Fragen.
Blockieren des Googlebots für bestimmte Webseitenabschnitte
Mueller sagt, dass es so ist unmöglich auf die Frage, wie man den Googlebot daran hindern kann, bestimmte Webseitenabschnitte zu crawlen, beispielsweise „auch gekaufte“ Bereiche auf Produktseiten.
„Die Kurzfassung ist, dass man das Crawlen eines bestimmten Abschnitts auf einer HTML-Seite nicht blockieren kann“, sagte Mueller.
Anschließend schlug er zwei mögliche Strategien für den Umgang mit dem Problem vor, von denen er betonte, dass keine der beiden eine Ideallösung sei.
Mueller schlug die Verwendung des HTML-Attributs data-nosnippet vor, um zu verhindern, dass Text in einem Such-Snippet erscheint.
Alternativ könnten Sie einen Iframe oder JavaScript verwenden, wobei die Quelle durch robots.txt blockiert wird, obwohl er warnte, dass dies keine gute Idee sei.
„Die Verwendung einer automatisierten Iframe- oder JavaScript-Datei kann Probleme beim Crawlen und Indizieren verursachen, die schwer zu diagnostizieren und zu beheben sind“, erklärte Mueller.
Er versicherte allen Zuhörern, dass die Wiederverwendung des betreffenden Inhalts auf mehreren Seiten kein Problem sei, das behoben werden müsse.
„Es besteht keine Notwendigkeit, den Googlebot daran zu hindern, diese Art von Duplikaten zu erkennen“, fügte er hinzu.
Blockieren des Googlebot-Zugriffs auf eine Website
Als Antwort auf eine Frage zum Verhindern des Zugriffs durch den Googlebot beliebig Als Teil einer Website lieferte Illyes eine leicht verständliche Lösung.
„Der einfachste Weg ist robots.txt: Wenn Sie einen disallow: / für den Googlebot-Benutzeragenten hinzufügen, lässt Googlebot Ihre Website so lange in Ruhe, wie Sie diese Regel dort beibehalten“, erklärte Illyes.
Für diejenigen, die eine robustere Lösung suchen, bietet Illyes eine andere Methode:
„Wenn Sie sogar den Netzwerkzugriff blockieren möchten, müssen Sie Firewall-Regeln erstellen, die unsere IP-Bereiche in eine Verweigerungsregel laden“, sagte er.
Eine Liste der IP-Adressen des Googlebots finden Sie in der offiziellen Dokumentation von Google.
In Summe
Obwohl es unmöglich ist, den Zugriff des Googlebot auf bestimmte Abschnitte einer HTML-Seite zu verhindern, können Methoden wie die Verwendung des data-nosnippet-Attributs eine Kontrolle bieten.
Wenn Sie erwägen, den Googlebot vollständig von Ihrer Website zu blockieren, reicht eine einfache Verbotsregel in Ihrer robots.txt-Datei aus. Allerdings sind auch extremere Maßnahmen wie die Erstellung spezifischer Firewall-Regeln möglich.
Ausgewähltes Bild, erstellt vom Autor mit Midjourney.
Quelle: Google-Suche vertraulich