John Mueller von Google antwortete auf eine Frage auf LinkedIn, um die Verwendung einer nicht unterstützten Noindex-Direktive in der robots.txt-Datei seiner eigenen persönlichen Website zu diskutieren. Er erläuterte die Vor- und Nachteile der Suchmaschinenunterstützung für die Richtlinie und gab Einblicke in die internen Diskussionen von Google über deren Unterstützung.
John Muellers Robots.txt
Muellers robots.txt sorgte in der letzten Woche für Gesprächsstoff, weil die seltsamen und nicht standardmäßigen Anweisungen, die er darin verwendete, allgemein seltsam waren.
Es war fast unvermeidlich, dass Muellers robots.txt genau unter die Lupe genommen wurde und in der Suchmaschinenmarketing-Community viral ging.
Noindex-Direktive
Alles, was in einer robots.txt-Datei enthalten ist, wird als Direktive bezeichnet. Eine Direktive ist eine Aufforderung an einen Webcrawler, zu deren Befolgung er verpflichtet ist (sofern er robots.txt-Anweisungen befolgt).
Es gibt Standards für das Schreiben einer robots.txt-Direktive und alles, was diesen Standards nicht entspricht, wird wahrscheinlich ignoriert. Eine nicht standardmäßige Anweisung in Muellers robots.txt erregte die Aufmerksamkeit von jemandem, der beschloss, über LinkedIn eine Frage dazu an John Mueller zu posten, um zu erfahren, ob Google die nicht standardmäßige Anweisung unterstützte.
Das ist eine gute Frage, denn wenn ein Googler sie verwendet, kann man leicht davon ausgehen, dass Google sie möglicherweise unterstützt.
Die nicht standardmäßige Anweisung war noindex. Noindex ist Teil des Meta-Robots-Standards, aber nicht des robots.txt-Standards. Mueller hatte nicht nur eine Instanz der Noindex-Direktive, er hatte 5.506 Noindex-Direktiven.
Der SEO-Spezialist, der die Frage gestellt hat, Mahek Giri, schrieb:
„In der robots.txt-Datei von John Mueller
Es gibt einen ungewöhnlichen Befehl:
„noindex:“
Dieser Befehl ist nicht Teil des Standardformats robots.txt.
Glauben Sie also, dass es irgendeinen Einfluss darauf haben wird, wie Suchmaschinen seine Seiten indizieren?
John Mueller ist neugierig auf „noindex: in robots.txt“
Warum die Noindex-Direktive in Robots.txt von Google nicht unterstützt wird
John Mueller von Google antwortete, dass dies nicht unterstützt werde.
Müller antwortete:
„Dies ist eine nicht unterstützte Richtlinie, sie bewirkt nichts.“
Mueller erklärte dann weiter, dass Google einmal darüber nachgedacht habe, die Noindex-Direktive aus der robots.txt-Datei heraus zu unterstützen, da sie Publishern die Möglichkeit bieten würde, Google daran zu hindern, Inhalte gleichzeitig zu crawlen und zu indizieren.
Derzeit ist es möglich, das Crawlen in robots.txt oder die Indizierung mit der Meta-Robots-Noindex-Direktive zu blockieren. Sie können jedoch nicht gleichzeitig die Indizierung mit der Meta-Robots-Direktive und das Crawling in der robots.txt blockieren, da eine Blockierung des Crawls den Crawler daran hindert, die Meta-Robots-Direktive zu „sehen“.
Mueller erklärte, warum Google beschlossen hat, die Idee, die Noindex-Direktive in der robots.txt zu berücksichtigen, nicht weiterzuverfolgen.
Er schrieb:
„Es gab viele Diskussionen darüber, ob es als Teil des robots.txt-Standards unterstützt werden sollte. Der Gedanke dahinter war, dass es schön wäre, sowohl das Crawling als auch die Indizierung gleichzeitig zu blockieren. Mit robots.txt können Sie das Crawlen oder die Indizierung blockieren (mit einem Robots-Meta-Tag, wenn Sie das Crawlen zulassen). Die Idee war, dass man auch in robots.txt einen „noindex“ haben und beide blockieren könnte.
Da viele Leute robots.txt-Dateien kopieren und einfügen, ohne sie sich im Detail anzusehen (nur wenige Leute schauen so weit wie Sie!), kann es leider sehr, sehr leicht passieren, dass jemand wichtige Teile einer Website versehentlich entfernt. Und so wurde beschlossen, dass dies kein unterstützter Director oder Teil des robots.txt-Standards sein sollte … zu diesem Zeitpunkt wahrscheinlich vor über 10 Jahren.“
Warum war dieser Noindex in Muellers Robots.txt?
Mueller machte deutlich, dass es unwahrscheinlich sei, dass Google dieses Tag unterstützen würde, und dass dies bereits vor etwa zehn Jahren bestätigt worden sei. Die Enthüllung über diese internen Diskussionen ist interessant, verstärkt aber auch das Gefühl der Seltsamkeit in Bezug auf Muellers robots.txt.
Siehe auch: 8 häufige Probleme mit Robots.txt und wie man sie behebt
Ausgewähltes Bild von Shutterstock/Kues