John Mueller von Google antwortete, ob das Entfernen von Seiten von einer großen Website dazu beiträgt, das Problem zu lösen, dass Seiten von Google entdeckt, aber nicht gecrawlt werden. John bot allgemeine Einblicke zur Lösung dieses Problems.
Entdeckt – Derzeit nicht indiziert
Search Console ist ein von Google bereitgestellter Dienst, der suchbezogene Probleme und Feedback kommuniziert.
Der Indexierungsstatus ist ein wichtiger Bestandteil der Search Console, da er einem Publisher mitteilt, wie viel von einer Website indexiert ist und für ein Ranking in Frage kommt.
Der Indexierungsstatus von Webseiten wird im Seitenindizierungsbericht der Suchkonsole angezeigt.
Eine Meldung, dass eine Seite von Google entdeckt, aber nicht indexiert wurde, ist oft ein Zeichen dafür, dass ein Problem behoben werden muss.
Es gibt mehrere Gründe, warum Google eine Seite entdeckt, sich aber weigert, sie zu indizieren, obwohl in der offiziellen Dokumentation von Google nur ein Grund aufgeführt ist.
„Entdeckt – derzeit nicht indiziert
Die Seite wurde von Google gefunden, aber noch nicht gecrawlt.Normalerweise wollte Google die URL crawlen, es wurde jedoch erwartet, dass dies die Website überlasten würde. Daher hat Google den Crawl verschoben.
Aus diesem Grund ist das Datum des letzten Crawls im Bericht leer.“
John Mueller von Google bietet weitere Gründe dafür, warum eine Seite entdeckt, aber nicht indiziert wird.
Nicht indizierte Seiten deindexieren, um die Indexierung auf der gesamten Website zu verbessern?
Es besteht die Idee, dass das Entfernen bestimmter Seiten Google dabei hilft, den Rest der Website zu crawlen, indem weniger Seiten zum Crawlen zur Verfügung stehen.
Es besteht die Auffassung, dass Google jeder Website eine begrenzte Crawling-Kapazität (Crawling-Budget) zuweist.
Google-Mitarbeiter haben wiederholt darauf hingewiesen, dass es kein Crawl-Budget in der Art und Weise gibt, wie SEOs es wahrnehmen.
Google hat eine Reihe von Überlegungen dazu angestellt, wie viele Seiten gecrawlt werden sollen, einschließlich der Kapazität des Website-Servers, umfangreiches Crawling zu bewältigen.
Ein Grund dafür, dass Google beim Crawlen wählerisch ist, liegt darin, dass Google nicht über genügend Kapazität verfügt, um jede einzelne Webseite im Internet zu speichern.
Aus diesem Grund tendiert Google dazu, Seiten zu indizieren, die einen gewissen Wert haben (sofern der Server damit umgehen kann), und andere Seiten nicht zu indizieren.
Weitere Informationen zum Crawl-Budget finden Sie unter: Google Shares Insights into Crawl Budget
Dies ist die Frage, die gestellt wurde:
„Würde die Deindizierung und Zusammenfassung von 8 Millionen gebrauchten Produkten in 2 Millionen eindeutig indexierbaren Produktseiten dazu beitragen, die Crawlbarkeit und Indexierbarkeit zu verbessern (entdeckt – derzeit nicht indiziertes Problem)?“
John Mueller von Google gab zunächst zu, dass es nicht möglich sei, auf das spezifische Problem der Person einzugehen, und gab dann allgemeine Empfehlungen.
Er antwortete:
„Das kann man nicht sagen.
Ich würde empfehlen, den Leitfaden zum Crawling-Budget der großen Website in unserer Dokumentation zu lesen.
Bei großen Websites wird das stärkere Crawlen manchmal dadurch eingeschränkt, dass Ihre Website mehr Crawling verarbeiten kann.
In den meisten Fällen geht es jedoch eher um die Gesamtqualität der Website.
Verbessern Sie die Gesamtqualität Ihrer Website erheblich, indem Sie von 8 Millionen Seiten auf 2 Millionen Seiten umsteigen?
Wenn man sich nicht auf die Verbesserung der tatsächlichen Qualität konzentriert, verbringt man leicht viel Zeit damit, die Anzahl der indexierbaren Seiten zu reduzieren, ohne die Website wirklich zu verbessern, und das würde die Suche nicht verbessern.“
Mueller nennt zwei Gründe für das entdeckte, nicht indizierte Problem
John Mueller von Google nannte zwei Gründe, warum Google eine Seite entdecken, sich aber weigern könnte, sie zu indizieren.
- Serverkapazität
- Gesamtqualität der Website
1. Serverkapazität
Mueller sagte, dass die Fähigkeit von Google, Webseiten zu crawlen und zu indizieren, „dadurch eingeschränkt sein kann, wie Ihre Website mehr Crawling bewältigen kann“.
Je größer eine Website wird, desto mehr Bots sind zum Crawlen einer Website erforderlich. Erschwerend kommt hinzu, dass Google nicht der einzige Bot ist, der eine große Website crawlt.
Es gibt andere legitime Bots, beispielsweise von Microsoft und Apple, die ebenfalls versuchen, die Website zu crawlen. Darüber hinaus gibt es viele andere Bots, einige davon legitim und andere im Zusammenhang mit Hacking und Daten-Scraping.
Das bedeutet, dass es bei einer großen Website, insbesondere in den Abendstunden, Tausende von Bots geben kann, die Website-Serverressourcen nutzen, um eine große Website zu crawlen.
Aus diesem Grund ist eine der ersten Fragen, die ich einem Verlag mit Indexierungsproblemen stelle, der Status seines Servers.
Im Allgemeinen benötigt eine Website mit Millionen von Seiten oder sogar Hunderttausenden von Seiten einen dedizierten Server oder einen Cloud-Host (da Cloud-Server skalierbare Ressourcen wie Bandbreite, GPU und RAM bieten).
Manchmal benötigt eine Hosting-Umgebung möglicherweise mehr Speicher, der einem Prozess zugewiesen wird, z. B. das PHP-Speicherlimit, damit der Server den hohen Datenverkehr bewältigen und 500-Fehlerantwortmeldungen verhindern kann.
Zur Fehlerbehebung bei Servern gehört die Analyse eines Serverfehlerprotokolls.
2. Gesamtqualität der Website
Dies ist ein interessanter Grund dafür, dass nicht genügend Seiten indiziert werden. Die Gesamtqualität einer Website ist wie eine Bewertung oder eine Bestimmung, die Google einer Website zuordnet.
Teile einer Website können die Gesamtqualität der Website beeinträchtigen
John Mueller hat gesagt, dass ein Abschnitt einer Website die Bestimmung der Gesamtqualität der Website beeinflussen kann.
Müller sagte:
„…bei manchen Dingen achten wir auf die Qualität der Website insgesamt.
Und wenn wir uns die Qualität der Website insgesamt ansehen, spielt es für uns keine Rolle, ob wesentliche Teile von geringerer Qualität sind, beispielsweise warum sie von geringerer Qualität sind.
…wenn wir feststellen, dass wesentliche Teile von geringerer Qualität sind, denken wir vielleicht, dass diese Website insgesamt nicht so fantastisch ist, wie wir dachten.“
Definition der Site-Qualität
John Mueller von Google lieferte in einem anderen Office-Hours-Video eine Definition der Website-Qualität:
„Wenn es um die Qualität des Inhalts geht, meinen wir nicht nur den Text Ihrer Artikel.
Es kommt wirklich auf die Qualität Ihrer gesamten Website an.
Und das umfasst alles vom Layout bis zum Design.
Wie Sie Dinge auf Ihren Seiten präsentieren, wie Sie Bilder integrieren, wie Sie schnell arbeiten, all diese Faktoren spielen dort eine Rolle.“
Wie lange es dauert, die Gesamtqualität der Website zu bestimmen
Eine weitere Tatsache darüber, wie Google die Website-Qualität bestimmt, ist, wie lange es dauert, bis Google die Website-Qualität bestimmt. Es kann Monate dauern.
Müller sagte:
„Wir brauchen viel Zeit, um zu verstehen, wie eine Website in den Rest des Internets passt.
… Und das kann leicht, ich weiß nicht, ein paar Monate, ein halbes Jahr, manchmal sogar länger als ein halbes Jahr dauern …“
Optimieren einer Site für Crawling und Indexierung
Die Optimierung einer gesamten Website oder eines Abschnitts einer Website ist eine Art allgemeiner Ansatz, das Problem auf hoher Ebene zu betrachten. Oft kommt es darauf an, einzelne Seiten skaliert zu optimieren.
Insbesondere bei E-Commerce-Websites mit Tausenden von Millionen Produkten kann die Optimierung verschiedene Formen annehmen.
Worauf Sie achten sollten:
Hauptmenü
Stellen Sie sicher, dass das Hauptmenü so optimiert ist, dass Benutzer zu den wichtigen Abschnitten der Website gelangen, an denen sie am meisten interessiert sind. Das Hauptmenü kann auch Links zu den beliebtesten Seiten enthalten.
Link zu beliebten Abschnitten und Seiten
Die beliebtesten Seiten und Abschnitte können auch von einem prominenten Abschnitt der Homepage aus verlinkt werden.
Dies hilft Nutzern, zu den Seiten und Abschnitten zu gelangen, die für sie am wichtigsten sind, signalisiert Google aber auch, dass es sich um wichtige Seiten handelt, die indexiert werden sollten.
Verbessern Sie Thin-Content-Seiten
Unter Thin Content versteht man grundsätzlich Seiten mit wenig nützlichem Inhalt oder Seiten, die größtenteils Duplikate anderer Seiten sind (Vorlageninhalte).
Es reicht nicht aus, die Seiten nur mit Worten zu füllen. Die Wörter und Sätze müssen für die Besucher der Website eine Bedeutung und Relevanz haben.
Bei Produkten kann es sich um Maße, Gewicht, verfügbare Farben, Vorschläge für andere Produkte zur Kombination, Marken, mit denen die Produkte am besten funktionieren, Links zu Handbüchern, FAQs, Bewertungen und andere Informationen handeln, die für Benutzer wertvoll sind.
Lösung für gecrawlte, nicht indizierte Lösungen für mehr Online-Verkäufe
In einem physischen Geschäft scheint es ausreichend zu sein, die Produkte einfach in die Regale zu stellen.
Aber die Realität ist, dass es oft sachkundige Verkäufer braucht, um diese Produkte aus den Regalen fliegen zu lassen.
Eine Webseite kann die Rolle eines sachkundigen Verkäufers übernehmen, der Google mitteilen kann, warum die Seite indexiert werden sollte, und Kunden bei der Auswahl dieser Produkte unterstützt.
Sehen Sie sich die Google SEO-Sprechstunde ab 13:41 Minuten an: