Eine neu erstellte URL wurde auch nach Wochen noch nicht indexiert und die Search Console lieferte uns immer wieder den Hinweis, dass die URL per „noindex“ gesperrt sei. Andere SEO-Tools sowie ein manueller Quellcode- und Header-Check zeigten uns jedoch keine „noindex“-Anweisung auf der Seite. Erst durch Testen mit unterschiedlichen User Agents sowie IP-Locations haben wir schließlich den Grund gefunden.
Für einen Kunden haben wir in den letzten Monaten verschiedene Kategorie-Seiten inhaltlich optimiert und neu erstellt. Um anschließend die Entwicklung sowie den Erfolg der Optimierungen zu messen, wurde ein URL-Reporting aufgesetzt. Für eine der optimierten Seiten liefen jedoch auch nach mehreren Wochen noch keine Daten ein. Also prüften wir die betroffene URL über die Google Search Console. Hier erkannten wir schnell, dass die URL tatsächlich noch keinen Traffic und keine Impressionen erzielte.
Eine anschließende Site-Abfrage zeigte zudem, dass die Seite noch nicht im Google-Index vorhanden war. Daher prüften wir im nächsten Schritt, ob es hier hinsichtlich Crawling oder der Indexierung Probleme gab. Tatsächlich war die betroffene Seite in der Google Search Console im Seitenreport unter „Durch ‚noindex‘-Tag ausgeschlossen“ gelistet.
Auf der Seite selbst konnten wir nach einem ausführlichen Check jedoch weder im HTML-Quellcode eine Meta-Robots-Anweisung mit „noindex“ noch eine entsprechende Auszeichnung im HTTP-Header finden. Sowohl die verschiedenen SEO-Tools als auch der manuelle Check von Quellcode und HTTP-Header ergaben keine Hinweise auf eine mögliche „noindex“-Anweisung. Also prüften wir verschiedene User Agents wie speziell den Googlebot für Smartphone, um auszuschließen, dass es hier zu einer Abweichung kommt. Jedoch auch hier ohne Erfolg. Nichts auf der Seite deutete darauf hin, dass sie eine Anweisung für Suchmaschinen enthält, die eine Indexierung verhinderte.
Schließlich kam uns die Idee, zu prüfen, ob die URL vielleicht vor einiger Zeit noch eine entsprechende Anweisung enthielt und Google möglicherweise die Änderung noch nicht gecrawlt bzw. verarbeitet hatte. Die URL bestand bereits seit Langem, wurde aber auf eine andere Seite weitergeleitet. Ende 2023 wurde jedoch Content für die URL aufgebaut und somit die Weiterleitung entfernt. Seit Dezember sollte die URL mit den entsprechenden Inhalten live und somit auch indexierbar gewesen sein. Über die Wayback Maschine konnten wir herausfinden, dass die Weiterleitung der URL schon vorher entfernt wurde und sie somit ohne Inhalt aufrufbar war. Zu dem Zeitpunkt war hier im Quellcode noch ein Meta-Robots-Tag mit „noindex“ hinterlegt. Seither wurde jedoch Content auf der Seite integriert und die „noindex“-Anweisung entfernt. Die URL war außerdem direkt im Hauptmenü verlinkt und somit auch direkt für Suchmaschinen auffindbar und crawlbar.
Da es sich bei der betroffenen URL um eine Website für den Beneluxraum handelte und wir bisher immer aus Deutschland testeten, beschlossen wir, die URL nochmals über eine niederländische IP zu prüfen. Dies führte uns zum Problem und Grund, warum die Seite wohl immer noch nicht indexiert wurde:
Für den niederländischen Aufruf wurde weiterhin ein Meta-Robots-Tag im gerenderten Quellcode integriert. Hier wurde nicht wie üblich mit <meta name=“robots“ content=“noindex,follow“> gearbeitet, sondern statt „noindex“ ein „none“ eingetragen. Eine kurze Recherche führte uns zur entsprechenden Google-Doku, in der wir auch die Erklärung fanden: „none“ wird mit „noindex, nofollow“ gleichgesetzt.
Also haben wir das entsprechende Meta-Robots-Tag „none“ gelöscht und anschließend die URL zur Indexierung eingereicht. Nach einigen Tagen konnten wir nun endlich die URL in der Site-Abfrage sehen und auch im Search-Console-Report zu „Durch ‚noindex‘-Tag ausgeschlossen“ war sie nicht mehr gelistet. Nach nochmals ein paar Tagen konnten wir endlich erste Impressionen und Klicks messen.
Folglich: Sollte eine Ihrer Seiten mal nicht indexiert sein, prüfen Sie nicht nur auf „noindex“, sondern auch auf „none“ im Zusammenhang mit X-Robots und Meta-Robots-Tag.