Ja wo crawlen sie denn?

Bis Ende November 2020 gab sich Google sehr bedeckt, wenn es um die Crawling-Aktivitäten des Googlebot ging. In der Google Search Console konnten interessierte Webmaster einzig und allein drei numerische Werte erhalten: Wie viele Anfragen von Google gab es? Welche Dateigröße wurde übermittelt? Wie lange dauerte das Herunterladen einer Seite? Auf welche Adressen Google zugegriffen hatte, blieb dabei im Dunkeln. Einzig durch die Analyse der Server-Logfiles konnten technisch orientierte SEOs mehr über das Crawling herausfinden. Mit der neuen Version der Crawling-Statistiken in der Google Search Console erhält nun jeder mehr Einblick in die Crawling-Aktivitäten des Googlebot. Denn Google liefert nun Adressen, Status-Codes, die anfragenden User-Agents und noch vieles mehr. Grund genug, sich diesen neuen Bericht im Detail einmal näher anzusehen.