Google, Bing und Co. sind kontinuierlich im Web unterwegs, um neue Seiten zu erfassen oder bestehende erneut zu besuchen. Hat sich der Inhalt einer Seite geändert? Gibt es sie noch? Ist die Seite umgezogen? Um stets aktuelle Ergebnisse (und funktionierende Seiten) in den Suchergebnissen zu präsentieren, ist ein fortlaufendes Crawling notwendig. Eigentlich ist Crawling ein sehr ineffizienter Prozess, da sich viele Seiten während der Zugriffe nicht verändert haben oder Seiten besucht werden, die keine neuen, relevanten Informationen zur Verfügung stellen. Dazu kommen Seiten, die durch die noindex-Angabe gar nicht indexiert werden sollen, oder per Canonical-Tag auf eine andere Seite verweisen. Eine SEO-Faustregel ist deshalb: Je einfacher man es Suchmaschinen macht, die eigene Website möglichst effizient zu crawlen, desto besser. Konkret bedeutet das, die für Suchmaschinen verfügbaren URLs so weit wie möglich zu begrenzen. Wer nach Einblicken in das Crawling-Verhalten von Google sucht, der findet in den Crawling-Statistiken der Google Search Console viele Beispiele, aber kein vollumfängliches Bild. Doch der Ausschnitt reicht in der Regel dabei, zu entscheiden, ob eine detaillierte Logfile-Analyse notwendig ist – und dank eines Updates meines Plug-ins GSC Helper geht das einfacher als jemals zuvor.
Artikel ist noch nicht online verfügbar
Du kannst die entsprechende Ausgabe hier online bestellen oder warten. Alle Artikel erscheinen hier jeweils 12 Monate nach der Printausgabe.