Crawling gehört in der Suchmaschinenoptimierung immer dazu. Ohne einen vernünftigen Crawler könnten wohl die wenigsten SEOs ordentlich arbeiten. Wenn man dann aber den Screaming Frog startet und der Crawl einfach nicht enden will und mehr als zwei Drittel der URLs mit dem Status-Code-5xx-Fehler antworten, fragt man sich schnell, woran dies liegt. In meinem bestimmten Beispiel hat es sich um einen Crawl-Delay in der robots.txt gehandelt. Was dies für den Check bedeutet, erläutere ich in dem folgenden Artikel genauer.
Artikel ist noch nicht online verfügbar
Du kannst die entsprechende Ausgabe hier online bestellen oder warten. Alle Artikel erscheinen hier jeweils 12 Monate nach der Printausgabe.