Crawler mit robots.txt in die Schranken weisen

Stephan Czysch
Stephan Czysch

Stephan Czysch ist Autor der Fachbücher „SEO mit Google Search Console“ und „Technisches SEO“. Im Jahr 2012 gründete er mit zwei Freunden die Online-Marketing-Agentur Trust Agents in Berlin. Seit 2017 ist Trust Agents Teil des Agenturnetzwerks Dept und hat sich im Januar 2019 in Dept umbenannt. Bis Sommer 2020 leitete Stephan das Digital-Marketing-Team von Dept in Berlin. Aktuell unterstützt er Unternehmen

Mehr von diesem Autor

Für Crawler gilt: Alles, was nicht verboten ist, ist erlaubt. Das Crawling erlauben? Nicht notwendig! Die Indexierung erlauben? Ebenfalls nicht notwendig! Nur dann, wenn Seiten (URLs) nicht gecrawlt oder nicht indexiert werden sollen, dann ist ein Eingreifen mittels Disallow-Anweisung oder Noindex-Tag erforderlich. Von der Prozessseite betrachtet findet das Crawling vor der Indexierung statt. Entsprechend kann nur für gecrawlte Dokumente eine Noindex-Angabe gefunden und beachtet werden. Über die robots.txt-Datei wird das Crawling gesteuert – das macht die robots.txt zu einem sehr mächtigen und häufig unterschätzten Tool. Wie diese kleine Datei eingesetzt werden kann, erklärt Stephan Czysch in diesem Artikel.

Artikel ist noch nicht online verfügbar

Du kannst die entsprechende Ausgabe hier online bestellen oder warten. Alle Artikel erscheinen hier jeweils 12 Monate nach der Printausgabe.