Was ist Crawl-Delay?

In vielen robots.txt-Dateien steht eine Zeile wie "Crawl-delay: 10". Sie soll einem Crawler sagen, dass er zwischen seinen Abrufen pausieren und den Server schonen möge. Die Angabe ist alt und weit verbreitet. Sie war aber nie Teil des Standards, der die robots.txt heute beschreibt.

Crawl-Delay und RFC 9309

Seit September 2022 ist das Robots Exclusion Protocol als RFC 9309 bei der IETF festgeschrieben. Die Norm kennt für Regeln nur die Felder user-agent, allow und disallow ^[1]. Crawl-Delay kommt darin nicht vor. RFC 9309 erlaubt Crawlern, weitere Zeilen auszuwerten, die nicht zum Protokoll gehören. Als Beispiel nennt die Norm die Sitemap-Zeile ^[1]. Ob ein Crawler eine Crawl-Delay-Zeile beachtet und wie er die Zahl auslegt, hängt deshalb allein von seinem Betreiber ab.

Wie Google und Bing damit umgehen

Google beschreibt in seiner Auslegung der robots.txt vier unterstützte Felder: user-agent, allow, disallow und sitemap. Andere Felder wie crawl-delay unterstützt Google ausdrücklich nicht ^[2]. Eine Crawl-Delay-Zeile bremst den Googlebot also nicht. Wer Google langsamer crawlen lassen will, muss das über die Antworten des Servers regeln. Wie das geht, steht im Eintrag Crawl-Rate.

Bing hat die Angabe dagegen selbst beschrieben, in einem Beitrag aus dem Jahr 2009, noch für den damaligen Crawler MSNBot. Danach ist die robots.txt der einzige Ort für eine Crawl-Delay-Angabe, erlaubt sind nur positive ganze Zahlen. Die Zahl gibt dort keine Sekunden an, sie ist ein relatives Maß für das Bremsen: 1 bedeutet langsam, 5 sehr langsam, 10 extrem langsam. Werte über 10 rät Bing ab ^[3]. Wie der heutige Bingbot die Zeile genau auslegt, lässt sich aus diesem alten Beitrag nicht sicher ableiten.

Wann die Zeile etwas bringt

Crawl-Delay hilft nur bei Crawlern, die die Angabe nach eigener Dokumentation unterstützen. Ein Beispiel ist der Crawler des SEO-Werkzeugs Ahrefs: Laut Ahrefs hält sich AhrefsBot beim Abruf von HTML-Seiten streng an Crawl-Delay, beim Rendern von JavaScript aber nicht, weil er dann mehrere Dateien zugleich anfordert ^[4]. Auch manche KI-Crawler unterstützen die Angabe, das steht dann in der Dokumentation ihres Anbieters. Ein Bot, der sich gar nicht an die robots.txt hält, lässt sich davon ohnehin nicht bremsen. Nach unserer Erfahrung ist eine hohe Crawl-Delay-Zahl in der robots.txt oft ein Überbleibsel aus einer Zeit, in der der Server schwächer war, und niemand weiß mehr, warum sie dort steht. Ein Blick auf die Server-Logs zeigt dann, ob es heute überhaupt ein Lastproblem gibt.

Wie du eine robots.txt sauber aufbaust, zeigt der Ratgeber robots.txt richtig schreiben. Wie sich KI-Crawler gezielt steuern lassen, beschreibt der Beitrag KI-Crawler in der robots.txt steuern.

Deine robots.txt enthält eine Crawl-Delay-Zeile, und du weißt nicht, ob sie noch etwas bewirkt? Darüber sprechen wir in der gratis Sprechstunde.

1. Organisation RFC 9309: Robots Exclusion Protocol (M. Koster, G. Illyes, H. Zeller, L. Sassman). IETF / RFC Editor. Stand 09.2022. abgerufen am 31.10.2026
2. Organisation Wie Google die robots.txt-Spezifikation interpretiert. Google Crawling-Infrastruktur. Stand 27.10.2026. abgerufen am 31.10.2026
3. Organisation Crawl delay and the Bing crawler, MSNBot (Rick DeJarnette). Bing Webmaster Blog. Stand 10.08.2009. abgerufen am 31.10.2026
4. Organisation Ahrefs Bots. Ahrefs. Stand ohne Datum. abgerufen am 31.10.2026

Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.