Jeder Crawler ruft Seiten in einem bestimmten Tempo ab. Wie viele Anfragen das in einer Sekunde, einer Stunde oder einem Tag sind, ist die Crawl-Rate. Google spricht auf Deutsch von der Crawling-Frequenz. Sie hängt eng mit dem Crawl-Budget zusammen: Das Budget beschreibt, wie viel Zeit und Kapazität Google einer Website insgesamt widmet, die Rate das Tempo, in dem es abgerufen wird.
Wer das Tempo bestimmt
Bei Google regelt der Server die Rate mit, ohne dass jemand etwas einstellt. Antwortet eine Website eine Zeit lang schnell und stabil, darf der Googlebot mehr Verbindungen gleichzeitig nutzen. Wird sie langsamer oder liefert sie Serverfehler (5xx) oder den Code 429, crawlt er weniger [1]. Dieses Verhalten war der Grund, warum Google das Werkzeug zur Begrenzung der Crawling-Frequenz in der Search Console abgeschafft hat. Gary Illyes und Nir Kalush kündigten im November 2023 an, dass es am 08.01.2024 eingestellt wird. Der Googlebot reagiere inzwischen selbst auf wiederholte Serverfehler und lange Antwortzeiten, und das alte Werkzeug habe teils erst nach einem Tag gewirkt [2].
Eine Zeile Crawl-Delay in der robots.txt ändert an der Rate des Googlebots nichts, Google unterstützt sie nicht. Mehr dazu steht im Eintrag Crawl-Delay.
Die Crawl-Rate senken
Für den Notfall, etwa wenn der Googlebot einen Server überlastet, empfiehlt Google, für kurze Zeit auf die Crawling-Anfragen mit 500, 503 oder 429 statt mit 200 zu antworten [3]. Das sollte nur einige Stunden bis höchstens ein bis zwei Tage dauern. Findet Google die Fehler über mehrere Tage unter derselben Adresse, kann die Adresse aus dem Index fallen [3]. Die Drosselung gilt für den ganzen Hostnamen, und sobald die Fehler zurückgehen, steigt die Frequenz von selbst wieder [3]. Bei 503 und 429 kann die Kopfzeile Retry-After angeben, wann wieder gecrawlt werden darf [3]. Wer keine Statuscodes ausliefern kann, meldet ungewöhnlich hohe Crawling-Aktivität über ein Formular in der Search Console. Eine höhere Frequenz lässt sich so nicht beantragen [3].
Vor jeder Drosselung lohnt der Blick auf die Ursache. Google nennt als häufige Gründe für viele Abrufe die Facettensuche mit Sortier- und Filterfunktionen und Kalender mit sehr vielen Adressen [3]. Solche Bereiche können zur Crawler-Falle werden.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Wo du die Crawl-Rate siehst
Die Search Console zeigt die Abrufe des Googlebots im Bericht Crawling-Statistik: die Zahl der Crawling-Anfragen, die heruntergeladene Datenmenge und die durchschnittliche Reaktionszeit, aufgeschlüsselt unter anderem nach Antwort, Dateityp und Zweck des Abrufs [4]. Bei Websites mit weniger als 1.000 Seiten braucht man den Bericht laut Google wahrscheinlich nicht [4]. Wie man den Bericht liest, beantwortet die Frage Bericht Crawling-Statistiken. Genauere Daten liefern die Server-Logs. Nach unserer Erfahrung ist ein Anstieg der Crawl-Rate nach einem Relaunch oder einer neuen Sitemap normal und kein Grund zum Eingreifen, solange der Server mitkommt. Vertiefend gibt es den Ratgeber Crawling-Statistiken der Search Console lesen.
Für die Frage, ob der Googlebot deinen Server gerade zu stark belastet oder ob etwas anderes dahintersteckt, gibt es die gratis Sprechstunde.
- Organisation Crawling-Budget optimieren. Google Crawling-Infrastruktur. Stand 16.09.2026. abgerufen am 31.10.2026
- Organisation Upcoming deprecation of Crawl Rate Limiter Tool in Search Console (Gary Illyes, Nir Kalush). Google Search Central Blog. Stand 24.11.2023. abgerufen am 31.10.2026
- Organisation Crawling-Frequenz von Google verringern. Google Crawling-Infrastruktur. Stand 09.10.2026. abgerufen am 31.10.2026
- Organisation Bericht "Crawling-Statistik". Search Console-Hilfe. Stand ohne Datum. abgerufen am 31.10.2026
Häufige Fragen
Kann ich die Crawl-Rate von Google in der Search Console einstellen?
Nein, nicht mehr. Google hat das Werkzeug zur Begrenzung der Crawling-Frequenz am 08.01.2024 eingestellt. Die Rate passt sich seitdem an die Antworten deines Servers an.
Wie senke ich die Crawl-Rate im Notfall?
Google empfiehlt, für einige Stunden bis höchstens ein bis zwei Tage mit den Statuscodes 500, 503 oder 429 zu antworten. Länger sollte das nicht dauern, sonst können Adressen aus dem Index fallen.
Kann ich die Crawl-Rate erhöhen?
Direkt nicht. Laut Google helfen mehr Serverressourcen, wenn die Search Console eine Überlastung meldet, und bessere Inhalte, für die Google mehr Bedarf sieht.
Was ist der Unterschied zwischen Crawl-Rate und Crawl-Budget?
Die Crawl-Rate beschreibt das Tempo der Abrufe. Das Crawl-Budget umfasst die gesamte Zeit und Kapazität, die Google für eine Website aufwendet, und ergibt sich aus Kapazitätslimit und Crawling-Bedarf.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.
