Google kann nicht jede Adresse jeder Website ständig neu abrufen. Wie viel Aufwand der Googlebot für eine Website betreibt, nennt Google Crawling-Budget. Gemeint sind die Zeit und die Ressourcen, die Google einer Website zum Crawlen zuweist. Als Website zählt dabei ein Hostname, eine Subdomain hat also ihr eigenes Budget [1].
Die zwei Bestandteile
Das Crawling-Kapazitätslimit beschreibt, wie viele Verbindungen der Googlebot gleichzeitig nutzt und wie lange er sie insgesamt offen halten darf, damit der Server nicht überlastet wird. Antwortet die Website eine Zeit lang schnell und stabil, steigt das Limit. Wird sie langsamer oder antwortet mit Serverfehlern (5xx) oder dem Code 429, sinkt es [1].
Der Crawling-Bedarf hängt davon ab, wie viele Adressen Google kennt, wie beliebt sie sind und wie aktuell Google sie halten will. Eine Umstellung der Website, etwa ein Umzug auf neue Adressen, kann den Bedarf erhöhen [1]. Aus beiden Größen zusammen ergibt sich, welche und wie viele Adressen Google abruft.
Für wen das Crawl-Budget zählt
Google richtet seine Anleitung an Websites mit mehr als einer Million Seiten, deren Inhalt sich etwa wöchentlich ändert, an Websites mit mehr als 10.000 Seiten und täglichen Änderungen sowie an Websites mit vielen Adressen im Status "Gefunden: zurzeit nicht indexiert". Die Zahlen sind laut Google grobe Richtwerte [1]. Den Bericht "Crawling-Statistik" in der Search Console braucht eine Website mit weniger als 1.000 Seiten laut Google wahrscheinlich nicht [2]. Der Bericht trennt unter anderem nach dem Zweck der Abrufe: Erkennung neuer Adressen und Aktualisierung bereits bekannter Seiten [2]. Nach unserer Erfahrung ist das Crawl-Budget bei der Website eines Handwerksbetriebs oder einer Praxis fast nie der Grund, warum eine Seite nicht im Index steht.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Wodurch Budget verloren geht
Wo es knapp wird, liegt das selten an zu wenig Kapazität. Häufiger verbraucht der Crawler seine Zeit mit Adressen, die niemand braucht. Google nennt viele doppelte oder unwichtige Adressen, Seiten mit noindex, die abgerufen und dann verworfen werden, Soft 404, lange Weiterleitungsketten und langsame Server [1]. Ein typischer Fall ist ein Shop mit Filtern, deren Kombinationen tausende Adressen erzeugen, die sich nur in der Sortierung unterscheiden.
Google empfiehlt unter anderem, Duplikate zusammenzuführen, unwichtige Adressen per robots.txt vom Crawlen auszuschließen, für dauerhaft entfernte Seiten 404 oder 410 zu liefern, Sitemaps mit lastmod aktuell zu halten und Weiterleitungsketten zu vermeiden [1]. Außerdem rät Google, die Ladezeit zu verbessern und HTTP-Caching mit dem Statuscode 304 zu unterstützen, damit unveränderte Seiten nicht jedes Mal komplett ausgeliefert werden müssen [1]. Mit noindex lässt sich laut Google kein Budget auf andere Seiten umlenken [1]. Wie du vorgehst, zeigt der Ratgeber Crawl-Budget optimieren. Verwandt sind Crawling, Crawl-Rate und facettierte Navigation.
Wenn bei dir viele Adressen im Status "Gefunden: zurzeit nicht indexiert" hängen, sprechen wir in der gratis Sprechstunde darüber, ob das am Crawl-Budget liegt.
- Organisation Crawling-Budget optimieren. Google Search Central. Stand 16.09.2026. abgerufen am 31.10.2026
- Organisation Bericht "Crawling-Statistik". Search Console-Hilfe. Stand ohne Datum. abgerufen am 31.10.2026
Häufige Fragen
Muss ich mich als kleine Website um das Crawl-Budget kümmern?
Meist nicht. Google richtet seine Anleitung an sehr große oder sich täglich ändernde Websites. Bei wenigen hundert Seiten liegen Indexierungsprobleme fast immer an etwas anderem.
Woraus besteht das Crawl-Budget?
Aus dem Crawling-Kapazitätslimit, also dem, was dein Server ohne Überlastung verträgt, und dem Crawling-Bedarf, also dem Interesse von Google an deinen Adressen.
Spart noindex Crawl-Budget?
Nein. Google ruft die Seite trotzdem ab, um das noindex zu lesen. Dauerhaft unwichtige Adressen schließt du per robots.txt vom Crawlen aus.
Wo sehe ich, wie oft Google meine Website crawlt?
Im Bericht "Crawling-Statistik" der Search Console unter den Einstellungen. Er zeigt Anfragen, Antwortzeiten, Antwortcodes und Dateitypen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.
