Was ist Crawl-Budget?

Kurz-Fakten

• Zwei Größen: Belastbarkeit des Servers und Interesse der Suchmaschine
• Für Websites unter einigen tausend Seiten praktisch nie ein Engpass
• Sinkt bei häufigen Serverfehlern und langsamen Antwortzeiten
• Nachprüfbar in der Search Console unter „Crawling-Statistiken"

Einordnung für die Praxis

Wo es tatsächlich knapp wird – große Shops, Portale mit vielen Filterkombinationen –, sind selten fehlende Kapazitäten das Problem, sondern deren Verschwendung. Der Crawler arbeitet sich durch tausende Adressen, die sich nur in der Sortierreihenfolge unterscheiden, während neue Produktseiten warten.

Die Abhilfe ist deshalb nicht „mehr Budget", sondern weniger Ausschuss: Parameter-Adressen sperren, Ketten von Weiterleitungen auflösen, Fehlerseiten beseitigen. Die Crawling-Statistiken der Search Console zeigen unmittelbar, wofür die Abrufe verbraucht werden.

Verwandte Begriffe

• Crawling Crawling bezeichnet den Vorgang, bei dem ein Programm einer Suchmaschine Seiten einer…
• robots.txt Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Website, die Bots mitteilt,…
• Facettierte Navigation Eine facettierte Navigation erlaubt das Einschränken einer Liste über mehrere Merkmale…
• Paginierung Paginierung ist die Aufteilung langer Listen auf mehrere Seiten – etwa Suchergebnisse,…
• Logfile-Analyse Eine Logfile-Analyse wertet die Protokolldateien des Webservers aus, in denen jeder…
• Google Search Console Die Google Search Console ist ein kostenloses Werkzeug, das zeigt, wie Google eine…