Crawling Crawling bezeichnet den Vorgang, bei dem ein Programm einer Suchmaschine Seiten einer Website abruft und deren Verweisen folgt, um weitere Seiten zu finden. Crawling ist nicht dasselbe wie Indexierung: Eine abgerufene Seite wird erst danach bewertet und möglicherweise in den Index aufgenommen – möglicherweise auch nicht. Gesteuert wird das Abrufen über die robots.txt, nicht über Meta-Angaben im HTML.
Kurz-Fakten
Abrufen und Indexieren sind zwei getrennte Vorgänge
Gesteuert über robots.txt; Meta-Angaben wirken erst nach dem Abruf
Der Googlebot folgt Verweisen im HTML, nicht Einträgen in einem Menü, das erst per JavaScript entsteht
Die Häufigkeit richtet sich nach Änderungsrate und Serverantwortzeit
Einordnung für die Praxis
Die praktisch wichtigste Folge dieser Trennung: Wer eine Seite aus dem Index halten will, darf sie nicht per robots.txt sperren. Die Sperre verhindert den Abruf – und damit auch das Lesen des noindex, das die Seite entfernen würde. Beide Anweisungen zusammen heben sich gegenseitig auf.
Unten rechts ist der teure Fall. Er sieht nach doppelter Absicherung aus und ist das Gegenteil: Die Sperre verhindert, dass die Anweisung zum Entfernen überhaupt gelesen wird.
Was Crawling nicht garantiert: dass eine Seite in den Index kommt. Die Search Console führt dafür eine eigene Kategorie – „Gecrawlt, zurzeit nicht indexiert". Das ist keine Fehlermeldung, sondern eine Bewertung: Die Seite wurde gesehen und für nicht aufnahmewürdig befunden.
Inhaber von SEO NW in Bertingen, seit 2012 in der Suchmaschinenoptimierung. Betreut Websites für Google und Bing, Schwerpunkte technisches SEO, strukturierte Daten und die Frage, unter welchen Bedingungen Sprachmodelle einen Inhalt übernehmen. Schreibt und prüft die Einträge dieses Glossars.