Ein Crawler folgt jedem Link, den er findet. Das funktioniert gut, solange die Zahl der Adressen ungefähr der Zahl der Seiten entspricht. Manche Bereiche einer Website erzeugen aber aus wenigen Inhalten Tausende oder unendlich viele Adressen. Google nannte das schon 2008 in einem Blogbeitrag einen "unendlichen Raum": eine riesige Menge an Links, die wenig oder gar keinen neuen Inhalt bringen [1]. Im SEO-Alltag heißt so ein Bereich Crawler-Falle oder englisch Spider Trap.
Typische Auslöser
Das bekannteste Beispiel ist ein Kalender mit einem Link "nächster Monat", dem ein Crawler endlos folgen kann [1]. Google beschreibt in seinen Empfehlungen zur URL-Struktur weitere Ursachen [2]. Lassen sich Filter in einem Shop kombinieren, etwa nach Farbe, Größe und Preis, wächst die Zahl der Adressen sehr schnell. Parameter für Sortierung, Verweise oder Sitzungs-IDs vervielfachen Adressen, ohne den Inhalt zu ändern. Eine besonders tückische Ursache sind defekte relative Links: Liefert der Server für nicht vorhandene Seiten keinen echten Fehlercode, kann daraus ein Pfad entstehen, der immer länger wird [2].
Ein Beispiel aus einem Onlineshop für Kinderschuhe: Jede Kategorie lässt sich nach acht Größen, sechs Farben und drei Preisbereichen filtern, und jeder Filter hängt einen Parameter an. Aus einer einzigen Kategorie werden so Hunderte Adressen, die fast dieselben Produkte zeigen. Dazu kommen Sortierung und Seitenzahl.
Was eine Crawler-Falle bewirkt
Laut Google können solche Adressräume Crawler überfordern. Der Googlebot braucht unnötig viel Bandbreite, und es kann passieren, dass nicht alle Inhalte der Website indexiert werden [2]. Im Extremfall kann es laut Google zu sehr hohen Crawling-Frequenzen kommen oder dazu, dass gar nicht mehr gecrawlt wird [2]. Verwandt ist das Thema Crawl-Budget: Wo der Crawler in endlosen Varianten unterwegs ist, fehlt ihm die Zeit für neue und geänderte Seiten. Zu einer Crawl-Rate, die plötzlich stark ansteigt, ist eine Crawler-Falle nach unserer Erfahrung eine der ersten Vermutungen, die sich zu prüfen lohnt.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Gegenmittel im Überblick
Google empfiehlt, problematische Adressen wie interne Suchergebnisse, Kalender sowie Sortier- und Filterfunktionen per robots.txt für den Googlebot zu sperren [2]. Schon der Beitrag von 2008 riet, vorher zu prüfen, ob der Googlebot alle echten Inhalte auf anderem Weg erreicht, damit die Sperre nichts Wichtiges abschneidet [1]. Sitzungsdaten gehören besser in Cookies als in die Adresse, Links zu künftigen Kalenderseiten bekommen ein nofollow, und Links sollten vom Stammverzeichnis ausgehen statt relativ zur aktuellen Seite [2]. Für Filter in Shops gibt es eine eigene Anleitung, mehr dazu im Eintrag facettierte Navigation und unter URL-Parameter.
Wie du Fallen im eigenen Crawl, in den Server-Logs und in der Search Console findest, zeigt der Ratgeber Crawl-Fallen erkennen. Wie du die Bereiche dauerhaft schließt, beschreibt Endlose URL-Räume vermeiden.
Du siehst in deinem Crawl viel mehr Adressen, als deine Website Seiten hat? Darüber sprechen wir in der gratis Sprechstunde.
- Organisation To infinity and beyond? No! (Torrey Hoffman). Google Search Central Blog. Stand 05.08.2008. abgerufen am 31.10.2026
- Organisation Best Practices für die URL-Struktur für die Google Suche. Google Search Central. Stand 26.10.2026. abgerufen am 31.10.2026
Häufige Fragen
Was ist eine Spider Trap?
Das englische Wort für Crawler-Falle. Gemeint ist ein Bereich einer Website, der immer neue Adressen mit kaum neuem Inhalt erzeugt, sodass sich Crawler darin verlaufen.
Woran erkenne ich eine Crawler-Falle?
An einem Adressmuster, das in einem eigenen Crawl oder in den Server-Logs weit mehr Adressen zeigt, als die Website Seiten hat. Häufig sind es Filter-, Sortier- oder Kalenderadressen.
Wie schließe ich eine Crawler-Falle?
Google empfiehlt, solche Adressen per robots.txt vom Crawling auszuschließen. Dazu kommen Sitzungsdaten in Cookies statt in der Adresse, nofollow für Links zu künftigen Kalenderseiten und echte Fehlercodes für nicht vorhandene Seiten.
Schadet eine Crawler-Falle dem Ranking?
Sie kann dazu führen, dass Google wichtige Inhalte später oder gar nicht indexiert, weil der Crawler seine Zeit in endlosen Varianten verbringt. Im Extremfall nennt Google außerdem sehr hohe Crawling-Frequenzen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.
