Was sind KI-Crawler?

KI-Crawler sind Bots von KI-Anbietern, die Webinhalte für das Training und die Antworten ihrer Sprachmodelle abrufen. Bekannte Vertreter sind GPTBot von OpenAI, ClaudeBot von Anthropic und PerplexityBot. Für Google gibt es das Token Google-Extended. Gesteuert werden sie wie klassische Crawler über die robots.txt.

Training, Suche und Abrufe für Nutzer

OpenAI und Anthropic trennen inzwischen drei Zwecke, und für jeden gibt es einen eigenen Bot. OpenAI nennt GPTBot für Inhalte, die für das Training von Modellen genutzt werden könnten, OAI-SearchBot für die Anzeige von Websites in den Suchfunktionen von ChatGPT und ChatGPT-User für Abrufe, die ein Nutzer auslöst ^[1]. Die Einstellungen sind laut OpenAI voneinander unabhängig. Du kannst also OAI-SearchBot erlauben und GPTBot sperren ^[1]. Anthropic unterscheidet ebenso: ClaudeBot sammelt Inhalte, die zum Training beitragen können, Claude-User ruft Seiten bei Fragen von Nutzern ab, Claude-SearchBot verbessert die Suchergebnisse ^[2]. Bei Perplexity dient PerplexityBot der Suche und laut Anbieter nicht dem Training von Basismodellen, Perplexity-User führt Abrufe für Nutzer aus ^[3].

Google geht einen anderen Weg. Google-Extended ist ein eigenes Token in der robots.txt, mit dem du steuerst, ob deine Inhalte für das Training künftiger Gemini-Modelle und für die Fundierung von Antworten genutzt werden dürfen. Einen eigenen User-Agent im Server-Log gibt es nicht, gecrawlt wird mit den vorhandenen Google-Crawlern. Auf die Aufnahme in die Google-Suche hat Google-Extended laut Google keinen Einfluss, und es ist kein Rankingsignal ^[4].

Steuerung über die robots.txt

Gesperrt wird ein Bot mit einem eigenen Abschnitt, etwa "User-agent: GPTBot" und darunter "Disallow: /". Anthropic weist darauf hin, dass die Datei für jede Subdomain einzeln gilt, und unterstützt zusätzlich die nicht genormte Angabe Crawl-delay ^[2]. Bis eine Änderung wirkt, dauert es nach Angaben der Anbieter bei OpenAI für die Suche etwa einen Tag, bei Perplexity bis zu einem Tag ^{[1, 3]}.

Zwei Grenzen gehören dazu. Die Norm RFC 9309 hält fest, dass die Regeln der robots.txt keine Form der Zugriffskontrolle sind. Wer Inhalte wirklich schützen will, braucht etwa eine Anmeldung ^[5]. Außerdem beachten Abrufe, die ein Nutzer auslöst, die robots.txt nicht immer. OpenAI schreibt, dass für ChatGPT-User die Regeln möglicherweise nicht gelten, Perplexity, dass Perplexity-User sie in der Regel ignoriert ^{[1, 3]}.

Sperren oder zulassen?

Die Entscheidung wägt Sichtbarkeit gegen Kontrolle ab. Wer Such-Bots wie OAI-SearchBot sperrt, erscheint nach Angaben von OpenAI nicht mehr in den Suchantworten von ChatGPT, höchstens noch als einfacher Navigationslink ^[1]. Wer nur Trainings-Bots sperrt, bleibt in der Suche sichtbar. Nach unserer Erfahrung überwiegt für die meisten Firmenwebsites der Nutzen der Sichtbarkeit. Für Verlage oder Anbieter von Inhalten mit Bezahlschranke sieht die Rechnung anders aus. Ausführlich behandelt das der Ratgeber KI-Crawler blockieren oder zulassen, wie du die Bots in den Logdateien findest, zeigt KI-Crawler im Server-Log erkennen. Ergänzend gibt es den Vorschlag llms.txt.

Du weißt nicht, welche KI-Bots deine Website heute besuchen und was deine robots.txt mit ihnen macht? Darüber sprechen wir in der gratis Sprechstunde, bring die Datei mit.

1. Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 31.10.2026
2. Organisation Does Anthropic crawl data from the web, and how can site owners block the crawler?. Anthropic. Stand 07.04.2026. abgerufen am 31.10.2026
3. Organisation Perplexity Crawlers. Perplexity. Stand ohne Datum. abgerufen am 31.10.2026
4. Organisation Übersicht über gängige Crawler von Google. Google Search Central. Stand 20.10.2026. abgerufen am 31.10.2026
5. Gesetz RFC 9309: Robots Exclusion Protocol. IETF. Stand September 2022. abgerufen am 31.10.2026

Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.