Was ist Robots.txt? Alles über die wichtigste SEO-Datei Ihrer Website

Die robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie aufrufen dürfen und welche nicht. Sie liegt immer direkt unter der Domain, also etwa unter beispiel.de/robots.txt, und ist öffentlich einsehbar. Ihr Hauptzweck ist die Steuerung des Crawlings, um Server-Ressourcen zu schonen. Sie folgt dem Robots Exclusion Protocol.

Die robots.txt muss immer im Stammverzeichnis, also im Root der Domain, liegen. Für eine Website wie beispiel.de befindet sie sich unter beispiel.de/robots.txt. Sie muss als UTF-8-kodierte Textdatei vorliegen, unter der Adresse mit der Endung /robots.txt erreichbar sein und einen Status 200 zurückgeben. Eine 404-Antwort wird von Crawlern als keine Einschränkungen interpretiert.

Nein. Die robots.txt ist kein zuverlässiges Mittel, um Seiten vor Suchmaschinen zu verstecken. Eine per Disallow gesperrte Seite kann trotzdem im Index landen, wenn andere Seiten auf sie verlinken. Wer eine Seite zuverlässig aus dem Index halten will, nutzt das noindex-Meta-Tag oder einen Passwortschutz. Die robots.txt ist außerdem kein Sicherheits- oder Zugriffsschutz, sondern wird nur freiwillig befolgt.

Die wichtigsten Befehle sind User-agent, der festlegt, für welchen Crawler die Regeln gelten, Disallow, der einen Pfad sperrt, und Allow, der innerhalb eines gesperrten Bereichs eine Ausnahme freigibt. Die Sitemap-Zeile verweist auf die XML-Sitemap. Ein Stern beim User-agent erfasst alle Crawler. Google und Bing verstehen zusätzlich die Platzhalter Stern und Dollarzeichen, die aber nicht Teil des offiziellen Standards sind.

Nein, Google unterstützt Crawl-delay nicht. Bing und Yandex werten die Direktive dagegen aus. Crawl-delay legt eine Pause zwischen den Anfragen eines Bots fest. Wer bei Google die Crawling-Geschwindigkeit steuern möchte, nutzt dafür die Google Search Console. Der Internetstandard RFC 9309 ließ Crawl-delay bewusst weg, weil sich kein einheitliches Verhalten über alle Crawler hinweg standardisieren ließ.

KI-Crawler tragen eigene Namen und lassen sich wie jeder andere User-agent ansprechen. Um etwa GPTBot von OpenAI auszusperren, schreibt man eine Gruppe mit User-agent GPTBot und der Regel Disallow Schrägstrich. Eine gängige Strategie 2026 ist, Trainings-Crawler wie GPTBot, ClaudeBot, CCBot und Google-Extended zu blockieren, die Such-Crawler wie OAI-SearchBot und PerplexityBot aber zu erlauben, damit Inhalte weiterhin in KI-Antworten erscheinen.

Nein. Google-Extended ist ein reines Steuer-Token für die KI-Nutzung, etwa das Training von Gemini. Wer es in der robots.txt blockiert, schließt nur diese KI-Nutzung aus. Das normale Crawling durch den Googlebot und das Google-Ranking bleiben davon völlig unberührt. Beide sind voneinander getrennt. Sie können also der KI-Verwertung widersprechen, ohne Ihre Sichtbarkeit in der klassischen Google-Suche zu gefährden.

Nein, das sollten Sie niemals tun. Wenn Sie CSS- und JavaScript-Dateien blockieren, kann Google Ihre Seite nicht korrekt rendern und bewerten, was zu schlechteren Rankings führen kann. Google benötigt diese Dateien, um zu verstehen, wie Ihre Seite für Nutzer aussieht und funktioniert. Lassen Sie diese Ressourcen daher immer für Crawler zugänglich.

Ja. Das zugrunde liegende Robots Exclusion Protocol wurde 1994 von Martijn Koster informell eingeführt und 2022 als RFC 9309 offiziell von der Internet Engineering Task Force zum Internetstandard erklärt. Damit sind die Kernregeln wie User-agent, Disallow und Allow einheitlich definiert. Einige verbreitete Erweiterungen wie die Sitemap-Zeile oder Platzhalter sind allerdings nicht Teil dieses Kernstandards.

Am einfachsten rufen Sie die Datei direkt im Browser unter ihre-domain.de/robots.txt auf, so sehen Sie genau, was Crawler sehen. Zusätzlich zeigt der robots.txt-Bericht in der Google Search Console die eingelesene Datei, den letzten Crawl sowie Warnungen und Fehler. Den früheren separaten robots.txt-Tester hat Google abgelöst. Testen Sie jede Änderung, bevor Sie sie live schalten.