Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Website, die Bots mitteilt, welche Bereiche sie abrufen dürfen. Sie steuert das Abrufen, nicht die Indexierung: Eine per robots.txt gesperrte Seite kann trotzdem in Suchergebnissen erscheinen, wenn andere Seiten auf sie verweisen. Wer eine Seite aus dem Index halten will, braucht ein noindex – das aber nur wirkt, wenn die Seite abgerufen werden darf. Seit 2022 ist das Format als RFC 9309 spezifiziert.

Was ist robots.txt? Kurz erklärt

Kurz-Fakten

Seit 2022 als RFC 9309 spezifiziert
Steuert das Abrufen, nicht die Indexierung
Muss unter /robots.txt liegen; in Unterverzeichnissen wirkt sie nicht
Wird freiwillig beachtet – es gibt keine technische Durchsetzung

Einordnung für die Praxis

Zwei Fehler machen den Großteil der Schäden aus. Der erste ist die Kombination aus Disallow und noindex auf derselben Seite: Ist der Abruf gesperrt, wird das noindex nie gelesen, und die Seite bleibt im Index.

Der zweite ist ein vergessenes Disallow: / aus der Entwicklungsphase. Es hält eine fertige Website monatelang unsichtbar, ohne dass irgendwo eine Fehlermeldung erscheint. Der Test dauert fünf Sekunden: die eigene Adresse plus /robots.txt im Browser aufrufen.

Was die robots.txt nicht ist: ein Zugriffsschutz. Sie ist öffentlich lesbar und listet damit genau jene Verzeichnisse auf, die man verbergen wollte. Wer etwas schützen muss, braucht eine Zugangsbeschränkung auf Serverebene.

Was ist robots.txt?

Kurz-Fakten

Einordnung für die Praxis

Verwandte Begriffe

Geprüft von