X‑robots-tag einfach und verständlich erklärt – SEO Bedeutung

Was ist das X-Robots-Tag?

Das X-Robots-Tag ist ein HTTP-Response-Header, der Suchmaschinen mitteilt, wie sie eine URL indexieren und ausliefern sollen. Es trägt dieselben Direktiven wie das Meta-Robots-Tag – etwa noindex oder nofollow –, funktioniert aber für jede Ressource und nicht nur für HTML-Seiten.

Statt im HTML-Quelltext steht das X-Robots-Tag im Kopf der Server-Antwort. Ruft ein Crawler eine Datei ab, liest er die Anweisung direkt aus dem HTTP-Header:

Genau hier liegt der Vorteil: Weil die Anweisung serverseitig gesetzt wird, lässt sie sich auch Dateien mitgeben, die gar keinen HTML-Head haben – wie PDFs, Bildern oder Videos.

X-Robots-Tag vs. Meta Robots vs. robots.txt

Drei Werkzeuge steuern Crawling und Indexierung – und werden ständig verwechselt. Der entscheidende Unterschied: Die robots.txt steuert das Crawling, die beiden Robots-Tags steuern die Indexierung.

Wann sollte man es verwenden?

Das Meta-Robots-Tag reicht für normale HTML-Seiten völlig aus. Zum X-Robots-Tag greift man in zwei Situationen:

Die wichtigsten Direktiven

Das X-Robots-Tag kennt dieselben Direktiven wie das Meta-Robots-Tag. Einige werden von allen großen Suchmaschinen unterstützt, andere nur von Google:

Implementierung in Apache und Nginx

Das X-Robots-Tag wird in der Server-Konfiguration gesetzt. Wichtig: Im Code müssen gerade Anführungszeichen stehen ("), keine typografischen – sonst funktioniert die Konfiguration nicht.

Apache (.htaccess oder httpd.conf)

Bei Apache muss das Modul mod_headers aktiv sein. Mit einem Files– oder FilesMatch-Block weist man bestimmten Dateitypen einen Header zu. Alle PDF-Dateien auf noindex setzen:

# alle PDF-Dateien nicht indexieren
<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

Beispiel für Bilddateien

<FilesMatch "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</FilesMatch>

Nginx (.conf)

Bei Nginx setzt man den Header in einem location-Block der Server-Konfiguration:

# alle PDF-Dateien nicht indexieren
location ~* "\.pdf$" {
  add_header X-Robots-Tag "noindex, nofollow";
}

Einzelne Crawler ansprechen

Optional lässt sich ein User-Agent vor die Regeln setzen. Regeln ohne User-Agent gelten für alle Crawler; Groß- und Kleinschreibung spielt keine Rolle:

HTTP/1.1 200 OK
X-Robots-Tag: googlebot: noindex
X-Robots-Tag: bingbot: noarchive

Prüfen und häufige Fehler

Ob ein X-Robots-Tag greift, sehen Sie in den Entwicklertools des Browsers: F12 drücken, in den Tab „Netzwerk“ / „Network“ wechseln, die Seite neu laden, die Hauptdatei anklicken und unter „Response Headers“ nach dem Eintrag suchen. Auch die Google Search Console zeigt mit dem URL-Prüf-Tool, warum eine Seite nicht indexiert wird.

Der mit Abstand häufigste Fehler: Die Seite ist per robots.txt gesperrt – und der Crawler sieht das noindex deshalb nie.

Weitere typische Stolperfallen:

• mod_headers fehlt: Ohne das aktive Apache-Modul greift kein Header set.
• Meta Robots und X-Robots-Tag auf derselben Datei: Beides gleichzeitig erzeugt leicht Widersprüche. Faustregel: Meta Robots für HTML-Seiten, X-Robots-Tag für Dateien.
• noindex zusammen mit Canonical: Ein Canonical sagt „indexiere die andere Version“, noindex sagt „indexiere gar nicht“ – widersprüchliche Signale, die man vermeiden sollte.
• Typografische Anführungszeichen im Code: Nur gerade ASCII-Quotes funktionieren in der Konfiguration.

X-Robots-Tag 2026: Snippets und KI

Mit dem Aufkommen der KI-Suche bekommen einige Direktiven neue Bedeutung. Die Snippet-Steuerung über nosnippet, max-snippet und das HTML-Attribut data-nosnippet beeinflusst nicht nur klassische Snippets, sondern auch, welche Inhalte Google für Featured Snippets und KI-Übersichten (AI Overviews) heranzieht.

Ein ehrliches Wort zur Einordnung: Wer in den klassischen Ergebnissen und in KI-Antworten sichtbar sein will, sollte mit Snippet-Sperren sparsam umgehen. Das X-Robots-Tag ist dafür da, gezielt das Richtige aus dem Index herauszuhalten – nicht, um wertvolle Seiten versehentlich unsichtbar zu machen. Die Technik bleibt dieselbe; nur die strategische Frage, was man sperrt, wird in der KI-Suche wichtiger.