X-Robots-Tag Das X-Robots-Tag ist eine Angabe im HTTP-Kopf, mit der sich dieselben Anweisungen erteilen lassen wie mit dem Meta-Robots-Tag im HTML – etwa noindex oder nofollow. Sein Vorteil liegt bei Dateien, die kein HTML enthalten: PDF-Dokumente, Bilder und Archive lassen sich nur so aus dem Index halten. Außerdem kann es serverseitig für ganze Verzeichnisse gesetzt werden.
Kurz-Fakten
Wirkt wie das Meta-Robots-Tag, steht aber im HTTP-Kopf
Einziger Weg, PDF-Dateien und Bilder aus dem Index zu halten
Serverseitig für ganze Verzeichnisse oder Dateitypen setzbar
Wie noindex nur wirksam, wenn die Datei abgerufen werden darf
Einordnung für die Praxis
Der praktische Hauptfall sind PDF-Dokumente. Angebote, Preislisten und alte Broschüren sammeln sich über die Jahre und landen im Index, wo sie veraltete Angaben verbreiten. Ein Meta-Tag lässt sich in ein PDF nicht setzen – über das X-Robots-Tag geht es.
Die Prüfung ist unauffälliger als beim Meta-Tag, weil die Angabe im Quelltext nicht sichtbar ist. Sie steht in den Entwicklerwerkzeugen unter „Netzwerk" bei den Antwort-Kopfzeilen oder erscheint bei curl -I.
Inhaber von SEO NW in Bertingen, seit 2012 in der Suchmaschinenoptimierung. Betreut Websites für Google und Bing, Schwerpunkte technisches SEO, strukturierte Daten und die Frage, unter welchen Bedingungen Sprachmodelle einen Inhalt übernehmen. Schreibt und prüft die Einträge dieses Glossars.