Was ist Googlebot?

Kurz-Fakten

• Die mobile Ausprägung ist seit der Mobile-First-Umstellung maßgeblich
• Führt JavaScript aus, aber in einem zweiten Durchgang mit Verzögerung
• Echtheit prüfbar über eine umgekehrte DNS-Abfrage der zugreifenden IP-Adresse
• Hält sich an die robots.txt, aber nicht an Angaben in Meta-Tags beim Abruf

Einordnung für die Praxis

Der zweistufige Ablauf hat praktische Folgen. Was erst durch JavaScript entsteht, wird nicht sofort erfasst, sondern beim zweiten Durchgang – der Stunden bis Tage später stattfinden kann. Bei Inhalten, auf die es ankommt, ist serverseitiges Rendern deshalb die verlässlichere Wahl.

Wer in Server-Protokollen Zugriffe des Googlebot sieht, sollte deren Echtheit prüfen: Die Kennung lässt sich fälschen, die IP-Adresse nicht. Google beschreibt das Verfahren der umgekehrten DNS-Abfrage in seiner Dokumentation.

Verwandte Begriffe

• Crawling Crawling bezeichnet den Vorgang, bei dem ein Programm einer Suchmaschine Seiten einer…
• JavaScript-SEO JavaScript-SEO umfasst die Maßnahmen, die nötig sind, damit Inhalte einer Website auch…
• Rendering Rendering bezeichnet den Vorgang, aus HTML, CSS und JavaScript die fertige Darstellung…
• robots.txt Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Website, die Bots mitteilt,…
• Logfile-Analyse Eine Logfile-Analyse wertet die Protokolldateien des Webservers aus, in denen jeder…
• Crawl-Budget Das Crawl-Budget bezeichnet den Umfang, in dem eine Suchmaschine Seiten einer Website…