Zum Inhalt springen
SEO NW – Alexander Müller 18 FachportaleHotline 0800 188 7 100 rund um die UhrGratis Sprechstundewww.seo-manager.info
SEO GlossarBegriffe aus SEO und GEO
Menü

Glossar · Alle SEO-Begriffe von A bis Z

Was ist der Googlebot?

Der Googlebot ist der Crawler von Google, also das Programm, das Webseiten für die Google Suche abruft. Es gibt ihn als Smartphone- und als Computer-Crawler, und weil die meisten Websites mobile-first indexiert werden, kommt der größere Teil der Anfragen vom mobilen Crawler. Seine Kennung lässt sich fälschen, echte Zugriffe erkennst du über eine DNS-Prüfung der IP-Adresse.

Bibliothekarin geht mit einem kleinen Wagen an hohen Bücherregalen entlang und sammelt Bücher ein
Bild: KI-generiert

Der Googlebot besteht aus zwei Crawlern, einem für Smartphones und einem für Computer. Da die meisten Websites mobile-first indexiert werden, stammt der größere Teil der Anfragen vom mobilen Crawler [1]. Beide hören in der robots.txt auf dasselbe User-Agent-Token, du kannst also nicht nur einen von beiden sperren [1]. Meist ruft der Googlebot eine Website im Schnitt etwa einmal alle paar Sekunden ab. Wenn der Server das nicht schafft, lässt sich die Crawling-Frequenz verringern [1].

Was der Googlebot abruft und wie viel

Von einer unterstützten Datei liest der Googlebot die ersten 2 MB, von einer PDF-Datei die ersten 64 MB. Die Grenze gilt für die unkomprimierten Daten, und jede im HTML eingebundene Ressource wie CSS oder JavaScript wird einzeln abgerufen [1]. Die Crawler von Google sprechen HTTP/1.1 und HTTP/2, verstehen die Komprimierung mit gzip, deflate und Brotli und nutzen beim erneuten Crawlen HTTP-Caching über ETag oder Last-Modified [4]. Standard ist HTTP/1.1. Die Crawler wählen die Version, die am besten läuft, und können zwischen Sitzungen wechseln. Ein Rankingvorteil durch HTTP/2 entsteht laut Google nicht. Wer HTTP/2 für die Crawler abschalten will, antwortet vorübergehend mit dem Statuscode 421. Beim Caching bevorzugt Google ETag gegenüber Last-Modified [4].

Die robots.txt verhindert das Crawling, aber nicht, dass eine Adresse in den Suchergebnissen auftaucht. Dafür ist noindex zuständig [1].

Rendering in einem zweiten Schritt

Google verarbeitet Seiten mit JavaScript in drei Phasen: Crawling, Rendering und Indexierung. Seiten mit dem Statuscode 200 kommen in eine Warteschlange zum Rendern, die Wartezeit kann wenige Sekunden betragen oder länger dauern [3]. Gerendert wird mit einer stets aktuellen Version von Chromium ohne Oberfläche. Serverseitiges Rendering oder Pre-Rendering nennt Google weiterhin eine sehr gute Option, weil es Seiten für Nutzer und Crawler schneller macht und nicht alle Bots JavaScript ausführen [3].

Noch eine Frage offen?

In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.

Echte Zugriffe erkennen

Die Kennung im User-Agent wird oft gefälscht [1]. Google beschreibt deshalb eine Prüfung in vier Schritten. Du machst für die IP-Adresse aus dem Serverprotokoll eine umgekehrte DNS-Abfrage, etwa mit dem Befehl host, prüfst, ob der Name auf googlebot.com, google.com oder googleusercontent.com endet, fragst diesen Namen wieder per DNS ab und vergleichst die Antwort mit der ursprünglichen IP-Adresse. Stimmen beide überein, kam die Anfrage von Google [2]. Für automatische Prüfungen veröffentlicht Google die IP-Bereiche als JSON-Dateien, etwa common-crawlers.json für die üblichen Crawler und special-crawlers.json für besondere [2].

Wachmann prüft nachts am Eingang eines Gebäudes unter einer Schreibtischlampe einen Ausweis
Bild: KI-generiert

Ein Shopbetreiber sieht in den Serverlogs Tausende Zugriffe mit der Kennung Googlebot auf seine Filterseiten. Die DNS-Prüfung zeigt, dass ein Großteil von einem fremden Rechenzentrum kommt. Diese Zugriffe darf er sperren, ohne dass Google etwas davon merkt. Wie das genau geht, zeigt der Ratgeber Googlebot-Anfragen prüfen. Verwandte Begriffe sind Googlebot Smartphone, Crawling und JavaScript-Rendering.

Für merkwürdige Googlebot-Zugriffe in deinen Logs gibt es die gratis Sprechstunde: Bring einen kurzen Auszug mit, dann sprechen wir darüber.

  1. Organisation Was ist der Googlebot?. Google Search Central. Stand 06.02.2026. abgerufen am 31.10.2026
  2. Organisation Anfragen von Google-Crawlern und -Fetchern überprüfen. Google-Crawling-Infrastruktur. Stand 25.03.2026. abgerufen am 31.10.2026
  3. Organisation Grundlagen von JavaScript-SEO. Google Search Central. Stand 04.03.2026. abgerufen am 31.10.2026
  4. Organisation Übersicht über den Google-Crawler (User-Agent). Google-Crawling-Infrastruktur. Stand 17.06.2026. abgerufen am 31.10.2026

Häufige Fragen

Gibt es mehrere Googlebots?

Für die Websuche zwei: einen Smartphone- und einen Computer-Crawler. Der größere Teil der Anfragen kommt vom mobilen Crawler.

Kann ich nur den mobilen Googlebot sperren?

Nein. Beide nutzen in der robots.txt dasselbe User-Agent-Token.

Wie viel einer Seite liest der Googlebot?

Die ersten 2 MB einer unterstützten Datei, gemessen unkomprimiert, bei PDF-Dateien die ersten 64 MB. CSS und JavaScript ruft er einzeln ab.

Wie prüfe ich, ob ein Zugriff wirklich vom Googlebot kommt?

Mit einer umgekehrten DNS-Abfrage der IP-Adresse und einer Gegenprobe. Der Name muss auf googlebot.com, google.com oder googleusercontent.com enden und wieder auf dieselbe IP zeigen.

Noch eine Frage offen?

In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.

Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.

Weiterlesen