Den Googlebot gibt es in zwei Ausführungen. Googlebot für Smartphones ist laut Google ein mobiler Crawler, der einen Nutzer mit einem Mobilgerät simuliert, Googlebot für Computer tut dasselbe für einen Nutzer am Desktop [1]. Die Google Suche indexiert meist die mobile Fassung einer Website. Deshalb stammt die Mehrheit der Crawling-Anfragen vom mobilen Crawler, nur eine Minderheit vom Computer-Crawler [1]. Wenn in deinen Serverprotokollen Googlebot auftaucht, ist es also in den meisten Fällen die Smartphone-Variante.
So meldet er sich an
Der User-Agent des mobilen Crawlers sieht aus wie der eines Android-Geräts mit Chrome. Statt einer festen Browserversion steht dort Chrome/W.X.Y.Z als Stellvertreter für die Versionsnummer, am Ende folgt der Zusatz "compatible; Googlebot/2.1" mit einem Link auf Googles Bot-Seite [2]. Der Computer-Crawler trägt denselben Zusatz, nur ohne Geräteangabe [2]. Beide arbeiten für dieselben Produkte: die Google Suche mit allen Suchfunktionen, Discover, Google Bilder, den Videomodus und Google News [2].
Ein eigenes Token für die robots.txt hat keiner der beiden. Smartphone- und Computer-Crawler hören auf das Token Googlebot [2]. Den mobilen Crawler getrennt vom Desktop-Crawler auszusperren, geht über die robots.txt deshalb nicht. Eine Gruppe "User-agent: Googlebot" trifft immer beide.
Was der mobile Crawler von deiner Seite sieht
Weil der Smartphone-Crawler die Fassung abruft, die in den Index kommt, sollte die mobile Seite dieselben Inhalte zeigen wie die Desktop-Seite. Das Design darf abweichen, etwa mit Akkordeons oder Tabs [3]. Inhalte, die erst nach einer Nutzerinteraktion nachgeladen werden, lädt Google nicht [3]. Wer auf dem Handy den Rest eines Artikels erst nach einem Tipp auf "Weiterlesen" per Skript holt, verschenkt diesen Teil. Robots-Meta-Tags, strukturierte Daten und Alt-Texte der Bilder sollen auf beiden Fassungen gleich sein. Ein noindex, das nur in der mobilen Fassung steht, kann die Indexierung verhindern [3]. Enthalten strukturierte Daten Adressen, sollen sie zur jeweiligen Fassung passen. Bei Bildern rät Google von Adressen ab, die sich bei jedem Laden ändern [3]. Den Hintergrund dazu erklärt der Eintrag Mobile-First-Indexierung.
Für die Datenmenge gilt die Grenze des Googlebot: Er lädt die ersten 2 MB einer unterstützten Datei, gemessen an den unkomprimierten Daten, bei PDF-Dateien 64 MB. Was danach kommt, wird nicht indexiert (Stand 06.02.2026) [1]. Im Schnitt greift der Googlebot laut Google nur einmal alle paar Sekunden auf eine Website zu [1].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Echte Zugriffe erkennen
Die Kennung lässt sich fälschen. Ein echter Zugriff löst sich per umgekehrtem DNS-Lookup zu einem Namen unter googlebot.com, google.com oder googleusercontent.com auf, und der Vorwärts-Lookup dieses Namens ergibt wieder dieselbe IP-Adresse [4]. Den Weg Schritt für Schritt beschreibt der Ratgeber Googlebot-Anfragen prüfen, die Folgen für deine Website der Ratgeber Mobile-First-Indexierung beachten. Wo du die Zugriffe findest, steht unter Server-Log.
Für den Verdacht, dass deine mobile Seite weniger zeigt als die Desktop-Fassung, gibt es die gratis Sprechstunde. Dort sprechen wir darüber.
- Organisation Was ist der Googlebot?. Google Search Central. Stand 06.02.2026. abgerufen am 31.10.2026
- Organisation Gewöhnliche Crawler von Google. Google Search Central. Stand 20.10.2026. abgerufen am 31.10.2026
- Organisation Best Practices für mobile Websites und die Mobile-First-Indexierung. Google Search Central. Stand 20.02.2026. abgerufen am 31.10.2026
- Organisation Anfragen von Google-Crawlern und -Fetchern überprüfen. Google Search Central. Stand 25.03.2026. abgerufen am 31.10.2026
Häufige Fragen
Woran erkenne ich Googlebot Smartphone im Log?
Am User-Agent mit Android-Gerätekennung, Chrome-Angabe und dem Zusatz "compatible; Googlebot/2.1". Ob der Zugriff echt ist, zeigt erst die DNS-Prüfung der IP-Adresse.
Kann ich nur den mobilen Googlebot sperren?
Nicht über die robots.txt. Smartphone- und Computer-Crawler nutzen beide das Token Googlebot, eine Regel dafür gilt für beide.
Warum crawlt Google meine Seite fast nur mobil?
Google indexiert meist die mobile Fassung einer Website. Deshalb stellt der Smartphone-Crawler die Mehrheit der Anfragen.
Brauche ich eine eigene mobile Version für den Smartphone-Crawler?
Google nennt eine mobile Version nicht zwingend, empfiehlt sie aber dringend. Responsives Webdesign gilt dort als einfachste Lösung, weil beide Crawler dieselbe Adresse und denselben Inhalt bekommen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.
