Wer eine Anzeige bei Google schaltet, verlinkt auf eine Zielseite. Ob diese Seite zur Anzeige passt, prüft Google mit einem eigenen Crawler, dem AdsBot. Google führt ihn in der Liste der gesonderten Crawler, die bestimmte Produkte nutzen, wenn zwischen der Website und dem Produkt eine Vereinbarung über das Crawling besteht [1]. Die allgemeinen technischen Eigenschaften der Google-Crawler gelten auch für ihn [1].
Zwei Varianten und ihre Kennung
In der robots.txt meldet sich der Crawler unter dem Token AdsBot-Google, sein User-Agent lautet "AdsBot-Google (+http://www.google.com/adsbot.html)". Für Mobilseiten gibt es AdsBot-Google-Mobile mit der Kennung eines Android-Smartphones. Beide prüfen laut Google die Anzeigenqualität auf Webseiten für Google Ads [1]. Eine dritte Variante für iPhone-Seiten, AdsBot Mobile Web, nutzt Google nicht mehr und führt sie nur noch zur Information [1].
Anfragen gesonderter Crawler kommen aus eigenen IP-Bereichen, die Google in der Datei special-crawlers.json veröffentlicht. Der Reverse-DNS-Name solcher Zugriffe folgt dem Muster rate-limited-proxy-…google.com [1]. In den Server-Logs lassen sich AdsBot-Besuche so von Besuchen des Googlebots unterscheiden. Weil sich ein User-Agent leicht fälschen lässt, lohnt bei auffälligen Zugriffen ein Abgleich. Wie das geht, beschreibt der Ratgeber Googlebot-Anfragen prüfen, die Methode gilt für alle Crawler von Google.
Die Sonderregel in der robots.txt
Die wichtigste Eigenheit betrifft die robots.txt. Beide AdsBot-Varianten ignorieren die allgemeine Gruppe mit dem Stern "*" [1]. Eine Regel wie "User-agent: *" mit "Disallow: /" sperrt also Googlebot und andere Crawler aus, AdsBot aber nicht. Nur eine Gruppe, die AdsBot-Google oder AdsBot-Google-Mobile ausdrücklich nennt, gilt auch für ihn [1]. Wer AdsBot wirklich aussperren will, muss ihn also mit Namen nennen.
Umgekehrt kann eine gezielte Sperre Folgen haben. Google muss die Zielseite lesen können, um zu prüfen, ob Nutzer nach dem Klick auf eine Anzeige auf einer passenden Seite landen [2]. Kann Google Ads eine Zielseite nicht crawlen, lehnt Google die Anzeige ab. Als Beispiel nennt die Richtlinie "Nicht crawlbares Ziel" eine robots.txt, die den Zugriff auf die Website oder einen großen Teil davon einschränkt. Auch eine robots.txt, die nicht erreichbar ist oder beim Lesen in eine Zeitüberschreitung läuft, kann zur Ablehnung führen. Dasselbe gilt für Einstellungen, die weniger Crawling erlauben, als die Zahl der Anzeigen erfordert [2]. Wer einzelne Bereiche vor Crawlern schützen will, sollte deshalb prüfen, ob dort Zielseiten von Anzeigen liegen.
Mit der organischen Suche hat AdsBot nichts zu tun. Für den Index crawlt der Googlebot. Einen Überblick über Crawler im Allgemeinen gibt der Eintrag Crawler, zu Crawlern von KI-Anbietern der Eintrag KI-Crawler. Die Regeln der robots.txt erklärt der Ratgeber robots.txt richtig schreiben. SEO NW arbeitet mit dem Schwerpunkt organische Suche.
Über Zugriffe von AdsBot in deinen Server-Logs und die Frage, woher sie kommen, sprechen wir in der gratis Sprechstunde.
- Organisation Gesonderte Crawler von Google. Google Search Central (Google-Crawling-Infrastruktur). Stand 22.09.2026. abgerufen am 31.10.2026
- Organisation Nicht crawlbares Ziel. Google Ads-Werberichtlinien-Hilfe. Stand ohne Datum. abgerufen am 31.10.2026
Häufige Fragen
Gilt "User-agent: *" auch für AdsBot?
Nein. AdsBot-Google und AdsBot-Google-Mobile ignorieren laut Google die allgemeine Gruppe mit dem Stern. Regeln gelten für sie nur, wenn sie ausdrücklich genannt sind.
Was passiert, wenn ich AdsBot in der robots.txt sperre?
Google Ads kann die Zielseiten dann nicht prüfen und lehnt die Anzeigen nach der Richtlinie "Nicht crawlbares Ziel" ab.
Crawlt AdsBot für den Google-Index?
Nein. AdsBot prüft die Anzeigenqualität für Google Ads. Für den Index der Google-Suche ist der Googlebot zuständig.
Wie erkenne ich, ob ein Zugriff wirklich von AdsBot stammt?
Gesonderte Crawler kommen aus IP-Bereichen, die Google in der Datei special-crawlers.json veröffentlicht. Der User-Agent allein reicht nicht, weil er sich fälschen lässt.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.
