Bingbot einfach und verständlich erklärt – SEO Bedeutung

Bingbot einfach und verständlich erklärt

Was ist der Bingbot?

Der Bingbot ist der offizielle Webcrawler der Suchmaschine Bing von Microsoft. Als automatisiertes Programm durchsucht er kontinuierlich das Internet, um Webseiten zu erfassen, zu analysieren und in den Bing-Index aufzunehmen. Der Name setzt sich aus „Bing“ (der Suchmaschine) und „Bot“ (kurz für Robot) zusammen.

Seit seiner Einführung im Jahr 2010 löste der Bingbot Microsofts vorherigen Crawler „Live Search“ ab und wurde 2012 zum Hauptcrawler für sowohl Bing als auch Yahoo. Derzeit liefert der Bing Bot also Ergebnislisten für Bing und Yahoo, wobei Yahoo noch den Crawler Slurp betreibt, der die Ergebnislisten aber nur noch anreichern soll.

Verschiedene Arten von Bing-Crawlern

Microsoft setzt nicht nur einen einzigen Crawler ein, sondern verschiedene spezialisierte Bots für unterschiedliche Aufgaben:

Hauptcrawler

Bingbot

Bingbot ist der Hauptcrawler für die Indexierung regulärer Webseiten. Er erscheint in den Logfiles mit unterschiedlichen User-Agent-Strings für Desktop und Mobile.

MSNBot

Der frühere Hauptcrawler, der heute noch ergänzende Crawling-Aufgaben übernimmt und bei der Datensammlung unterstützt.

Spezialisierte Crawler

AdIdxBot

AdIdxBot wird speziell für das Crawlen von Werbeinhalten und die Qualitätssicherung von Bing Ads eingesetzt.

BingPreview

BingPreview ruft Seiten ab, um Vorschaubilder (z. B. im Edge-Browser oder den Suchergebnissen) zu generieren.

MicrosoftPreview

MicrosoftPreview funktioniert ähnlich, wird aber unter anderem für Microsoft-Produkte wie Outlook, Teams oder andere Office-Dienste verwendet, um Link-Vorschauen anzuzeigen.

MSNBot-Media

Spezialisiert auf das Crawlen von Bildern und Videos für die Mediensuche in Bing.

User-Agent-Strings des Bingbot

Der Bingbot identifiziert sich bei Website-Besuchen durch spezielle User-Agent-Strings. Microsoft announced that bingbot is changing its user agent and it’s gaining desktop and mobile device variants Diese wurden 2022 aktualisiert und bieten nun bessere Informationen über die verwendete Rendering-Engine.

Warum ist der Bingbot wichtig?

Wachsende Marktbedeutung

Obwohl Google weiterhin der Marktführer bei Suchmaschinen ist, gewinnt Bing stetig an Bedeutung. Mit großem Abstand folgte Bing, die Suchmaschine von Microsoft, welche einen Marktanteil von rund zwölf Prozent erzielte Besonders in Deutschland zeigt sich ein interessanter Trend: Laut Zahlen von StatCounter sank der Marktanteil von Google bereits im Februar unter 75 Prozent. Im März waren es nur noch 73,88 Prozent. Bing liegt auf Platz zwei mit 16,71 Prozent

Integration mit ChatGPT

Ein entscheidender Faktor für die wachsende Bedeutung des Bingbot ist die Integration mit ChatGPT. ChatGPT nutzt für seine Web-Browsing-Funktion (ChatGPT Search) die Bing-Suche, um aktuelle Informationen zu liefern. Dies bedeutet, dass 87 % der zitierten Quellen bei ChatGPT stammen aus den Bing-Top-10 – ein starkes Signal für Bing-SEO.

Bingbot für Webmaster optimieren

Zugang gewähren

Standardmäßig sollten alle seriösen Crawler Zugang zu Ihrer Website haben. Falls der Bingbot blockiert wird, gibt es mehrere Lösungsansätze:

1. Robots.txt anpassen

Die einfachste Methode ist die Anpassung der robots.txt-Datei, um dem Bingbot explizit Zugang zu gewähren:

2. Meta-Tags verwenden

Für spezifische Seiten können Meta-Tags verwendet werden, um das Crawling-Verhalten zu steuern:

3. HTTP-Header konfigurieren

Über den Server können HTTP-Header gesetzt werden, um das Crawler-Verhalten zu steuern.

Bing Webmaster Tools nutzen

Ein wesentlicher Unterschied zu Google ist die Kontrolle, die Bing über die Bing Webmaster Tools bietet: Hier kannst du nicht nur angeben, wie oft einzelne URLs gecrawlt werden dürfen, sondern in bestimmten Fällen sogar tages- und stundenweise Crawl-Raten festlegen.

Schutz vor Fake-Bingbots

Ein zunehmendes Problem sind gefälschte Crawler, die sich als Bingbot ausgeben. In den letzten zwei Jahren ist es vermehrt zu Fake Spidern gekommen, die sich als Bingbot getarnt haben. Die Fake Spider Bots lesen Inhalte aus, ohne dass diese irgendwelche Relevanz für die Suchmaschinen haben.

Verifikation des echten Bingbot

Microsoft bietet ein offizielles Verifikationstool an. To use the verify tool, simply enter the IP address of the bot from your server logs in the form and the tool will run the check. If the tool tells you the suspect bot is not Bingbot, it’s recommended to blacklist and the block the IP address from accessing your website.

Erkennungsmerkmale

• User-Agent-String: Muss die korrekten Bingbot-Kennungen enthalten
• IP-Adresse: Sollte über das Microsoft-Verifikationstool geprüft werden
• Crawling-Verhalten: Echter Bingbot respektiert robots.txt und Crawl-Delays
• Anfrage-Frequenz: Übermäßige Anfragen deuten auf Fake-Bots hin

Unterschiede zwischen Bingbot und Googlebot

Bing bevorzugt Desktop, exakte Keywords in Titeln und URLs sowie Social Signals. Diese Unterschiede machen eine spezifische Optimierung für Bing sinnvoll, auch wenn viele grundlegende SEO-Prinzipien für beide Suchmaschinen gelten.

Entwicklung und Effizienzverbesserungen

Microsoft arbeitet kontinuierlich an der Verbesserung des Bingbot. Das Ziel von BingBot, ist es einen Algorithmus zu verwenden, um feststellen zu können, „welche Seiten zu crawlen sind, wie oft und wie viele Seiten von jeder Website abgerufen werden sollen.“

Die Herausforderung liegt darin, den „Crawl-Fußabdruck“ auf einer Website einzuschränken und gleichzeitig dennoch zu garantieren, dass der Inhalt in seinem Index so aktuell wie möglich ist. Dies ist besonders wichtig, da neue Inhalte nur dann in den Suchergebnissen erscheinen können, wenn sie vorher vom Bingbot erfasst wurden.

Zukunftsausblick

Die Bedeutung des Bingbot wird in den kommenden Jahren voraussichtlich weiter steigen. Mehrere Faktoren tragen zu dieser Entwicklung bei:

KI-Integration

Die enge Verzahnung mit ChatGPT und anderen KI-Anwendungen macht Bing zu einem wichtigen Gateway für moderne Informationssuche. Mit der Einführung von ChatGPT Search nutzt OpenAI nun den Bing-Index, um aktuelle und relevante Antworten zu liefern.

Marktanteil-Wachstum

Besonders in Deutschland zeigt sich ein kontinuierlicher Trend: Google verliert Desktop-Marktanteile, während Bing Boden gutmacht. Für Unternehmen bedeutet dies neue Chancen bei der Suchmaschinenoptimierung.

Technische Weiterentwicklung

Mit der Modernisierung der User-Agent-Strings und der verbesserten Rendering-Engine bleibt der Bingbot technisch auf dem neuesten Stand und kann moderne Webseiten effektiver crawlen.