Log-File-Analyse

Was ist eine Log-File-Analyse?

Eine Server-Logdatei ist eine chronologische Aufzeichnung aller HTTP-Anfragen an den Webserver. Jede Zeile steht für einen Request und enthält Felder wie IP-Adresse, Zeitstempel, angefragte URL, HTTP-Statuscode, übertragene Bytes und – im erweiterten Format – Referrer und User-Agent.

Warum ist sie für SEO wichtig?

Werkzeuge wie die Google Search Console liefern wertvolle, aber stichprobenhafte Einblicke. Server-Logs zeigen dagegen jeden Bot-Request und damit das vollständige, echte Crawling-Verhalten. Das ist die Grundlage, um zu verstehen, ob Suchmaschinen die richtigen Seiten finden – und ihr Crawl-Budget sinnvoll einsetzen.

Konkret hilft die Log-File-Analyse, Crawl-Budget-Verschwendung zu erkennen, technische Fehler (404, Server-Fehler, Redirect-Ketten) aufzuspüren, verwaiste Seiten zu finden und die Server-Performance aus Sicht des Bots zu bewerten.

Aufbau einer Logdatei

Server-Logdateien folgen standardisierten Formaten. Das Common Log Format enthält die Grundfelder, das Combined Log Format ergänzt zwei für SEO entscheidende Angaben: Referrer und User-Agent. So sieht eine typische Zeile im Combined Log Format aus:

66.249.66.1 - - [15/Jan/2026:10:30:45 +0100] "GET /seo-guide.html HTTP/1.1" 200 5234 "https://www.google.com/" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Die wichtigsten Felder einer Logzeile:

• IP-Adresse: die Adresse des anfragenden Clients – wichtig zur Bot-Verifizierung.
• Zeitstempel: Datum und Uhrzeit mit Zeitzone – Basis für zeitliche Analysen.
• HTTP-Methode & URL: meist GET, plus die angefragte Ressource – das Herzstück der Analyse.
• Statuscode: 200, 301, 404, 5xx – zeigt Erfolg, Weiterleitung oder Fehler.
• Übertragene Bytes: die Größe der Antwort.
• Referrer & User-Agent: woher der Request kam und welcher Browser oder Bot ihn stellte.

Crawl-Budget verstehen

Das Crawl-Budget ist die Menge an URLs, die ein Suchmaschinen-Bot in einem bestimmten Zeitraum auf einer Website crawlt. Es ergibt sich aus zwei Größen: der Crawl-Kapazität (wie viele Anfragen der Server verträgt, ohne langsam zu werden) und der Crawl-Nachfrage (wie wichtig, beliebt und aktuell die Inhalte sind).

Für kleine Websites ist Crawl-Budget meist kein Thema – Google crawlt sie ohnehin vollständig. Relevant wird es bei großen Websites mit vielen tausend oder Millionen URLs, etwa Online-Shops oder Portalen. Hier zeigt die Log-File-Analyse, ob der Bot sein Budget auf die wichtigen Seiten konzentriert oder auf unwichtigen URLs verschwendet.

Wichtige Kennzahlen

Die folgenden Kennzahlen sind besonders aussagekräftig. Die Zielwerte sind Richtwerte und hängen stark von Größe und Art der Website ab.

Bei den Statuscodes gilt: 200 (OK) sollte den Großteil ausmachen, 301 ist für dauerhafte Weiterleitungen besser als 302, hohe 404-Raten deuten auf veraltete Links oder Sitemap-Einträge hin, und 5xx-Fehler sind kritisch – ein dauerhaftes 503 kann sogar zu vorübergehender De-Indexierung führen.

Typische Probleme, die Logs aufdecken

Die Log-File-Analyse macht Probleme sichtbar, die andere Tools oft übersehen:

Echten Googlebot verifizieren

Nicht jeder Request mit „Googlebot“ im User-Agent stammt wirklich von Google – Fake-Bots und Scraper tarnen sich gern als legitime Crawler. Verifizieren lässt sich ein echter Googlebot über einen Reverse-DNS-Lookup mit anschließender Vorwärtsauflösung:

# 1) Reverse-DNS-Lookup der IP aus dem Log
host 66.249.66.1
# -> crawl-66-249-66-1.googlebot.com

# 2) Vorwärts-Lookup zur Bestätigung
host crawl-66-249-66-1.googlebot.com
# -> 66.249.66.1  (stimmt überein = echter Googlebot)

Auflösungen auf googlebot.com oder google.com, die per Vorwärts-Lookup wieder zur selben IP führen, bestätigen einen echten Googlebot. Zusätzlich veröffentlicht Google offizielle IP-Bereiche seiner Crawler, die sich zum Abgleich nutzen lassen. Ungewöhnliche IP-Bereiche, extrem hohe Crawl-Raten oder Zugriffe auf Admin-Bereiche sind Warnsignale für Fake-Bots.

So führen Sie eine Log-File-Analyse durch

1. Logs beschaffenZugang über Hoster oder Control-Panel (z. B. Plesk, cPanel) anfordern, idealerweise über einen Zeitraum von mehreren Wochen.
2. Daten konsolidierenMehrere Logdateien zusammenführen, komprimierte Dateien entpacken und eine einheitliche Zeitzone sicherstellen.
3. Bot-Traffic filternNach User-Agent segmentieren, echte Suchmaschinen-Bots (Googlebot, Bingbot) von Spam-Bots und Scrapern trennen.
4. Kennzahlen berechnenCrawl-Frequenz, gecrawlte URLs, Statuscodes, Antwortzeiten und Crawl-Tiefe auswerten, idealerweise als Zeitreihe.
5. Probleme identifizierenMuster wie hohe 404-Raten, gecrawlte Parameter-URLs oder langsame Antworten erkennen.
6. Optimierungen umsetzenMaßnahmen nach Wirkung und Aufwand priorisieren und ihren Effekt im Vorher-Nachher-Vergleich messen.

Tools für die Log-File-Analyse

Bei großen Logdateien ist manuelle Auswertung unmöglich – spezialisierte Tools automatisieren den Prozess. Preise und Funktionsumfang ändern sich; vor dem Einsatz prüfen.

• SEO-spezialisiert: der Screaming Frog Log File Analyser (Desktop, mit kostenlosem Einstiegskontingent) sowie Cloud-Plattformen wie Oncrawl, Botify oder JetOctopus für sehr große Websites.
• Open Source / kostenlos: GoAccess (Echtzeit, Terminal und Browser), AWStats und Webalizer für klassische Reports sowie die Log-Analytics-Funktion von Matomo.
• Ergänzend: Der Crawl-Stats-Bericht der Google Search Console zeigt aggregierte Crawl-Daten direkt von Google – ein guter Ausgangspunkt, bevor man in die Rohlogs einsteigt.

Optimierungen ableiten

Erkenntnisse aus der Analyse sollten in konkrete Maßnahmen münden. Die wichtigsten Hebel:

robots.txt gezielt einsetzen

Unwichtige Bereiche vom Crawling ausschließen, um Budget für relevante Seiten frei zu machen – etwa interne Suche und Filter-Parameter:

User-agent: *
# Interne Suche & Filter ausschließen
Disallow: /suche
Disallow: /*?s=
Disallow: /*?sort=
Disallow: /*?filter=

# Technische Bereiche
Disallow: /warenkorb/
Disallow: /checkout/

Sitemap: https://www.beispiel.de/sitemap.xml

Interne Verlinkung & Sitemap

Selten gecrawlte, aber wichtige Seiten stärker intern verlinken (kontextuelle Links, Hub-Seiten, Breadcrumbs). Die XML-Sitemap sollte ausschließlich indexierbare URLs enthalten – keine 404er, Redirects oder Noindex-Seiten.

Server-Performance verbessern

Da Googlebot bei langsamer Antwort drosselt, zahlen Caching, optimierte Datenbankabfragen und ein CDN direkt auf die Crawl-Effizienz ein. Schnelle Antwortzeiten bedeuten mehr gecrawlte Seiten pro Session.

Datenschutz: Logs & DSGVO

Server-Logs enthalten mit IP-Adressen personenbezogene Daten. In der EU erlaubt die DSGVO ihre Speicherung zur Gewährleistung der IT-Sicherheit über das berechtigte Interesse (Art. 6 Abs. 1 lit. f). Für SEO-Analysen empfiehlt sich dennoch zusätzliche Sorgfalt:

• IP-Adressen anonymisieren (etwa das letzte Oktett entfernen);
• kurze Speicherfristen für Rohdaten, langfristig nur aggregierte Statistiken;
• Zugriff auf autorisierte Personen beschränken;
• die Speicherung in der Datenschutzerklärung transparent machen;
• bei externen Tools einen Auftragsverarbeitungsvertrag schließen.

Dieser Abschnitt ist eine allgemeine Einordnung und ersetzt keine Rechtsberatung.

Fazit

Die Log-File-Analyse ist im technischen SEO konkurrenzlos: Kein anderes Werkzeug zeigt so genau, wie Suchmaschinen eine Website wirklich crawlen. Sie deckt Crawl-Budget-Verschwendung, verwaiste Seiten, Fehler und Performance-Probleme auf – und macht damit gezielte Optimierungen möglich, die direkt auf Crawlability und Indexierung einzahlen.

Besonders bei großen Websites ist sie unverzichtbar. Entscheidend ist, nicht bei der Analyse stehen zu bleiben: Aus den Erkenntnissen sollten priorisierte Maßnahmen entstehen, deren Wirkung man im Vorher-Nachher-Vergleich misst. Wer regelmäßig in die Logs schaut, erkennt Probleme früh – oft bevor sie in den Rankings sichtbar werden.