Logfile-Analyse Eine Logfile-Analyse wertet die Protokolldateien des Webservers aus, in denen jeder Abruf mit Zeitpunkt, Adresse, Statuscode und Kennung des Abrufenden verzeichnet ist. Sie zeigt, was Suchmaschinen-Crawler tatsächlich abrufen – nicht, was sie abrufen sollten. Für große Websites ist sie die einzige Quelle, die Crawl-Verhalten vollständig sichtbar macht.
Kurz-Fakten
Zeigt tatsächliche Abrufe, nicht Absichten oder Schätzungen
Einzige vollständige Quelle für das Verhalten von Crawlern
Deckt Adressen auf, die in keiner Sitemap und keinem Crawl stehen
Echtheit von Crawlern über umgekehrte DNS-Abfrage prüfbar
Einordnung für die Praxis
Die aufschlussreichsten Befunde sind meist unerwartet: Adressen, die niemand kennt und die trotzdem abgerufen werden – aus alten Beiträgen, aus fehlerhaften Verweisen, aus vergessenen Erweiterungen. Jede davon verbraucht Abrufkapazität.
Für kleinere Websites ist der Aufwand meist nicht gerechtfertigt; dort reichen die Crawling-Statistiken der Search Console. Ab einigen zehntausend Adressen wird die Protokollanalyse dagegen zur einzigen Möglichkeit, Verschwendung zu erkennen.
Inhaber von SEO NW in Bertingen, seit 2012 in der Suchmaschinenoptimierung. Betreut Websites für Google und Bing, Schwerpunkte technisches SEO, strukturierte Daten und die Frage, unter welchen Bedingungen Sprachmodelle einen Inhalt übernehmen. Schreibt und prüft die Einträge dieses Glossars.