TF-IDF

Was ist TF-IDF?

TF-IDF steht für Term Frequency – Inverse Document Frequency und ist eine statistische Methode aus dem Information Retrieval. Sie bewertet, wie wichtig ein Wort für ein einzelnes Dokument im Verhältnis zu einer ganzen Sammlung von Dokumenten – dem Korpus – ist.

Die Methode kombiniert dazu zwei Kennzahlen: Die Termfrequenz (TF) misst, wie oft ein Begriff in einem Dokument vorkommt. Die inverse Dokumentfrequenz (IDF) bewertet, wie selten dieser Begriff über alle Dokumente hinweg ist. Multipliziert man beide Werte, erhält man den TF-IDF-Wert, der die Relevanz eines Begriffs für ein bestimmtes Dokument ausdrückt.

Das Grundprinzip ist elegant: Ein Wort wie „der“, das in praktisch jedem deutschen Text steht, sagt nichts über das Thema aus. Ein Wort wie „Dokumentfrequenz“ hingegen, das nur in wenigen Texten vorkommt, ist hochgradig aussagekräftig. TF-IDF macht genau diesen Unterschied messbar.

Die Formel – mit Rechenbeispiel

Die Berechnung erfolgt in zwei Schritten, die am Ende multipliziert werden.

Term Frequency (TF) gibt an, wie oft ein Begriff in einem Dokument vorkommt. Üblich sind die Rohfrequenz (absolute Anzahl), die relative Frequenz (Anzahl geteilt durch alle Wörter des Dokuments) oder eine logarithmische Skalierung, damit sehr häufige Wörter nicht zu stark gewichtet werden.

Inverse Document Frequency (IDF) misst die Seltenheit eines Begriffs im Korpus. In der klassischen Form gilt: IDF = log(N / n), wobei N die Gesamtzahl der Dokumente ist und n die Zahl der Dokumente, die den Begriff enthalten. Begriffe in allen Dokumenten erhalten so einen IDF nahe null, seltene Begriffe einen hohen Wert.

Geschichte: von Luhn über Spärck Jones zu BM25

TF-IDF ist kein Kind des modernen SEO, sondern reicht in die Anfänge des Information Retrieval zurück. Den Grundstein für die Termfrequenz legte Hans Peter Luhn bereits 1957. Den entscheidenden zweiten Baustein lieferte 1972 die britische Informatikerin Karen Spärck Jones: In ihrer Arbeit „A statistical interpretation of term specificity“ beschrieb sie das Prinzip der inversen Dokumentfrequenz – die Idee, seltene Begriffe stärker zu gewichten als allgegenwärtige.

Aus diesen Wurzeln entstand später ein noch leistungsfähigeres Modell: BM25 (Okapi BM25), ein probabilistisches Rankingverfahren, das wesentlich auf Stephen Robertson und Karen Spärck Jones zurückgeht. BM25 verfeinert die TF-IDF-Idee – unter anderem durch eine Sättigung der Termfrequenz und eine Berücksichtigung der Dokumentlänge – und ist bis heute der Standard-Ranking-Algorithmus in Suchmaschinen-Engines wie Elasticsearch und OpenSearch. TF-IDF und BM25 bilden zusammen die klassische, stichwortbasierte Säule der Suche.

TF-IDF in der SEO-Praxis

In der Suchmaschinenoptimierung dient TF-IDF vor allem der Inhaltsanalyse. Sie verrät, welche Begriffe in gut rankenden Texten zu einem Thema besonders gewichtet sind – und welche im eigenen Content noch fehlen. So entstehen thematisch vollständige Inhalte, ohne in Keyword-Stuffing zu verfallen.

1. Thema und Suchintention festlegen

   Klären Sie das Ziel-Keyword und die Suchintention, die der Text bedienen soll – informativ, kommerziell oder transaktional.

2. Wettbewerber analysieren

   Untersuchen Sie die Top-Ergebnisse für Ihr Keyword und erfassen Sie, welche Begriffe und Unterthemen dort gehäuft vorkommen.

3. TF-IDF-Analyse erstellen

   Berechnen Sie die TF-IDF-Werte über den Wettbewerber-Korpus – per Tool oder mit Python. Identifizieren Sie Begriffe mit hohem Wert, die Ihnen fehlen.

4. Content natürlich ergänzen

   Bauen Sie die fehlenden Begriffe sinnvoll und lesbar ein. TF-IDF ist Orientierung, keine starre Vorgabe – der Text muss für Menschen wertvoll bleiben.

5. Messen und nachschärfen

   Beobachten Sie die Entwicklung und aktualisieren Sie die Analyse regelmäßig, denn Themen und Wettbewerber verändern sich.

TF-IDF mit Python berechnen

Für eigene Analysen genügen wenige Zeilen Python mit der Bibliothek scikit-learn. Der TfidfVectorizer übernimmt Preprocessing, Berechnung und Normalisierung in einem Schritt:

# pip install scikit-learn
from sklearn.feature_extraction.text import TfidfVectorizer

dokumente = [
    "TF-IDF bewertet die Relevanz von Begriffen.",
    "BM25 ist der Nachfolger von TF-IDF in Suchmaschinen.",
    "Die Vektorsuche nutzt Embeddings für Semantik.",
]

vec = TfidfVectorizer(ngram_range=(1, 2))
matrix = vec.fit_transform(dokumente)

# Begriffe mit den höchsten TF-IDF-Werten je Dokument
print(vec.get_feature_names_out())
print(matrix.toarray())

Wichtige Stellschrauben sind das Preprocessing (Tokenisierung, Kleinschreibung, Stoppwörter, Stemming/Lemmatisierung), die N-Gramm-Bildung – damit Wortgruppen wie „inverse Dokumentfrequenz“ als ein Begriff erfasst werden – und die L2-Normalisierung, die unterschiedlich lange Dokumente vergleichbar macht.

TF-IDF, BM25 und die Vektorsuche

Moderne Suchmaschinen gehen weit über reines Begriffezählen hinaus. Google hat mit Updates wie Hummingbird (2013), RankBrain (2015), BERT (2019) und MUM (2021) den Fokus auf semantisches Verständnis und Nutzerintention verschoben. Statt Wörter zu zählen, verarbeiten neuronale Modelle die Bedeutung von Texten über Embeddings – numerische Vektoren, die Synonyme und Zusammenhänge erfassen.

In der Praxis ersetzt das eine das andere nicht. Produktive Such- und RAG-Systeme kombinieren beide Welten zur hybriden Suche: BM25 findet exakte Begriffe, Modellnummern und seltene Fachwörter, die Vektorsuche erfasst Bedeutung und Synonyme. Zusammengeführt werden die Trefferlisten meist per Reciprocal Rank Fusion (RRF). TF-IDF bleibt dabei die verständliche Grundlage, auf der dieses Verständnis aufbaut.

Für die Praxis heißt das: TF-IDF ist heute weniger ein Ranking-Mechanismus als ein Analyse- und Diagnosewerkzeug – ideal, um die thematische Vollständigkeit eines Textes objektiv zu prüfen.

Häufige Fehler und Missverständnisse

Missverständnis: TF-IDF ist ein Google-Rankingfaktor

TF-IDF ist kein direkter Rankingfaktor. Google verwendet weitaus komplexere, neuronale Systeme. TF-IDF ist ein analytisches Konzept, das hilft, Content-Relevanz zu verstehen – nicht ein Hebel, an dem man direkt „dreht“.

Missverständnis: Höher ist immer besser

Ein höherer TF-IDF-Wert bedeutet nicht automatisch bessere Rankings. Wer Begriffe mechanisch einbaut, um Scores zu treiben, schadet der Lesbarkeit – und am Ende den Rankings. Kontext, Suchintention und Qualität des gesamten Textes entscheiden.

Tools für TF-IDF-Analysen

Für die praktische Arbeit gibt es ein breites Spektrum an Werkzeugen – von fertigen SEO-Tools bis zur eigenen Programmierung.