A/B-Testing

A/B-Testing, auch Split-Testing, ist eine Methode, bei der zwei oder mehr Varianten einer Webseite, E-Mail oder Anzeige verglichen werden. Der Traffic wird zufällig aufgeteilt, sodass ein Teil der Nutzer Variante A und ein anderer Teil Variante B sieht. Anschließend wird gemessen, welche Version eine Zielmetrik wie die Conversion-Rate besser erfüllt. So treffen Sie Entscheidungen auf Basis echter Daten statt aus dem Bauch heraus.

A/B-Testing vergleicht zwei Versionen einer Seite, wobei typischerweise nur ein Element geändert wird. Multivariate Testing (MVT) testet mehrere Elemente gleichzeitig in verschiedenen Kombinationen und zeigt, welche Kombination optimal funktioniert. MVT benötigt allerdings deutlich mehr Traffic – als Richtwert oft ab etwa 100.000 Besucher pro Monat –, weil sich der Traffic auf viele Varianten verteilt. Für die meisten Websites ist klassisches A/B-Testing die praktikablere Wahl.

Ein A/B-Test sollte mindestens eine volle Woche laufen, idealerweise zwei oder mehr, um Wochentagseffekte auszugleichen. Die genaue Dauer hängt vom Traffic und der benötigten Stichprobengröße ab, die Sie vorab mit einem Sample-Size-Calculator berechnen sollten. Brechen Sie Tests nicht vorzeitig ab, nur weil erste Trends erkennbar sind – das führt zu falschen Schlüssen. Warten Sie, bis sowohl die berechnete Stichprobengröße erreicht als auch die Mindestlaufzeit verstrichen ist.

Das lässt sich nicht seriös pauschalisieren – die Werte schwanken stark nach Branche, Ausgangslage und Test. Viele Tests zeigen gar keinen signifikanten Unterschied oder fallen negativ aus, während einzelne Gewinner deutliche Verbesserungen bringen. Dramatische Sprünge von 100 Prozent und mehr sind die absolute Ausnahme. Der eigentliche Wert liegt im kontinuierlichen, iterativen Prozess: Viele kleine Verbesserungen summieren sich über die Zeit. Aussagekräftig sind allein Ihre eigenen, gemessenen Daten.

Die benötigte Menge hängt von Ihrer Conversion-Rate und dem erwarteten Uplift ab. Als grober Richtwert sind einige Tausend Besucher und mehrere Hundert bis Tausend Conversions pro Monat hilfreich, um in vertretbarer Zeit zu validen Ergebnissen zu kommen. Bei wenig Traffic können Sie Mikro-Conversions wie Button-Klicks oder Scroll-Tiefe als Metrik nutzen oder größere, mutigere Änderungen mit deutlicherem Effekt testen. Ein Sample-Size-Calculator zeigt vorab, ob Ihr Traffic reicht.

Statistische Signifikanz gibt an, wie wahrscheinlich es ist, dass ein beobachteter Unterschied zwischen den Varianten nicht zufällig entstanden ist. Der Industriestandard liegt bei 95 Prozent Konfidenz, also einem p-Wert von 0,05: Die Wahrscheinlichkeit, dass der Unterschied reiner Zufall ist, beträgt höchstens 5 Prozent. Wichtig ist, dass statistische Signifikanz nicht automatisch praktische Relevanz bedeutet – ein winziger Uplift kann signifikant, aber geschäftlich unbedeutend sein.

Für Einsteiger eignen sich benutzerfreundliche Tools mit Visual Editor wie VWO oder Convert, die keine Programmierkenntnisse erfordern. Nach der Einstellung von Google Optimize 2023 gibt es keine kostenlose Enterprise-Lösung mit nativer Analytics-Integration mehr; technisch versierte Teams können Open-Source-Optionen wie GrowthBook oder den Free-Tier von Statsig nutzen. Wichtige Auswahlkriterien sind einfache Bedienung, Integration mit Ihrer Analytics-Lösung, Reporting und DSGVO-Konformität.

Ja. Google Optimize und Optimize 360 wurden am 30. September 2023 abgeschaltet – alle bis dahin laufenden Experimente endeten mit diesem Datum. Google investiert seitdem in Drittanbieter-Integrationen für Google Analytics statt in ein eigenes Testing-Tool. Einen kostenlosen Ersatz mit der früheren nativen Analytics-Anbindung gibt es 2026 nicht mehr; Nutzer setzen auf Alternativen wie VWO, Optimizely, AB Tasty, Convert oder Open-Source-Tools.

Beim klassischen A/B-Test sollten Sie immer nur eine Variable ändern, damit Sie einen gemessenen Effekt eindeutig zuordnen können. Ändern Sie gleichzeitig Überschrift, Bild und Button und sehen einen Uplift, wissen Sie nicht, welches Element dafür verantwortlich war. Wollen Sie mehrere Elemente und ihre Wechselwirkungen untersuchen, eignet sich stattdessen multivariates Testing – das jedoch deutlich mehr Traffic erfordert.

Korrekt umgesetzt ist A/B-Testing SEO-neutral. Nutzen Sie für Test-Varianten temporäre Weiterleitungen oder serverseitige Auslieferung und setzen Sie ein Canonical-Tag auf die Original-URL. Vermeiden Sie Cloaking, also unterschiedliche Inhalte für Nutzer und Suchmaschinen. Halten Sie Tests zeitlich begrenzt. So riskieren Sie keine Rankings – im Gegenteil: Eine bessere Nutzererfahrung stärkt indirekt Signale, die für die Sichtbarkeit zählen.

Das Peeking-Problem entsteht, wenn Sie die Testergebnisse während der Laufzeit wiederholt prüfen und den Test vorzeitig stoppen, sobald ein positives Signal erscheint. Dadurch steigt die Wahrscheinlichkeit eines False Positive, also eines scheinbaren Gewinners, der in Wahrheit Zufall war. Vermeiden Sie das, indem Sie die Stichprobengröße und Laufzeit vorab festlegen oder bewusst sequenzielle Testing-Methoden einsetzen, die ein laufendes Prüfen statistisch korrekt erlauben.

Eine gute Hypothese ist klar, testbar und begründet. Bewährt hat sich das Schema: Wenn wir eine bestimmte Änderung umsetzen, dann verbessert sich eine konkrete Metrik, weil ein nachvollziehbarer Grund vorliegt. Die Hypothese sollte aus Datenanalyse, Nutzerforschung oder bewährten Conversion-Prinzipien abgeleitet sein. Ohne klare Hypothese wissen Sie nach dem Test nicht, warum er gewonnen oder verloren hat, und können die Erkenntnis nicht auf andere Bereiche übertragen.