A/B Test Signifikanz Rechner

Was zeigt ein A/B Test Signifikanz Rechner wirklich?

Ein A/B Test Signifikanz Rechner zeigt, ob der Unterschied in der Conversion Rate zwischen zwei Versionen echt ist oder nur Zufall. Sie spielen zwei Überschriften, zwei Anzeigentexte oder zwei Preisdarstellungen im selben Zeitraum an getrennte Besuchergruppen aus. Danach tragen Sie für jede Version Besucher und Conversions ein. Aus diesen vier Zahlen berechnet das Tool p Wert, Konfidenz und ein Konfidenzintervall für den Uplift.

Die Rechnung beantwortet allerdings nicht die Frage „Welche Version ist besser?“. Sie beantwortet eine engere Frage: Bliebe der Unterschied sehr wahrscheinlich bestehen, wenn Sie die Daten neu sammeln? Zum Beispiel kann B 17,5 % mehr Conversions bringen; bei kleiner Stichprobe verschwindet derselbe Abstand aber in der Woche darauf. Deshalb empfehle ich, drei Ausgaben gemeinsam zu lesen:

• Badge: Ist der Unterschied bei Ihrem Konfidenzniveau signifikant?
• Konfidenzintervall: In welchem Bereich liegt der echte Uplift?
• Datenprüfung: Ist der Traffic gleichmäßig verteilt, reichen die Daten?

Läuft der Test über Anzeigen, braucht er sauberes Tracking. Mit dem UTM Generator kennzeichnen Sie zum Beispiel den Traffic jeder Variante getrennt und vermeiden später vermischte Quellen.

Was bedeuten p Wert und Konfidenzniveau?

Der p Wert ist die Wahrscheinlichkeit, einen mindestens so großen Unterschied zu sehen, wenn A und B in Wahrheit gleich gut wären. Ein p Wert von 0,0079 heißt also: Zwei gleichwertige Versionen lägen nur etwa 8 von 1.000 Mal so weit auseinander. Bei 95 % Konfidenz vergleicht der Rechner ihn mit der Schwelle 0,05; liegt er darunter, zeigt das Badge „Signifikant“.

Die Karte Konfidenz zeigt 1 minus p Wert. Das heißt allerdings nicht „B ist mit 99,2 % Wahrscheinlichkeit besser“; diese Lesart ist ein verbreiteter Fehler. Das Statement der American Statistical Association zu p Werten betont zwei Punkte:

• Ein p Wert misst weder die Größe eines Effekts noch seine Bedeutung.
• Geschäftsentscheidungen sollten nicht nur davon abhängen, ob ein p Wert eine Schwelle unterschreitet.

Daher zeige ich neben dem p Wert das Konfidenzintervall des Uplifts. Reicht es von +4,6 % bis +30,4 %, ist der Uplift signifikant, der echte Effekt kann aber klein oder groß sein. Vergleichen Sie vor der Entscheidung vor allem das untere Ende, also das pessimistische Szenario, mit Ihrem Geschäftsziel.

Wie planen Sie die Stichprobe vor dem A/B Test Signifikanz Rechner?

Die halbe Arbeit mit einem A/B Test Signifikanz Rechner passiert vor dem Start. Der Reiter Stichprobe braucht vier Angaben: aktuelle Conversion Rate, minimal nachweisbaren Effekt (MDE), Konfidenzniveau und Power. Die Power ist die Chance, einen tatsächlich vorhandenen Unterschied zu entdecken; üblicher Standard in der Statistik sind 80 %.

Die Logik ist einfach: Kleine Unterschiede brauchen viele Daten. Rechenbeispiel: Um bei 5 % Conversion Rate einen relativen Uplift von 10 % mit 95 % Konfidenz und 80 % Power zu erkennen, brauchen Sie 31.234 Besucher pro Variante. Bei 20 % Ziel sinkt der Bedarf auf 8.158. Kurz gesagt vervierfacht ein halbierter MDE die Stichprobe ungefähr.

Mit den Besuchern pro Tag rechnet das Tool die Stichprobe in eine Dauer um und rundet auf volle Wochen auf. So kommen Werktage und Wochenende in beiden Varianten gleich oft vor. Ist die Dauer zu lang, haben Sie drei Hebel:

• Testen Sie eine mutigere Änderung, also einen größeren MDE.
• Schicken Sie mehr Traffic in den Test; für die bezahlte Seite hilft mein Artikel zum Google Ads Budget.
• Messen Sie ein Ziel weiter oben im Funnel, zum Beispiel den Warenkorb statt des Kaufs.

Warum führt frühes Abbrechen zu falschen Gewinnern?

Die teuerste Gewohnheit bei A/B Tests: täglich auf das Ergebnis schauen und stoppen, sobald das Dashboard „signifikant“ meldet. Jeder zusätzliche Blick gibt dem Zufall eine weitere Chance auf einen falschen Gewinner. Im Beispielszenario aus Evan Millers Artikel How Not To Run an A/B Test steigt die Rate falscher Treffer dadurch von vermeintlichen 5 % auf 26,1 %.

Laut derselben Quelle muss die angezeigte Signifikanz bei 10 Zwischenblicken auf 1,0 % sinken, damit das echte Niveau bei 5 % bleibt. In der Praxis hat sich ein Ablauf in drei Schritten bewährt:

1. Legen Sie Stichprobe und Dauer vor dem Start im Reiter Stichprobe fest.
2. Beobachten Sie während des Tests nur technische Probleme, etwa Ladefehler und SRM Warnungen.
3. Lesen Sie das Ergebnis einmal, sobald die geplante Besucherzahl erreicht ist, und entscheiden Sie dann.

Zudem kann der Effekt eines Gewinners nach den ersten Wochen nachlassen, sobald der Neuheitseffekt verfliegt. Deshalb beobachte ich die Conversion Rate nach größeren Änderungen noch einige Wochen weiter.

Was tun bei einer SRM Warnung?

Ein Sample Ratio Mismatch (SRM) liegt vor, wenn Sie den Traffic gleichmäßig aufteilen wollten, die Besucherzahlen der Varianten aber stärker auseinanderliegen, als der Zufall erlaubt. Der Rechner prüft das mit einem Chi Quadrat Test und zeigt ab p < 0,01 eine Warnung in der Datenprüfung. Eine Aufteilung von 20.000 zu 19.000 wirkt zum Beispiel harmlos, ist bei diesem Volumen aber eine echte Abweichung.

Laut dem SRM Leitfaden von Microsoft Research zeigen etwa 6 % der A/B Tests bei Microsoft einen SRM; das Team nutzt vor der Auswertung sogar die strengere Schwelle p < 0,0005. Typische Ursachen sind:

• Fehler im Code, der Nutzer den Varianten zuteilt.
• Besucher, die bei der Weiterleitung auf die Variante verloren gehen.
• Eine Variante, die langsam lädt oder abbricht, sodass ihre Besuche im Tracking fehlen.
• Ein Consent Banner, das in einer Variante anders erscheint und die Einwilligungsrate verschiebt.

Solange SRM besteht, ist der p Wert nicht verlässlich. Finden Sie zuerst die Ursache, beheben Sie sie und starten Sie den Test neu. Wie Tracking und Einwilligung zusammenspielen, erkläre ich im DSGVO Leitfaden für Websites. Teilen Sie den Traffic bewusst ungleich auf, etwa 90/10, passt diese Prüfung nicht; dann ignorieren Sie die Warnung.

Warum braucht eine dritte Variante die Bonferroni Korrektur?

Mit + Variante C vergleicht der Rechner B und C jeweils getrennt mit A. Jeder Vergleich gibt dem Zufall eine weitere Chance; bei zwei Vergleichen steigt die Fehlerquote von 5 % insgesamt auf fast 10 %. Die Bonferroni Korrektur teilt deshalb die Signifikanzschwelle durch die Zahl der Vergleiche. Bei 95 % Konfidenz prüft das Tool also jeden Vergleich mit α = 0,025.

Rechenbeispiel: A hat 5.000 Besucher und 150 Conversions, B 5.100 und 180, C 4.950 und 190. C erreicht +27,9 % Uplift bei p = 0,0214; das liegt unter 0,025, folglich ist C signifikant. B kommt dagegen auf +17,6 %, aber p = 0,1346 und bleibt damit nicht signifikant. Oben zeigt der Rechner die Variante mit der höchsten Rate; im Diagramm steht neben jeder Variante ihr Uplift gegenüber A samt p Wert.

Die Korrektur hat ihren Preis: Sie senkt die Power, also braucht jede Variante mehr Besucher für denselben Effekt. Daher wendet auch der Reiter Stichprobe dieselbe Korrektur an, sobald Sie mehr Varianten wählen. Bei knappem Traffic teste ich lieber zwei starke Ideen als drei mittelmäßige.

Wie lesen Sie die Bayes Wahrscheinlichkeit P(B > A)?

Die Karte P(B > A) beantwortet eine andere Frage als der klassische Test: Wie wahrscheinlich ist es nach den vorliegenden Daten, dass die echte Conversion Rate von B über der von A liegt? Für jede Variante bildet das Tool eine Beta(Conversions + 1, Besucher - Conversions + 1) Verteilung und nähert die Differenz mit einer Normalverteilung an. Weil die Ausgangsannahme flach ist, bevorzugt der Rechner keine Variante.

Stakeholdern lässt sich diese Zahl am leichtesten erklären, denn „B ist mit 99,6 % Wahrscheinlichkeit besser“ versteht jeder. Trotzdem habe ich zwei Einwände:

• Eine hohe Wahrscheinlichkeit kann mit einem winzigen Uplift einhergehen; lesen Sie sie zusammen mit dem Konfidenzintervall.
• Auch der Bayes Ansatz schützt nicht vor frühem Abbrechen; die vorab festgelegte Stichprobe gilt hier ebenso.

Die Karte Beobachtete Power dient dagegen nur der Information, nicht der Planung. Sie hängt direkt am p Wert und belegt im Nachhinein nicht, dass ein Test groß genug war. Für neue Tests zählt immer die Power Einstellung im Reiter Stichprobe.

Wie testen Sie sauber in Google Ads und auf Landingpages?

In Google Ads teilen Experimente Traffic und Budget, sodass Sie Kampagnenänderungen sicher prüfen können. Google empfiehlt in seinen Hilfeseiten eine Aufteilung von 50 %, eine Laufzeit von mindestens 4 bis 6 Wochen und das Abwarten von 1 bis 2 Conversion Zyklen. Außerdem verwirft Google die Daten der ersten 7 Tage als Anlaufphase. Zur Gegenprobe tragen Sie Klicks und Conversions aus dem Experimentbericht in diesen Rechner ein.

Bei Landingpage Tests müssen Sie zudem die SEO schützen. Google Search Central empfiehlt für die Laufzeit diese Regeln:

• Zeigen Sie dem Googlebot keine anderen Inhalte als den Besuchern, denn das wäre Cloaking.
• Liegen Varianten unter eigenen URLs, setzen Sie auf allen ein Canonical Tag zur Originalseite.
• Testen Sie per Weiterleitung, nutzen Sie eine temporäre 302 statt einer dauerhaften 301 Weiterleitung.
• Nach dem Test schalten Sie den Gewinner live und entfernen den Testcode.

Für Kunden richte ich diesen Ablauf im Rahmen der Google Ads Betreuung ein. Die Conversion Seite beschreibe ich Schritt für Schritt im Artikel zur Conversion Rate Optimierung für Firmenwebsites. Wie sich ein Gewinner auf die Werbeprofitabilität auswirkt, zeigt Ihnen zusätzlich der ROAS Rechner.