Wann einen A/B Test beenden? Statistische Signifikanz erklärt

Kurze Antwort
Wann sollten Sie einen AB Test beenden?
Einen AB Test beenden Sie, wenn die vorab berechnete Stichprobe und volle Wochenzyklen erreicht sind. Dass die Signifikanzanzeige zum ersten Mal grün wird, reicht daher als Grund nicht aus. Ein Abbruch außerhalb des Plans ist also nur bei fehlerhaften Daten oder ernstem Schaden an einer Schutzmetrik richtig.
Die Antwort klingt einfach, doch genau hier machen die meisten Teams den Fehler. Konkret schließen Sie den Test beim ersten signifikanten Ergebnis, rollen den "Gewinner" aus und sehen wenige Wochen später keinen Effekt. Wir zeigen Ihnen deshalb Schritt für Schritt die Abbruchregeln, die Planung der Stichprobe und die Peeking Falle.
Am Ende finden Sie eine Entscheidungstabelle und eine nummerierte Checkliste. Somit beenden Sie jeden Test mit derselben Disziplin.
Dieser Beitrag behandelt das richtige Ende eines Tests, nicht den Aufbau. Richten Sie Ihren ersten Test erst noch ein, beginnen Sie also mit dem Einsteigerleitfaden, den wir unten verlinken. Kommen Sie danach zurück, denn die Abbruchregel ist die leiseste und teuerste Entscheidung in jedem Experiment.
Warum führt das erste signifikante Ergebnis in die Irre, wenn Sie den AB Test beenden?
Jeder Test erzeugt einen Unterschied, der mit neuen Daten schwankt. Zunächst können in den ersten Tagen wenige Conversions die Lücke in beide Richtungen verschieben. Zum Beispiel liegt Variante B nach zwei Tagen vorn, und in der Folgewoche schließt sich die Lücke wieder.
Der Grund: Die Signifikanzrechnung setzt voraus, dass die Stichprobe wie geplant vollständig ist. Wenn Sie täglich nachsehen und beim ersten grünen Signal stoppen, fangen Sie also einen Zufallsausschlag ein. Anders gesagt wählen Sie einen gut aussehenden Moment statt eines echten Gewinners.
Das Statistik Handbuch des NIST erklärt, dass das Signifikanzniveau (Alpha) das Risiko eines falsch positiven Ergebnisses für einen einzelnen, geplanten Test festlegt. Dieses Risiko bleibt allerdings nicht gleich, wenn Sie denselben Test immer wieder prüfen. Details finden Sie im NIST Abschnitt zu Hypothesentests.
Stellen Sie sich fünf Münzwürfe mit viermal Kopf vor. Das beweist dennoch keine manipulierte Münze. Kleine Stichproben liefern häufig Extremwerte, während große Stichproben diese Ausreißer zum Mittelwert zurückziehen. Frühe, große Unterschiede verdienen daher Skepsis.
Welche Entscheidungen halten Sie vor dem Teststart schriftlich fest?
Eine gute Abbruchregel existiert also, bevor der Test beginnt. Schreiben Sie die Regel erst nach den Ergebnissen, wählen Sie also unbewusst einen Endpunkt, der Ihnen passt. Erstellen Sie deshalb zuerst einen Testplan auf einer Seite.
Der Plan enthält diese Punkte:
- Hypothese: Was Sie ändern, warum, und welches Verhalten sich bewegen soll.
- Primäre Metrik: Ein einziges Conversion Maß, das die Entscheidung trägt.
- Schutzmetriken: Ladezeit, Retouren, Stornierungen oder Formularfehler als Warnsignale.
- Minimal nachweisbarer Effekt: Der kleinste Zuwachs, der die Investition rechtfertigt.
- Konfidenzniveau und Teststärke: Zum Beispiel 95 Prozent Konfidenz und 80 Prozent Teststärke.
- Stichprobe und Dauer: Besucher pro Variante und Anzahl voller Wochen.
- Stopp Datum: Ein Kalendertermin, den Sie nicht verschieben.
Brauchen Sie Hilfe bei der Gestaltung der Seite oder der neuen Variante, setzt unser Webdesign den Plan in eine funktionierende Seite um. Zunächst aber gehört der Plan aufs Papier.
Ein Plan wirkt anfangs wie Bürokratie. Sobald jedoch Ergebnisse vorliegen, hat jeder eine andere Erwartung: Marketing will Conversions, die Geschäftsführung Umsatz, das Design Klicks. Eine abgestimmte primäre Metrik beendet daher diese Debatte vor dem Testende. Zudem haben Sie ein Dokument, auf das Sie bei Streit zurückgreifen.
Wie planen Sie die Stichprobengröße?
Die Stichprobengröße hängt von vier Eingaben ab: Ihre aktuelle Conversion Rate, der kleinste Effekt, den Sie nachweisen wollen, das Konfidenzniveau und die Teststärke. Je niedriger Ihre Basisrate und je kleiner der Effekt, desto mehr Besucher brauchen Sie.
Sie müssen nicht von Hand rechnen, denn ein Rechner übernimmt das. Öffnen Sie unseren kostenlosen A/B Test Rechner, wechseln Sie zum Reiter für die Stichprobe und tragen Sie Basisrate, minimalen Effekt, Konfidenzniveau und Teststärke ein. Danach liefert der Rechner Besucher pro Variante, die Gesamtzahl und eine geschätzte Dauer. Außerdem rundet er die Dauer auf volle Wochen auf.
Machen Sie diesen Schritt vor dem Start, denn er beantwortet eine zweite Frage: Lässt sich dieser Test auf Ihrer Website überhaupt durchführen? Kommt eine Dauer von vielen Monaten heraus, planen Sie den Test um einen größeren Effekt neu.
Statt nur eine Buttonfarbe zu testen, probieren Sie zum Beispiel eine mutige Variante, die Angebot und Layout gemeinsam ändert. Außerdem erzeugen große Änderungen eher große Unterschiede. Folglich erreichen Sie mit weniger Besuchern ein Ergebnis. Allerdings verdecken zu viele gleichzeitige Änderungen, was gewirkt hat. Passen Sie die Größe der Änderung also an Ihre Hypothese an.
Wie sieht ein Rechenbeispiel für die Stichprobe aus?
Hier ein Beispielszenario. Es ist also eine Beispielrechnung und keine Zusage für Ihre Website.
Ihre aktuelle Conversion Rate liegt bei 4 Prozent. Sie wollen erkennen, ob eine Variante sie auf 4,4 Prozent hebt, also relativ um 10 Prozent. Wählen Sie 95 Prozent Konfidenz, 80 Prozent Teststärke und einen zweiseitigen Test. Die übliche Formel für zwei Anteile ergibt etwa 39.000 Besucher pro Variante.
Hat Ihre Website insgesamt 2.000 Besucher pro Tag, erhält jede Variante 1.000. Bei diesem Tempo brauchen Sie also etwa 40 Tage. Auf volle Wochen aufgerundet läuft der Test 6 Wochen.
- Ein größerer Zieleffekt verkürzt den Test.
- Eine Seite mit höherer Basisrate zeigt denselben relativen Zuwachs mit weniger Besuchern.
- Mehr Varianten erhöhen den Gesamtbedarf.
Diese Zahlen zeigen daher nur die Logik. Weil Basisrate, Traffic und Ziel bei Ihnen anders sind, rechnen Sie mit Ihren eigenen Daten. Nehmen Sie den Tagestraffic aus den letzten vollen Wochen und lassen Sie Kampagnenwochen weg, die den Schnitt verzerren.
Was sagen Signifikanz, Irrtumswahrscheinlichkeit und Konfidenzniveau aus?
Signifikanz heißt: Die Wahrscheinlichkeit, dass die Lücke zufällig entstanden ist, liegt unter einer Schwelle, die Sie vorher gewählt haben. Die Irrtumswahrscheinlichkeit (p) gibt diese Wahrscheinlichkeit an. Bei einer Schwelle von 0,05 würde ein so extremes Ergebnis ohne echten Unterschied in etwa einem von zwanzig Experimenten auftreten.
Das Konfidenzniveau ist dann das Gegenstück zur Schwelle. 95 Prozent Konfidenz bedeutet, dass Sie Alpha auf 0,05 gesetzt haben. Das NIST nennt zum Beispiel 0,1, 0,05 und 0,01 als gängige Werte.
Allerdings ist der Wert nicht "die Wahrscheinlichkeit, dass B besser ist als A". Verabschieden Sie sich von dieser Fehlinterpretation. Er beschreibt stattdessen nur, wie überraschend Ihre Daten wären, wenn es keinen Unterschied gäbe.
Zudem heißt ein signifikantes Ergebnis nicht, dass der Unterschied für Ihr Geschäft zählt. Diese Lücke behandeln wir im Abschnitt zur praktischen Relevanz.
Ein zweiseitiger Test ist außerdem der sicherere Standard. Er prüft, ob B besser und ob B schlechter ist. Weil eine neue Variante die Conversions senken kann, soll der Test auch das zeigen können.
Warum sind Teststärke und minimaler Effekt so wichtig?
Die Teststärke ist Ihre Chance, einen tatsächlich vorhandenen Unterschied zu finden. Laut NIST ist sie die Wahrscheinlichkeit, eine falsche Nullhypothese korrekt abzulehnen. Ein Test mit geringer Teststärke kann eine gute Variante als "kein Unterschied" durchwinken.
Der minimal nachweisbare Effekt ist der kleinste Unterschied, den Sie finden wollen. Diesen Wert legt daher eine Geschäftsentscheidung fest. Fragen Sie sich zum Beispiel, welcher Zuwachs die Kosten der neuen Seite deckt.
Zwei Fehler kommen oft vor:
- Sie wählen einen winzigen Effekt und starten einen Test, der monatelang läuft.
- Sie wählen einen riesigen Effekt und übersehen kleine, aber wertvolle Gewinne.
Der minimale Effekt ist also zuerst eine Investitionsentscheidung und erst dann eine statistische Eingabe.
Auch die Teststärke verdient eine bewusste Wahl. Üblich sind rund 80 Prozent, denn höhere Werte verlangen mehr Besucher. Bei kritischen Änderungen wie Preis oder Checkout ist eine höhere Teststärke sinnvoll. Bei einem risikoarmen Texttest genügt meist der Standardwert.
Was ist Peeking, und wann dürfen Sie den AB Test beenden?
Peeking bedeutet, vor dem Testende auf Ergebnisse zu schauen und danach zu handeln. Das bloße Hinsehen schadet nicht. Problematisch wird es allerdings, wenn das Gesehene darüber entscheidet, ob Sie stoppen. Jeder Blick wird dann zu einer weiteren Chance, einen Zufallsausschlag zu erwischen.
Die Faustregel lautet: Beobachten ja, entscheiden nein. Prüfen Sie während des Tests Datenfluss, Fehler und Traffic Verteilung. Einen Gewinner verkünden Sie dann erst, wenn die geplante Stichprobe erreicht ist.
Einige Tools bieten sequenzielle Tests an. Dabei planen Sie zunächst die Zahl der Zwischenblicke im Voraus, und die Schwelle passt sich an. Nutzen Sie ein solches Tool, wenden Sie die dokumentierte Abbruchregel exakt an. Ein klassischer Test mit fester Stichprobe lässt diese Freiheit nicht zu.
Legen Sie auch eine Teamregel fest. Zum Beispiel öffnen nur zwei Personen die Ergebnisansicht, und die Auswertung erfolgt zum geplanten Termin. Außerdem melden Sie der Geschäftsführung wöchentlich nur Traffic und Fehler, ohne Gewinnerprognose. Diese kleine Disziplin verhindert somit die meisten frühen Fehlentscheidungen.
Kurz gesagt: "Ich schaue heute rein" ist erlaubt, doch "ich beende heute" gilt erst zum Plandatum.
Warum laufen Tests in vollen Wochen?
Das Besucherverhalten folgt also einem Wochenrhythmus. Werktage und Wochenenden bringen Besucher mit unterschiedlicher Absicht. Außerdem verändern Zahltage, Aktionstage oder Newsletter Versand in manchen Unternehmen die Nachfrage.
Starten Sie einen Test am Dienstag und beenden ihn am Freitag, bilden Sie manche Tage zu stark und andere zu schwach ab. Deshalb lassen Sie den Test über ganze Wochen laufen. Oft ist es daher gesünder, mindestens zwei volle Wochen abzudecken.
Fragen Sie sich bei der Dauer:
- Dauert die Kaufentscheidung Tage oder Wochen?
- Fällt eine saisonale Aktion, ein Feiertag oder eine große Ankündigung in die Testphase?
- Bleibt die Mischung Ihrer Traffic Quellen während des Tests stabil?
Ist Ihr Kaufzyklus lang, verleitet ein kurzer Test also zu einem frühen Urteil. Berücksichtigen Sie dann die Conversion Verzögerung und verlängern Sie die Dauer.
Wird aus einem Formular Lead eine Woche später ein Verkauf, fehlen am Testende die Verkaufsdaten. Daher ist es oft praktischer, die primäre Metrik an einen rechtzeitig messbaren Schritt zu koppeln, etwa den Formularversand. Prüfen Sie nur, ob dieser Schritt wirklich mit Verkäufen zusammenhängt.
Wann dürfen Sie einen AB Test beenden, bevor das Plandatum erreicht ist?
Ein vorzeitiger Abbruch ist eine Ausnahme und eine vorher vereinbarte Entscheidung. Drei Fälle rechtfertigen ihn.
Erstens: fehlerhafte Daten. Fällt das Conversion Tag in einer Variante aus, ist das Ergebnis folglich wertlos. Stoppen Sie den Test, beheben Sie das Tag und starten Sie neu.
Zweitens: ernster Schaden an einer Schutzmetrik. Zum Beispiel steigen Formularfehler in der neuen Variante, oder die Seite wird deutlich langsamer. Bei solchem Schaden wiegt der Verlust schwerer als der Lerngewinn.
Drittens: ein Sample Ratio Mismatch, also ein defekter Testaufbau. Den behandeln wir im nächsten Abschnitt.
In keinem der drei Fälle schließen Sie den Test mit "Gewinner gefunden". Stattdessen notieren Sie Problem und Entscheidung im Testprotokoll. Dann wiederholt das Team den Fehler nicht.
Legen Sie zudem für jede Schutzmetrik vor dem Start eine Schadensgrenze fest. Setzen Sie die Grenze erst mitten im Test, biegen Sie die Regel in Richtung des Ergebnisses, das Sie sich wünschen. Wählen Sie den aktuellen Wert gemeinsam mit Ihrem Team passend zu Ihrem Geschäft.
Warum prüfen Sie zuerst das Sample Ratio Mismatch?
Ein Sample Ratio Mismatch (SRM) liegt vor, wenn sich der Traffic nicht im geplanten Verhältnis auf die Varianten verteilt. Ein Beispiel: Ein 50 zu 50 Test schickt 5.000 Besucher zu A und 4.400 zu B. Die Lücke wirkt klein, lässt sich aber womöglich nicht durch Zufall erklären.
Meist deutet das auf ein technisches Problem hin. Eine Weiterleitung läuft in einer Variante langsam, Bot Traffic sammelt sich auf einer Seite, oder eine Cookie Regel schließt manche Nutzer aus. Folglich ist jede Metrik auf einem defekten Aufbau unzuverlässig.
Prüfen Sie daher die Traffic Verteilung, bevor Sie Ergebnisse lesen. Unser Rechner markiert sie mit einem Chi Quadrat Test. Dieser Test geht allerdings von einer gleichen Verteilung aus. Haben Sie bewusst eine ungleiche Aufteilung gewählt, deuten Sie die Warnung entsprechend.
Erscheint eine SRM Warnung, geben Sie das Ergebnis nicht weiter. Suchen Sie zuerst die Ursache.
Gehen Sie dabei in dieser Reihenfolge vor: zuerst Weiterleitung und Ladereihenfolge, dann Filter für Bots und interne Zugriffe, zuletzt die Verteilung nach Browser und Gerät. Oft lädt eine Variante langsam, und manche Besucher verlassen die Seite, bevor das Tag feuert. Dann bringt ein Neustart ohne Korrektur nichts.
Wann sollten Sie einen AB Test beenden, der kein signifikantes Ergebnis zeigt?
Ein nicht signifikanter Test ist kein gescheiterter Test. Er zeigt nur, dass Ihre Daten die Varianten nicht trennen können. Das NIST ist hier klar: Wer die Nullhypothese nicht verwirft, hat sie damit nicht bewiesen.
Fragen Sie zuerst nach dem Grund. Blieb die Stichprobe unter dem Plan? War der Effekt kleiner als erwartet? War die Hypothese schwach? Jede Ursache braucht eine andere Lösung.
Danach haben Sie drei Optionen:
- Bleiben Sie bei der aktuellen Version. Hat die Variante nicht gewonnen, gibt es keinen Grund für das Risiko.
- Testen Sie eine mutigere Änderung. Kleine Unterschiede bei Text und Farbe lassen sich auf den meisten Websites nicht nachweisen.
- Verlängern Sie den Test nicht mit zusätzlichen Daten. Eine ungeplante Verlängerung ist nur eine andere Form von Peeking.
Wann Sie also einen AB Test beenden, der nichts zeigt? Zum geplanten Datum, mit dem Vermerk "unklar".
Notieren Sie, was Sie gelernt haben. Der Vermerk "Überschrift allein genügte nicht" lenkt den nächsten Test zum Beispiel auf das Angebot selbst. Auf diese Weise gibt selbst ein unklares Ergebnis eine Richtung vor.
Wie verändern mehrere Varianten die Regel?
Mit jeder Variante wächst die Zahl der Vergleiche. Jeder Vergleich ist eine weitere Chance, daher steigt die Wahrscheinlichkeit, zufällig ein "signifikantes" Ergebnis zu finden.
Korrekturverfahren gleichen das aus. Die Bonferroni Korrektur ist die einfachste: Sie teilen die Schwelle durch die Zahl der Vergleiche. Bei 95 Prozent Konfidenz und zwei Vergleichen nutzt jeder Vergleich zum Beispiel ein Alpha von 0,025. Unser Rechner wendet das ab drei Varianten automatisch an.
Zudem erhöht jede weitere Variante den Gesamtbedarf an Besuchern. Ist Ihr Traffic begrenzt, testen Sie jeweils zwei Varianten.
Eine weitere Falle: Nach dem Test teilen Sie die Daten in Segmente und suchen einen Gewinner. Wer Mobilgeräte, neue Besucher und einzelne Quellen nacheinander durchgeht, findet irgendwo etwas "Signifikantes". Haben Sie diese Segmente nicht geplant, behandeln Sie den Fund als Hypothese für einen neuen Test.
Anders gesagt erzeugt die explorative Analyse Hypothesen, und ein Test bestätigt sie. Vermischen Sie beides nicht. Entdecken Sie ein interessantes Muster, prüfen Sie es separat und nach Plan.
Was bedeutet praktische Relevanz?
Statistische Signifikanz sagt, dass ein Unterschied echt sein kann. Über seine Größe sagt sie nichts. Das NIST warnt: Eine sehr große Stichprobe kann einen trivialen Unterschied als signifikant ausweisen, eine kleine Stichprobe kann einen wichtigen übersehen.
Stellen Sie deshalb beide Fragen zusammen:
- Ist der Unterschied so klar, dass Zufall unwahrscheinlich ist? (statistische Signifikanz)
- Ist der Unterschied groß genug, um Ihre Entscheidung zu ändern? (praktische Relevanz)
Ist zum Beispiel das Konfidenzintervall breit, liegt die Untergrenze des Gewinns womöglich nahe null. Dann ist es riskant, die Variante auszurollen. Sicherer ist ein Ergebnis, bei dem schon die Untergrenze Ihre Kosten deckt.
Steigen außerdem die Conversions, während Umsatz oder Retourenkennzahlen schlechter werden, erklären Sie keinen Gewinner. Betrachten Sie die ganze Tabelle statt einer einzigen Zahl.
So vermeiden Sie auch einen häufigen Berichtsfehler: einen kleinen Zuwachs als großen Erfolg darzustellen. Zeigen Sie das Konfidenzintervall in Ihrem Bericht. "Wir erwarten einen Zuwachs zwischen diesen beiden Werten" ist ehrlicher als eine einzelne Prozentzahl.
Wie gelten die Abbruchregeln bei Google Ads Experimenten?
Experimente im Werbekonto folgen derselben Logik. Die Google Ads Hilfe erklärt, dass ein statistisch signifikantes Ergebnis mit einem blauen Sternchen markiert ist und darauf hindeutet, dass Ihre Daten wahrscheinlich nicht auf Zufall beruhen. Details finden Sie auf der Google Ads Hilfeseite zur Überwachung von Experimenten.
Dieselbe Seite empfiehlt, ein Experiment etwa zwei bis drei Wochen laufen zu lassen, damit genug Daten zusammenkommen. Bleiben die Ergebnisse unklar, können wenig Traffic, eine kleine Aufteilung oder ein wirklich kleiner Unterschied die Ursache sein. Auch das Standardniveau des Konfidenzintervalls lässt sich anpassen, prüfen Sie also den aktuellen Wert in der Zusammenfassung Ihres Kontos.
Hilfe zum Aufbau finden Sie in unserem Beitrag zu Google Ads Entwürfen und Experimenten. Die Regel bleibt dennoch gleich: Legen Sie die Dauer vorher fest und brechen Sie sie nicht ab.
Bei Anzeigenexperimenten kommt eine weitere Falle hinzu. Automatische Gebotsstrategien durchlaufen eine Lernphase, deshalb schwanken die ersten Tage. Rechnen Sie die Lernphase in die Dauer ein und entscheiden Sie nicht anhand der ersten Tage. Ändern Sie außerdem weder Budget noch Traffic Aufteilung während des Experiments.
AB Test beenden: Wie lesen Sie die Entscheidungstabelle?
Die Tabelle gibt für jede Situation während eines Tests eine praktische Entscheidung vor. Passen Sie sie an Ihr Plandatum und Ihre Schutzmetriken an.
| Situation | Entscheidung | Warum |
|---|---|---|
| Stichprobe und volle Wochen erreicht, Ergebnis signifikant | Beenden und ausrollen | Der Plan ist abgeschlossen, die Entscheidung ist belastbar |
| Stichprobe erreicht, Ergebnis nicht signifikant | Beenden, als "unklar" notieren | Der Unterschied ist nicht trennbar, Verlängern wäre Peeking |
| Signifikanz erscheint vor dem Plandatum | Weiterlaufen lassen | Der Ausschlag kann vorübergehend sein |
| Tag oder Messfehler gefunden | Abbrechen, beheben, neu starten | Die Daten sind unzuverlässig |
| SRM Warnung vorhanden | Abbrechen und Ursache suchen | Der Aufbau ist defekt |
| Schutzmetrik deutlich schlechter | Bei vereinbarter Schadensgrenze stoppen | Der Verlust wiegt schwerer als das Lernen |
| Voller Wochenzyklus nicht abgeschlossen | Weiterlaufen lassen | Der Tagesrhythmus fehlt |
Was gehört in Ihre Checkliste vor dem Abbruch?
Gehen Sie diese Liste der Reihe nach durch, bevor Sie einen Gewinner nennen. Jeder Punkt entspricht einer Falle aus den Abschnitten oben.
- Haben Sie die geplante Stichprobengröße erreicht?
- Haben Sie die vollen Wochenzyklen abgeschlossen?
- Passt die Traffic Verteilung zum geplanten Verhältnis (SRM Prüfung)?
- Funktioniert das Conversion Tag in beiden Varianten?
- Ist die primäre Metrik auf Ihrem gewählten Konfidenzniveau signifikant?
- Bringt schon die Untergrenze des Konfidenzintervalls Ihrem Geschäft einen Wert?
- Sind die Schutzmetriken gleich oder besser?
- Haben Sie während des Tests Kampagne, Preis oder Seite geändert?
- Haben Sie Ergebnis und Erkenntnis im Testprotokoll festgehalten?
Lautet eine dieser neun Antworten "nein", ist es ehrlicher, die Entscheidung zu verschieben oder den Test als unklar zu werten. Hängen Sie die Liste an Ihren Testplan und haken Sie sie jedes Mal in derselben Reihenfolge ab. Als Gewohnheit dauert sie nur wenige Minuten.
Wie lesen Sie das Ergebnis im Rechner?
Ist der Test beendet, tragen Sie die Zahlen selbst ein. Öffnen Sie im Rechner die Funktion A/B Test Signifikanz berechnen, geben Sie Besucher und Conversions für A ein und dieselben Werte für B. Stellen Sie das Konfidenzniveau auf den Wert Ihres Plans und den Testtyp auf zweiseitig.
Der Rechner zeigt eine Signifikanzanzeige, den relativen Zuwachs und ein Konfidenzintervall dafür. Außerdem nennt er den p Wert, die beobachtete Teststärke und Datenwarnungen. Die SRM Prüfung sehen Sie auf demselben Bildschirm. Mit einem Blick lesen Sie also Ergebnis und Gesundheit des Aufbaus.
Gibt es sehr wenige Conversions, etwa unter 10, zeigt der Rechner eine Warnung. Entscheiden Sie mit solchen Daten nicht.
Der Rechner deckt nur binäre Conversion Metriken ab. Für stetige Größen wie Umsatz oder Warenkorbwert brauchen Sie einen anderen Test.
Wollen Sie zuerst die Conversion Rate selbst prüfen, hilft der Conversion Rate Rechner.
Wie dokumentieren Sie Ergebnisse und speisen den nächsten Test?
Jeder Test liefert zwei Dinge: eine Entscheidung und eine Erkenntnis. Die Entscheidung geht live, die Erkenntnis verschwindet, wenn Sie sie nicht aufschreiben. Führen Sie deshalb für jeden Test ein kurzes Protokoll.
Dazu gehören diese Felder: Hypothese, Zeitraum, Stichprobe, Ergebnis, Konfidenzintervall, Entscheidung und Erkenntnis. Drei Monate später müssen Sie dieselbe Idee nicht erneut testen, denn das Protokoll zeigt, warum sie zuletzt scheiterte.
Für Ideenliste und Priorität hilft unser Beitrag zum Aufbau eines Marketing Experimente Backlogs. Bei Ihrem ersten Test folgen Sie dem Einstieg in AB Testing. Einen breiteren Blick auf typische Fehler bietet 8 Dinge über AB Tests, die Marketer wissen sollten.
Für Suchergebnisse braucht es eine ähnliche Disziplin. Wo die Unterschiede liegen, erklärt der Beitrag SEO AB Tests durchführen.
Welche Tools und Daten liefern Ideen für Ihre Tests?
Heatmaps und Sitzungsaufzeichnungen helfen bei der Hypothesenbildung. Allerdings müssen Sie wissen, welches Tool welche Frage beantwortet. Unser Schwesterbeitrag Welche CRO Tools brauchen Sie beantwortet das ausführlich.
Um Hypothesen mit echtem Verhalten zu füttern, lesen Sie Microsoft Clarity Heatmaps und Sitzungsaufzeichnungen. Ob sich Optimierung für Ihre Website überhaupt lohnt, klärt der Beitrag Conversion Optimierung: wann es sich lohnt.
Ist Ihr Traffic gering, denken Sie zunächst an einfache Korrekturen. Zum Beispiel führt Conversion Rate gesunken: wo anfangen Arbeiten auf, die die meisten Websites vor einem Test erledigen sollten. Sie müssen nicht alles testen. Manche Probleme sind offensichtlich, und Beheben und Beobachten ist schneller und günstiger.
Was tun, wenn Sie die Tests nicht allein durchführen können?
Viele Unternehmen bauen den Test auf, kommen aber bei Dauer, Stichprobe und Auswertung ins Stocken. Das ist normal, denn diese Arbeit verbindet Statistik, Messung und Design. Vieles lösen Sie mit dem Leitfaden oben selbst.
Brauchen Sie dennoch Unterstützung bei der Seitengestaltung, beim Messaufbau oder bei der Auswertung, sind Talha Aslan und unser Team für Sie da. Wie wir in diesem Teil des Prozesses arbeiten, sehen Sie auf unserer Seite, wenn Sie eine Website erstellen lassen möchten.
Ein Hinweis: Kein Test garantiert ein Ergebnis im Voraus. Ein gutes Team verspricht Ihnen keinen Zuwachs. Es liefert Tests, die richtig aufgebaut, sauber ausgewertet und in Erkenntnisse übersetzt sind.
Grundlagen: Was ist Online Marketing? Arten, Beispiele und Vorgehen auf einer Seite, mit einem interaktiven Film durch das Gehirn.



