Digitales Marketing

AB Test: 8 Dinge, die Marketer vor dem Start wissen sollten

Talha Aslan 16 Minuten Lesezeit 2 Aufrufe

Kurze Antwort

Was ist ein AB Test und wofür brauchen Marketer ihn?

Ein AB Test ist ein kontrollierter Vergleich: Sie zeigen zwei Versionen derselben Seite oder Anzeige gleichzeitig zwei zufällig getrennten Gruppen und messen, welche Version bei einer Zielkennzahl besser abschneidet. Weil die Aufteilung zufällig erfolgt, treffen Saison und Kanalmix beide Gruppen gleichermaßen.

Alle Details und Beispiele finden Sie weiter unten im Beitrag

Sie haben einen Buttontext geändert, und die Conversions sind gesunken. Lag es wirklich am Button, oder hat sich in dieser Woche die Trafficquelle verschoben? Genau dafür gibt es den AB Test, oft auch A/B Test geschrieben. Talha Aslan und sein Team sehen in der Praxis immer dasselbe Muster: die Probleme entstehen selten beim Aufbau, sondern bei der Auswertung. Dieser Leitfaden geht die 8 Punkte durch, die Marketer über Tests wissen sollten, von der Hypothese bis zum Rollout. Halten Sie dabei unseren A/B Test Rechner offen.

Der praktische Nutzen liegt auf der Hand: Meinung weicht Evidenz. Statt über die stärkere Überschrift zu diskutieren, sehen Sie, wie zwei vergleichbare Gruppen im gleichen Zeitraum reagiert haben. Zudem liefert jeder Test die Hypothese für den nächsten, und Ihr Team lernt so, auf welche Versprechen und Belege die Zielgruppe anspringt.

Konkret geht es auch um Risiko. Sie geben ein neues Layout zunächst der Hälfte des Traffics, deshalb kostet eine schlechte Idee nur die Hälfte. Allerdings beantwortet die Methode nicht jede Frage. Markenwahrnehmung, lange Vertriebszyklen und Seiten mit sehr wenig Traffic brauchen andere Wege.

Welche 8 Dinge sollten Marketer über den AB Test wissen?

Die folgenden acht Punkte deckten in unseren Projekten den gesamten Zyklus ab, vom Aufbau bis zum Rollout. Lesen Sie zunächst die Liste und markieren Sie den Schritt, an dem Ihr Team regelmäßig hängen bleibt.

  1. Jeder Test beginnt mit einer schriftlichen Hypothese.
  2. Die Stichprobengröße berechnen Sie vor dem Start.
  3. Signifikanz beantwortet nur eine sehr enge Frage.
  4. Die Abbruchregel schreiben Sie vorab auf.
  5. Ein Faktor oder mehrere Faktoren dienen verschiedenen Zielen.
  6. Eine Hauptkennzahl, dazu Nebenkennzahlen zur Beobachtung.
  7. Für die Suche gelten offizielle Regeln von Google.
  8. Der Rollout des Gewinners ist eigene Arbeit.

Die Reihenfolge ist kein Zufall, denn jeder Schritt stützt sich auf den vorherigen. Wer Punkt vier überspringt, liest Punkt drei fast immer falsch.

Punkt 1: Warum beginnt ein AB Test mit einer Hypothese?

Die Hypothese ist der Kompass, deshalb schreiben Sie sie vor jedem Eingriff auf. Ohne Schriftform liest jeder das Ergebnis durch die eigene Erwartung. Wir nutzen eine Satzvorlage: Wenn wir die Lieferzeit auf der Produktseite neben den Preis setzen, steigt die Rate der Warenkorbzugänge, weil Kunden genau diese Angabe im Entscheidungsmoment suchen.

In diesem Satz stecken drei Teile: Änderung, erwartete Wirkung und Begründung. Die Begründung wiegt am schwersten, denn sie hinterlässt auch bei einem verlorenen Test eine Erkenntnis. Stützen Sie sie auf Daten statt auf Geschmack. Heatmaps, Sitzungsaufzeichnungen, interne Suchbegriffe und Supportnotizen sind gute Quellen; eine Auswertung von Heatmaps und Sitzungsaufzeichnungen liefert oft schon die erste Hypothesenliste.

Zur Priorisierung nutzen wir drei Kriterien: Stärke der Evidenz, Aufwand der Umsetzung und erwartete Wirkung. Eine Frage, die Ihr Support fünfmal pro Woche hört, gilt als starke Evidenz. Eine Idee aus einem Meeting wartet dagegen unten in der Liste. Den Start haben wir im Beitrag zum Einstieg in AB Tests beschrieben, deshalb wiederholen wir ihn hier nicht.

Punkt 2: Warum berechnen Sie die Stichprobe vor dem Start?

Die Stichprobengröße entscheidet, wie kleine Unterschiede ein Test überhaupt erkennt. Auf einer Seite mit vierzig Conversions am Tag bedeutet die Jagd nach einem Punkt Verbesserung mehrere Monate Wartezeit. Daher legen Sie zunächst drei Zahlen auf den Tisch.

  • Die aktuelle Conversion Rate als Ausgangswert.
  • Den kleinsten Unterschied, der eine Entscheidung ändert.
  • Die wöchentliche Zahl an Nutzern und Conversions.

Mit diesen drei Zahlen sehen Sie die Testdauer vorab. Wirkt das Ergebnis unrealistisch, dann verkleinern Sie nicht den Test, sondern vergrößern die Frage. Prüfen Sie das Versprechen, den Ablauf oder die Preisdarstellung statt einer Buttonfarbe, denn größere Eingriffe erzeugen größere Unterschiede.

Ein Detail geht häufig unter: Die Stichprobe hängt an Conversions, nicht an Besuchen. Eine Seite mit tausend Besuchern und zwei Verkäufen am Tag zählt praktisch als Seite mit wenig Traffic. Shops mit kleinem Volumen haben außerdem eine Alternative, denn Micro Conversions im Onlineshop senken den nötigen Umfang.

Punkt 3: Was sagt die statistische Signifikanz wirklich aus?

Signifikanz sagt, dass der beobachtete Unterschied kaum allein aus Zufall entsteht. Mehr sagt sie nicht. Konkret verspricht sie nicht, dass die Siegervariante dauerhaft besser bleibt. Zudem steigt mit jedem Blick in einen laufenden Test die Gefahr, einen frühen Ausschlag für einen Gewinn zu halten.

In der Praxis lesen Sie drei Begriffe zusammen.

BegriffWas er aussagtTypischer Lesefehler
SignifikanzniveauDer Unterschied ist kaum Zufall.Einen endgültigen Sieger ausrufen.
KonfidenzintervallDer Bereich, in dem die echte Wirkung liegt.Sich auf einen einzigen Prozentwert festlegen.
TeststärkeIhre Chance, einen echten Unterschied zu finden.Von kleinen Stichproben Antworten erwarten.

Schließt das Konfidenzintervall die Null ein, dann haben Sie noch keine Entscheidung. Also verlängern Sie den Test oder machen die Hypothese mutiger. Die Rechenseite behandelt unser Beitrag zur statistischen Signifikanz im Detail.

Punkt 4: Wann beenden Sie einen AB Test?

Die Abbruchregel entsteht vor dem Start, denn eine nachträgliche Regel biegt das Ergebnis höflich zurecht. Zwei Bedingungen gehören hinein: die geplante Stichprobe und mindestens eine volle Woche.

Volle Wochen zählen, weil sich Verhalten an Werktagen und am Wochenende unterscheidet. Ein Test über drei Tage misst nur einen Ausschnitt Ihrer Zielgruppe. Außerdem starten wir keine Tests in Aktionszeiträumen, denn Rabatttraffic verzerrt das normale Verhalten.

  1. Erreichen Sie die berechnete Stichprobe.
  2. Vollenden Sie mindestens eine ganze Woche.
  3. Lesen Sie das Ergebnis einmal und notieren die Entscheidung.
  4. Teilen Sie die Entscheidung am gleichen Tag im Team.

Es wird Tage geben, an denen Sie früh abbrechen möchten. Meist zeigt sich in den ersten Tagen ein großer Abstand, der danach schmilzt. Deshalb darf nur ein technischer Fehler, ein Messfehler oder eine ernste Nutzerbeschwerde die Regel brechen. Die Entscheidung aufzuschreiben klingt klein, bleibt aber die einzige Antwort auf die Frage von morgen.

Punkt 5: Ein Faktor oder mehrere Faktoren gleichzeitig?

Der klassische AB Test verändert einen Faktor und zeigt die Ursache klar. Ein Aufbau mit mehreren Faktoren prüft mehrere Elemente gleichzeitig und verlangt dafür deutlich mehr Traffic. Also hängt die Wahl direkt an Ihrem Volumen.

Eine einfache Schwelle hilft: Liegen Ihre wöchentlichen Conversions nicht sicher im zweistelligen Bereich, dann lassen Sie mehrere Faktoren weg. Zudem schrumpft mit jeder weiteren Variante der Traffic pro Variante, und der Zeitplan dehnt sich schnell.

Es gibt noch einen dritten Weg. Sie vergleichen die ganze Seite mit einem neuen Layout, was wir meist Redesigntest nennen. Die Ursache bleibt dabei unklar, große Unterschiede zeigt er dennoch schnell. Beim Wechsel auf ein neues Template passt das gut, und zusammen mit den Prinzipien aus conversionorientiertem Webdesign fallen die Ergebnisse stabiler aus. Fragen Sie vor der Wahl des Aufbaus: Was lernen wir, wenn diese Variante gewinnt?

Punkt 6: Wie wählen Sie die Hauptkennzahl aus?

Es bleibt bei einer Hauptkennzahl. Krönen Sie zwei, dann feiern Sie am Ende jene, die sich bewegt hat. Die Kennzahl liegt außerdem nahe an der Änderung. Prüfen Sie den Warenkorbbutton, dann zählt der Warenkorbzugang als Hauptkennzahl, während der Umsatz zur Beobachtung bleibt.

Nebenkennzahlen sind trotzdem Pflicht. Hebt eine Variante die Warenkorbzugänge und verliert im Bezahlschritt, dann sehen Sie das nur dort. Diese Logik haben wir im Beitrag zum Conversion Funnel gezeichnet.

Halten Sie die Definition schriftlich fest. Ob ein wiederholter Klick auf denselben Button doppelt zählt, verschiebt Ihr Ergebnis; ohne Definition liest ein Team denselben Bericht zweimal verschieden. Behalten Sie auch den Umsatz im Blick, denn eine Rate kann steigen, während der durchschnittliche Warenkorbwert fällt.

Punkt 7: Schadet ein AB Test der Sichtbarkeit in der Suche?

Google veröffentlicht ein eigenes Dokument zu Tests auf Websites und schreibt dort, dass kleine Änderungen das Suchergebnis einer Seite meist kaum beeinflussen. Dieselbe Seite nennt zwei Regeln: Zeigen Sie dem Crawler keine anderen Adressen als Menschen, und setzen Sie bei Tests über mehrere Adressen das Canonical Tag auf die Alternativadressen.

Bei Weiterleitungen empfiehlt Google die temporäre statt der permanenten Variante, damit die Originaladresse im Index bleibt. Außerdem warnt Google davor, ein Experiment unnötig lange laufen zu lassen, weil das als Täuschungsversuch gelten kann. Die Details finden Sie im Leitfaden von Google Search Central zu Tests auf Websites.

Auch das Cookieverhalten spielt eine Rolle. Bei einem Test über Cookies sieht der Crawler oft nur die Standardversion; das bricht den Test nicht, dennoch sollten Sie wissen, welche Version im Index steht. Auf der Suchseite trennen Sie zudem Seitengruppen statt Nutzer, und genau das zeigen wir in SEO AB Tests durchführen.

Punkt 8: Wie bringen Sie die Siegervariante live?

Eine Variante im Testtool ist keine fertige Lösung. Sie übertragen das Siegerlayout in das echte Template, entfernen den Testcode und messen danach die Ladezeit erneut. Eine dauerhaft offene Testschicht belastet jeden Seitenaufruf.

Beim Rollout prüfen wir diese Punkte.

  • Die Variante sieht mobil und am Desktop richtig aus.
  • Die Messereignisse feuern im neuen Template weiter.
  • Alle Testskripte sind von der Seite verschwunden.
  • Die Prüfungen zur Barrierefreiheit laufen weiter durch.

An dieser Stelle bleiben viele Teams stehen, denn die Arbeit wechselt vom Marketing in die Umsetzung. Wenn Gestaltung und Technik aus einer Hand laufen sollen, übernimmt unser Team im Webdesign genau diesen Teil: Siegervariante ins Template, Messung intakt, Rollout saubergehalten.

Wie prüfen Sie das Ergebnis mit einem Rechner?

Die Rechnung müssen Sie nicht von Hand machen. Öffnen Sie die Seite A/B Test Signifikanz berechnen, geben Sie Nutzer und Conversions beider Varianten ein und lesen das Ergebnis samt Konfidenzintervall. Geben Sie die Zahlen erst ein, wenn Ihre Abbruchregel erfüllt ist.

Halten Sie die Eingaben konsistent. Nehmen Sie beide Varianten aus derselben Quelle, demselben Zeitraum und mit demselben Filter, denn Zahlen aus verschiedenen Panels weichen leicht ab und drehen knappe Ergebnisse. Für die Anzeigenseite hilft CTR berechnen, auf der Website nutzen wir den Conversion Rate Rechner.

Die Ausgabe in eine Folie zu kopieren genügt nicht. Schreiben Sie Hypothese, Abbruchregel und Entscheidung daneben, damit der Bericht ein halbes Jahr später noch lesbar bleibt.

Welcher Testaufbau passt zu welcher Lage?

Die Tabelle vergleicht vier gängige Aufbauten nach Trafficbedarf und Lernwert. Öffnen Sie sie in der Planungsrunde und markieren die Zeile, die zu Ihrem Volumen passt.

AufbauWann passend?TrafficbedarfLernwert
Klassisch zwei VariantenSie wollen ein Element klären.MittelHoch, die Ursache ist sichtbar.
Mehrere FaktorenSie vermuten Wechselwirkungen.Sehr hochMittel, die Auswertung wird schwer.
RedesigntestSie entscheiden über ein Template.MittelNiedrig, die Ursache bleibt offen.
AnzeigentestSie wählen Botschaft und Motiv.Hängt am BudgetHoch, das Ergebnis kommt schnell.

Denken Sie zudem an den Kalender. Ein Redesigntest liefert eine große Antwort, braucht aber lange Vorbereitung, während zwei klassische Varianten an einem Tag stehen. Anzeigentests laufen weiter, solange Budget fließt.

Was tun Sie bei wenig Traffic statt eines Tests?

Bei kleinem Volumen zieht sich der Test, und die Entscheidung kommt zu spät. Hier helfen drei Wege. Zunächst ziehen Sie das gemessene Ereignis einen Schritt nach vorne. Danach greifen Sie auf Templateebene ein statt auf einer einzelnen Seite, damit die Stichprobe eine ganze Seitengruppe umfasst.

Der dritte Weg ist qualitativ. Eine Aufgabenrunde mit fünf Personen zeigt ein Verständnisproblem, das tausende Sitzungen verdecken. Kurz gesagt: Wenn Zahlen fehlen, übernimmt Beobachtung.

Ein vierter Weg liegt bei den Anzeigen: Teilen Sie das Budget auf zwei Motive, dann kommt die Antwort schneller als auf der Website. Offensichtliche Hürden räumen Sie ohnehin zuerst weg, denn die Punkte aus unserer Liste zu UX Fehlern, die Umsatz kosten gehören repariert und nicht getestet.

Welche Fehler passieren beim AB Test am häufigsten?

In den Testberichten, die wir prüfen, kehren immer dieselben Fehler zurück. Die Liste sammelt jene, die am meisten Geld kosten.

  • Früh abbrechen und den ersten Ausschlag feiern.
  • Zwei Tests gleichzeitig auf derselben Seite fahren.
  • Mobile und Desktop in einem Bericht vermischen.
  • Kleine Elemente auf Seiten mit wenig Traffic prüfen.
  • Verlorene Tests nicht dokumentieren.

Ein Punkt gehört noch dazu: einen Test an einer Kennzahl messen und die Geschäftswirkung übersehen. Steigt die Rate, während der Warenkorbwert sinkt, dann steht der Gewinn nur auf dem Papier. Deshalb führen wir im Bericht immer eine Umsatzspalte.

Der letzte Listenpunkt ist der teuerste. Verlorene Tests tragen so viel Information wie Gewinner, und ohne Dokumentation kommt dieselbe Idee ein Jahr später zurück. Deshalb gehört auch ein verlorener Test in dieselbe Tabelle wie ein Gewinner.

Wie bauen Sie Anzeigentests sauber auf?

Anzeigenplattformen folgen derselben Logik mit anderer Mechanik. Meta veröffentlicht im Hilfebereich einen Artikel zu A/B Tests für Werbung; prüfen Sie die Schritte dort, denn Bezeichnungen im Werbeanzeigenmanager ändern sich. Den Artikel erreichen Sie über die Seite des Meta Hilfebereichs zu A/B Tests.

Zwei Regeln halten Anzeigentests ehrlich, denn eine schlampige Teilung verbrennt Budget. Erstens ändern Sie nur ein Element: Motiv, erster Satz oder Handlungsaufruf. Zweitens vergleichen Sie innerhalb derselben Zielgruppe.

Seien Sie vorsichtig, wenn Sie ein Anzeigenergebnis auf die Website übertragen. Eine Botschaft, die im Feed gewinnt, verliert ihre Wirkung, sobald die Landingpage etwas anderes verspricht. Beispiele für Formulierungen finden Sie bei den CTA Button Beispielen.

Wie passen Testergebnis und Landingpage zusammen?

Die Übereinstimmung zwischen Anzeige und Landingpage ist die versteckte Variable vieler Tests. Klickt jemand auf ein Versprechen zum kostenlosen Versand und liest auf der Seite etwas anderes, dann zählt der getestete Button kaum noch.

Also planen wir Tests zusammen mit dem Anzeigentext. Die Überschrift im ersten Bildschirm wiederholt das Versprechen, Belege stehen direkt darunter. Im Geschäftskundenbereich haben wir diesen Aufbau in der Anleitung zur Landingpage Optimierung gezeigt.

Suchen Sie die Übereinstimmung auch bei den Belegen. Spricht die Anzeige eine Branche an, dann sollten die Referenzen aus dieser Branche kommen; sonst zweifelt der Besucher am Versprechen. Eine schnelle Prüfung: Anzeige und Seite nebeneinander öffnen und beide Überschriften laut lesen.

Wie entsteht im Team eine Testkultur?

Ein einzelner Test schafft keine Kultur. Kultur entsteht stattdessen aus Dokumentation. Wir führen eine schlichte Tabelle mit drei Spalten: Hypothese, Ergebnis, Entscheidung. Je länger die Tabelle, desto seltener prüft jemand dieselbe Idee zweimal.

Auch der Rhythmus zählt. Eine monatliche Testrunde holt den Bericht aus dem Ordner, den niemand öffnet. Offen über verlorene Tests zu sprechen schützt zudem die Risikobereitschaft im Team.

Rollen gehören ebenso zur Kultur. Das Marketing schreibt die Hypothese, die Technik baut die Variante, die Entscheidung zeichnen beide. Ohne Messaufbau trägt das alles nicht; die Prozessseite haben wir im Beitrag zum CRO Prozess beschrieben, und der Testkalender ist ein Teil dieser Schleife.

Welche Elemente lohnen sich für einen Test?

Nicht jedes Element wiegt gleich. Nach unserer Erfahrung erzeugt alles, was nahe am Entscheidungsmoment liegt, größere Unterschiede. Die folgende Reihung dient als Startordnung für Ihre Ideenliste.

  1. Versprechen und Überschrift im ersten Bildschirm.
  2. Platzierung von Preis, Versand und Lieferzeit.
  3. Anzahl und Reihenfolge der Formularfelder.
  4. Belege, also Bewertungen und Referenzen.
  5. Der Text des Handlungsaufrufs selbst.

Der Handlungsaufruf steht hinten, denn allein bewegt er selten viel. Gut geschrieben trägt er allerdings die Wirkung aller Punkte über ihm. Konkret heißt das: Erst Versprechen und Preisdarstellung prüfen, danach den Text des Buttons.

Welchen Messaufbau braucht ein AB Test?

Ein Testtool allein trägt Sie nicht, denn den Unterschied zwischen Varianten sehen Sie im Analysebericht. Sind Ereignisnamen uneinheitlich, dann vergleichen Sie zwei Gruppen nicht an derselben Definition.

Der Mindestaufbau hat drei Teile. Zunächst führen Sie alles über einen Tag Container. Danach benennen Sie die Conversionereignisse und dokumentieren, welche Nutzeraktion jeweils dahintersteht. Zum Schluss ergänzen Sie eine Dimension, die die Variante in den Bericht trägt.

Schließlich prüfen Sie den Aufbau selbst. Rufen Sie beide Varianten in einer Testumgebung auf und beobachten Sie die Ereignisse. Stellen Sie außerdem sicher, dass ein Nutzer nicht beide Varianten sieht, sonst vermischen sich die Daten.

Warum lesen Sie Mobile und Desktop getrennt?

Zwei Gerätegruppen erleben dieselbe Seite anders. Mobil ist der Bildschirm klein, die Aufmerksamkeit geteilt, der Bezahlschritt mühsamer. Folglich kann eine Variante am Desktop gewinnen und mobil verlieren, und ein gemeinsamer Bericht verdeckt diesen Widerspruch.

In der Praxis fahren wir einen Test und lesen den Bericht mit Gerätesplit. Dreht die Richtung, dann entscheiden wir je Gerät und spielen mobil eine eigene Variante aus. Die Hintergründe dazu stehen in unserem Beitrag zur mobilen Conversion Lücke.

Eine Warnung: Ein Split teilt Ihre Stichprobe. Wollen Sie je Segment Signifikanz, dann wächst der nötige Umfang. Also planen Sie Entscheidungen je Gerät von vorn herein ein.

Wie stellen Sie ein Testergebnis im Bericht dar?

Ein guter Testbericht passt auf eine Seite und beantwortet vier Fragen: Was haben wir probiert, was haben wir gesehen, was entscheiden wir, was folgt. Mehr liest niemand, weniger lässt die Entscheidung offen.

  • Der Hypothesensatz mit Änderung und Begründung.
  • Die Hauptkennzahl beider Varianten nebeneinander.
  • Konfidenzintervall und Stichprobengröße.
  • Auffällige Ausschläge in Nebenkennzahlen.
  • Die Entscheidung und die zuständige Person.

Halten Sie Diagramme schlicht. Eine Zeitreihe zeigt das tägliche Rauschen, die Entscheidung folgt daraus aber nicht. Schreiben Sie die Entscheidung in eine Zusammenfassungszeile und nutzen das Diagramm als Stütze.

Benennen Sie archivierte Berichte sorgfältig. Seite, Zeitraum und Hauptkennzahl gehören in den Dateinamen, dann findet das Team einen alten Test in Sekunden.

Welche Punkte gehören auf die Checkliste vor dem Start?

Beantworten Sie diese acht Fragen vor dem Start schriftlich. Die Antworten bleiben kurz, dennoch verhindern sie die meisten späteren Diskussionen.

  1. Steht die Hypothese in einem Satz.
  2. Gibt es nur eine Hauptkennzahl.
  3. Ist die Stichprobe berechnet.
  4. Steht die Abbruchregel schriftlich fest.
  5. Läuft ein anderer Test auf derselben Seite.
  6. Lesen Sie Mobile und Desktop getrennt.
  7. Sind die Messereignisse geprüft.
  8. Wer bringt die Siegervariante live.

Die Liste kostet zehn Minuten. Diese zehn Minuten verhindern allerdings einen Abbruch mitten im Test. Bewahren Sie die Checkliste in einer gemeinsamen Datei, dann startet jeder Test im gleichen Standard. Die letzte Frage überspringen Teams am häufigsten, und ein Sieger ohne Zuständigkeit wartet Wochen im Tool.

Wann brauchen Sie Unterstützung von außen?

Den Aufbau schaffen Sie selbst, denn die Werkzeuge machen diesen Teil leicht. Die Schwierigkeit liegt woanders: Messung richtig verdrahten, Varianten ohne Ladezeitverlust ausspielen und den Gewinner saubergehalten ins Template heben. Weil diese drei Aufgaben Code berühren, brauchen sie Entwicklungszeit.

Meist kommen wir genau hier dazu. Ihr Team produziert Testideen, wir übernehmen Messaufbau, Variantenbau und Rollout. Ergebnisse versprechen wir nicht, denn die liefert der Test selbst; den Prozess machen wir dafür wiederholbar.

Bricht Ihr Template bei jeder Änderung, dann liegt das Problem nicht am Test, sondern am Fundament. Wenn Sie ohnehin neu starten, können Sie die Website erstellen lassen und das Template von Anfang an testfähig aufbauen; danach dauert jeder Test Stunden statt Tage.

Signifikanz oder Effektgröße: was entscheidet?

Signifikanz und Effektgröße sind zwei verschiedene Dinge. Bei einer sehr großen Stichprobe erreicht sogar ein winziger Abstand Signifikanz. Allerdings lohnt die Umsetzung nicht, wenn dieser Abstand keine Geschäftszahl verändert.

Fragen Sie deshalb beides zusammen: Ist der Unterschied echt, und ist er nützlich? Die zweite Antwort hängt an Umsatz, Marge und Umsetzungskosten. Sortieren Sie Gewinner nach Wirkung und Aufwand, denn eine Textänderung geht am selben Tag live, während ein Eingriff in den Bezahlvorgang Wochen braucht.

Kurz gesagt endet ein Bericht nie mit einem einzigen Prozentwert. Signifikanz, Konfidenzintervall und Geschäftswirkung stehen nebeneinander auf derselben Seite.

Grundlagen: Was ist Online Marketing? Arten, Beispiele und Vorgehen auf einer Seite, mit einem interaktiven Film durch das Gehirn.

Häufig gestellte Fragen

Wie lange sollte ein AB Test laufen?
Die Dauer ergibt sich aus der geplanten Stichprobe und aus vollen Wochen, nicht aus einer festen Zahl von Tagen. Schließen Sie den Test nicht, bevor Sie die berechnete Zahl an Nutzern und Conversions erreichen. Da sich Verhalten an Werktagen und am Wochenende unterscheidet, vollenden Sie mindestens eine ganze Woche. Tests in Aktionszeiträumen zeigen Rabattverhalten statt Normalverhalten.
Lohnt ein Test bei wenig Traffic überhaupt?
Fehlen genügend Conversions, dann zieht sich der Test über Monate. Messen Sie in diesem Fall einen Schritt früher, etwa den Warenkorbzugang oder den Formularbeginn. Ein Eingriff auf Templateebene statt auf einer einzelnen Seite vergrößert die Stichprobe zusätzlich. Außerdem zeigt eine Aufgabenrunde mit wenigen Personen Verständnisprobleme, die Zahlen gar nicht erfassen.
Schadet ein Test dem Ranking bei Google?
Google schreibt im eigenen Dokument zu Tests auf Websites, dass kleine Änderungen das Suchergebnis meist kaum beeinflussen. Wichtiger als die Sorge sind die Regeln: dem Crawler keine anderen Adressen zeigen als Menschen, bei mehreren Adressen das Canonical Tag setzen und temporäre statt permanenter Weiterleitungen wählen. Lassen Sie ein Experiment zudem nicht unnötig lange laufen.
Dürfen zwei Tests gleichzeitig auf einer Seite laufen?
Technisch geht das, für die Auswertung bleibt es heikel. Trifft ein Nutzer zwei Änderungen gleichzeitig, dann trennen Sie die Wirkungen kaum noch. Deshalb bevorzugen wir je Zeitraum einen Test pro Seite. Wollen Sie mehrere Elemente gemeinsam prüfen, dann planen Sie das bewusst als Aufbau mit mehreren Faktoren und entsprechend mehr Traffic.
Warum verlorene Tests dokumentieren?
Ein verlorener Test zeigt, dass eine Hypothese falsch war, und das ist eine Information. Ohne Dokumentation kehrt dieselbe Idee im nächsten Jahr zurück und kostet zweimal Budget. Verlorene Tests zeigen außerdem, wo ein Team die Zielgruppe falsch gelesen hat. Genau dafür führen wir eine Tabelle mit Hypothese, Ergebnis und Entscheidung.
Lassen sich Anzeigenergebnisse auf die Website übertragen?
Direkt nicht, denn der Kontext unterscheidet sich. Eine Botschaft, die im Feed gewinnt, verliert ihre Wirkung, sobald die Landingpage etwas anderes verspricht. Behandeln Sie die gewinnende Anzeigenbotschaft deshalb als neue Hypothese und prüfen Sie sie im ersten Bildschirm. Meist genügt es, beide Überschriften nebeneinander zu lesen.
  • ab test
  • conversion optimierung
  • cro
  • statistische signifikanz
  • experimente
  • online marketing
Teilen:
Talha Aslan

Google Partner und Experte für digitales Marketing. Seit 2012 praktisch in SEO, Google Ads, Webdesign und E-Commerce Projekten; jeder Beitrag hier stammt aus dieser Erfahrung.

Nächstes Projekt

Angebot für Ihr Projekt.

Ihre Anfrage geht direkt an Talha Aslan und Team: Strategie von Talha, Umsetzung durch ein erfahrenes Team. Wir melden uns am selben Tag und senden Umfang, Zeitplan und Preis innerhalb von 1 Werktag als schriftliches Angebot.