A/B-Test
Bei einem A/B-Test bekommen zwei zufällig geteilte Gruppen je eine Variante zu sehen. Die Variante mit dem besseren Ergebnis gewinnt.
- Kurz gesagt
- Zwei Varianten, zufällig verteilt, eine gewinnt.
- Formel
- (Rate B − Rate A) ÷ Rate A
- Braucht
- Eine klare Frage und genug Daten
- Wichtig für
- Anzeigen, Landingpages, Betreffzeilen, Preise
Zwei Schaufenster.
Ein Laden hat zwei Eingänge mit je einem Schaufenster. Links liegt das Angebot der Woche, rechts der Bestseller. Die Passanten verteilen sich zufällig. Nach einem Monat zeigt die Kasse, welches Fenster mehr Käufer gebracht hat.
Beispiel: B bringt 4 statt 3 Käufe je 10 Besucher. Ob das Zufall ist, entscheidet die Menge der Daten.
Entscheidend ist die zufällige Verteilung. Nur dann liegt der Unterschied an der Variante.
Erst die Frage, dann der Test.
Ein guter Test ändert genau eine Sache und legt vorher fest, woran er gemessen wird.
Annahme
Du formulierst, was du änderst und welche Wirkung du erwartest.
Aufteilen
Die Besucher werden zufällig auf beide Varianten verteilt.
Auswerten
Nach der geplanten Laufzeit vergleichst du die vorher festgelegte Kennzahl.
Rechne es mit deinen Zahlen durch.
Was sich gut testen lässt.
Hook und Angle
Der Einstieg einer Anzeige hat oft den größten Hebel. Getestet wird die Idee, nicht die Schriftfarbe.
Landingpage und Angebot
Überschrift, Reihenfolge der Argumente, Bundle oder Einzelprodukt.
Betreff und Zeitpunkt
Bei E-Mails lassen sich Betreffzeilen und Versandzeiten schnell vergleichen.
Wir legen vor jedem Test Kennzahl und Laufzeit fest. Wer täglich nachschaut und beim ersten Vorsprung abbricht, findet Gewinner, die keine sind.
Was oft verwechselt wird.
Kurz beantwortet.
Wie lange muss ein Test laufen?
Mindestens eine volle Woche, besser zwei, und so lange, bis jede Variante genug Conversions hat.
Wie viele Conversions brauche ich?
Als grobe Orientierung mehrere hundert je Variante. Je kleiner der erwartete Unterschied, desto mehr.
Kann ich mehrere Dinge gleichzeitig ändern?
Ja, aber dann weißt du nur, welches Paket besser ist, nicht warum.