Statistische Signifikanz
Statistische Signifikanz sagt, wie unwahrscheinlich es ist, dass ein gemessener Unterschied nur durch Zufall entstanden ist.
- Kurz gesagt
- Echter Unterschied oder Zufall?
- Üblich
- Eine Sicherheit von 95 %
- Wichtig für
- Jeden A/B-Test und jeden Lift-Test
01 · In einem Bild
Die Münze.
Du wirfst eine Münze 10-mal und bekommst 6-mal Kopf. Das beweist nichts, so etwas passiert ständig. Bei 1.000 Würfen und 600-mal Kopf stimmt mit der Münze etwas nicht.
Kleiner Test6 von 10: Zufall möglich
Großer Test600 von 1.000: kaum Zufall
Gleiche Quote, anderes Urteil. Die Menge der Daten macht den Unterschied.
02 · In der Praxis
Worauf es ankommt.
Signifikanz sagt nichts darüber, wie groß oder wichtig ein Unterschied ist. Ein winziger Vorsprung kann signifikant sein und sich trotzdem nicht lohnen. Umgekehrt ist ein großer Vorsprung bei 20 Käufen oft reiner Zufall. Sinnvoll ist deshalb, vor dem Test festzulegen, wie groß der Unterschied sein muss, damit du handelst.
03 · Verwandte Begriffe