Zuletzt geprüft:
Statistische Signifikanz
Kurz gesagt: Ein Unterschied zwischen zwei Gruppen heißt statistisch signifikant, wenn er so groß ist, dass er bei reinem Zufall nur selten auftreten würde. Wie selten, legt man vorher als Signifikanzniveau fest; üblich sind 5 %.
Wie ein Signifikanztest denkt
Ein statistischer Test entscheidet zwischen zwei Annahmen. Die Nullhypothese sagt: Es gibt keinen echten Unterschied, etwa zwischen zwei Betreffzeilen. Die Alternativhypothese sagt das Gegenteil. Aus den Daten wird eine Prüfgröße berechnet und mit einem kritischen Wert verglichen. Liegt sie jenseits davon, wird die Nullhypothese verworfen (NIST-Handbuch, Abschnitt 7.1.3).1
Das Signifikanzniveau, oft mit α bezeichnet, ist das Risiko, die Nullhypothese zu verwerfen, obwohl sie stimmt – also einen Unterschied zu „finden“, den es nicht gibt. Das umgekehrte Risiko, einen echten Unterschied zu übersehen, heißt Fehler zweiter Art. Große Unterschiede sind leichter zu entdecken als kleine, und je kleiner man α wählt, desto größer wird dieses zweite Risiko (ebenda).1
Für E-Mail-Tests passt meist der Test auf Gleichheit zweier Anteile, etwa zweier Klickraten. Das NIST-Handbuch beschreibt ihn für ausreichend große Gruppen (Abschnitt 7.3.3).2 Bei einem zweiseitigen Test auf dem Niveau 5 % liegt die Schwelle für die Prüfgröße bei 1,96, abgelesen aus der Tabelle der Standardnormalverteilung (Abschnitt 1.3.6.7.1).3
Was „signifikant“ nicht bedeutet
- Nicht „wichtig“. Bei sehr großen Gruppen wird auch ein winziger Unterschied signifikant. Ob er sich lohnt, ist eine andere Frage.
- Nicht „kein Unterschied“, wenn das Ergebnis nicht signifikant ist. Ein nicht verworfenes Ergebnis kann auch heißen, dass die Daten nicht reichen.
- Nicht „zu 95 % richtig“. Das Niveau beschreibt das Fehlerrisiko unter der Annahme, dass die Nullhypothese stimmt, nicht die Wahrscheinlichkeit, dass die Gewinner-Fassung besser ist.
Abgrenzung
- Signifikanz und Effektgröße: Die Effektgröße beschreibt, wie groß der Unterschied ist, etwa 0,2 Prozentpunkte. Die Signifikanz beschreibt, ob er vom Zufall zu unterscheiden ist.
- Signifikanz und Stichprobengröße: Wie viele Empfänger eine Gruppe braucht, hängt davon ab, wie kleine Unterschiede man noch erkennen will. Das Kapitel des NIST-Handbuchs zu Vergleichstests enthält dafür eigene Hinweise zur nötigen Stichprobengröße (Abschnitt 7.1.3).
Verwechslungsgefahr
- Umgangssprachlich „signifikant“ heißt oft „deutlich“ oder „bedeutend“. In der Statistik heißt es nur: mit dem gewählten Fehlerrisiko nicht durch Zufall erklärbar.
- Öffnungsraten als Maßstab: Seit Apple Mail mit „Mail-Aktivität schützen“ entfernte Inhalte im Hintergrund lädt, zählen Öffnungen auch ohne Leser.4 Ein signifikanter Unterschied in der Öffnungsrate kann deshalb an der Messung liegen. Klicks sind der robustere Maßstab.
Rechenbeispiel
Zwei Fassungen eines Newsletters gehen an je 50.000 Empfänger. Fassung A erzielt 1.000 Klicks (2,0 %), Fassung B 1.100 Klicks (2,2 %). Gerechnet nach dem Verfahren für zwei Anteile:
- gemeinsamer Anteil p = 2.100 ÷ 100.000 = 0,021
- Standardfehler SE = √(0,021 × 0,979 × (1/50.000 + 1/50.000)) ≈ 0,000907
- Prüfgröße z = (0,022 − 0,020) ÷ 0,000907 ≈ 2,21
2,21 liegt über 1,96: Der Unterschied ist auf dem Niveau 5 % signifikant. Er beträgt aber nur 0,2 Prozentpunkte, also 100 Klicks auf 50.000 Empfänger. Mit denselben Raten bei je 1.000 Empfängern (20 gegen 22 Klicks) ergäbe sich z ≈ 0,31 – weit unter der Schwelle. Ein zweites Beispiel mit kleineren Gruppen rechnet die Seite A/B-Tests im Newsletter durch.
Häufige Fragen
Was bedeutet statistische Signifikanz einfach erklärt? Dass ein gemessener Unterschied zu groß ist, um ihn mit gutem Gewissen dem Zufall zuzuschreiben. „Gutes Gewissen“ heißt dabei: ein vorher festgelegtes Fehlerrisiko, meist 5 %.
Warum ausgerechnet 5 %? Das ist eine Konvention, kein Naturgesetz. Strengere Niveaus wie 1 % verringern Fehlalarme, erhöhen aber das Risiko, einen echten Unterschied zu übersehen.
Darf ich einen Test abbrechen, sobald er signifikant ist? Wer immer wieder nachsieht und beim ersten Treffer stoppt, macht mehrere Tests statt einem und erhöht damit das Risiko eines Zufallstreffers. Besser: Gruppengröße und Auswertungszeitpunkt vorher festlegen.
Verwandte Begriffe
Passendes Werkzeug
- Kennzahlen-Rechner: Klickraten beider Fassungen sauber berechnen, bevor Sie vergleichen.