Zum Inhalt springen
newsletter-marketing24.deRecht · Zustellbarkeit · Kennzahlen

Zuletzt geprüft:

A/B-Tests im Newsletter

Bei einem A/B-Test bekommen zwei zufällig gebildete Gruppen des Verteilers zwei Fassungen derselben Aussendung, die sich in genau einem Punkt unterscheiden. Danach vergleichen Sie, welche Fassung besser abgeschnitten hat. Das klingt einfach – die meisten Fehler passieren aber nicht beim Versand, sondern beim Deuten der Zahlen.

Was sich testen lässt

  • Betreffzeile oder Vorschautext – messen Sie besser an Klicks als an Öffnungen (siehe unten),
  • Absendername, etwa Vereinsname gegen Name der Vorsitzenden,
  • Aufbau: ein Hauptthema oben gegen eine Übersicht mehrerer Themen,
  • Handlungsaufforderung: Wortlaut oder Platzierung eines Knopfs,
  • Versandzeitpunkt: Wochentag oder Uhrzeit.

Fünf Regeln für einen fairen Test

  1. Nur eine Änderung. Unterscheiden sich Betreff und Bild, wissen Sie hinterher nicht, was gewirkt hat.
  2. Zufällige Gruppen. Nicht „die ersten 500 der Liste“ gegen „die nächsten 500“ – Listen sind oft nach Anmeldedatum oder Alphabet sortiert. Die meisten Versandsysteme teilen zufällig auf.
  3. Gleicher Zeitpunkt. Beide Fassungen gleichzeitig verschicken, außer der Zeitpunkt selbst ist Gegenstand des Tests.
  4. Kennzahl vorher festlegen. Entscheiden Sie vor dem Versand, woran Sie messen – und bleiben Sie dabei.
  5. Genug Empfänger und genug Zeit. Kleine Gruppen liefern Zufallsergebnisse; wer nach einer Stunde auswertet, misst vor allem die schnellen Leser.

Die richtige Kennzahl

Viele Systeme werten Betreffzeilen-Tests automatisch nach der Öffnungsrate aus. Die ist heute unzuverlässig: Apple Mail lädt mit „Mail-Aktivität schützen“ entfernte Inhalte privat im Hintergrund, sobald eine E-Mail eintrifft – das sieht wie eine Öffnung aus, ohne dass jemand gelesen hat. Messen Sie deshalb wo möglich an Klicks oder an dem, was danach passiert (Anmeldungen, Anfragen, Käufe). Mehr dazu: Öffnungsrate und Klickrate.

Ist der Unterschied mehr als Zufall?

Auch zwei identische Fassungen erzielen nie exakt dieselbe Klickrate. Ob ein Unterschied über den Zufall hinausgeht, prüft ein Test auf Gleichheit zweier Anteile. Das Handbuch für statistische Methoden des US-amerikanischen National Institute of Standards and Technology (NIST) beschreibt ihn für ausreichend große Stichproben:1

  1. Gemeinsamen Anteil berechnen: p = (Klicks A + Klicks B) ÷ (Empfänger A + Empfänger B).
  2. Standardfehler berechnen: SE = √( p × (1 − p) × (1/Empfänger A + 1/Empfänger B) ).
  3. Prüfgröße berechnen: z = (Klickrate B − Klickrate A) ÷ SE.
  4. Vergleichen: Ist |z| größer als 1,96, ist der Unterschied bei einem zweiseitigen Test auf dem üblichen Niveau von 5 % statistisch signifikant (Wert 1,960 aus der Tabelle der Standardnormalverteilung im selben Handbuch).2

Beispiel 1 (große Gruppen): Fassung A geht an 2.000 Empfänger, 100 klicken (5,0 %). Fassung B geht an 2.000 Empfänger, 130 klicken (6,5 %).

  • p = 230 ÷ 4.000 = 0,0575
  • SE = √(0,0575 × 0,9425 × (1/2.000 + 1/2.000)) ≈ 0,00736
  • z = (0,065 − 0,050) ÷ 0,00736 ≈ 2,04 → größer als 1,96: Der Unterschied ist signifikant.

Beispiel 2 (kleine Gruppen): Je 500 Empfänger, 25 gegen 32 Klicks (5,0 % gegen 6,4 %).

  • p = 57 ÷ 1.000 = 0,057
  • SE = √(0,057 × 0,943 × (1/500 + 1/500)) ≈ 0,0147
  • z = (0,064 − 0,050) ÷ 0,0147 ≈ 0,95 → kleiner als 1,96: Der Unterschied kann gut Zufall sein.

Fast derselbe Abstand in Prozentpunkten – aber nur bei den großen Gruppen ein belastbares Ergebnis. Für sehr kleine Gruppen nennt das NIST-Handbuch einen exakten Test (Fisher)1, den Statistikprogramme berechnen.

Was kleine Verteiler tun können

Wer nur einige hundert Empfänger hat, kommt mit einzelnen Tests selten zu belastbaren Ergebnissen. Drei Auswege:

  • Wiederholen statt einmal testen. Dieselbe Frage (etwa „Hauptthema oben oder Übersicht?“) über mehrere Ausgaben abwechselnd prüfen und die Ergebnisse zusammenzählen.
  • Große Unterschiede testen. Zwei grundverschiedene Ansätze zeigen eher einen messbaren Unterschied als zwei fast gleiche Betreffzeilen.
  • Fragen statt messen. Eine kurze Frage im Newsletter („Was möchten Sie öfter lesen?“) liefert manchmal mehr als jede Statistik.

Typische Fehler

  • Testen und sofort den „Gewinner“ an den Rest schicken, obwohl der Unterschied nicht signifikant ist.
  • Viele Varianten gleichzeitig – je mehr Vergleiche, desto eher ist einer zufällig „signifikant“.
  • Ergebnisse verallgemeinern: Was bei einer Ausgabe im Dezember wirkte, muss im Juni nicht wieder wirken.
  • Den Test nicht aufschreiben. Halten Sie Frage, Fassungen, Gruppengrößen, Kennzahl und Ergebnis fest; sonst testen Sie dasselbe in einem Jahr noch einmal.

Weiterlesen