Bayessche Statistik

Bayessche Statistik

Bei der Bayesschen Statistik handelt es sich vor dem Hintergrund des A/B Testings um eine statistische Berechnung, die nicht nur das Konfidenzniveau misst (wie frequentistische Tests), sondern auch das Konfidenzintervall für den Zuwachs angibt.

Frequentistische Tests (z.B. Chi-Quadrat-Test) stellen fest, ob ein Unterschied existiert – positiv oder negativ. Der Bayessche Ansatz erweitert diese Einsicht um einen wichtigen Indikator, der die Unsicherheiten bei Messungen der Konversionsraten umgeht: Das Konfidenzintervall für den Zuwachs. Es zeigt an, welcher Gewinn durch das Ersetzen einer Variation A durch eine Variation B tatsächlich zu erwarten ist. Somit macht die Bayessche Statistik eine sichere datenbasierte Entscheidungsfindung möglich.

Bei der Bayesschen Methode ist es nicht notwendig, vorab eine Abschätzung der Testgröße vorzunehmen und diese strikt einzuhalten. Auch ohne aufwendiges Sample Sizing können Anwender zuverlässige Ergebnisse innerhalb kürzester Zeit erhalten. Somit erlaubt das bayessche Verfahren ein kontinuierliches Beobachten der Testergebnisse.

Bayesscher Statistik Beispiel

In dem oberen Fallbeispiel besteht die Möglichkeit, dass Variante B kaum Verbesserung bringt, da der niedrige Wert des Intervalls (2,83%) nahe 0 liegt. Genauso wahrscheinlich könnte der absolute Gewinn aber auch bei 136% liegen. Weitere Szenarien könnten mit einer Chance von ca. 2,5% auftreten. Bei einem Konfidenzintervall (Reliability) von 95% werden die extremen Ergebnisse also mit je 2,5% an beiden Enden ausgeschlossen. Der Medianwert von 58,83% im Bayesschen Ansatz zeigt die "neutrale" Hypothese, weder optimistisch noch pessimistisch. Es ist also gleichermaßen wahrscheinlich, dass der tatsächliche Gewinn über oder unter dem errechneten Wert liegt.

Das Konfidenzintervall für den erwarteten Gewinn hilft dabei, besser zu verstehen, was mit der Umsetzung einer neuen Variante gewonnen werden kann. Der Bayessche Ansatz erklärt auch, warum es zu diesen Ergebnissen kommt.

Wenn die Ergebnisse eindeutig sind und sich zügig eine deutlich bessere Variante zeigt, muss der Nutzer nicht mehr das Erreichen der minimalen Stichprobengröße abwarten, um den Test zu beenden. Er kann die Veränderungen unmittelbar implementieren und direkt von den Verbesserungen profitieren. Um mehr zu statistischen Methoden im A/B Testing zu erfahren, klicken Sie hier.

Teilen
Twittern
Teilen