A/B-Tests können verschiedene Schwachstellen im Experimentdesign sichtbar machen.
Ja, richtig gelesen: A/B-Testing ist wichtig für dein Unternehmen. Aber nur, wenn du den Ergebnissen vertrauen kannst. Damit deine Tests belastbare Erkenntnisse liefern, solltest du mögliche Fehlerquellen während der Testlaufzeit frühzeitig erkennen.
Ein Begriff, der im Kontext von A/B-Tests immer wieder auftaucht, ist Sample Ratio Mismatch, kurz SRM. Er lässt sich als „Abweichung in der Traffic-Verteilung“ übersetzen. Wer Experimente durchführt, sollte verstehen, warum SRM so wichtig ist.
In diesem Artikel erfährst du, was ein Sample Ratio Mismatch ist, woran du SRM erkennst, wann eine Abweichung problematisch ist und wann nicht und warum sie entstehen kann. Außerdem erhältst du Tipps, wie du ein SRM in deinen A/B-Tests überprüfen kannst.
Sample Ratio Mismatch: Überblick
Ein Sample Ratio Mismatch ist ein Fehler im Experiment, bei dem die erwartete Traffic-Verteilung nicht mit der tatsächlich beobachteten Anzahl an Besuchern pro Testvariante übereinstimmt.
Anders gesagt: Ein SRM ist ein Hinweis darauf, dass im Test etwas nicht wie geplant gelaufen ist.
Deshalb ist es im A/B-Testing entscheidend, das Sample Ratio Mismatch als mögliches Qualitätsproblem im Blick zu behalten.
Schauen wir uns das Konzept Schritt für Schritt genauer an.
Was bedeutet „Sample“ im Begriff Sample Ratio Mismatch?
Der Begriff „Sample“ bezieht sich in diesem Zusammenhang auf die Traffic-Verteilung. Die Traffic-Verteilung beschreibt, wie Besucher oder Nutzer auf die einzelnen Testvarianten aufgeteilt werden. In einem klassischen A/B-Test wird der Traffic meist gleichmäßig verteilt: 50 Prozent sehen die neue Variante, 50 Prozent die Kontrollversion.
So sieht eine gleichmäßige Traffic-Verteilung in einem einfachen A/B-Test mit nur einer Variante typischerweise aus:
Auch wenn ein Test zwei oder drei Varianten umfasst, wird der Traffic häufig gleichmäßig verteilt, damit jede Version vergleichbar viele Nutzer erhält. Bei einem A/B/C-Test entspricht das beispielsweise einer Verteilung von 33/33/33.
Für A/B- und A/B/C-Tests sind auch andere Aufteilungen möglich, etwa 60/40, 30/70 oder 20/30/50. Grundsätzlich lässt sich der Traffic also gezielt steuern. Für möglichst verlässliche und gut vergleichbare Testergebnisse ist eine ungleichmäßige Verteilung jedoch nicht immer empfehlenswert.
Selbst wenn du die Best Practice einer gleichmäßigen Verteilung einhältst, lässt sich ein Sample Ratio Mismatch nicht vollständig ausschließen. Diese Art von Abweichung kann unabhängig vom Testaufbau auftreten und sollte deshalb grundsätzlich geprüft werden.
Definition: Was ist ein Sample Ratio Mismatch (SRM)?
Da nun klar ist, was mit „Sample“ gemeint ist, lässt sich SRM leichter einordnen:
Ein SRM liegt vor, wenn das Verhältnis der Nutzer nicht der geplanten Traffic-Verteilung entspricht, beispielsweise nicht der vorgesehenen 50/50- oder 33/33/33-Aufteilung.
Ein SRM entsteht, wenn die beobachtete Traffic-Verteilung auf die Varianten von der im Test festgelegten Verteilung abweicht.
Kontrollversion und Variante erhalten dann eine Traffic-Verteilung in einem unerwünschten, verzerrten Verhältnis.
Unabhängig von der Formulierung bedeutet das im Kern:
“Ein Sample Ratio Mismatch ist ein Experimentfehler, bei dem die erwartete Traffic-Verteilung nicht zur tatsächlich beobachteten Anzahl an Nutzern pro Testvariante passt.”
Ist SRM immer ein Problem?
Vereinfacht gesagt tritt SRM auf, wenn eine Testversion deutlich mehr oder weniger Nutzer erhält als ursprünglich erwartet.
Nehmen wir an, du hast einen klassischen A/B-Test mit zwei Varianten und einer 50/50-Traffic-Verteilung aufgesetzt. Nach einiger Zeit siehst du, dass Version A 10.000 Nutzer erhalten hat und Version B 10.500 Nutzer.
Ist das bereits ein ernstes Problem? Und was ist in diesem Szenario eigentlich passiert?
Bei einem A/B-Test lässt sich die geplante Verteilung nicht immer zu 100 Prozent einhalten, weil die Zuweisung zufällig erfolgen muss. Eine kleinere Abweichung wie im Beispiel ist daher meist kein Grund zur Sorge.
Wenn du gegen Ende eines A/B-Tests eine sehr ähnliche Traffic-Verteilung siehst, musst du also nicht sofort reagieren.
Bei einer zufälligen Traffic-Aufteilung lässt sich nicht im Voraus sagen, wie viele Nutzer innerhalb der Testlaufzeit auf den Test treffen. Deshalb kann es am Ende des Tests kleinere Abweichungen geben, obwohl über 95 Prozent des Traffics korrekt verteilt wurden.
Wann wird SRM problematisch?
In manchen Tests entsteht ein Sample Ratio Mismatch durch den konkreten Testaufbau.
Problematisch wird SRM dann, wenn die Traffic-Verteilung sichtbar von der geplanten Aufteilung abweicht.
Wenn beispielsweise 1.000 Nutzer einer Variante zugewiesen werden und nur 200 der anderen, ist das eindeutig ein Warnsignal. In solchen Fällen braucht es oft nicht einmal eine spezielle Formel zur SRM-Berechnung, weil die Abweichung bereits offensichtlich ist.
So extreme Unterschiede in der Traffic-Verteilung sind jedoch eher selten. Umso wichtiger ist es, die Nutzerzahlen im Rahmen eines SRM-Checks vor jeder Testanalyse systematisch zu prüfen.ahmen eines SRM-Checks vor jeder Testanalyse systematisch zu prüfen.
Wie häufig kommt Sample Ratio Mismatch vor?
Sample Ratio Mismatch tritt häufiger auf, als viele Teams vermuten. Laut einer Studie von Microsoft und Booking.com sind rund 6 Prozent der Experimente von diesem Problem betroffen.
Noch wahrscheinlicher wird SRM, wenn ein Test eine Weiterleitung auf eine komplett neue Seite beinhaltet.
Weil du dich bei strategischen Entscheidungen auf Testergebnisse verlässt, solltest du SRM möglichst früh erkennen, sobald es während eines A/B-Tests auftritt.
Kann SRM auch Bayesianische Tests betreffen?
Ja. Auf Sample Ratio Mismatch müssen alle Teams achten, unabhängig davon, welche statistische Methode sie für ihre Experimente verwenden. Das gilt auch für Tests mit bayesianischen Verfahren.
Auch hier kann es zu einer statistisch signifikanten Abweichung zwischen erwarteter und beobachteter Verteilung kommen. Unabhängig von der gewählten Statistikmethode sind die Ergebnisse unzuverlässig, wenn zentrale Annahmen des Tests nicht erfüllt sind.
Warum entsteht ein Sample Ratio Mismatch?
Ein Sample Ratio Mismatch kann unterschiedliche Ursachen haben. Drei typische Beispiele zeigen, wie SRM entstehen kann.
Ein häufiger Fall: Die Weiterleitung zu einer Variante funktioniert bei Nutzern mit schlechter Internetverbindung nicht zuverlässig.
Ein weiteres klassisches Beispiel: Ein Direktlink zu einer Variante wird in sozialen Netzwerken geteilt. Dadurch gelangen alle Nutzer, die auf diesen Link klicken, direkt zu genau dieser Variante. Der Traffic wird dann nicht mehr sauber und zufällig auf die Varianten verteilt.
In komplexeren Szenarien kann auch JavaScript-Code eine Variante zum Absturz bringen, und zwar nur für bestimmte Nutzerkonfigurationen. Nutzer, die dieser fehlerhaften Variante zugewiesen werden, werden dann möglicherweise nicht korrekt erfasst und in den Daten abgebildet. Auch das kann zu SRM führen.
Allen Beispielen ist gemeinsam, dass eine Verzerrung bei der Auswahl entsteht: Bestimmte Nutzer werden systematisch ausgeschlossen. Das können Nutzer sein, die über einen geteilten Social-Media-Link kommen, eine schwache Verbindung haben oder eine fehlerhafte Variante aufrufen.
In jedem Fall ist SRM ein Hinweis darauf, dass etwas nicht stimmt. Die Zahlen und die daraus abgeleitete Testentscheidung sollten dann nicht ungeprüft übernommen werden.
SRM in A/B-Tests prüfen
Bei einem SRM-Check ist es wichtig, mit der richtigen Metrik zu arbeiten. Vorrangig solltest du „Nutzer“ prüfen, nicht „Besucher“. Nutzer sind die konkreten Personen, die einer Variante zugewiesen werden. Die Besucher- oder Sitzungsmetrik zählt dagegen, wie oft diese Personen eine Seite oder Variante aufrufen.
Diese Unterscheidung ist wichtig, weil Ergebnisse verzerrt werden können, wenn ein Nutzer mehrfach zu seiner Variante zurückkehrt. Ein SRM, der auf Sitzungen basiert, ist deshalb weniger aussagekräftig. Wird SRM dagegen auf Nutzerebene sichtbar, ist das ein deutlich stärkerer Hinweis auf ein echtes Problem.
Sample Ratio Mismatch im A/B-Testing
Der Test auf ein Sample Ratio Mismatch kann auf den ersten Blick kompliziert oder zeitaufwendig klingen. Tatsächlich ist das Gegenteil der Fall: SRM-Checks sind zentral für eine verlässliche Experimentanalyse.
Wer versteht, was SRM ist, warum es entsteht und wie es Testergebnisse beeinflussen kann, schafft eine bessere Grundlage für belastbare Entscheidungen. Denn A/B-Tests helfen deinem Unternehmen nur dann weiter, wenn die zugrunde liegenden Daten zuverlässig sind.
Du möchtest A/B-Testing auf deiner Website starten? AB Tasty ist eines der führenden Tools für A/B-Testing. Damit können Teams Tests schnell aufsetzen, Frontend- oder UX-Änderungen mit wenig Code implementieren sowie Erkenntnisse über ein ROI-Dashboard gewinnen. So entscheidest du auf einer klaren Datenbasis, welche Variante den Umsatz steigert.
