Manchmal haben auch unerhebliche Testergebnisse einen großen Mehrwert




Wenn man einen A/B Test aufsetzt, sucht man gewöhnlicherweise nach einem klaren Gewinner. Version B , im Vergleich zu Version A, verbesserte die Conversion Rate um 15%, zum Beispiel. Der Vergleich zwischen dem Original (A) und der modifizierten Version der Webseite (B) soll möglichst eindeutig ausfallen. Dies wird dann als klares Signal verstanden, die Webseite entweder genauso zu belassen oder die Elemente der Gewinnervariation zu implementieren. Nicht immer gibt es jedoch einen klaren Gewinner. Ab und zu sind die Testergebnisse unerheblich, zeigen also keinen klaren Gewinner. Aber auch diese Ergebnisse haben ihren Mehrwert.

Wenn man mit einer klaren und gut formulierten Hypothese in den A/B Test hineingeht, dann kann auch ein Test ohne klaren Gewinner  sehr nützliche Einsichten bringen.

Hier ein Beispiel von unserer Homepage, Optimizely.com.

Vor kurzem änderte Twitter seine API und als Folge dessen funktionierte das Twittermodul auf Optimizely.com nicht mehr. Daran Veränderungen vorzunehmen stellte sich als komplizierter heraus als zuerst erwartet. Also dachten wir: Würde es unsere Leistungskennzahlen* negativ beeinflussen, wenn wir das Twittermodul ganz von der Seite nähmen? Wenn nicht, so könnten wir das Modul getrost von der Seite entfernen und so kostbare Entwicklerzeit einsparen.

Hier unsere Webseite Optimizely.com mit dem Twittermodul (links) und ohne das Modul (rechts).

Screen Shot 2013-09-24 at 4.26.00 PM

Die Hypothese

Das Twittermodul gänzlich wegzulassen würde keinen Unterschied zu unseren Schlüsselkennzahlen machen; in anderen Worten gäbe es bei einem Test keinen klaren Gewinner oder Verlierer. Wenn dies so einträfe, dann könnten wir das Twittermodul von der Seite nehmen ohne dabei Conversions zu beeinflussen. Nachdem wir den A/B Test für ein paar Wochen laufen ließen, waren die Testergebnisse  eindeutig.

Das Ergebnis

Das Twittermodul hatte keinen Einfluss auf Conversions, weder positiv noch negativ. Wir konnten uns so also sicher sein, dass wir Twitter komplett von der Seite nehmen konnten und sparten als Resultat mehrere Stunden Entwicklerzeit. Weniger Code, um den wir uns kümmern mussten.

Screen Shot 2013-09-24 at 4.27.37 PM

Die Ergebnisse waren nicht eindeutig, aber es war dennoch klar, dass Twitter die Conversions nicht positiv beeinflusste.

Die Lektion

Das Wichtigste, das sich aus diesem simplen Experiment lernen lässt, ist die unglaublich wichtige Rolle einer Testhypothese. Da wir vor dem Test eine Hypothese hatten, warum wir das Twittermodul testen wollten, konnten wir die Ergebnisse in einem Context betrachten. Wir wussten von vornherein, dass wir, egal wie der Test ausgehen würde, Daten haben würden, die uns weiterbrachten. Hätte unser Test einen klaren Gewinner gehabt, zum Beispiel, dass das Twittermodul Conversions erhöhte, dann hätten wir die Zeit investiert, um es auf der Homepage zu behalten. Wäre dies nicht der Fall gewesen, dann könnten wir es ohne Sorge entfernen.

* Unsere wichtigen Kennzahlen sind: Wie viele Besucher benutzen den Editor? Wie viele Leute legen sich einen Optimizely Account an? Wie viele Leute schauen sich die Pricing Seite an?

 

Haben Sie bereits ähnliche Erfahrungen bei Ihren Experimenten gemacht?