Wie man offline A/B Tests online auswertet – Ein Optimizely Experiment




Wir bei Optimizely experimentieren gerne. Grund: Nur durch ständiges Testen kann man sehen, was funktioniert und was nicht, nur durch das Ausprobieren und Testen von Hypothesen kann man sich und seine Webseite verbessern.

Auch unseren Kunden oder jedem, der seine Webseite verbessern möchte, legen wir diesen Ratschlag ans Herz. Solange dem Test eine Hypothese zugrunde legt, kann getestet werden. Online Elemente wie Text, Bilder oder Design testen ist einfach, aber offline?

Auf einer dreitägigen Konferenz im Oktober im französischen Lille wollten wir die Philosophie des ständigen Testens auch in der “offline Welt” anwenden.

Wir hatten die Idee, 2 unterschiedliche Broschüren zu gestalten, sozusagen Variante A und Variante B. Wir hatten von beiden Varianten die gleiche Anzahl dabei, die wir verteilen würden.

Oben Variante A (Blau), unten Variante B (weiß).

                                                                                                                                            

Version A             Variante B

 

Das Besondere – die Broschüren hatten einen integrierten USB. Wenn ein Besucher der Konferenz diesen USB in den Computer steckte, dann würde er automatisch auf unsere Optimizely Webseite geleitet werden. Unsere Webseite würde sich beim Einstecken des USB sofort öffnen.

Unsere Hypothese:

Die Farbe der Broschüre und ein unterschiedliches Design würden von den Besuchern unterschiedlich aufgenommen werden. Dies würde dazu führen, dass eine Broschüre besser funktionieren würde als die andere und mehr Besucher auf unsere Webseite gehen würden – nur welche Variante war erfolgreicher?

Die URL der Webseite, die sich automatisch öffnete, hatte in jeder der Varianten ein unterschiedliches Query Parameter angehängt, sodass wir in Google Analytics sehr schön sehen konnten, welche URL mehr geöffnet wurde. Dies war dann unsere Metrik, um zu beurteilen, welche Variante besser konvertiert hat.

Das Ergebnis

Die weiße Version (B) verzeichnete eine Conversion Rate von 12,1%, die blaue Variante (A) 10,7%. Weiß ging also als Sieger hervor.

Fazit

Nun hört sich das nicht viel an, ein Unterschied von 1,4 Prozentpunkten. Oder? Schauen Sie sich einmal Ihre Webseite an und rechnen Sie aus, was dies für Ihre Webseite bedeuten würde. 1,4 Prozentpunkte sind eine Verbesserung der Conversion Rate um stattliche 13%.

Wie würde sich eine Verbesserung der Conversion Rate von 13% zum Beispiel in Klicks auf einer Seite, bei den Downloads oder ausgefüllten Kontaktformularen auswirken? Wenn Sie jeden Tag 13% mehr Bestellungen oder Verkäufe hätten, was wäre  der Effekt jede Woche, jeden Monat, über ein Jahr gesehen?

Dies ist nur ein kurzes Anschauungsbeispiel, um zu zeigen, welche enormen Möglichkeiten darin liegen, Entscheidungen – offline oder online – auf Daten zu basieren.

Welche Farbe werden unsere Broschüren auf der nächsten Konferenz in Frankreich haben?

Hören Sie einfach auf die Daten.

 

blog-button