Kultur des ständigen A/B Testens (Gastbeitrag von Web Arts)




Der Vergleich: Birnen & Äpfel

Um die Wertschöpfungskette optimieren zu können und um letztlich konkurrenzfähig zu bleiben, sollte eine Website stets weiterentwickelt werden. Nur durch die Optimierung auf die Bedürfnisse und Anforderungen der Nutzer kann der Umsatz gesteigert und die Kundenbindung langfristig gefestigt werden.

“Vor einem Monat war aber die Conversion Rate besser…”

Die Vorgehensweise – Zeiträume zu vergleichen, um Veränderungen an der Website gegenüberstellen zu können – ist mindestens so alt wie das Internet selbst. Die Nachteile dabei liegen allerdings auf der Hand:

Auf der einen Seite können viel mehr Aspekte auf den betrachteten Zeitraum Einfluss nehmen, als dass dies auf die Veränderungen alleine zurückzuführen sind. Auf der anderen Seite erhält man die Kenntnis über Erfolg oder Misserfolg einer Optimierung erst, wenn es zu spät ist.

Warum A/B testen?

Nicht nur, dass mit A/B-Testing der direkte Vergleich von Optimierungsmaßnahmen möglich ist, so dass die gleichen Einflussfaktoren gelten. Auch das Erproben solcher Optimierungshypothesen ist für eine reduzierte Nutzerschaft möglich, bevor man es einer breiten Masse zur Verfügung stellt.

Die Vorteile einer “Kultur des Testens” sind somit Möglichkeiten, wie z. B. Optimierungen am bestehenden System im Vorfeld testen zu können, ohne dabei Gefahr zu laufen, eine dauerhafte Verschlechterung zu erzielen. Letztlich entscheiden die Nutzer, ob Optimierungshypothesen wirklich funktionieren oder nur den Entscheidern gefallen. Veränderungen sind damit messbar und vergleichbar. Außerdem erleichtern sie den Kampf gegen Windmühlen, welchen Optimierer in Unternehmen häufig auszutragen haben. Hohe Agilität wird durch Testingsysteme wie Optimizely gewährleistet und stellt einen wesentlichen Faktor dar, so dass sich Veränderungen hiermit deutlich schneller realisieren und testen lassen, als dies auf konventionellem Weg möglich wäre.

Was kann getestet werden?

Die Frage lässt sich leicht beantworten, obwohl im Detail sehr vielschichtig: Im Prinzip sollte und kann alles getestet werden, sofern der Veränderung eine Optimierungshypothese zugrunde liegt.

Mit anderen Worten: Will man mit der Optimierung eine Verbesserung erzielen, so muss man sich in seine Nutzer hineinversetzen und sich mit deren Nöten, Ängsten, Bedürfnissen und Motivationen auseinandersetzen.

In der Regel sollte gerade beim Einstieg mit den “low hanging fruits” begonnen werden. Häufig zählen zu diesen beispielsweise Usability-Blockaden, fehlende Transparenz, Überladung von Informationen oder fehlende Relevanz (falsche Informationen). Optimierungshypothesen lassen sich auf Basis solcher Killer bilden, womit der zu testende Umfang bzw. das Testkonzept definiert werden kann.

Rein technisch kann alles getestet werden, was im Quellcode vorhanden und angesprochen werden kann. Dabei lassen sich sowohl bestehende Inhalte verändern als auch neue ergänzen. Neben statischen Seiten wie beispielsweise Landingpages können auch dynamische wie z. B. Produktdetails oder Warenkörbe verändert werden. Bei statischen Seiten ist ein Programmierer oft nicht notwendig, da sich die Tests mit dem „Point & Click“-Editor von Optimizely realisieren lassen. Auf dynamischen Seiten oder bei komplexeren Tests hingegen sind HTML-, CSS- und JavaScript-Kenntnisse häufig sehr hilfreich und können im Tool direkt eingespielt werden.

Wann, wie oft und wie lange sollte getestet werden?

Das “Wie oft” hängt von den zur Verfügung stehenden Ressourcen und dem Traffic ab. Je mehr Traffic zur Verfügung steht, desto schneller können Tests valide werden. Je mehr Ressourcen für die Testkonzepte und -realisierung eingesetzt werden, desto mehr Tests können entsprechend umgesetzt werden.

Als Minimum für einen kontinuierlichen Optimierungsprozess haben sich erfahrungsgemäß Testintervalle von 2-3 Tests pro Monat herausgestellt.

Wichtig dabei ist, dass die Tests mindestens 2 Wochen laufen sollten unabhängig davon, wie hoch die “Chance to beat baseline” ist, um genügend Stichproben für eine statistische Signifikanz zu erreichen (ca. 2000 / Variationen). Auch sollten dabei die unterschiedlichen Nutzungsverhalten (Woche vs. Wochenende) und die Customer Livecycles berücksichtigt werden.

Wie sollte getestet werden?

Um agiles Testing zu ermöglichen, besteht je nach verfügbarem Traffic, die Möglichkeit A/B-Tests sequentiell (nacheinander) oder parallel (gleichzeitig) laufen zu lassen. Bei letzterem ist beim Setup zu beachten, dass die Tests voneinander unabhängig sein müssen. Teilnehmer eines Tests sollten nicht gleichzeitig Teilnehmer eines anderen Tests sein, andernfalls können die Messergebnisse verfälscht werden. Im Nachgang bei der Interpretation ist sonst nicht klar, welcher Test letztlich in welcher Variation für das Ergebnis verantwortlich war (die Nutzer wurden von verschiedenen Faktoren beeinflusst).

Sollen dagegen verschiedene Aspekte gegeneinander getestet werden, so können die Tests multivariat ausgespielt werden. Dabei werden die Faktoren (z. B. nach Bereichen auf der Website) gruppiert und gegeneinander ausmultipliziert (vollfaktoriell). Mit anderen Worten: Wenn es 3 zu verändernde Bereiche auf der Website mit jeweils 2 Variation gibt, so entstehen dadurch 9 verschiedene Kombinationsmöglichkeiten (inkl. jeweils einer Control-Variante). Diese Kombinationen legt Optimizely automatisch an.

Der Vorteil der multivariaten Tests (MVTs) ist die Erkenntnis über Veränderungen, die in allen Kombinationsmöglichkeiten funktionieren (durch eine sogenannte Varianzanalyse). Somit lassen sich die Zutaten für das Rezept einer Optimierung herausfinden und wie sich diese sinnvoll kombinieren lassen. Allerdings sollten diese Variationen unbedingt hypothesengestützt gegeneinander getestet werden. MVTs verleiten leicht, beliebig viel zu kombinieren und “auszuprobieren”.

Wo sollte getestet werden?

Diese Frage kann ähnlich zum “Was” beantwortet werden: Überall dort, wo Optimierungspotential besteht. Aufschluss kann beispielsweise ein Blick in die Web Analyse (quantitative Analyse) oder Nutzerbefragungen, Expertenevaluationen, Labs (qualitative Analyse) etc. bieten. Häufig sind ungewöhnlich hohe Ausstiegsraten ein Indiz für Optimierungsbedarf.

Neben des zu testenden Seitentyps stellt sich auch die Frage, auf welchen Endgeräten die Optimierungen erprobt werden sollten.

Hierzu lassen sich die Experimente mit Optimizely nicht nur auf dem Desktop sondern auch auf mobilen Endgeräten oder Tablets durchführen. (Hier Infos zum Testen mobiler Webseiten)

Zusammenarbeit verschiedener Teams

Je nach Unternehmensgröße und -art können unterschiedliche Teams am Optimierungsprozess beteiligt sein. Wichtig dabei ist, dass sich diese nicht gegenseitig behindern. Auch interdisziplinäre Arbeitsgruppen, bei denen idealerweise Konzeption, Design, Umsetzung und Qualitätssicherung Hand in Hand arbeiten, bieten sich an. Für große Unternehmen und viele Tests stellt Optimizely dazu rollenbasierte Genehmigungen zur Verfügung.

Praktisches Beispiel – Optimierung Bei Umzug Easy

Um eine Verbesserung zu erzielen, müssen nicht immer viele oder große Aspekte (z. B. visuell) verändert werden. Oft reicht es bereits, inhaltliche Änderungen durchzuführen. Der A/B-Test von UmzugEasy beispielsweise zeigt, dass das Erhöhen der Relevanz bereits ausreichend ist, z. B. indem innere Dialoge des Nutzers aufgegriffen werden.

Diese könnten folgende sein:

“Was ist das hier?”, “Wozu brauche ich das?”, “Was kostet mich das?”, “Warum sollte ich hier bleiben?”, “Wie geht das?”, “Was passiert als nächstes?”

Umzug Easy wollte verschiedene Versionen der Homepage testen, um so die für den Besucher relevanteste zu finden. Es ging darum, dem Besucher die oben genannten Fragen möglichst klar zu beantworten. Ziel war es die Anzahl der ausgefüllten Formulare zu erhöhen.

(Original der Umzug Easy Homepage)

Case-Original

 

(Variation 1 der Umzug Easy Homepage)

Screen Shot 2013-11-19 at 11.38.25 AM

 

Das Ergebnis

Umzug Easy Results

Wie man sehen kann, erzielte Umzug Easy durch die veränderte Homepage eine Verbesserung der Conversion Rate von mehr als 15%. Alle getesteten Varianten stellten sich als Verbesserung zum Original heraus.

Letztlich wurden bei diesem Test die bestehenden Inhalte leichter erfassbar gemacht und relevante Informationen wie Ersparnis bis zu 70%, kostenloser Service, Unverbindlichkeit etc. herausgestellt – die Startseite hatte mehr Relevanz und der Besucher fand die Informationen, die er benötigte.

Mit diesen inhaltlichen Änderungen kann bereits eine signifikante Erhöhung der Formularanfragen erzielt werden, welche statistisch zu 100% besser sind als das Original (Chance-to-beat-Baseline).

Fazit

Testing ist kein Hexenwerk. Tools wie Optimizely bieten viele Möglichkeiten, um schnell und einfach Optimierungen an der Website verproben zu können. Neben einfachen und schnell zu realisierenden Experimenten wie beispielsweise Bilderwelten, Textanpassungen oder Umstrukturierung lassen sich auch komplexe Konzepte und Veränderungen an Prozessen testen. Im Prinzip kann alles, was auf der Seite vorhanden ist, im Rahmen eines Tests angepasst oder ergänzt werden, sofern dem Testkonzept eine Optimierungshypothese zu Grunde liegt.

Mehr zum Thema:

Video: “Aufbauen einer Kultur des Testens”

 

Autorenbeschreibung

Autor-Manuel-Brueckmann

Manuel Brückmann, Jahrgang 1982, ist Head of Conversion Engineering der Web Arts AG – Deutschlands führende Agentur für Conversion Optimierung und Autor bei konversionsKRAFT.de.

Er beschäftigt sich neben der Beratung im Bereich Testing mit eCommerce-Entwicklung und -Optimierung. Folgen Sie ihm auf Twitter oder verlinken Sie sich auf Google+, XING oder LinkedIn.