Lass die Daten entscheiden – Die Kultur des A/B Testens bei “The Guardian”




Mehr als 6 Millionen Menschen lesen wöchentlich “The Guardian”. Insgesamt ist “The Guardian” damit die drittgrößte Zeitung weltweit. Daten treiben die Unternehmensstrategie des Guardian und die Fokussierung auf seine digitale Präsenz haben sicherlich dabei geholfen, den Guardian zunehmend populär zu machen. Was sicherlich wenige wissen: The Guardian hat seit Anfang 2012 angefangen, mit Optimizely zu testen, um seine Onlineleserschaft zu vergrößern. Warum ist Testen so wichtig für “The Guardian”?

Logo 3

Beim Guardian werden Entscheidungen auf der Grundlage von Daten getroffen und basieren nicht auf den Meinungen einzelner Personen. Dies ist einer der Gründe, warum das Testen unserer Webseite so wichtig für uns geworden ist: wir wollen unsere Webseite immer besser machen.” Kerstin Exner, Product Manager, The Guardian.

“The Guardian” nutzt A/B Tests für viele seiner Onlineangebote. Produktmanager wie Kerstin setzen Tests auf, um so bestimmte Wirtschaftsziele zu erreichen. Eine der Herausforderungen ist, dass sich unterschiedliche Abteilungen an den Tests beteiligen. Wie meistert man diese Situation?

“Unterschiedliche Teams haben unterschiedliche Ansichten, wie sich dasselbe Ziel erreichen lässt und manchmal ist es nicht einfach, von jedem Zustimmung zu erhalten”, sagt Kerstin.  Wenn Kerstin ihre Testingstrategie plant, einigt sie sich daher vor jedem Test mit dem Team auf eine Hypothese, welche den Mehrwert der Tests für die Firma deutlich macht.

Hier ein paar Beispiele der Einwände zu Testen von unterschiedlichen Gruppen:

1. Das Usability Team: Warum sollen wir nochmal testen, wenn wir unsere Designs schon durch Interviews getestet haben?

Kerstins Antwort: Wir sollten qualitative Beobachtungen wie User-Befragungen immer mit quantitativen Daten verifizieren.

 

2. Betriebswirte: Ich interessiere mich nicht für Klicks. Wir müssen mehr zahlende Kunden gewinnen, darauf kommt es an.

Kerstins Antwort: Emotionale Bindung mit dem Kunden ist extrem wichtig. Schlussendlich wird diese Bindung zu mehr Umsatz führen.

 

3. Entwickler: Warum testen, wenn wir neue, innovative Features bauen können?

Kerstins Antwort: Lasst uns zuerst testen, was auf unserer Seite funktioniert und was nicht. Was gut funktioniert sollten wir dann als neues Feature ausrollen.

 

Eine der Unterseiten, auf denen “The Guardian” sehr häufig optimiert, ist seine Datingseite, “Soulmates”. Soulmates ging 2004 an den Start und erlaubt es zahlenden Mitgliedern, mit anderen Mitgliedern in Kontakt zu treten.

 

Soulmates

Die Herausforderung

Wie bei den meisten Datingseiten ist es auch das Ziel von Soulmates, Webseitenbesucher zu zahlenden Abonnenten zu machen. Ein bedeutender Teil seiner Besucher findet über Anzeigen auf den Newsseiten des Guardian den Weg zu Soulmates. Während diese Anzeigen eine gute Click Through Rate (CTR) aufwiesen, beobachte Kerstin, dass der Großteil dieser Besucher sich nicht für Soulmates anmeldete. “Was könnte man da ändern?”, fragte sie sich. Kerstin wollte durch quantitative Daten in Analytics, Nutzerbefragungen und A/B Tests mehr über die Besucher der Seite lernen.

Hypothese

In enger Zusammenarbeit mit dem UX Team nutzt Kerstin Nutzerbefragungen, um Hypothesen für die darauffolgenden A/B Tests zu erstellen.

“In unseren Nutzerbefragungen hörten wir häufig, dass sich Menschen für eine Datingseite anmelden, wenn sie verstehen, welche Leute sie dort kennenlernen können. Wird es genügend Mitglieder geben, die ich mag und die das Potenzial zum Soulmate haben? Wenn die Antwort auf diese Frage “Ja” lautet, nur dann erkennen Besucher den Nutzen und sind zahlungswillig”, erklärte Kerstin Exner.

Kerstins Hypothese war, dass Besucher von Soulmates mehr Informationen benötigen, besonders wenn sie die Seite zum ersten Mal besuchen. Würden das Anzeigen von mehr Profilen und mehr Fakten über bereits existierende Nutzer Besucher besser binden und die Zahl der Anmeldungen erhöhen? Kerstin gab dieser Strategie den Namen “People first” – “Menschen zuerst”. Getreu ihrem Motto “Let’s test it” erstelle Kerstins Team verschiedene Experimente.

Test 1: Landing Page Optimierung

Kerstin entschied sich dafür, zuerst den Haupteinstiegspunkt zur Soulmatesseite zu testen – nämlich die Landing Pages, auf die man über die Anzeigen auf der Seite des Guardians gelangt. Die Anzeige zeigt die Fotos von unterschiedlichen Soulmatesmitgliedern; wenn ein Besucher auf ein Foto klickt, dann gelangt er auf eine landing Page, die das Foto dieses Mitgliedes und einen “Join today for free” call-to-action (CTA) anzeigt.

Natürlich ist ein klarer CTA notwendig, dennoch fragte sich Kerstin, ob die derzeitige Landing Page für Erstbesucher eventuell verwirrend war. Die derzeitige Landing Page ließ Context vermissen. Was war Soulmates überhaupt? Falls der Besucher sich noch nicht sicher war, ob es sich anmelden wollte, gab es wenig alternative Möglichkeiten für diese Besucher.

Kerstin wollte ihrer Strategie “People first” folgen und den Besuchern mehr Optionen und mehr  Informationen anzeigen. Mit Optimizely erstellte sie eine Variante der Landing Page, die das Foto in der Anzeige beibehielt und außerdem eine Anzahl ähnlicher Profile im selben Alterssegment zeigte. Zußätzlich gab es an der Seite eine Suchfunktionalität und Meinungen von Nutzern.

Original: Die ursprüngliche Landing Page zeigte das Profil des Nutzers mit einem großen, gelben Call-to-action Box in der Mitte der Seite.

Guardian1png

 

Variante B: Die veränderte Landing Page gab Besuchern mehr Optionen. Es wurden mehr Userprofile, eine Suchfunktion und Kundenmeinungen hinzugefügt.

Guardian 2

Kerstins Team nutze 50% des gesamten Traffics, um möglichst schnell zu einem statistisch siknifikanten Ergebnis zu gelangen. Kerstin wollte mit Optimizely messen, wie Besucher auf die beiden Versionen der Landing Page reagierten.

Das Ergebnis

Kerstins Team stellte fest, dass die veränderte Landing Page Conversions um mehr als 46% verbesserte. Als Kerstin einen klaren Gewinner der beiden Versionen erklären konnte, nutze sie Optimizelys Funktion der Trafficverteilung, um 100% des Seitentraffics auf Variante B, die Gewinnervariante, zu leiten. So konnte Soulmates bereits von den höheren Conversions profitieren, bevor das Entwicklerteam die Veränderungen im Code implementierte.

Test 2: Die Navigation

Nach dem großen Erfolg des ersten Tests, der ihre “People First” Strategie bestätigte, beschloss Kerstin einen Test auf der Navigation der Homepage von Soulmates laufen zu lassen.

Die ursprüngliche Navigationsleiste bei Soulmates bestand aus 6 Tabs. Diese waren: “Newly Joined”, “Your matches”, “Soulmates who like you”, “Soulmates you like”, “Views” und “Recently viewed”. Das Default Tab war “Your Matches”. Da die “Top Matches” eines Besuchers von Soulmates sich nicht so häufig änderten, war Kerstin der Annahme, dass dies die Seite für Besucher weniger interessant machte. Kerstin wollte wissen, ob ein Austausch dieses Tabs einen Unterschied machen konnte. Das Tab “Newly joined members” – “Neueste Mitglieder” sollte “Your Matches” ersetzen. Kerstin hoffte, auf diese Weise die Aktivität der Nutzer zu steigern und Klicks zu den einzelnen Profilen zu erhöhen.

Kerstin erstellte eine Variante mit dem Tab “Neueste Mitglieder” ganz links. Ihr primäres Conversionziel war es, Klicks auf die Nutzerprofile der anderen Mitglieder zu erhöhen.

Das Ergebnis

Nachdem der Test nur ein paar Tage live war, konnte Soulmates bereits einen klaren Trend erkennen. Die Variante, die zuerst die neuesten Mitglieder anzeigte, konnte 137% mehr Klicks auf die Profile verzeichnen.

Guardian 3

Gewinnervariante: Allein durch den Austausch des Tabs “Your matches” mit “Newly joined members” konnte Soulmates die Klicks zu den Profilen um 137% steigern.

Test 3: Homepage Optimierung

Zusätzliche Nutzerbefragungen brachten zu Tage, dass viele Besucher nach mehr Informationen auf der Homepage von Soulmates verlangten. Die ursprüngliche Homepage hatte Profilbilder einiger Nutzer und eine von ihnen verfasste Kurzbeschreibung.

“Wir fanden heraus, dass die Homepage für Besucher nicht einladend genug war. Besucher konnten wichtige Infos über die Mitglieder, zum Beispiel ihr Alter oder wo sie wohnten, nicht auf der Homepage finden,” sagte Kerstin. Sie fragte sich, ob mehr Informationen über die angezeigten Mitglieder mehr Besucher dazu anregen konnte, zu klicken und sich bei Soulmates einen Account zu erstellen?

Mit Optimizely erstellte Kerstin einen A/B Test, bei dem die Variante B die kurzen Profilbeschreibungen durch das Alter und den Wohnort der angezeigten Besucher ersetzte. Kerstin nahm an, dass sie auf diese Weise Klicks auf die Profile erhöhen konnte. Sie maß außerdem, wie viele Leute sich bei Soulmates registrierten.

Original: Die ursprüngliche Homepage zeigte die Profilfotos (hier geschwärtzt) und die Profilbeschreibungen für eine Anzahl von weiblichen und männlichen Singles.

Guardian 4

 

Variante B: Die Beschreibungen der einzelnen User wurden durch Angaben des Alters und des Wohnortes ersetzt.

Guardian 5

Ergebnis

Der Homepagetest hielt für Kerstin einige Überraschungen parat. Nachdem sie den Test eine Zeit laufen ließ, stellte sie fest, dass in der neuen Variante weniger Besucher klickten als zuvor. Die Besucherregistrierungen gingen sogar um 11% nach unten.

Anstatt diesen Test als misslungenes Experiment abzutun, fand Kerstin die Lektionen aus diesem Experiment mindestens so wertvoll wie die aus den ersten beiden Tests. Auch wenn die Resultate keine Verbesserung zum Original darstellten, so wusste Kerstin doch, worauf sie sich in ihren Folgetests konzentrieren wollte.

“Der Test sagte aus, dass die Besuchererfahrung auf der Homepage zu generisch war. Der einzelne Besucher fühlt sich nicht ausreichend angesprochen. Da die Seite nicht wusste, nach welchem Alter oder Geschlecht der Besucher suchte, war die Erfahrung nicht personalisiert und daher der Anreiz gering, sich bei Soulmates anzumelden”, schlussfolgerte Kerstin.

Kerstin wollte nicht die durchschnittliche Erfahrung für alle Besucher verbessern, sondern durch weitere Tests ermitteln, wie man eine personalisierte Erfahrung für jeden Besucher erreichen konnte, in dem man die relevantesten Profile so schnell wie möglich anzeigte.

Lektionen und Testing Tipps

1. Einigen Sie sich auf eine Hypothese vor Testbeginn

Wenn man eine klare Hypothese vor Testbeginn hat, dann hilft es, den Test auszuführen und die Ergebnisse zu interpretieren. Kerstin zufolge helfen klare Ziele für jeden Test, Diskussionen über Testergebnisse aus der Welt zu schaffen.

2. Aus jedem Test lässt sich etwas lernen

“Bisher haben wir 14 Tests bei Soulmates aufgesetzt, in 7 Tests war die Variante besser als das Original, in 3 Tests war die Originalversion besser und in 4 Tests gab es keinen klaren Gewinner. Zu wissen, was nicht funktioniert ist mindestens genauso wichtig wie zu wissen, was gut funktioniert. Ein “negativer” Test ist nur eine Herausforderung, um zu sehen, was man verbessern kann, um es danach erneut zu testen,” sagt Kerstin.

Mit einer Hypothese und klaren Zielen vor Testbeginn bietet jedes Testergebnis Daten, die man sinnvoll nutzen kann. Negative oder unbedeutende Ergebnisse sollten Startpunkt für Brainstorming sein, um die nächsten Tests vorzubereiten. Das hilft auf dem Weg dabei, die beste Variante einer Webseite zu finden. Kerstin ist der Auffassung, dass jeder Test den nächsten Test informiert.

3. Bauen Sie eine Kultur des Testens in Ihrer Firma auf

Wenn Kerstin ihre Strategie für A/B Tests plant, sucht sie nach Zustimmung von allen Teams, in dem sie die Bedeutung dieser Tests für die gesamte Organisation zeigt. Es ist außerdem eine Priorität, die Hypothese, Metriken und Ziele jeden Tests klar zu kommunizieren –  so wissen alle Teams worum es in den Tests geht. Mit diesen Strategien hat Kerstin A/B Tests zu einem wesentlichen Aspekt des Productmanagements bei “The Guardian”gemacht. Neben qualitativen Nutzerbefragungen und Webanalyse sind A/B Tests eine genauso wichtige Quelle für ständige Verbesserungen als Teil einer auf Daten basierenden Produktstrategie.

Haben Sie es bereits geschafft, A/B Tests erfolgreich bei sich im Unternehmen zu platzieren?

 

Quellen:

Screenshots by: https://soulmates.theguardian.com/

Soulmates Image by: onlinepersonalwatch.com