Wichtige Entscheidungen auf Daten basieren – Wie Turkcell seine neue digitale Agentur aussuchte




Eines der innovativsten Beispiele für den Einsatz von A/B Testing  – Wie Turkcell Optimizely nutzte, um Annahmen mit Daten zu untermauern

Viele der Beispiele aus der Welt der Webseitenoptimierung zeigen uns, wie man unterschiedliche Varianten von Navigationen, Texten, Bildern oder Calls To Action gegeneinander getestet hat. Nicht so dieses Beispiel. Es ist innovativer. Diese Case Study von Turkcell soll zeigen wie Sie A/B Testing einsetzen können, um weitreichende Unternehmensentscheidungen auf Daten zu basieren. Im Fall von Turkcell war es die Auswahl einer neuen digitalen Agentur, die sämtliche Banner und Creatives auf den Webdomains für Turkcell erstellen sollte. Jedes Banner würde monatlich mehrere Millionen Male angesehen – je besser die Performance und die Click-Through Rate (CTR) dieser Banner, desto größer der Umsatz für Turkcell. Bei diesen Besucherzahlen ist es natürlich verständlich, dass Turkcell schon vor dem Live-Gehen der ersten Banner wissen wollte, welche Agentur die besten, weil am meisten angeklickten Banner erstellen konnte.

So, wie hat Turkcell das nun gemacht?

Turkcell Logo

Quelle: Turkcell

Die Herausforderung

Turkcell ist nicht nur der größte Mobilfunkanbieter der Türkei mit mehr als 64 Mio. Kunden, es ist auch der drittgrößte Mobilfunkanbieter in Europa. Vielen dient die Webseite von Turkcell als Informationsquelle über bestehende und neue Angebote, doch gleichzeitig können Besucher auch direkt Produkte und Services von Turkcell online kaufen. Turkcell wollte seine neue digitale Agentur auswählen. Normalerweise würde man in diesem Prozess mit verschiedenen Agenturen sprechen, sich Pitches anhören, Mock-ups ansehen, Referenzen checken und schauen, ob die Agentur ähnliche Projekte für Kunden aus ähnlichen Bereichen schon einmal erfolgreich umgesetzt hat. Diese sind gute Möglichkeiten, um den Agenturkandidaten auf den Zahn zu fühlen, sie beantworten aber eine Frage nicht:

Wird die erfolgreiche Arbeit von Agentur X für den Kunden Z auch bei mir funktionieren?

Turkcell wusste es nicht, und wollte so mit Optimizely Stichproben der Agenturen gegen Live-Traffic auf seiner Webseite testen. Warum? Weil Turkcell auf seine Daten hört. “Wir glauben an Daten, es ist immer besser, Entscheidungen auf Daten zu basieren als nur auf Hypothesen oder Annahmen. Durch A/B Testing können wir Annahmen testen und unsere digitale Performance verbessern”, sagte der für die digitale Optimierung zuständige Mitarbeiter bei Turkcell.

Turkcell Homepage

Quelle: Turkcell.com.tr

Das Vorgehen

Doch wie macht man das am besten, Entscheidungen auf Daten zu treffen? Nach einigen Vorrunden lied Turkcell insgesamt 3 Agenturen ein, Banner für verschiedene Kampagnen auf der Webseite zu erstellen. Jede Agentur, die wir in der Folge A, B und C nennen, erstellte dann ein Banner für eine Kampagne. Turkcell erstellte für jede Kampagne einen Test in Optimizely – jeder Test enthielt 3 Varianten, jeweils ein Banner der Agentur A, B und C. Die Banner unterschieden sich häufig nicht nur in der Optik, sondern auch Texte und Call to Action waren unterschiedlich. Turkcell stellte dann die Tests für die Kampagnenseiten live. Ziel von Turkcell war es, innerhalb von Optimizely zu messen, welche der Banner bei jedem Test die meisten Klicks auf sich vereinigen konnten.

Der Test

Vom gesamten Traffic zu den Kampagnenseiten sahen also immer ein Drittel die Variante der Agentur A, ein Drittel das Banner der Agentur B und ein weiteres Drittel das Banner der Agentur C. Turkcell hatte bereits vor dem Live-gehen des Tests berechnet, dass diese zwischen 7 – 10 Tagen laufen mussten, damit statistische Signifikanz erreicht wurde. Tipp: Sie können dafür unseren Optimizely Samplegrößen Rechner verwenden, um besser einschätzen zu können, wie viele Besucher Sie pro Variante benötigen. Doch nun zurück zu den Tests von Turkcell. Schauen wir uns die einzelnen Varianten für 4 Tests einmal an. Agentur A ist das Original, unten sehen wir dann wie Variante B und Variante C im Vergleich verhielten. Gezeigt ist die Verbesserung oder Verschlechterung der CTR in %.

Test 1 – My Account Banner

Agentur A

Agency A My account

Agentur B

Agency B My account    +8%

Agentur C

Agency C My Account   +5,9%

Test 2 – 24 Installments on Device Banner

Agentur A

Agency A 24 Installments

Agentur B

Agency B 24 Installments   -0,1%

Agentur C

Agency C 24 Installments   +1%

Test 3 – Application Banner

Agentur A

Agency A Application Banners

Agentur B

Agency B Application Banners   -11,9%

Agentur C

Agency C Application Banners   -13,3%

Test 4 – LED TV Campaign Banner

Agentur A

Agency A LED

Agency B

Agency B LED   -9,3%

Agentur C

Agency C LED   +1,5%

Ergebnis

Die Ergebnisse der Tests mit Optimizely zeigten Turkcell, welche der Banner die höchste CTR (Click-Through-Rate) hatten. Die Banner der Agentur B zum Beispiel hatten durchgängig die geringste CTR. Turkcell stellte fest, dass Agentur A die Banner produzierte, die von den Besuchern am meisten geklickt wurden. Optimizely half Turkcell mehr über die Besucher seiner Webseiten zu lernen und Entscheidungen auf Daten zu treffen. Welche Agentur Turkcell verpflichtete? Agentur A – so wie die Daten es vorgaben. Das Großartige an diesen Tests ist die “Data-First” Einstellung von Turkcell. Natürlich sollten Daten nicht das alleinige Kriterium darstellen, andere z.B. interpersonelle Faktoren sind in der Zusammenarbeit mit einer Agentur ebenfalls wichtig. Diese Fallstudie soll lediglich inspirieren, zu experimentieren und mal einen genaueren Blick auf die Daten zu werfen.

Die Zukunft des Testings bei Turkcell

Etwa die Hälfte des gesamten Traffics von Turkcell kommt jetzt schon über mobile Endgeräte. In Zukunft wird dieser Anteil klar zu Mobile verschieben. Turkcell will in Zukunft die Surferfahrungen spezielle für mobile Besucher verbessern. Was auf dem Desktop funktioniert, funktioniert wahrscheinlich nicht auf Mobile, doch um das herauszufinden heißt es erst einmal testen, testen, testen.

Wenn Sie selbst einmal Optimizely ausprobieren wollen, dann können Sie das hier für 30 Tage ganz kostenfrei tun.