Interview mit Jean-Marc Bolfing von Orange – „Mit A/B Tests optimieren wir unsere Webseite Schritt für Schritt“




Diese Woche haben wir Jean-Marc Bolfing von Orange interviewt, um etwas mehr darüber zu erfahren, wie Orange intern seine Webseite optimiert. Lernen Sie in diesem Artikel wo und warum Jean-Marc A/B Tests einsetzt und wie er so nicht nur die Werbekampagnen von Orange immer effizienter macht.

Hallo Jean-Marc. Stelle dich unseren Lesern doch kurz einmal vor.

Mein Name ist Jean-Marc Bolfing. Ich bin bei Orange Schweiz für Conversion Optimierung zuständig. Das ist natürlich ein großer Begriff. Mein Hauptgebiet ist dabei Digital Analytics. Meine Aufgabe bei Orange ist es mit den Zahlen, die wir ermitteln z.B. durch A/B Tests, mehr Conversions und ein besseres Nutzererlebnis zu gestalten. Wir sind zwei Personen, die sich hauptsächlich um die Customer Experience kümmern. Wir sind im Online Sales so etwas über 10 Personen und es gibt noch ein paar mehr, die mithelfen, Ideen für die Conversion Optimierung einzubringen. Bei Orange bin ich jetzt seit gut 4 Jahren. Hier bin auch zum Thema Testing & Optimierung gelangt, das hatte ich vorher so nicht angewendet. Mein Background ist v.a. im digitalen Marketing und Analytics. Im Analytics Bereich arbeite ich nun schon seit über 8 Jahren.

DMEXCO Profile Photos

Wie seid ihr bei Orange zum ersten Mal auf die Themen Testing & Optimierung aufmerksam geworden?

Gute Frage. Das war auf jeden Fall schon bevor ich hier bei Orange angefangen habe, also schon länger als 4 Jahre mit Sicherheit. Hier wird schon seit längerer Zeit intensiv A/B Testing durchgeführt. Besonders im Bereich Online Sales sind die eigentlich nicht mehr aus unserer Arbeit wegzudenken.

Warum ist es deiner Ansicht nach so wichtig, dass man Zeit und Ressourcen in die Optimierung der Webseite und Apps investiert?

Je nach Test machen die Varianten einen teilweise großen Unterschied. Weil wir einen E-Shop betreiben, muss es das oberste Ziel sein, möglichst viele Conversions zu erzielen. Da zahlt sich regelmäßiges Testen mit Sicherheit aus. Ein sehr gutes Beispiel dafür ist das Testen von Landing Pages. Mit einem recht ansehnlichen Werbebudget möchte man schon sicherstellen, dass die Benutzer auch zum Ziel hingeführt werden, also im Falle unseres E-Shops Bestellungen machen. Wir fokussieren uns bei der Optimierung hauptsächlich auf Landing Pages von Werbekampagnen. Wir testen meist verschiedene Varianten, besonders bei groß angelegten Kampagnen, auf die viel Budget verwendet wird. Wir messen mit Optimizely welche Variante die Besucher länger auf der Seite hält, bzw. wo sie mit dem Seiteninhalt interagieren und schlussendlich die bessere Conversion Rate erzielt. Aber natürlich testen wir auch vom Volumen her kleinere Dinge. Wir testen z.B. unterschiedliche Varianten im Bestellprozess oder auf Produktdetailseiten wo Geräte und Tarife vorgestellt werden. Das muss dann nicht direkt mit einer Werbekampagne im Zusammenhang stehen, sondern es geht eher um Conversion Optimierung im Allgemeinen. Unsere Site ist im Responsive Design. Wir wollen das aber in Zukunft noch optimieren. Spezifisch für Mobile haben wir bisher noch keine Tests gemacht. Ich gehe aber davon aus, dass wir dieses Thema in den nächsten Monaten vertiefen werden.

Könntest du eure Vorgehensweise vor, während und nach einem Test ein wenig beschreiben?

Vor dem Test:

Testideen entstehen beispielsweise wenn man auf ein Problem stößt oder wenn neue Produkte oder neue Kampagnen anstehen. Wir haben da auch eine gewisse Planung, aber häufig ist A/B Testing taktisch motiviert. Ideen kommen oft ad-hoc-mäßig auf. Wir schauen uns erst einmal Heatmaps an um zu sehen, wie sich die Nutzer auf einer Seite verhalten und ob es sinnvoll ist, da einen Test aufzusetzen. Auch Analytics ist für uns wichtig. Als Beispiel: Wenn wir feststellen, dass wir im Bestellprozess bei einem der Schritte überdurchschnittlich viele Nutzer verlieren, dann könnte dieser Schritt durch einen Test untersucht und optimiert werden. Analytics dient dazu, uns auf diese Optimierungsfelder aufmerksam zu machen. Es geschieht oft in Team Meetings, dass wir auf Probleme aufmerksam werden und dann Testideen definieren. Entscheidend für einen Test ist auch, dass die zu testende Seite genügend Traffic hat. Ansonsten dauert es zu lange, bis ein Resultat vorliegt. Genau so wichtig sind natürlich sinnvolle KPIs, ohne die man ja ein Resultat nicht beurteilen kann. Je nach Test brauchen wir dann noch Javascript Code oder grafische Materialien, die wir dann erst anfordern müssen.

Während des Tests:

Ich setze den Test in Optimizely auf und schaue regelmässig nach, wie die einzelnen Varianten abschneiden. Wir haben ein wöchentliches Meeting, bei dem die Conversion Optimierung ein fester Bestandteil ist. Da besprechen wir die Tests, schauen ob die Tests abgeschlossen sind oder ob wir sie weiterlaufen lassen müssen. Ein Beispiel: Wir haben letztens einen Test gemacht wo die Herausforderervariante nicht besser performt hat als das Original. Die erfolglose Variante wurde in der Folge abgeschaltet und wir haben neue alternative Varianten entwickelt.

Nach dem Test:

Meist ist unser Ziel, den Status Quo mit einer besseren Variante zu ersetzen. Wenn der Test abgeschlossen ist und wir einen Gewinner haben, wird dies ans Content Team weiter gereicht. Die nehmen dann die Umsetzung direkt vor. Bei wichtigen Tests erstelle ich zusätzlich eine kurze Präsentation, in der der gesamte Test zusammengefasst ist. Also Ausgangslage, Test Setup bis hin zu den Empfehlungen für die Implementierung. Somit haben wir etwas, das wir intern kommunizieren können, so dass jeder auf dem Laufenden ist. Wenn eine Variante besser funktioniert, diese aber schwer zu implementieren ist, nutzen wir die Traffic Allocation in Optimizely, um schon einmal 100% des Traffics auf die Gewinnervariante laufen zu lassen. So verschenken wir keine Conversions und arbeiten daran, die Gewinnervariante auch einzupflegen.

Was hast du denn schon über Besucher von euch herausgefunden, dass ihr vorher noch nicht wusstet?

Erstaunlich ist, wie sich das Verhalten von mobile Benutzern im Vergleich zu Desktop Nutzern unterscheidet. Wir segmentieren bei den Tests mit Optimizely und sehen da schon große Unterschiede in der Performance. Tests helfen einfach bei der Validierung von Annahmen. Wie schon erwähnt, kann es auch mal vorkommen, dass die Originalvariante am besten abschneidet. Aber das weiß man vor dem Test eben nicht.

Was sind deiner Meinung nach die Bestandteile, die ein Optimierungsteam und A/B Testing im Unternehmen erfolgreich machen?

Ich finde es sehr wichtig, dass das Thema A/B testing im Team akzeptiert wird und es als valides Instrument zur Verbesserung des Nutzererlebnisses und der Conversion Rate angesehen wird. Das Thema sollte allen Teammitgliedern bekannt sein und sie sollten wissen, was man damit erreichen kann. Wenn man sich z.B. über eine Layoutvariante nicht einig ist, wird die Zeit besser in die Entwicklung verschiedener Varianten investiert als in lange Diskussionen, aus denen dann ein Kompromiss hervorgeht. Man sagt sich deshalb: ‘Versuchen wir es einfach mal mit verschiedenen Varianten dieser Seite und schauen, welche davon am besten abschneidet.’ Bedingung für dieses Vorgehen ist aber, dass alle Beteiligten der Technik vertrauen und in der Folge auch die Resultate des Tests akzeptieren. Nur so kann die erfolgreiche Variante schlussendlich auch umgesetzt werden.

Was sind eure wichtigsten Optimierungsziele für 2015 bei Orange?

Ich denke, die Unterscheidung zwischen Mobile und Desktop wird noch intensiver in den Fokus rücken. Mobile kommt immer stärker und das wird sicher eines unserer Hauptthemen werden.

Vielen Dank für das nette Interview und weiterhin noch viel Erfolg bei der Optimierung!