Die Conversion Conference 2014 in Berlin – Eine kurze Zusammenfassung




Am 4. und 5. November war es einmal wieder soweit. Führende Optimierer, Tester und Online Marketer in Deutschland und auch überraschend viele Besucher aus dem Ausland kamen in Berlin zur Conversion Conference zusammen. Man traf sich zum Austausch über vergangene Optimierungsprojekte und um Strategien, Zukunftspläne und Partnerschaften zu diskutieren. Optimizely, die weltweite #1 unter den Optimierungstools, mischte natürlich auch mit. Für alle, die nicht dabei sein konnten, kommt hier eine kurze, subjektive, aber hoffentlich dennoch nützliche Zusammenfassung der 2 Konferenztage. Was also waren die wichtigsten Themenbereiche?

Redesign und A/B Tests

Viele der Sessions auf der Conversion Conference drehten sich um das Thema Redesign. Jeder schien Erfahrung damit zu haben, wenn man nach den Handzeichen ginge, so war allerdings klar, dass keiner gerne einen Redesign mitmacht. (“Wer hat Angst vor dem Redesign?” wäre ein passender Titel für einige Sessions gewesen) Nur die wenigsten Unternehmen würden heute während eines Redesigns testen. In Gesprächen fiel auf, dass funktionelle und designtechnische Aspekte im Vordergrund für ein als erfolgreiches Redesign standen – die Conversion Rate aber bei einigen Unternehmen nicht wirklich eine große Rolle spielte. Groß war dann die Überraschung und Enttäuschung, wenn nach dem Redesign die Kennzahlen wie Conversion Rate oder Verkäufe in den Keller gingen. Dies kann durch A/B Tests verhindert werden, wenn man zum Beispiel nur mit einem Teil aller Besucher testet und Ihnen bereits die redesignte Erfahrung zeigt, dann kann man von dieser Gruppe lernen und optimieren, bevor die redesignte Weberfahrung auf alle Besucher ausgerollt wird.

Hier ein Beispiel des Redesigns bei Spreadshirt.

Richtige Testzeiträume festlegen

Viele, die sich der Conversion Optimierung verschrieben haben, testen nicht lange genug. Das ist nicht neu, führt aber zu unrealistischen und oft einfach falschen Ergebnissen, die Entscheidungen beeinflussen. Das kam auch wieder in ausgiebigem Maße auf der Conversion Conference zur Sprache. Wenn ich saisonale Produkte verkaufe oder zum Beispiel innerhalb des Testzeitraumes weitreichende Marketing-oder Rabattaktionen durchführe, dann muss ich das beim Festlegen der Testlaufzeit beachten. Noch wichtiger ist jedoch, das wurde auch sehr gut deutlich, die genaue Auseinandersetzung mit dem Kaufzyklus meines Produktes vor dem Testen. Verkaufe ich ein Produkt, bei dem die Besucher häufig auf meine Seite zurückkommen oder bei dem der Kaufzyklus z.B. 4 Wochen dauert? Auch wenn ich dann die benötigte Anzahl an Conversions erreicht habe und sich ein Sieger abzeichnet, darf ich den Test noch nicht abbrechen. Auch sollten wir nicht jeden Tag in die Ergebnisse gucken, denn A/B Tests seien psychologische Experimente, nur eben online.

Richtige Stichprobengröße bestimmen

Einige Unternehmen, das sickerte in vielen der Präsentationen durch, testen mit viel zu wenig Traffic. Tests sind demnach nicht aussagekräftig und man hätte auch gleich einen Würfel fallen lassen können. Einer der Fehler ist, dass man dann die Stichprobe in zu viele Segmente teilt (z.B. Besucher, die über einen bestimmten Kanal kamen oder an einem bestimmten Ort wohnen). Dann ist die Stichprobe insgesamt vielleicht groß genug für die Variante, allerdings ist die Zahl der getesteten Besucher pro Segment zu klein, um valide Ergebnisse zu produzieren. Helfen kann dabei zum Beispiel ein Rechner, der Aussagen über die benötigte Stichprobengröße geben kann. Er beantwortet eine sehr wichtige Frage: Was ist die Mindestanzahl an Besuchern, die pro Variante durch den Test laufen müssen?

Keine zu kleinen Veränderungen testen

A/B Tests sind ein psychologisches Experiment. Damit unsere Besucher also Veränderungen im Verhalten zeigen, müssen sie die Veränderungen natürlich bemerken. Wenn Sie minimale Veränderungen testen z.B. grüner Button gegen roter Button lernen Sie mit Sicherheit etwas über Ihre Besucher. Um aber wirklich etwas über das Verhalten Ihrer Besucher zu lernen, sollten Sie Kontraste und teilweise drastische Veränderungen testen. Je größer die Veränderung, desto größer die potenzielle Veränderung im Verhalten und desto größer auch der potenzielle Einfluss auf KPIs, den wir mit Tools wie Optimizely messen können. Viele der Beispiele auf der Konferenz zeigten allerdings minimale Veränderungen wie das Testen von Fließtext gegen Bulletpoints oder den Button von links nach rechts verschieben. Sicherlich sehen wir alle gerne wie teilweise minimale Veränderungen Conversionsprünge auslösen – ein paar Beispiele drastischer Veränderungen und Tests wären allerdings klasse gewesen.

Viel testen hilft nicht viel

Während sich viele Unternehmen damit brüsten, Dutzende Tests im Jahr zu machen, so sollte dies nicht das vorrangige Ziel beim A/B Testen sein. Natürlich hilft Optimizely Unternehmen jeder Größe dabei, Tests schneller aufzusetzen und auszuführen als je zuvor, doch wenn getestet wird, dann bitte richtig. Wenn die Anzahl an Tests unser höchstes Ziel wären, dann würde z.B. nur getestet, weil eben im 2. Quartal noch ein letzter Test gemacht werden muss, was dazu führt, dass man nicht zielführende Elemente testet. Die Konsequenz sind triviale Tests oder solche, die kaum bis keinen Einfluss auf die globale Conversion Rate auf meiner Seite haben. Nicht die Häufigkeit, sondern die richtige Ausführung der Tests wären entscheidend für einen langfristigen Erfolg in der Conversion Optimierung. Wichtig sei dabei auch immer, vor jedem Test eine Hypothese als Grundlage auszuarbeiten. Da die menschliche Zeit und somit auch die zeit, die wir auf A/B Tests verwenden können, begrenzt ist, müssen wir priorisieren. Wichtig dabei ist zu beachten wie viel Aufwand der Test kosten würde und wie viel wir im Gegenzug an Veränderungen in der Conversion Rate erwarten.

Testen ohne Hypothese oder Strategie

Was von führenden Conversion-Optimierern nur als “Buttonschubserei” oder willkürliches Testen bezeichnet wird, kam auch dieses Jahr zur Sprache und wurde gehörig abgestraft. Vielmehr sollte man sowohl qualitative als auch quantitative Möglichkeiten der Analyse bereits vor jeglichem A/B Testing einsetzen. Gepaart mit der Analyze von psychologischen Prinzipien könnten Beobachtungen aus Analytics oder Nutzerbefragungen dabei helfen, Hypothesen zu erstellen. Was sind die Auswirkungen auf die Conversion Rate, die ich durch gezielt vorgenommene Veränderungen auf der Webseite erwarte? Also vor jedem Test sicherstellen, dass der Test auf einer Hypothese basiert ist.

Ein paar Beispiele zu Tests & Hypothesen finden Sie hier

Design vs. Businessziele oder Designer vs. Optimierer

Eines der vielleicht wichtigsten und am meisten diskutierten Themen auf der Conversion Conference. Wie vereinbare ich das Design von z.B. Landing Pages und die Ideen der Designer, diese attraktiv zu machen mit dem Ziel, eine optimierte und gut konvertierende Seite zu haben? Design sollte “conversion-centered” sein, und A/B Tests können helfen, den Fokus auf z.B. Landing Pages auf das Wesentliche zu ziehen, denn zu oft bestehen dort unnötige Ablenkungen. Von Designern erstellte Elemente, die die Conversion nicht unterstützen (Tests werden das früher oder später ans Tageslicht bringen) oder sogar verschlechtern, sollten nicht umgesetzt werden.

Testen vs. richtiges Testen

Die ganze Konferenz war kein Aufruf dazu, mehr zu testen. Es schien als sei sich der Großteil der Besucher dessen bewusst. Viel wichtiger war es den Besuchern klarzumachen, dass es gewisse Standards gibt (Wie Testzeiträume, Stichprobengröße, Methoden zur Erstellung von Hypothesen etc.), die man beim Aufsetzen und Interpretieren von A/B Tests beachten sollte. Nur so kann A/B Testing dem großartigen Potenzial als Methode für die Conversion Optimierung gerecht werden.

Personalisierung macht (noch) keiner

Auch wenn es eine Vielzahl von Möglichkeiten gibt, online zu personalisieren und personalisierte Erfahrungen für Webseitenbesucher zu schaffen, so schien doch nur ein sehr kleiner Bruchteil der Teilnehmer damit Erfahrung zu haben. Zwar ist “Personalization” das wohl am häufigsten gebrauchte Buzzword des Jahres 2014 (oder gewinnt “Native Advertising”?); wie man diese Personalisierung aber online durchführt und wie und warum dies zu einer besseren Nutzererfahrung oder erhöhten Conversions führt – leider konnte ich in den Sessions keine Hinweise dazu finden.

Was zu kurz kam

Hier eine Liste der Dinge, die in den Vorträgen meines Erachtens nach nicht ausdrücklich oder viel zu wenig erwähnt wurden.

Testen mobiler Apps

90% der Beispiele und Best Practices drehten sich um Beispiele aus dem Desktop Bereich, obwohl in den meisten Fällen schon ein Großteil der Umsätze und auf jeden Fall ein gehöriger Anteil der Zeit auf Smartphones in Apps verbracht wird (86% um genau zu sein.) Es gibt bereits dutzende Unternehmen, die sich dem Thema mobiles Testing und Testen von Apps verschrieben haben, schade nur, dass dieses Thema auf der Konferenz nicht beachtet oder diskutiert wurde.

Welches Teammitglied testet überhaupt?

Natürlich gehörten sehr viele der Sprecher Agenturen an. Dies führte dazu, dass eines der Themen nicht so wirklich zur Sprache kam: Wer testet überhaupt? Welche Rolle / Funktion im Unternehmen ist für die kontinuierliche Optimierung zuständig? Denn auch wenn Optimierungsprojekte von Agenturen durchgeführt werden, so sollte es in der Organisation dennoch einen Ansprechpartner geben, der das Thema betreut. Die Optimierung von Webseiten und Apps ohne die Hilfe einer externen Agentur nicht wirklich ein Thema, obwohl es zahllose Beispiele gibt, wie Unternehmen klein mit dem Thema A/B Testing begannen und sich durch Fokussierung und strategische Ausrichtung verbesserten. Das Ergebnis sind dann sehr gut laufende Prozesse und eine Kultur des Testens, bei der nicht ein Feature oder Design live geht, ohne vorher getestet zu werden. Diese Champions zu zeigen und zu würdigen, wäre eine Idee für die nächste Conversion Conference.

Wenn Sie das interessiert, dann sollten Sie diesen Blogartikel lesen.

Testen kann man nicht nur im E-Commerce

Fast ausschließlich alle Praxisbeispiele auf der Conversion Conference bezogen sich auf den E-Commerce und wie man Online-Shopping optimieren kann. Das leuchtet sicherlich ein, viele der Teilnehmer waren bestimmt aus dem Bereich E-Commerce (Booking und Amazon sind nun einmal leuchtende Beispiele, wie man seine Weberfahrung für Besucher optimiert). Dennoch wäre es schön und erfrischend gewesen, vielleicht auch einmal ein Medienunternehmen zu hören, das auf seinen Seiten und Apps testet und versucht KPIs wie Pageimpressions, Sharing oder Abonnentenzahlen zu steigern. Allein Buttontests bei E-Commerce sind auf die Dauer etwas öde.

Hier großartige Beispiele und Best Practices für Verlage und Medienunternehmen

Alles in allem war die Konferenz sehr lehrreich, unterhaltsam und eine Top Möglichkeit, den Optimierern hinter den Case Studies einmal persönlich zu begegnen. Immer spannend zu sehen wie die Szene wächst und erwachsen wird. Für alle diejenigen, die noch nicht selbst mit dem A/B Testing begonnen haben, hier die Chance: