Wenn der Verlierer des A/B Tests eigentlich ein Gewinner ist




Frauen kaufen im Sommer lieber weiße T-Shirts, simple Bilder ersetzen aufwändig produzierte Videos, und selbst Models müssen nicht immer mit Kopf abgebildet sein, um den Website-Besucher auf die Bestellseite zu locken: Die Ergebnisse im Website-Testing sind oft überraschend. Bei 80 bis 90 Prozent aller A/B-Tests treten nicht die erwarteten Ergebnisse ein und diese Tests werden von den zuständigen Managern folglich häufig als „Fehlschläge“ verbucht. Ihre Begründung: Die Tests weisen negative oder unklare, statistisch nicht signifikante Ergebnisse auf. Doch was heißt „fehlgeschlagen“ und sind diese Tests wirklich negativ?

Fehlschläge als Motor des Erfolgs

Schon James Dyson, britischer Unternehmer und Tüftler, sagte einmal: „Ich liebe Fehlschläge“. Eine Aussage, die man ihm aufs Wort glaubt: Er bastelte sage und schreibe 5216 Prototypen, bevor er im nächsten Versuch den Staubsauger ohne Papierbeutel erfand – und damit ein Vermögen verdiente. Auch der geniale Erfinder Thomas Alva Edison, bekannt für seine vielen gescheiterten Versuche, hatte seine eigene Meinung zu Fehlschlägen: „Ich bin nicht gescheitert. Ich habe nur 10.000 Wege gefunden, wie es nicht funktioniert.“

Auch Website-Testing ist ein Prozess, der zu Beginn mit Schwierigkeiten verbunden sein kann, denn ein A/B-Test ist immer ein Experiment. Tests mit „negativen“ Ergebnissen oder ohne klare Gewinner sind nicht wertlos. Im Gegenteil: Sie liefern den Unternehmen oft wichtige Erkenntnisse über ihre Kunden und geplante Produktentwicklungen, auf die sie sonst nicht gekommen wären. Außerdem sind so genannte „negative“ Resultate die Grundlage für gezielte Folgetests und pflastern den Weg zu einer erfolgreichen Optimierung. Lassen Sie sich also nicht abschrecken, auch wenn Ihre Kollegen und Mitarbeiter Skepsis äußern, wenn sich die neue Variante nicht als Gewinner im Vergleich zum Original herauskristallisiert.

Hauptsache, Sie haben den Nerv des Nutzers getroffen

Damit Ihre Tests kurz-, mittel- oder langfristig zum Erfolg führen, ist eines wichtig: Sie müssen Ergebnisse hervorbringen, die lesbar sind. Ergebnisse, aus denen neue Erkenntnisse geschöpft werden können.

Um solche Resultate zu erzielen, sollten Sie den Test sehr sorgfältig aufsetzen. Voraussetzung dafür ist ein klares Ziel und eine zentrale Testfrage, die sowohl Analysedaten als auch Nutzerbefragungen und die Anregungen Ihrer Kollegen einbezieht. Diese Testfrage ist die Grundlage für eine solide Hypothese, die Aufschluss darüber gibt, was bei den Usern gut ankommt. Nur weil eine Hypothese sich als falsch herausstellt und keinen Uplift generiert, ist der Test noch lange nicht sinnlos. Eines beweist ein negatives Ergebnis auf jeden Fall: dass Ihr Test Einfluss auf das Nutzerverhalten hat, wenn auch nicht so wie erwartet. Wichtig ist nur, dass Sie die richtigen Schlüsse ziehen und in die Folgetests mit einfließen lassen. Sollten eindeutige Alternativen wie andere Bilder oder Farben vorhanden sein, haben Sie die Möglichkeit, mit wenig Aufwand das negative Ergebnis in ein positives zu verwandeln.

Unerwartete Ergebnisse retten manchmal vor hohen Investitionen

Nicht selten ist eine neue Variante, die im Test schlecht abschneidet, in Wirklichkeit ein Gewinner. Beispielsweise wenn bei einem geplanten Redesign das Testen eines Prototyps den Anbieter davor bewahrt, viel Geld zu investieren.

Im Fall des amerikanischen Taschenherstellers Chrome Industries verhinderte ein solcher „Verlierer“ die aufwändige Produktion von Videos: Ein Test hatte ergeben, dass ein Produktvideo anstelle eines einfachen Produktfotos die Bestellquote nur um 0,2 Prozent steigerte. Da diese geringfügige Steigerung die Investition in teure Videos nicht gerechtfertigt hätte, wurde der Plan fallen gelassen. Chrome konnte so erhebliche Summen einsparen – dank eines einzigen Tests.

Chrome Industries Kategorieseite

Chrome-Webseite mit Foto

Chrome Industries Kategorieseite mit Video

Chrome-Webseite mit Video

Einen renommierten Online-Modehändler bewahrte ein statistisch nicht signifikantes Ergebnis davor, viel Geld in teure Models zu investieren: Er fand in einem A/B-Test heraus, dass es keinerlei Einfluss auf die Verkaufszahlen hatte, ob die Models auf seiner Website mit oder ohne Gesicht abgebildet wurden.

Die Macht der Gewohnheit: Nicht immer funktioniert Neues

Entgegen der landläufigen Meinung ist das Ziel von A/B-Testing nicht ausschließlich die Steigerung der Conversion-Zahlen: Oft findet der Shop auch mehr über die Gewohnheiten seiner Zielgruppe heraus. Beispielsweise führte Spreadshirt einen Test auf der Homepage durch, der zu einem überraschenden Ergebnis führte. Mit dem Test wollte die internationale E-Commerce-Plattform für Print-on-Demand und Merchandising ermitteln, welche Variante im Teaser die Nutzer mehr anspricht: zwei Call-to-Action-Buttons (CTA) oder ein Suchfeld. Man nahm an, dass ein prominent eingeblendetes Suchfeld dem Kunden die Produktsuche erleichtert, ihn zum Kaufen animiert und letztendlich für mehr Produkte pro Bestellung sorgt.

Spreadshirt Homepage CTA

Die Hypothese stellte sich als falsch heraus: Die beiden CTA-Elemente wurden von 50 Prozent mehr Nutzern angeklickt und generierten ebenso viele Konversionen wie das Suchfeld. Interessant war aber vor allem wie das neue Suchfeld in der Mitte der Webseite abschnitt: Zwei Drittel der Nutzer verwendeten weiterhin lieber das klassische Suchfeld im Header –  ein Beweis dafür, dass die Nutzer sich im Laufe der Jahre an die Position des Suchfelds im oberen Bereich gewöhnt haben. Tatsächlich ergab eine Studie von eResult, dass die Nutzer die Suchfunktion von Onlineshops im oberen Seitenbereich erwarten, und zwar mittig positioniert wie beim Shopping-Giganten Amazon.

Einfach die falsche Jahreszeit

Ein weiterer Spreadshirt-Test betraf die Standardanzeige im T-Shirt-Design-Bereich: Aufgrund eines SEM-Tests und der hohen Verkaufszahlen bei schwarzen T-Shirts lautete die Hypothese, dass ein schwarzes T-Shirt bei den meisten Kunden besser ankommt. Da das erste Ergebnis nicht eindeutig zu interpretieren war, wurde ein weiterer Test gestartet. Dieser ergab eine saisonbedingte Änderung der Verkaufszahlen: Im Sommer wurden – vor allem von Frauen – mehr weiße T-Shirts gekauft, im Winter mehr schwarze. Diese Erkenntnis ermöglichte es der Plattform, saisonbedingte Einflüsse vorab zu berücksichtigen und ihre Marketingmaßnahmen besser zu steuern.

Der getestete Bereich war für den Nutzer nicht relevant

Es ist aber auch möglich, dass die getesteten Bereiche für den Entscheidungsprozess des Nutzers unerheblich sind. Beispielsweise wollte Blacklane, ein internationaler Anbieter von Limousinen-Services in Großstädten, den Einfluss von Social Trust auf die Anzahl der Buchungen testen. Auf den Traffic-starken Landing Pages der einzelnen Städte wollte das Unternehmen die Logos bekannter Medien zeigen, die über den Limousinen-Service berichtet hatten. Hierzu setzte Blacklane in Optimizely einen Test mit 2 Varianten auf:

Original

Blacklane Original Landing Page

Variante B

Blacklane Variante B Landing Page

Das Ergebnis: Variante B senkte die Buchungsrate um 0,3 Prozent. Es war offensichtlich, dass Informationen über Presserwähnungen die Besucher eher ablenkten, statt sie zur Buchung zu motivieren. Anstelle der Medienlogos zeigt Blacklane heute in prominenter Form die Vorteile seines Angebots.

Blacklane New Landing Page

Seien Sie radikal

Wenn die Testresultate nicht eindeutig sind, waren Ihre Änderungen vielleicht nicht auffällig genug, um das Nutzerverhalten zu beeinflussen. In diesem Fall könnten Sie den Kontrast zur Ausgangsvariante vergrößern, um eine stärkere Reaktion zu provozieren und so die Vorlieben des Nutzers kennenzulernen. Im Folgenden sehen Sie ein Beispiel für sehr stark voneinander abweichende Varianten einer Spreadshirt-Webseite:

Spreadshirt Original Homepage

Spreadshirt Homepage CTA New

Die erste Variante der Seite enthielt eine detailliertere Beschreibung des Angebots von Spreadshirt, mit einigen Hintergrundinformationen und einem relativ dezenten Call-to-Action-Button. Die zweite Variante vereinfachte die Darstellung sehr stark und verknüpfte sie mit einer klaren Handlungsaufforderung. Der Effekt: Die Zahl der Klicks auf den Call-to-Action-Button stieg um das Sechsfache!

Behalten Sie den großen Überblick

Halten Sie sich immer vor Augen, dass A/B-Testing seinem Wesen nach ein Prozess ist, der meist in mehreren Schritten zum Erfolg führt. Wie die oben angeführten Beispiele zeigen, sind viele Tests gar nicht ergebnislos oder misslungen, sondern geben Ihnen Aufschluss über das Verhalten Ihrer Kunden. Zudem ist es häufig sinnvoll, sich mit einer Reihe von Tests dem Ziel anzunähern, um zu viele Überraschungen zu vermeiden. Auf diese Weise können Sie prüfen, welche Änderungen sich positiv beziehungsweise negativ auswirken und entsprechend reagieren. Zudem lassen sich kleinere Erkenntnisse und positives Feedback einfacher einbauen.

Beißen Sie sich nicht an einem Bereich Ihrer Website fest. Manchmal ist das Testing-Objekt schon weitgehend optimiert – beispielsweise dann, wenn Sie viele iterative Tests zur gleichen Testing-Idee oder in demselben Bereich durchgeführt haben. In diesem Fall ist es lohnender, sich auf andere Bereiche mit klarem Optimierungspotenzial zu konzentrieren.

Um Ihre Testing-Projekte und deren Ergebnisse transparenter zu machen, sollten Sie in regelmäßigen Meetings alle Tests besprechen, die stattgefunden haben. Prüfen Sie, ob ein ausgewogenes Verhältnis zwischen einfachen und aufwändigen Tests, Tests zur Ertragssteigerung und zur Kostensenkung sowie Tests, die von den verschiedenen Abteilungen initiiert werden, besteht. Stellen Sie außerdem sicher, dass die – negativen, positiven oder „unerheblichen“ – Resultate der bereits erfolgten Tests in die anschließend durchgeführten Tests mit einfließen.

Entscheidend für den Erfolg Ihrer Testing-Projekte ist es außerdem, eine Testing-Kultur zu etablieren, die stets die Ziele Ihres Unternehmens im Auge hat. Behalten Sie den Überblick und lassen Sie sich auf keinen Fall von Einzelergebnissen entmutigen – im Gegenteil, nehmen Sie sie zum Anlass, mehr über Ihre Kunden zu erfahren. Denn diese Einblicke in die Wünsche und Vorlieben der Nutzer werden dafür sorgen, dass sich Ihre Testing-Investitionen lohnen.

Lernen Sie mehr darüber wie Sie dank A/B Tests Nutzererfahrungen verbessern. Laden Sie sich jetzt unser kostenloses Ebook herunter!

EXO-handbook-blog-banner