A/B Tests bei geringem Traffic: 6 Best Practices + Fallbeispiele




Damit Sie mit A/B-Tests statistisch signifikante Ergebnisse erzielen, muss die getestete Website ein hohes Trafficvolumen aufweisen. Websites mit hohem Trafficvolumen wie Google und Facebook sollten möglichst viele A/B-Tests ausführen. Betreiber von Websites mit wenig Traffic sollten sich keine Gedanken darüber machen. Als Start-up, B2B-Unternehmen oder Webseite mit weniger Traffic sollten Sie sich eher auf qualitatives Feedback und Ihre Intuition verlassen.

So heißt es zumindest oft… Ich möchte Ihnen heute allerdings eine andere Perspektive eröffnen. Ich bin davon überzeugt, dass auch Websites mit wenig Traffic A/B-Tests einsetzen sollten – nicht nur, weil A/B-Tests sich positiv auf Ihre Unternehmenskultur auswirken (mehr Mitarbeiter sind am Treffen von Entscheidungen beteiligt, Sie basieren Entscheidungen auf echten Nutzerdaten etc.), sondern auch, weil A/B-Testing ebenfalls bei Webseiten mit wenig Traffic funktioniert.

Fallbeispiel 1 – Wie Optimizely mehr Leads generierte

Beginnen wir mit einer kurzen Geschichte: 2013 zog Optimizely in Betracht, sein Preismodell zu ändern. Wir befragten potenzielle und bereits bestehende Kunden, führten persönliche Gespräche und bildeten sogar Fokusgruppen. All das wurde aufgezeichnet, und später sahen wir uns das gesamte Videomaterial an. In einer der Fokusgruppen verteilte der Moderator einen Ausdruck unserer alten Preismodellseite an alle Teilnehmer. Einer der Teilnehmer sah sich den Ausdruck an, und sagte zornig: „Ich hasse das. Jedes Mal, wenn ich die Aufforderung „Sales-Team kontaktieren“ sehe, denke ich, dass ich über’s Ohr gehauen werde. Ich würde nie auf diesen Button klicken.“ In der Fokusgruppe ergaben sich zwar keine produktiven Vorschläge zum Preismodell selbst, aber es wurden einige Testideen gesammelt.

Was würde passieren, wenn wir den Button „Sales-Team kontaktieren“ auf unserer Pricing Seite zu „Demo planen“ ändern würden?

Zum damaligen Zeitpunkt half unser Sales-Team potenziellen Kunden mit einer Demo, um Optimierungsmöglichkeiten auf deren Webseite aufzuzeigen. Die sprachliche Änderung entsprach also weiterhin der Realität. Und so sahen die Ergebnisse des entsprechenden A/B-Tests aus:

Kontaktanfragen Demo Optimizely

Ergebnis der Klickzahlen auf den CTA „Sales-Team kontaktieren“ im Vergleich zu „Demo planen“

Wie Sie sehen stieg durch diese einfache sprachliche Änderung die Konversionsrate um mehr als 300 %, also die Zahl der Personen, die an einer Demo mit unserem Sales-Team teilnahmen. Auf die Seite, auf der dieser Test ausgeführt wurde, griffen durchschnittlich 636 Besucher täglich zu, und wir erzielten innerhalb von einer Woche statistisch signifikante Ergebnisse.

Dieser Test ist keine Ausnahme. Sehen Sie sich folgende Ergebnisse eines weiteren Tests an, den wir kürzlich an einem modalen Dialogfenster zur Erstellung eines Kontos durchgeführt haben. Das entsprechende modale Dialogfenster sahen täglich 133 Besucher. Im Test entfernten wir die Felder zur Passworteingabe und -bestätigung. Stattdessen nutzten wir jeweils ein automatisiertes Passwort, das beim nächsten Besuch bei Optimizely vom Benutzer geändert werden musste:

Neue Accounts Formular Optimizely

Neu eingerichtete Accounts

Trotz des geringen Trafficvolumens erzielten wir innerhalb von einer Woche statistisch signifikante Ergebnisse. Sie zeigten eine Verbesserung von über 18 % an einem unserer wichtigsten Ziele im oberen Bereich des Conversion-Funnels.

Fallbeispiel 2 – Statistische Signifikanz trotz geringen Traffics

Diese Ergebnisse sind keine Besonderheit von Optimizely als Unternehmen oder der Optimizely-Plattform. Nachfolgend sehen Sie einen Test, der 2010 für MuleSoft ausgeführt wurde. Dabei wurde das Google Website-Optimierungstool eingesetzt, ein A/B-Testingprogramm, das in der Zwischenzeit durch Content-Tests von Google ersetzt wurde. MuleSoft (eine Integrationsplattform) verzeichnete zur damaligen Zeit eine beeindruckende Anzahl an Websitezugriffen, aber auf die betreffende Seite, auf der der Test ausgeführt wurde, wurden lediglich 75 Besucher pro Tag gezählt. Im A/B-Test wurden die Felder zur Auswahl des Bundeslandes und Landes entfernt und durch GeoIP-Daten ersetzt. Wir erzielten in weniger als zwei Wochen statistisch signifikante Ergebnisse. Sie zeigten eine Verbesserung um über 40 %:

Demandbase A:B Test

Ergebnisse eines A/B-Tests für MuleSoft (Veröffentlichung mit Genehmigung von MuleSoft)

Diese Tests haben die wichtigsten KPIs stark beeinflusst: Demoanfragen, neue Accounts, neue Leads. Auch Webseiten mit geringem Traffic können bei A/B Tests aussagekräftige und statistisch signifikante Ergebnisse erzielen. Wichtig ist nur, dass Elemente getestet werden, die große Auswirkungen für das Unternehmen haben. Verschaffen Sie sich zunächst einen Überblick, bevor Sie ins Detail gehen. Testen Sie vor kleineren Verbesserungen zunächst bedeutende Unterschiede.

Zusammengefasst: Hier die Best Practices für A/B Tests mit wenig Traffic

1. Testen Sie starke Kontraste

Häufig lesen Sie in Case Studies, dass in einem A/B Test mit nur kleinen Veränderungen riesige Conversionsprünge erzielt werden. Bei Webseiten mit viel Traffic sind solche Auswirkungen auch bei kleinen Unterschieden der Testvarianten gut messbar. Bei wenig Traffic sollten Sie statt kleiner Details große Kontraste testen. Je stärker die Kontraste zwischen dem Original und der Testvariante, desto höher die Wahrscheinlichkeit, dass Sie eine Auswirkung auf die Conversion Rate festellen können. Testen Sie Pages, die einen hohen Einfluß auf die Kaufentscheidung haben vs. das Bild auf Ihrer Presseseite.

Es kann zwar manchmal etwas beängstigend sein, große Kontraste auf der Seite zu testen, aber denken Sie immer daran, auch ein “negatives” Ergebnis verschafft Ihnen mehr Einblicke in das Verhalten Ihrer Besucher (Hier ein Artikel zum Thema “negative” Testergebnisse). Die Analyse Ihrer Testergebnisse hilft Ihnen bei der Konzipierung und Priorisierung der nächsten A/B Tests.

2. Messen Sie Micro-Conversions

Vielleicht ist es das Hauptziel Ihrer Webseite, Conversions oder Neuanmeldungen zu maximieren, aber besonders bei geringem Traffic ist es nicht sinnvoll, diese als Hauptziele zu tracken, da es zu lange dauern würde, um statistisch signifikante Ergebnisse zu erhalten.

Wenn Sie sich stattdessen Micro-Conversions als Ziel setzen, von den es mehr gibt als Macro-Conversions, dann sehen Sie den unmittelbaren Effekt der Veränderungen und gelangen schneller zu signifikanten Ergebnissen.

Beispiele für Micro-Conversions sind u.a. Engagement, Klick auf den CTA-Button, Anzahl von Pageviews.

Des Weiteren könnten Sie z.B. auch ein Conversion-Ziel einrichten, was ausgelöst wird, wenn ein Besucher eine besonders lange Seite bis zu einer bestimmten Tiefe scrollt oder ein Custom-Event, das ausgelöst wird, wenn der Besucher mehr als 30 Sekunden auf der Seite verbringt. Falls Sie unsere Google Analytics integration nutzen, sollten Sie auch KPIs wie Bounce Rate oder Average Pageviews pro Besucher verfolgen.

3. Testen Sie nicht erst am Ende des Funnels

Anstelle des Messens von Conversions, die erst mehrere Schritte weiter hinten im Funnel passieren, sollten Sie am besten Conversions direkt auf der getesteten Seite messen.

Beispiel: Sie setzen einen Test auf einer Produkt Listing Seite auf. Besucher können entweder “In den Warenkorb” oder “Detailansicht” klicken. Wenn Sie die Anzahl der Bestellungen zu Ihrem Ziel machen, arbeiten Sie mit weniger Conversions. Außerdem liegen einige Schritte zwischen der Seite, auf der der Test läuft und der Seite, auf der die Conversion stattfindet. So lernen Sie nur wenig darüber, ob die Veränderungen im A/B Test den Ausschlag für ein geändertes Verhalten gaben oder nicht. Testen Sie stattdessen welche der Varianten mehr Besucher zum nächsten Bestellschritt bringt.

4. Arbeiten Sie mit geringerer statistischer Signifikanz

Optimizely erlaubt es Ihnen, den Wert der statistischen Signifikanz für jedes Projekt anzupassen. Mit statistischer Signifikanz meinen wir die Wahrscheinlichkeit, dass Veränderungen im Benutzerverhalten auf Veränderungen in der Benutzeroberfläche zurückzuführen und nicht dem Zufall geschuldet sind. Diesebeiden Artikel geben Ihnen alle relevanten Infos für dieses Szenario: Statistische Signifikanz und Statistical Significance Setting.

Bei einem höheren Wert für die statistische Signifikanz reduzieren Sie die Wahrscheinlichkeit für sogenannte False Positives, es dauert allerdings auch länger, bis Optimizely Ergebnisse anzeigt.

5. Finger weg von Multivariate Tests

Je mehr Varianten Sie testen möchten, desto mehr Traffic werden Sie benötigen. Und je mehr Traffic Sie brauchen, desto länger wird es dauern, bis die Ergebnisse Ihres Tests statistische Konfidenz erlangen. Halten Sie sich bei wenig Traffic also an A/B Tests, und versuchen Sie sich erst später an MVT (Multivariate Tests).

6. Machen Sie das Meiste aus Ihrem Traffic

Vermeiden Sie es Seiten zu testen, die nur sehr wenig Traffic erhalten. Stattdessen sollten Sie beim Aufsetzen des A/B Tests die Targeting-Bedingungen möglichst breit lassen, um so viel möglich Ihres vorhandenen Traffics in den A/B Test miteinzubeziehen.

Testen Sie zum Beispiel Banner, die auf der gesamten Webseite laufen oder Ihre Landing Page Templates, die viel Traffic erhalten. Ergebnisse werden so schneller statistisch signifikant als wenn Sie nur eine bestimmte Produktdetailseite testen würden.

Und zu guter Letzt die Geschichte von Marissa Mayer: Damals noch bei Google, testete sie 41 verschiedene Blautöne für die Hyperlinks, um herauszufinden, mit welchem die höchste Klickrate erzielt wird. Websites mit geringem Trafficvolumen können solche Tests, bei denen der Traffic sich auf viele Varianten verteilt und der kleinste messbare Effekt sehr gering ist, zwar nicht ausführen, aber sie können dennoch dank A/B Tests viel über ihre Besucher lernen und Conversions steigern.

Halten Sie sich an die Ratschläge und lassen Sie sich durch unsere Fallbeispiele inspirieren.  A/B-Testing funktioniert – auch bei Websites mit geringem Traffic!

Möchten Sie auch mehr Besucher zu Kunden machen? Laden Sie sich jetzt unser kostenloses Ebook zur Website Optimierung herunter!

EXO-handbook-blog-banner