Wie Sie Ideen für A/B Tests objektiv priorisieren




Dies ist der 2. Artikel in unser Reihe über das Onlineoptimierungsprogramm bei Hotwire, einer zu Expedia gehörenden Firma für die Buchung von Reisen und Hotels.

Teil 1: Ideen für die Online-Optimierung: Wie Hotwire über 120 Experimente jährlich ausführt

Teil 2: Wie Sie Ideen für A/B Tests objektiv priorisieren

Hotwire logo offiziell

Bei der Optimierung von Webseiten ist die Priorisierung ein ganz zentraler Gesichtspunkt. Die Frage nach der Priorisierung ist eine der Fragen, die sich Optimizely-Kunden am häufigsten stellen: „Was genau soll ich testen?“ Ein gut durchdachter Priorisierungsprozess gibt einem folgende Antworten: „Das sollten wir in dieser Reihenfolge und genau aus diesem Grund testen.“

Im ersten Teil dieser Reihe haben wir Pauline Marol, Lead Product Manager für Optimierung bei Hotwire, kennengelernt. Pauline Marols Priorisierungsprozess bildet ein Framework, dank dem die Optimierungsmaschine auch trotz hunderter ausstehender Ideen für Onlineexperimente reibungslos laufen kann. Zudem werden mithilfe dieses Prozesses die besten Ideen ermittelt, sodass diese ohne Verzögerung getestet werden können.

Pauline Marol sagt, ihr Priorisierungsprozess „nimmt dem A/B-Testing die Emotionalität“.

„Ich möchte nicht diejenige sein, die entscheidet, welche Experimente ausgeführt werden und welche nicht, weil meine Entscheidungen subjektiv sind“, so Pauline Marol.

Aber wie gut ist dieser Prozess? Der Prozess ist umfassend, konsequent, logisch und einfach zu gut, um ihn für sich zu behalten. Daher finden Sie hier eine vollständige Beschreibung:

Das Priorisierungssystem ist additiv. Falls die Idee für einen A/B Test einer Anforderung entspricht, erhält sie einen Punkt. Entspricht sie nicht der Anforderung, erhält sie keinen Punkt. Die Punkte werden in einer Tabelle aufgeführt und summiert, sodass jede Idee eine Gesamtpunktzahl x von insgesamt 10 Punkten erhält. Die Ideen werden dann ihrer Gesamtpunktzahl entsprechend priorisiert. Ideen mit der höchsten Punktzahl werden zuerst verprobt, solche mit einer geringen Punktzahl erst mal ins Backlog verschoben.

Rule 1 Punkt 0 Punkte
Hauptmesswert (KPI) Unterstützt den wichtigsten Messwert des Unternehmens – neue Buchungen Unterstützt einen sekundären Messwert wie CTR oder Newsletteranmeldungen
Position Testen einer Änderung an den Ergebnissen oder Buchungsseiten Testen einer Änderung an einer anderen Seite
Oberer Teil der Webseite Ändert Inhalte im Bereich, der ohne Scrollen erreichbar ist (above the fold) Ändert Inhalte im Bereich, der nur durch Scrollen erreichbar ist (below the fold)
Targeting Ist auf 100 % der Kunden ausgerichtet Ist auf einen Teil der Kunden ausgerichtet (nur wiederkehrende Besucher, nur neue Besucher etc.)
Neue Informationen Fügt neue Informationen oder ein neues Element hinzu oder entfernt ein Element von der Seite Ändert vorhandene Elemente (Text, Farbe, Benutzeroberfläche usw.)
Benchmarking Profitiert vom Erfolg anderer Webseiten wie Expedia.com, Hotels.com oder CarRentals.com und nutzt diese als Referenz Keine Best Practices für das Benchmarking
Konversionsfelder Nutzt zwei oder mehr Konversionsfelder Nutzt maximal ein Konversionsfeld
Strategisches Thema Unterstützt ein strategisches Ziel des Unternehmens Bezieht sich nicht auf ein strategisches Ziel des Unternehmens
Mobil Ändert ein Element beim Abruf über ein Mobilgerät oder animiert zum Installieren einer App Zielt nicht auf die mobile Nutzererfahrung ab
Reduziertes Inventar Hat Potenzial, den Anteil für reduziertes Inventar für einen Bereich zu erhöhen (spezifischer Messwert für die Reisebranche) Kein Einfluss auf den Anteil von reduziertem Inventar

Dank dieses Prozesses stellt die Priorisierung der ausstehenden Experimentideen von Hotwire für Pauline Marol keinerlei Problem mehr dar. Und das bei derzeit über 400 Experimentideen – und diese Zahl steigt immer weiter an.

Pauline Marol Photo

Pauline Marol – Hotwire

Pauline Marol und ihr Team konnten die Sichtbarkeit ihres Testprogramms deutlich steigern. Bei vielen Optimierungsprogrammen ist diese Herausforderung kaum zu bewältigen. Eine erhöhte Sichtbarkeit hat aber nicht nur Vorteile: Ein Optimierungsprozess mit hoher Sichtbarkeit führt auch dazu, dass viele Hotwire-Mitarbeiter eigene Testideen an Pauline Marol weitergeben. Dank des vollständig transparenten Priorisierungssystems muss sich Pauline Marol nicht um den Prozess selbst kümmern, sondern kann zuverlässig Prognosen abgeben bezüglich der Qualität der Testideen und wann diese realistischerweise umgesetzt werden können.

„Wenn sich ein Kollege mit einer Idee an mich wendet und die Idee nicht innerhalb von zwei Wochen live getestet wird, liegt das nicht daran, dass die Idee schlecht ist, sondern daran, dass es bessere Ideen gibt, die vorher getestet werden müssen.

Pauline Marol, Lead Product Manager, Webseiteneoptimierung, Hotwire

Wenn jeder die Regeln kennt und der Optimierungsprozess transparent ist, entfallen die Zweifel in Bezug auf das Testen. Stattdessen kann sich Pauline Marol dem kreativen Aspekt ihrer Arbeit bei Hotwire widmen. Ihr Team ist die Anlaufstelle für kreative Ideen, für das Weiterentwickeln des Unternehmens und für das Verbessern der Unternehmensergebnisse. Pauline Marol kann sich so voll darauf konzentrieren, Hotwire zu einem der führenden Unternehmen der Reisebranche zu machen.

Sie benötigen kreative Ideen, fundierte Hypothesen, einen leistungsstarken Priorisierungsprozess und Freude am Testen und Optimieren, um Pauline Marols Beispiel zu folgen und ein eigenes erstklassiges Optimierungsprogramm zu entwickeln.

Möchten auch Sie durch Online-Optimierung so erfolgreich werden wie Pauline und Hotwire? Lernen Sie in unserem Ebook “Website Optimierung” wie andere Teams durch Testing erfolgreich Conversions und Umsätze steigern.

EXO-handbook-blog-banner