Was man in Sachen Website Redesign von Netflix lernen kann




Vor genau einer Woche startete Netflix nun auch endlich in Deutschland. Nachdem das Angebot in einigen Nachbarländern nicht aber in der Bundesrepublik, der Schweiz oder Österreich verfügbar war, nimmt der US Marktführer nun den Wettbewerb mit On-Demand Video Diensten wie MaxdomeWatchever oder Sky Snap im DACH Raum auf.

Quelle: BusinessInsider

Quelle: BusinessInsider

Von einigen Beobachtern wird bemängelt, dass das Film-und Serienangebot von Netflix nicht so breit aufgestellt ist wie zum Beispiel in den Vereinigten Staaten oder bei manchen der deutschen Konkurrenten. Einen langfristigen Wettbewerbsvorteil könnte die Unternehmensphilosophie von Netflix darstellen – jede Veränderung und jedes Feature sollte getestet werden, bevor es live geht. Testen der Webseite ist bei Netflix kein Hobby, sondern integraler Teil jeder Produktentwicklung und Designentscheidung. Hier ein Beispiel:

Das gescheiterte Netflix Redesign?

Sicherlich eine der besten Anekdoten, um den Mehrwert von A/B Testing während eines Redesigns zu erkennen, ist die Geschichte des Website Redesigns von Netflix.

Im Juni 2011 verkündete Michael Spiegelman, Direktor des Produktmanagements, in einem Blogpost ein komplett neues “Look & Feel” der Web-Interface von Netflix. Netflix wollte mit diesem Redesign mehr Aufmerksamkeit auf seine Shows und Filme lenken.

Kurze Zeit nach der Ankündigung wuchs die Anzahl der negativen Kommentare schneller als man die Seite neu laden konnte – der am meisten gelikte Beitrag war “New Netflix interface is complete crap.” Nutzer machten Ihrem Ärger Luft. Hier ein paar Beispiele des regelrechten Shitstorms, der über Netflix hereinbrach: 

Netflix Comments

Trotz der scheinbar niederschmetternden Kommentare der Nutzer, die das alte Design zurückforderten, entschloss sich Netflix, die neue Interface auf alle damals 24 Mio. User auszurollen. (Heute hat Netflix bereits mehr als 48 Millionen Abonnenten). Warum würde man das tun, wenn das Feedback so ernüchternd ausfällt? Bryan Gumm, Netflix Manager für Experimentation (soetwas gibt es wirklich) betreute das Redesign und die Antwort war für ihn klar: Testergebnisse zeigten uns, dass die Entscheidung die richtige ist. Die Daten haben entschieden.

Bryans Team nannte das neue Interface Design “Density” (dt. Dichte) – Ziel war es mehr Inhalte zu platzieren und so die Nutzererfahrung angenehmer zu machen. User sollten mehr mit dem Angebot von Netflix interagieren und mehr Filme und Serien schauen. Nur so würden die Nutzer den Mehrwert erkennen und den Abo-Service weiterhin nutzen.

Original version of Netflix page.

Variante A

Das Original der Netflix Nutzererfahrung – 4 unterschiedliche Shows oder Spielfilme in einer Reihe, eine Bewertung mit Sternen und ein “Play”-Button unter jedem Bild. Es gab viel Weiß und nach Ansicht von Bryan wurde so viel Real Estate auf der Seite verschenkt.

A/B tested version of Netflix page.

Variante B

Die alternative Variante, die Bryans Team testen wollte, enthielt 4 scrollbare Reihen. Die Bewertungen wurden entfernt, ebenso wie der “Play”-Button aus dem Original. Stattdessen erhielt der Nutzer mehr Infos und die Abspielfunktion nach einem Hover über das Vorschaubild. Netflix wollte dem Zuschauer mehr Inhalte geben und mehr Auswahl ermöglichen – der Real Estate auf der Seite wurde außerdem besser genutzt.

Netflix testete mit neuen und wiederkehrenden Nutzern beide Designs in einem A/B Test. Das Team um Bryan wollte Nutzeraktivität und Retention messen und optimieren. Würden die getesteten Besucher mehr Aktivität zeigen und nicht einfach abwandern?

Das Ergebnis:

Sowohl in puncto Retention als auch Nutzeraktivität schnitt Variante B besser ab als das Original. Variante B zeigte 0,5% mehr Retention und 1,4% höhere Nutzeraktivität. Wenn man das auf die Nutzeranzahl von 24 Mio. hochrechnet, dann stellen diese recht klein anmutenden Verbesserungen immense Beträge dar, die Netflix sonst verloren hätte.

Die Ergebnisse zeigten den Designern und Produktmanagern bei Netflix, dass sowohl neue als auch wiederkehrende Nutzer das neue Design bevorzugten. Netflix bewertete den A/B Test als einen Erfolg und nach Abschluß bekamen 100% der Nutzer die neue Interface zu sehen.

In einem Interview sagte Bryan Gumm später, dass Netflix bei negativen Ergebnissen aus den Tests beim alten Design geblieben wäre.

Um auf Nummer sicher zu gehen maß Netflix Retention und Aktivität dann noch einmal zum Launch des neuen Designs für alle Besucher. Die Ergebnisse waren gleich – Netflix Nutzer schauten mehr Serien und Filme als beim alten Design.

Dann begann der Shitstorm und die Kritik der Nutzer. Nach Ansicht von Netflix hat man jedoch alles richtig gemacht. Die Kommentare zur Veröffentlichung der neuen Interface kamen von einer kleinen Minderheit und vertraten eine Meinung, die von den Daten aus dem A/B Test nicht gestützt wurde.

Wenn man sich die Zahlen ansah, so hatte Netflix recht – mehr Nutzer sahen Serien und Filme und das neue Design schien der Masse besser zu gefallen. 2 Tests hatten es bewiesen.

Auch wenn es einige laute, unzufriedene Kunden und Kritiker gab, machte Bryan Gumm eine sehr wichtige Bemerkung zum Redesign von Netflix. In einem Unternehmen, dass A/B Tests durchführt und in jeder Organisation, in dem Entscheidungen auf Daten basieren, müsste man einer Philosophie treu bleiben – die Daten sollen die Entscheidungen treffen.

Wenn auch Sie zum Beispiel Ihr Redesign testen möchten und wissen wollen, welches Design Ihrer Webseite besser funktioniert, dann probieren Sie Optimizely doch einfach mal selbst: