A/B Testreihen

Mit Hilfe eines A/B-Tests optimieren Sie Ihre Web-Site ohne großen Aufwand. Lesen Sie hier, was Sie beachten müssen.

Eine kleine Änderung hier, eine gute Idee da – Möglichkeiten, die Performance Ihrer Web-Site zu optimieren gibt es genug. Ohne einen systematischen Ansatz werden die meisten Änderungen jedoch wirkungslos verpuffen.
Optimieren bedeutet nicht einfach nur ändern. Sie müssen

• die richtigen Dinge
• zur richtigen Zeit
• in der richtigen Reihenfolge ändern.

Und dann die Ergebnisse auswerten und bewerten.

A/B-Test – Der Leitfaden

Die folgenden Punkte helfen Ihnen bei der Planung eines A/B-Testes:

• Definieren Sie das Testziel, bevor Sie mit der Versuchsreihe beginnen. Was wollen Sie testen und wie wollen Sie die zu testende Variable testen und wie sollen die Ergebnisse interpretiert werden? Wie definieren Sie Erfolg? 10% mehr Umsatz, Verdoppelung der Anmeldungen für Ihren Newsletter?
• Entscheiden Sie dann, wie Sie die Nutzer auf die beiden zu testenden Varianten verteilen. Soll die Verteilung 50/50, 90/10 oder 80/20 sein? Sollen die Nutzer zufällig auf die beiden Varianten verteilt werden oder werden weitere Kriterien wie Tageszeit oder Referrer (Google-Nutzer in Gruppe A, Yahoo!-Nutzer in Gruppe B) herangezogen?
• Wie sieht es mit dem Thema Test-Stabilität aus? In anderen Worten: Wie stellen Sie sicher, daß ein Nutzer, der Ihre Site verläßt und dann wiederkommt stets die gleiche Variante sieht? Folgende Optionen stehen zur Verfügung: Keine Stabilität, Session-Stabilität und Cookie-Stabilität. Session-Stabilität (Nutzer wird während einer Session eindeutig erkannt) ist das Minimum, Cookie-Stabilität ist aber vorzuziehen, denn nur so lassen sich wiederkehrende Nutzer identifizieren.
• Ein weiterer zu klärender Punkt ist der Stichprobenumfang. Den Umfang der Stichprobe bestimmen Sie mit Hilfe eines Null-Tests. Der Null-Test ist ein A/A-Test (beide Nutzergruppen sehen dieselbe Seite). Ziel ist es herauszufinden, ab welcher Probengröße sich die Ergebnisse der beiden Gruppen annähern (die Abweichung sollte nicht größer als 0,05% sein).
• Um sicherzustellen, daß Ihre Ergbnisse statistisch relevant sind, sollten sich die Ergebnisse der Gruppen A und B um mindestens um den Faktor drei unterscheiden. Wenn beispiesweise 5% der Nutzer der Gruppe A zu Käufern werden, sollten in Gruppe B mindestens 15% der Nutzer konvertieren.
• Die erste Meßreihe liefert die Bezugspunkte, an denen sich alle weiteren Veränderungen messen lassen müßen. Bezugspunkt wird der bessere Wert der ersten Messreihe. Ein Beispiel: Sie wollen Newsletter-Abonnenten generieren. Beim ersten A/B-Test finden Sie heraus, dass 10% der A-Gruppe und 15% der B-Gruppe abonnieren. Die 15% der B-Gruppe sind ab sofort Ihr „Nullpunkt“; Conversion-Raten unter 15% sind nicht akzeptabel. Weitere Änderungen bringen eine Conversion-Rate von 20% (positiv, da 5% über dem Benchmark) oder eine Rate von 10% (nicht akzeptabel, da 5% unter dem Benchmark). Dieses Benchmarking hilft Ihnen, neue Ergebnisse zu bewerten.
• Bei jeder Testreihe können Sie immer nur ein Element verändern und testen. Auch wenn sämtliche Änderungen sinnvoll erscheinen; bleiben Sie geduldig und führen Sie eine Änderung nach der anderen ein. Wenn Sie beispielsweise drei Änderungen auf einmal durchführen und sich über eine Umsatzverbesserung um 5% freuen kann es sich dabei um eine „Netto-Zahl“ handeln. Die erste Änderung hat 10% gebracht, Änderung zwei hat 5% gekostet und Änderung drei war praktisch wirkungslos. All das finden Sie nur heraus, wenn Sie jede Änderung separat testen.
• Wenn Sie E-Mails testen: Sorgen Sie dafür, dass alle E-Mails gleichzeitig verschickt werden. Sonst könnte es sein, dass tageszeitabhängige Faktoren Ihren Test verfälschen.

Was testen?

Prinzipiell lassen sich alle Elemente einer Web-Site bzw. einer E-Mail testen. Folgende Elemente verdienen Ihr besonderes Augenmerk:

Web-Sites

• Landing Pages
• Länge und Tonalität des Fließtextes, der Titelzeilen und der Calls to Action
• Farben
• Poitionierung von Schlüssel-Elementen, wie z.b. Einkaufswagen oder Newsletter-Abos
• Navigation

E-Mail

• Länge und Tonalität der Betreffzeile
• Inhalt des „von“-Feldes
• Stil der Anrede
• Wie werden Gewinnspiele oder Geschenke beworben
• Grafik, Layout, Stil
• P.S.-Texte

Fazit

Es gibt sicherlich Testmethoden, die ausgefeilter und komplexer sind. A/B Tests haben aber einen unschätzbaren Vorteil: Sie sind einfach und schnell durchzuführen und liefern praktisch verwertbare Ergebnisse. Investieren Sie Ihre Zeit lieber in einen A/B-Test, statt sich in fruchtlosen „Meiner Meinung nach müsste man“-Diskussionen aufzureiben.