Die Website ist weiterhin die erste Anlaufstelle, die viele potenzielle Kund:innen entdecken, wenn sie mit einer Marke in Berührung kommen und erste Informationen recherchieren möchten. A/B-Tests helfen bei der Websiteoptimierung, bieten aber insbesondere für Einsteiger auf diesem Experimentalgebiet viele Stolpersteine. Das „Fix Broken Shit First“-Verfahren (FBSFO) soll dagegen auf einfache Weise schnelle Ergebnisse erzielen. Wir haben uns angeschaut, welche Probleme sich bei A/B-Tests häufig ergeben und warum das FBSFO-Konzept eine sinnvolle Alternative sein kann.
Tücken des A/B-Tests
Ein wichtiger Bestandteil der Websiteoptimierung besteht darin, neue Design- oder Text-Optionen auszutesten oder Probleme zu finden und diese zu beheben. A/B-Tests galten dabei stets als ein effektives Mittel, um entsprechende Entscheidungen zu treffen. Hierbei handelt es sich um einen Vergleich zweier Optionen, z.B. zwischen zwei CTAs, zwei unterschiedlich gestalteten Buttons, zweier Apps oder zwei Webseiten. Auf diese Weise wird ermittelt, welche dieser beiden Varianten zu einem besseren Ergebnis führt. Auch wenn die Ausführung relativ simpel erscheint, ist der A/B-Test nichts für Anfänger:innen. Es gibt einige Stolpersteine, die Ergebnisse verfälschen, zu falschen Interpretationen und somit zu Fehlentscheidungen führen können.
Stichprobe ist zu klein
Es gibt keine feste Regel, wie viele Besucher für einen A/B-Test erforderlich sind und jede Website fängt zu Beginn bei null an. Es ist aber eine gewisse Anzahl von Besuchern notwendig, damit die Tests eine statistische Signifikanz erreichen. Ein Test basierend auf drei Besuchern kann schnell zu schlechten Entscheidungen führen, insbesondere wenn diese zu früh getroffen werden.
Fehlende Hypothese
Häufig ist zu Beginn eines A/B-Tests keine gültige Hypothese vorhanden. Hierbei handelt es sich um eine Theorie, warum Marken bestimmte Ergebnisse auf einer Website erzielen und wie sich diese eventuell verbessern lassen. Ohne diese Grundlage ist keine zielgerichtete Analyse mit wichtigen Einblicken möglich – unabhängig davon, ob diese These bestätigt oder widerlegt wird.
Test wird zu früh oder zu spät beendet
Häufig werden Tests zu früh abgebrochen, was zu verfälschten Ergebnissen und damit darauf basierenden falschen Entscheidungen führt. Wie lang sollte also ein Test durchgeführt werden? An dieser Stelle sind sich viele Expert:innen uneinig. Einige sprechen von mindestens einer Woche, andere von mindestens zwei. Damit der A/B-Test eine statistische Signifikanz erreicht, muss er über einen bestimmten Zeitraum durchgeführt werden. Erst dann lohnt es sich wirklich, einen A/B-Test auszuwerten. Es muss also möglichst sicher sein, dass die Analyse der Stichprobe für die Grundgesamtheit gilt.
Besonderheiten werden missachtet
Bei einem A/B-Test müssen immer gewisse externe Aspekte berücksichtigt werden. Ferien und damit einhergehende Urlaube, Weihnachten, andere Feiertage oder ein großes mehrtägiges Sportereignis können Einfluss auf die Websitebesuche haben. Solche Events oder saisonbedingte Besonderheiten, bei denen statistische Abweichungen vorhersehbar sind, sollten möglichst aus dem Testzeitraum ausgeklammert werden.
Prioritäten richtig ordnen mit FBSFO
Diese und weitere Stolpersteine lassen sich vermeiden. Wer aber nach einer einfacheren alternativen Methodik der Websiteoptimierung sucht, kann sich alternativ auf einen pragmatischeren Ansatz konzentrieren. Die „Fix Broken Shit First“-Weboptimierung (FBSFO) beinhaltet, was der Titel verspricht: Eine Behebung der häufigsten Fehler. Das erscheint auf den ersten Blick offensichtlich und nicht unbedingt revolutionär, dennoch wurden sie von Conversion Rate Optimization Experten Arnout Hellemans, Craig Sullivan und Tim Stewart erst wirklich auf den Punkt gebracht.
Offensichtliche und versteckte Fehler zuerst beheben
Anstatt neue Optimierungen, Grafiken, Buttons u.v.m. einzuführen und diese aufwändig zu testen, trägt zunächst eine Behebung von offensichtlichen und versteckten Fehlern erheblich zur Websiteoptimierung bei. Wenn Nutzer:innen eine oder mehrere grundlegende Funktionen nicht richtig ausführen können, spielt das Design einer Website eine untergeordnete Rolle. Hier einige einfache Beispiele für typische Fehler, die Traffic oder Conversions ausbremsen können:
- Schlechte Optimierung für bestimmte Endgeräte (z.B. Mobile/Tablets) wie zum Beispiel gestauchte Layouts
- Riesige Menüs, die wichtige Inhalte und Schaltflächen überdecken
- Die Website-Suche funktioniert nicht oder liefert schlechte und ungenaue Ergebnisse
- Pop-ups lassen sich gar nicht oder schlecht schließen, weil die entsprechende Schaltfläche nur schwer auffindbar ist
- Cookie-Banner blockieren CTA-Schaltflächen
- Kategorienseitenfilter funktionieren nicht oder zeigen falsche Ergebnisse an
Solche und weitere Probleme lassen sich nicht mit einer gelegentlichen Kontrolle der Website über Browser oder Smartphone ermitteln. Browser-übergreifende Tools können Website und mobile Apps auf unterschiedlichen Webbrowsern und Betriebssystemen testen. Diese kontrollieren allerdings nur, ob die Funktion der Website beeinträchtigt ist und sind nicht in der Lage, sich auf Nutzererfahrungen zu konzentrieren. Detaillierte Tests der Website-Betreiber:innen oder externen Testpersonen führen zu nutzerorientierten Erkenntnissen. Dabei gilt es, zuerst Fragen und Aufgaben zu formulieren, die sich mit den am häufigsten vorkommenden Abläufen auf der Website beschäftigen. Auf diese Weise lassen sich Probleme in den wichtigsten Bereichen ermitteln. Mit entsprechenden Tools sind auch Aufzeichnungen dieser Sitzungen möglich, um versteckte Fehler zu finden. Es empfiehlt sich hierbei, nach Szenarien zu suchen, bei denen User:innen frustriert aufgeben, weil sie das Menü oder andere Bestandteile der Website verwirrt haben.
Wie bei einem A/B-Test benötigt ein Unternehmen für die Websiteoptimierung via FBSFO Expert:innen für UX-Design, die sich mit der Materie auskennen und die Testergebnisse akkurat analysieren. Anschließend erfolgt eine Überarbeitung der Landingpage und der Kategorieseiten. Alle Elemente, die für die Nutzungserfahrung wichtig sind, stehen als Nächstes auf der Prioritätenliste. Hierzu gehören Filter, Navigation, die Suchleiste und Formulare.
Fazit:
A/B-Testing stellt weiterhin ein wichtiges Tool dar, um neue Funktionen und Design auf der Website auszuprobieren und die Websiteoptimierung weiter voranzutreiben. Es kann aber kostspielige Folgen haben, wenn Entscheidungen basierend auf fehlerhaften oder unvollständigen Daten getroffen werden. Das kann beispielsweise geschehen, wenn die genutzte Stichprobe und der Testzeitraum zu klein waren oder diverse externe Einflüsse auf die Ergebnisse missachtet werden.
Es ist auch nicht immer ratsam, neue Funktionen oder Designoptionen hinzuzufügen, solange alte Fehler nicht behoben wurden. Stimmt die Nutzererfahrung von vornherein nicht, funktionieren Suchfenster, Menüs und Filter nicht oder lassen sich Pop-ups nur schwer ausblenden, die wichtigen Content und Schaltflächen überdecken, helfen auch keine schicken, neuen Buttons oder CTAs. Das FBSFO-Konzept schlägt vor, Prioritäten zu setzen und erst bestehende Probleme zu beheben, bevor neue hinzugefügt werden. Mitbegründer des Konzepts brachte es in seinem Vortrag „We were promised Jetpacks” (zu Deutsch: Man hat uns Jetpacks versprochen) auf den Punkt: „Man es nie einfach so hinnehmen, dass die Tür am Eingang eines Kaufhauses klemmt und die Kund:innen am Eintreten hindert. Warum behandeln wir unsere Webseiten nicht mit der gleichen Sorgfalt und dem gleichen Respekt?” Arnout Helleman schlägt in diesem Zusammenhang z.B. die Optimierung des Check-outs bzw. der Kaufabwicklung vor. Wer Kunden früh über die akzeptierten Zahlungsoptionen aufklärt, Ladeverzögerungen behebt, Lieferzeiten und Rückgabebedingungen deutlich artikuliert und automatisches Ausfüllen von gespeicherten Informationen ermöglicht, hat bereits die Nase vorn.
