„Wir müssen aufpassen, dass wir die Daten nicht mit den Abstraktionen verwechseln, die wir für ihre Analyse verwenden“, wusste bereits Psychologe und Philosoph William James. Die Wharton School of the University of Pennsylvania stellte in ihrer Studie mit dem Titel „p-Hacking and False Discovery” fest, dass 57 Prozent der Marketer:innen bei der Interpretation von Statistiken Fehler unterlaufen. Das kann schwerwiegende finanzielle Konsequenzen nach sich ziehen, etwa wenn Unternehmen in Marketing-Maßnahmen investieren, die keine oder nur geringe Wirkungen zeigen. Wir haben uns angeschaut, welche Fehlinterpretationen bei der Datenauswertung besonders häufig vorkommen, welche Fragen gestellt und statistischen Prinzipien unbedingt beachtet werden müssen, um sie zu vermeiden.
Statistik interpretieren: Das sind die häufigsten Fehler
Wir neigen dazu, Informationen zu sammeln und hervorzuheben, die unsere Meinungen und Ansichten bestätigen. Eine Eigenschaft, die als „Confirmation Bias” oder Bestätigungsfehler bekannt ist. Ein berühmtes Beispiel hierfür ist der sogenannte Hawthorne-Effekt. Forscher untersuchten dabei die Auswirkungen auf die Produktivität von Arbeiter:innen, während sie eine Fabrik-Umgebung in Illinois veränderten. Zu diesen Änderungen gehörten beispielsweise die Anpassung von Lichtverhältnissen oder die Verlegung von Arbeitsplätzen, die augenscheinlich zu Produktivitätssteigerungen führten. Tatsächlich war es das Wissen um das Experiment selbst, welches dazu führte, dass die Mitarbeitenden produktiver arbeiteten und nicht die Veränderungen der Arbeitsverhältnisse. Vor diesem Hintergrund müssen Experimente und Studien sorgfältig geprüft werden, um Verzerrungen und Fehlschlüsse zu verhindern. Wie kommt es aber, dass Marketingverantwortliche häufig die falschen Schlüsse aus Statistiken und Befragungen ziehen, auch wenn die Daten stimmen? Hier besprechen wir typische Stolperfallen bei der Interpretation von Statistiken.
Geringe und nicht-repräsentative Stichprobengröße
In der Regel wird nicht die gesamte Grundgesamtheit befragt, sondern nur ein Teil davon, die Stichprobe. Diese sollte möglichst repräsentativ sein, also ein genaues Abbild der Grundgesamtheit darstellen. Ein entscheidender Faktor ist dabei die Stichprobengröße. Je größer die Stichprobe, desto geringer die Ungenauigkeit einer Umfrage bzw. deren Schwankungsbreite. Diese Ungenauigkeit lässt sich eingrenzen, indem eine größere Gruppe von Menschen befragt wird. Wer 2.000 Personen zufällig zum eigenen Produkt befragt, erhält ein zuverlässigeres Bild als bei einer Befragung von 200 Proband:innen. Außerdem sollte die Auswahl der Befragten die Gesamtheit widerspiegeln, was z.B. durch eine Zufallsziehung sichergestellt werden kann. Glaubwürdige Umfragen geben daher immer die Anzahl der Befragten an und mithilfe welcher Methode sie ausgewählt wurden.
Kausalität und Korrelation verwechseln
Zwei Sachverhalte können miteinander korrelieren, müssen sich aber nicht gegenseitig bedingen. Wer z.B. eine Facebook-Kampagne startet und kurz darauf einen Anstieg des Traffics auf der eigenen Website bemerkt, kommt vielleicht zu dem Schluss, dass beides miteinander zusammenhängt. Das kann zutreffend sein, aber auch ein Fehlschluss. Schließlich können auch andere Faktoren eine Rolle spielen wie z.B. eine andere Kampagne, eine Weiterempfehlung durch Influencer:innen oder saisonale Effekte. Wichtig ist, alle möglichen Einflussfaktoren zu betrachten, um Einzeleffekte realistisch beurteilen zu können.
Ausreißern zu viel oder zu wenig Bedeutung beimessen
Nicht immer ist eine gerade gestartete Kampagne für einen plötzlichen Traffic-Anstieg verantwortlich. Ein plötzlicher Verkaufsrückgang ist wiederum nicht immer saisonbedingt. Ausreißerwerte, etwa in Datenreihen, können inhaltliche Gründe haben, aber auch methodische. So kann ein einzelner Extremwert bei niedrigen Fallzahlen das Ergebnis stark in eine bestimmte Richtung ziehen. Manchmal handelt es sich aber auch um eine interessante Entwicklung, die weiterer Untersuchungen bedarf, um der Ursache auf den Grund zu gehen. Marketing-Verantwortliche können sich z.B. fragen, was sich zum Zeitpunkt des Ausreißers unternehmensintern oder extern noch ereignet hat. Sie können weitere Messungen durchführen und Vergleiche ziehen, um fehlerhafte Datenerhebungen auszuschließen.
Bestätigungsfehler
Manchmal ist die Versuchung groß, sich die Daten herauszupicken, welche die eigenen vorgefertigten Annahmen bestätigen. Wer denkt und hofft, dass ein YouTube-Video, in dem viel Arbeit steckt, übermäßige Erfolge feiert, sucht sich möglicherweise gerade die Datensätze heraus, die diesen Wunsch untermauern. Eine hohe Klickzahl bedeutet aber nicht gleichzeitig hohe Aufmerksamkeit. Vielleicht haben viele Zuschauer:innen das Video bereits sehr früh abgebrochen oder eine negative Bewertung bzw. einen negativen Kommentar hinterlassen? Erfolge sollten immer durch eine breitere Linse betrachtet werden. Es ist wichtig, nicht nur den einen Datensatz ins Auge zu fassen, der gerade gelegen kommt. Eine emotional unbeteiligte dritte Person hat vielleicht einen klareren Blick auf die Zahlen.
Diese statistischen Prinzipien helfen bei einer akkuraten Datenauswertung
Die folgenden Statistik-Prinzipien unterstützen dabei, Fehler bei der Interpretation zu vermeiden und auf eine Weise zu analysieren, die wirklich nützliche Fakten liefert.
Absolute von relativen Zahlen differenzieren
Wenn ein Unternehmen seinen Umsatz um 100 Prozent steigern kann, klingt das zunächst sehr beeindruckend. Dieser Eindruck kann sich jedoch schnell ändern, wenn sich herausstellt, dass der Umsatz von Anfang an sehr niedrig war. Im Grunde kann das bedeuten, dass ein Onlineshop zwei Artikel in diesem Monat verkauft hat und im Vormonat lediglich einen Artikel. Es lohnt sich also immer, über die Prozentzahlen hinaus auf die absoluten Zahlen zu blicken, um daraus fundierte Schlussfolgerungen zu ziehen. Ein Traffic-Einbruch auf der Website von 40 Prozent ist bei 250.000 monatlichen Besuchern weitaus verheerender als bei einem kleinen Blog mit 50 Besuchern im Monat.
Will Rogers Phänomen warnt vor irreführenden Mittelwerten
Der Name dieses Phänomens geht auf den US-Komiker Will Rogers zurück. Dieser witzelte einmal, dass Bürger des Staates Oklahoma, die nach Kalifornien auswandern, den Durchschnitts-IQ beider Staaten anheben könnten. Ein Beispiel aus der Wirtschaft wäre ein Autokonzern, der in Filiale A erfolglose Verkäufer:innen und in Filiale B nur Verkaufsprofis sitzen hat. Um die Verkaufszahlen in Filiale A anzuheben, werden Mitarbeitende aus Filiale B in Filiale A versetzt. Augenscheinlich lässt sich eine beeindruckende Veränderung in Filiale A feststellen, obwohl sich in der Summe keine Verbesserung ergeben hat. Auch innerhalb eines Marketingkontextes sollten die Parameter eines Mittelwertes stets segmentiert und genauer untersucht werden. Eine Social-Media-Post für ein Webinar mit einer Konversionsrate von 40 Prozent klingt beispielsweise zunächst erfolgreich. Achten Verantwortliche lediglich auf diesen Wert, entgeht ihnen vielleicht, dass die Konversionrate bei Smartphone oder Tablet-Nutzern bei Null liegt und es Probleme mit der mobilen Landingpage gibt. Ein Mittelwert kann das nicht widerspiegeln.
Fazit:
Unabhängig davon, ob eine externe oder interne Statistik bzw. Studie als Basis für Marketingentscheidungen herangezogen wurde, gilt es immer, diese kritisch zu bewerten. Nur bei umfassender Betrachtung aller relevanten Daten und Faktoren lässt sich etwa der Erfolg einer Kampagne solide ermitteln. Auch sollte berücksichtigt werden, wer Auftraggeber der Studie ist, mit welcher Methode sie durchgeführt und mit welchen statistischen Verfahren analysiert wurde. Um Bestätigungsfehler zu vermeiden, kann eine unbefangene dritte Person, z.B. aus einer anderen Abteilung, die Daten untersuchen, um eine objektivere Analyse zu vollziehen.
