Die Frage, ob die Antwort eines Umfrageteilnehmers glaubwürdig ist, stellt sich jeder Marktforscher spätestens, wenn es um die Bereinigung der Daten geht.
Eine wie wir finden essentielle Frage, da diese ausschlaggebend dafür ist, welche Daten für die Studienergebnisse verwendet werden. Daraus resultierend, welche Handlungsempfehlungen abzuleiten sind.
Derzeit wird meist über statistische Verfahren und manuelle Plausibilitätschecks versucht, auf die Antwortqualität der Befragten rückzuschließen. Vor allem werden Zeitdauer, Varianz und Plausibilität von Textantworten überprüft und bewertet.
Das Problem hierbei ist jedoch, dass oft nur einzelne Aspekte der Antwortqualität beleuchtet werden (z. B. nur Befragungsdauer).
Außerdem unterscheidet sich der Bereinigungsprozess durch die manuelle/individuelle Komponente von Marktforscher zu Marktforscher, was wiederum zu Qualitätsunterschieden und wenig vergleichbaren Ergebnissen führt.
Welche Möglichkeiten zur Identifizierung der Qualität gibt es?
In unserem letzten Beitrag sind wir bereits auf formale und inhaltliche „Antworttendenzen“ eingegangen und haben aufgezeigt, zu welchen Verzerrungen es bei quantitativen Befragungen kommen kann.
In diesem Beitrag geht es nun darum, konkrete Möglichkeiten aufzuzeigen, die Ihnen dabei helfen sollen, die Antwortqualität eines Befragten bei Befragungen zu identifizieren.
Zeit
Die Befragungsdauer ist speziell bei Online-Befragungen ein wesentlicher Faktor für die Identifizierung von oberflächlichem Antwortverhalten.
Sogenannte “Speeder” oder “Durchklicker” sind relativ leicht mittels Befragungsdauer zu identifizieren.
Dabei gibt es unterschiedliche Identifizierungsmöglichkeiten. Eine Möglichkeit ist es, eine Mindestzeit zu definieren, um all jene zu entfernt, die die Befragung schneller beendet haben. Eine zweite Möglichkeit ist es, den Median der Befragungsdauer aller Befragten zu berechnen und Teilnehmer, die beispielsweise doppelt so schnell waren, zu entfernen.
Varianz
Mithilfe von Varianzmessungen können mehrere formale Qualitätsaspekte gemessen werden. Einer dieser Qualitätsaspekte ist das sogenannte Straightlining: Es tritt auf, wenn Befragte identische oder fast identische Antworten auf Items in einer Fragebatterie geben und dabei dieselbe Antwortskala verwenden. Auch Zustimmungstendenzen oder Tendenzen zur Mitte/Milde/Härte können durch eine Varianzmessung identifiziert werden.
Bei einer geringen Varianz der analysierten Werte deutet vieles auf eine entsprechende Verzerrung hin.
Analyse von Textantworten
Ein guter Indikator für die Qualität eines Umfrageteilnehmers ist die Plausibilitätskontrolle von Textantworten. Sollte ein Befragter eine inhaltslose Zeichenkombination, wie z. B. “gdargacsafs” oder auch eine wenig wertvolle Antwort, wie z. B. “Alles” angeben, so ist von einer geringen Qualität der Antwort auszugehen.
Die Herausforderung hierbei ist der enorme Aufwand alle Antworten auf Plausibilität zu überprüfen und wenig plausible entsprechend zu entfernen.
Hier können intelligente Machine Learning Algorithmen (Künstliche Intelligenz) hilfreich sein, um die Antworten automatisiert zu bewerten und zu filtern. Ein solches Verfahren bieten wir bei ReDem in Form des „Open-Ended-Scores“ an.
Überschätzung der eigenen Antwort gegenüber anderen Befragten
Ein weiterer spannender, jedoch noch wenig verbreiteter Indikator ist die Übereinstimmung einer Antwort mit dem sogenannten “False Consensus Effect”. Auch dazu haben wir bereits einen Beitrag veröffentlicht. Im Prinzip beschreibt der False Consensus Effect die psychologische Tendenz, die Häufigkeit bzw. Verbreitung der eigenen Meinungen in der Bevölkerung zu überschätzen. Beispielsweise werden Apple Fans den tatsächlichen Anteil an Apple Fans überschätzen.
Dieser Effekt tritt auch auf, wenn Menschen denken, dass ihre Meinung nicht mit der Mehrheit übereinstimmt. Menschen werden die Häufigkeit ihrer eigenen Meinung immer höher einschätzen, als Menschen mit einer gegenteiligen Meinung oder Einstellung.
Bezogen auf Befragungen, werden dadurch Antworten, die nicht mit diesem beschriebenen Phänomen übereinstimmen, eine hohe Wahrscheinlichkeit haben, nicht glaubwürdig zu sein.
Besonders sozial erwünschtes Antwortverhalten ist damit gut identifizierbar.
Voraussetzung für die Anwendung dieser Kontrollmöglichkeit ist das Vorhandensein einer projektiven Angabe. Dabei müssen die Befragten eine Einschätzung über das Antwortverhalten der anderen Befragten abgeben.
Einschätzung der Antwort von anderen Befragten (Meta-Predictions)
Eine weitere gute Möglichkeit, vor allem um oberflächliches Antwortverhalten (Satisficing) zu identifizieren, ist die Prognosefähigkeit der Befragten, über die tatsächliche Antwortverteilung einer Frage zu bewerten. Konkret müssen hier Befragte, wie auch schon im vorherigen Abschnitt beschrieben, einschätzen, wie andere Befragte bei der jeweiligen Frage antworten werden. Beispielsweise könnte eine projektive Frage folgendermaßen formuliert sein: “Wie glauben Sie, werden andere Kunden das Produkt XY bewerten?”
Dabei wird bewertet, wie stark die Prognose jedes Befragten von der tatsächlichen Verteilung abweicht.
Bei einer großen Abweichung über mehrere Fragen hinweg, ist von einem oberflächlichen Antwortverhalten auszugehen.
Allgemeine Plausibilitätschecks
Zudem dienen allgemeine Plausibilitätschecks dazu, Rückschlüsse auf die Antwortqualität der Befragten zu ziehen. Dabei wird kontrolliert, ob einzelne Angaben von Befragten stimmig sind. Beispielsweise wäre es nicht schlüssig bei einer Befragung zum Kaufverhalten bei Autos, eine Antwort vorzufinden, in welcher ein 16 Jahre alter Schüler einen Bugatti fährt.
Die Herausforderung bei den Plausibilitätschecks ist meist der enorme Aufwand der Durchführung. Um wirklich jeden Datensatz einem manuellen Plausibilitätscheck zu unterziehen, bedarf es einem aufwendigen, oft stundenlangen Analyseverfahren.
Kontrollfragen
Kontrollfragen werden, wie auch die Befragungsdauer, vor allem bei Online Befragungen verwendet. Dabei müssen Befragte eine klar definierte Angabe machen. Beispielsweise: Wählen Sie bei dieser Frage die vierte Antwortoption aus. Alle Teilnehmer, die eine andere Angabe gemacht haben, werden entfernt. Auch damit lassen sich vor allem “Durchklicker” oder “Speeder” identifizieren.
Das Problem bei den klassischen Kontrollfragen ist, dass das Beantworten solcher Fragen für die Befragten sehr anstrengend werden kann und auch bevormundend wirkt.
Erinnerungen differenziert betrachten
Da sich die meisten Befragungen auf die Vergangenheit beziehen, müssen die Befragten Erinnerungen aus ihrem Gedächtnis abrufen. Dabei kann es sein, dass sich eine Frage auf verschiedene Zeithorizonte bei Befragten bezieht. z. B. Frage 1: Wann war Ihr letzter Autokauf? Frage 2: Wie zufrieden waren Sie mit Ihrem Autokauf? Bei diesem Beispiel sieht man sehr gut, dass sich die Frage nach der Zufriedenheit auf unterschiedliche Zeithorizonte beziehen kann – je nachdem, wann der letzte Autokauf stattgefunden hat.
Da unser Gehirn kürzlich wahrgenommene Ereignisse stärker gewichtet als Ereignisse, die schon länger zurückliegen, sollte dieser Faktor auch in der Datenbereinigung eine Rolle spielen.
Fazit
Mit diesen Faktoren kann bereits der Großteil der qualitativ schlechteren Datensätze identifiziert und auch im Ergebnis entsprechend berücksichtigt werden. Wichtig ist, dass die Qualität von Umfrageteilnehmer nicht nur von einem Blickwinkel, sondern von so vielen wie möglich betrachtet wird, um ein möglichst vollständiges Bild über die Antwortqualität eines Befragten zu erhalten.
Um die Daseinsberechtigung der professionellen Marktforschung zu gewährleisten, ist es aus unserer Sicht unabdingbar, einen Branchenstandard für den Prozess und die Kriterien der Datenbereinigung zu etablieren und transparent an die Auftraggeber zu kommunizieren. Jeder Bericht einer Marktforschungsstudie sollte zukünftig einen Abschnitt enthalten, der sich mit der Datenqualität und den entsprechenden Details auseinandersetzt. Denn letztendlich ist die Datenqualität ein wesentlicher Faktor für den Erfolg und die Glaubwürdigkeit der Marktforschung.
Mit ReDem, als Lösung zur automatisierten Bereinigung und Qualitätsoptimierung von Befragungsdaten, ist dieser unabhängige Branchenstandard unser Ziel.
