Verbesserung der Datenqualität in Online-Umfragen: Key Insights des ReDem Quality Day

Verbesserung der Datenqualität in Online-Umfragen: Zentrale Erkenntnisse des ReDem Quality Days

Am 19. Juni 2024 fand der erste internationale ReDem Quality Day statt. Diese internationale Online-Veranstaltung widmete sich einer umfassenden Untersuchung des drängenden Problems der sinkenden Datenqualität bei Online-Umfragen. Experten aus sechs verschiedenen Fachbereichen – Technik, Wissenschaft, Verbände, Institute, Online-Panels und Nutzer – teilten ihre Perspektiven, Erfahrungen, Sorgen und Lösungsvorschläge.

Erhöhte Unaufmerksamkeit der Befragten

Online-Umfragen bieten zahlreiche Vorteile, darunter Kosteneffizienz und Zeitersparnis, da sie schnell und unkompliziert erstellt und verteilt werden können. Heutzutage kann jeder von uns mit wenigen Mausklicks zum Survey Creator werden und Umfragen verschicken. Diese einfache Handhabung birgt jedoch auch erhebliche Nachteile. Oft fehlt es an fundiertem Wissen, um qualitativ hochwertige Fragebögen zu gestalten. Schlecht gestaltete Umfragen, die zu lang oder verwirrend sind, Logikfehler enthalten oder durch voreingenommene Fragestellungen auffallen, führen zu einer schlechten Nutzererfahrung. Dies frustriert die Befragten und führt letztlich zu unaufmerksamen und unzuverlässigen Antworten, insbesondere zu sogenanntem „Satisficing“-Verhalten. Satisficing tritt auf, wenn die Befragten Abkürzungen nehmen, um eine Umfrage schneller auszufüllen, oft durch die absichtliche Auswahl falscher Antworten.

Zudem verleiten die Anonymität und die angebotenen Anreize die Befragten oft dazu, Umfragen schnell und in großer Anzahl auszufüllen. Diese Faktoren verschärfen das Problem der unaufmerksamen und desinteressierten Befragten, was die Datenqualität erheblich beeinträchtigen kann. Daher ist es unerlässlich, Online-Fragebögen sorgfältig und durchdacht zu gestalten, um die Aufmerksamkeit der Befragten und somit die Zuverlässigkeit der Daten zu erhöhen. Malte Friedrich-Freksa von horizoom betont die Wichtigkeit, ein gutes Engagement und eine positive Erfahrung für Panelmitglieder zu schaffen. Er warnt, dass es ohne diese Bemühungen immer schwieriger sein wird, dass Personen gern ihre Meinung und ihr Wissen in Umfragen teilen.

Richtige Fragebogengestaltung

Die Redner des Internationalen Quality Days waren sich über die Wichtigkeit gut gestalteter Fragebögen einig. Oliver Hülser von NIQ/GfK betonte: „Gute Qualität beginnt mit dem richtigen Fragebogen.“ Ein gut durchdachter und professionell gestalteter Fragebogen ist unerlässlich, um das Satisficing-Verhalten der Befragten zu verringern. Die Integration gezielter Gegenmaßnahmen in die Umfragegestaltung kann dazu beitragen, die Aufmerksamkeit der Befragten zu erhöhen und zu verhindern, dass sie in den „Autopilot“-Modus schalten. Zudem ermöglichen solche Maßnahmen die Identifizierung unaufmerksamer Teilnehmer, beispielsweise durch gezielte Fangfragen.

Udo Wagner, Professor an der Universität Wien, präsentierte ein Framework mit vier Kategorien von Maßnahmen zur Bekämpfung von Satisficing in Online-Umfragen. Diese Kategorien werden in zwei Dimensionen unterteilt: direkte vs. indirekte und dedizierte vs. nicht-dedizierte Maßnahmen. Eine direkte und dedizierte Maßnahme (Kategorie 1) besteht beispielsweise darin, die Befragten aufzufordern, sich selbst als Entscheidungsträger vorzustellen und zu überlegen, inwieweit ihre eigenen Antworten berücksichtigt werden sollten in einer wichtigen Entscheidung. Auf der anderen Seiten wird in Kategorie 4 (indirekte und nicht-dedizierte Maßnahmen) die Zufriedenheit indirekt durch die Analyse von Antwortmustern bewertet. Dazu gehört die Überprüfung auf Ausreißer, mangelnde Konsistenz der Antworten oder übermäßige (unrealistische) Konsistenz. Für weitere Einblicke in die effektive Gestaltung von Fragebögen empfehlen wir die Präsentation von Udo Wagner.

Maßnahmen gegen Satisficing (Baumgartner, H., & Weijters, B., 2019)

Umfragebetrug

Eine weitere besorgniserregende Beobachtung, die die Sprecher des Quality Days teilten, ist der Anstieg von Umfrage Betrug und die zunehmende Schwierigkeit, diesen zu entdecken. Tia Maurer von P&G betonte, dass sie und ihr Team etwa 15-30 % der regelmäßig erhaltenen Marktforschungsdaten als betrügerisch einstufen. Dies erfordert einen erheblichen Aufwand für die Datenbereinigung, um betrügerische Aktivitäten zu identifizieren und aus den Daten herauszufiltern. Dieses Problem wird durch das Aufkommen von Klickfarmen und fortschrittlichen KI-Techniken, die das Ausfüllen von Umfragen in systematischer Art und Weise für betrügerische Aktivitäten zugänglich machen, weiter verstärkt. Interviews mit zwei Betrügern aus Bangladesch und Vietnam veranschaulichen, wie lukrativ Umfrage Betrug für Teilnehmer aus Entwicklungsländern sein kann. Durch die Teilnahme an unzähligen Umfragen und den Erhalt der ausgezahlten Anreize verdienen sie ein Vielfaches des durchschnittlichen lokalen Monatseinkommens.

Der moderne Umfragebetrug wird zunehmend schwieriger zu identifizieren, da viele technische Hürden leicht umgangen werden können. Betrüger nutzen Dienste wie TunnelBear, um ihre IP-Adresse zu verschleiern und ihren Standort zu ändern, wodurch sie an mehreren Umfragen teilnehmen können, die geografische Beschränkungen haben, und so mehrfach Anreize sammeln. Auch Fangfragen verlieren an Wirksamkeit: P&G hat beobachtet, dass Betrüger ihre Bots anpassen, sobald sie Fangfragen erkennen, und diese gezielt umgehen. Um betrügerisches Antwortverhalten zukünftig zuverlässig aufdecken zu können, ist eine ganzheitliche Prüfung der Umfragedaten unerlässlich.

Auswirkungen auf Forschungsergebnisse

Betrügerische Daten können schwerwiegende Konsequenzen haben. Laut dem 2023 Cybersecurity Ventures Cybercrime Report werden die jährlichen Kosten für Cyberbetrug, zu dem auch Umfragebetrug gehört, bis 2025 weltweit auf 10,5 Billionen Dollar geschätzt. Auf dem Quality Day präsentierte Tia Maurer ein eindringliches Beispiel einer gescheiterten Produkteinführung aufgrund unzuverlässiger Umfragedaten, die Kosten in Millionenhöhe verursachten. Die Pre-Launch-Daten einer klinischen Zahnpasta signalisierten eine hohe Nachfrage und starken Kaufwillen. Doch die Realität sah anders aus: Die Zufriedenheit der Kunden mit dem Produkt und die Absatzzahlen waren erschreckend niedrig. Eine genauere Analyse der Daten ergab, dass die Pre-Launch Ergebnisse alles andere als vertrauenswürdig waren. Die bereinigten Post-Launch-Daten offenbarten eine tatsächliche Kaufabsicht, die weniger als halb so hoch war, wie ursprünglich angenommen.

Pre-Survey & Post-Survey Checks

Pre-Survey-Checks können dabei unterstützen, betrügerische Befragte und Bots von Umfragen fernzuhalten. Und doch reichen diese Art von Maßnahmen oft nicht aus, um betrügerisches Umfrageverhalten auszuschließen. Fraud-Detection-Tools, die in Echtzeit in die Umfrage integriert werden, zielen darauf ab, unechte und betrügerische Teilnehmer von der Teilnahme an der Umfrage abzuhalten. Trotz ihrer Nützlichkeit erfassen diese Maßnahmen jedoch oft nur die offensichtlichsten Betrugsfälle und bieten keinen vollständigen Schutz, da viele technische Hürden leicht umgangen werden können. P&G hat festgestellt, dass viele Betrüger trotz Pre-Survey-Checks in die Umfragen gelangen, was die Durchführung zusätzlicher Post-Survey-Checks unerlässlich macht, um eine hohe Datenqualität sicherzustellen. Trotz dem Einsatz von Pre-Survey Checks entfernt P&G typischerweise 10-30 % der Daten durch sorgfältige Überprüfung nach Abschluss der Umfragen. Die Experten von MRS und der Global Data Quality Initiative, Debrah Harding und Chris Stevens, betonen in diesem Zuge, dass allerdings nicht alle schlechten Daten betrügerischen Ursprungs sind. In Zukunft wird es umso wichtiger sein, die eigenen Daten besser zu verstehen und sorgfältig abzuwägen, wie viele Teilnehmer entfernt werden müssen: so wenige wie möglich, aber so viele wie nötig, um die Datenqualität zu sichern.

Kosten für Qualitätsdaten

Trotz der vermeintlich niedrigen Kosten von Online-Fragebögen ist die Bereitstellung qualitativ hochwertiger Daten teurer, als viele Marktforscher und Käufer von Daten bereit sind zu akzeptieren. Der Mangel an klaren Qualitätssignalen erschwert es, den angemessenen Preis für qualitative hochwertige Daten zu bestimmen. Diskussionen konzentrieren sich oft auf den Preis und nicht auf die Datenqualität, was zu Verwirrung über die Verantwortung für die Qualitätssicherung führt. Es ist wesentlich, Käufer von Forschungsdaten über die Bedeutung der Priorisierung von Qualität über Kosten aufzuklären. Darüber hinaus kann Transparenz über die Stichprobenkonstruktion und die für die Qualitätssicherung aufgewendeten Kosten höhere Preise für Online-Umfragen rechtfertigen, wie Debrah Harding in ihrem Vortrag betont. Dies stellt sicher, dass der Fokus auf der Gewinnung qualitativ hochwertiger, zuverlässiger Daten bleibt.

Conclusio

Die Bekämpfung schlechter Datenqualität in Online-Umfragen erfordert einen vielschichtigen Ansatz. Durch die Ansprache unaufmerksamer Befragter mit gut gestalteten Fragebögen und die Implementierung von sowohl Pre- als auch Post-Survey Checks kann die Qualität von Online Umfragen erheblich verbessert werden. Zudem sind das Verständnis der Kostenimplikationen und der Fokus auf Datenqualität über den Preis entscheidende Schritte, um zuverlässige Umfrageergebnisse zu erzielen.