"When Fraud Stings" – Packende Umfragebetrugsfälle in der Marktforschung und was wir daraus lernen können
Der Anstieg betrügerischer Antworten hat in der Branche eine hitzige Debatte entfacht. Während Analysen zeigen, dass durchschnittlich zwischen 30 % und 40 % der Marktforschungsdaten beeinträchtigt sind (Kantar, 2022), herrscht Uneinigkeit über das tatsächliche Ausmaß der Auswirkungen auf die Geschäftsergebnisse. Einerseits deuten Berichte darauf hin, dass Umfragebetrug die Grundlage datengetriebener Geschäftsentscheidungsfindung untergräbt und damit jährlich Milliarden von Dollar kostet. Beispielsweise hat Procter & Gamble am ReDem Quality Day (Juni 2024) von einer gescheiterten Produkteinführung berichtet, die auf kompromittierten Daten basierte und dem Unternehmen Verluste in Millionenhöhe einbrachte (Videoaufzeichnung ansehen). Andererseits argumentieren einige, dass professionelle Marktforschungsunternehmen dieses Problem erfolgreich eindämmen und den Schaden begrenzen. Was jedoch klar ist: Während viele Marktforscher nach wie vor auf traditionelle und mittlerweile großteils ineffektive Methoden wie Speeding-Checks, Straightlining und Geolocation setzen, um Betrug in ihren Daten zu bekämpfen, entwickelt sich das Feld des Umfragebetrugs in rasantem Tempo weiter. Forscher warnen, dass diese Methoden allein nicht mehr ausreichen, um die zunehmend ausgeklügelten Betrugsstrategien zu bekämpfen (Goodrich et al., 2023; Pinzón et al., 2023; Storozuk et al., 2020), wodurch das Vertrauen der Käufer in die Zuverlässigkeit der Marktforschungsdaten allmählich schwindet.
Dieser Artikel beleuchtet die verschiedenen Facetten des Online-Umfragebetrugs, untersucht seine Auswirkungen auf die Marktforschung und zeigt reale Beispiele auf.
Drei reale Fallbeispiele zeigen, wie Umfragebetrug die Marktforschung herausfordert
Fall 1: Of Bees and Bytes: Entschlüsselung der Ergebnisse der US-Imkerumfrage
Forscher der University of California führten gemeinsam mit Kollegen von drei anderen Universitäten eine Umfrage durch, die sich an die US-Imkerbranche richtete. Diese Umfrage, die 2023 in einem Artikel im Applied Economic Perspectives and Policy Journal veröffentlicht wurde, zielte darauf ab, die Vorlieben kommerzieller Imker für verschiedene Vertragseigenschaften für die Bestäubung von Mandeln zu bewerten. Als Anreiz boten sie eine 20-Dollar-Amazon-Geschenkkarte an, um die Zielgruppe großer kommerzieller Imkereien mit mehr als 300 Kolonien zu erreichen. Die geschätzte Größe der Zielgruppe betrug etwa 1.200 Imker. Doch nach der Bewerbung der Umfrage auf mehreren Kanälen gingen über 2.500 Antworten ein – mehr als doppelt so viele wie die geschätzte Zielgruppe.
Nach einer genaueren Überprüfung der Daten stellten die Forscher fest, dass nur etwa 4 % der Antworten als legitim eingestuft wurden. Dementsprechend waren die ursprünglichen Ergebnisse der Umfrage wertlos und boten keine sinnvollen Einblicke in die Vertragspräferenzen der Imkerein. 96 % der Antworten waren betrügerischer Natur, hauptsächlich durch Bots verursacht, die die finanziellen Anreize der Umfrageteilnahme ausnutzen wollten.
Fall 2: Haben tatsächlich 4 % der Amerikaner Bleichmittel getrunken? Die Daten hinter diesen Schlagzeilen
Im Sommer 2020 behaupteten schockierende Schlagzeilen, dass 4 % der Amerikaner Bleichmittel getrunken hätten, um sich vor COVID-19 zu schützen – eine Zahl, die 12 Millionen US Bürger repräsentieren würde. Diese alarmierende Statistik, die auf einer Umfrage der Centers for Disease Control and Prevention (CDC) basierte, wurde weltweit von über 150 Nachrichtenagenturen zitiert. Eine eingehendere Untersuchung erzählt jedoch eine andere Geschichte.
Ein Artikel der Harvard Business Review aus dem Jahr 2021 beleuchtet diese alarmierende Statistik genauer und zeigt, wie irreführende Daten leicht Schlagzeilen machen können. Das Problem? Die ursprüngliche Umfrage hatte erhebliche Mängel. Forscher, die die Studie replizierten und strengere Maßnahmen zur Qualitätssicherung anwendeten, um ungenaue Daten zu eliminieren, kamen zu sehr unterschiedlichen Ergebnissen. Sie fanden heraus, dass fast 80 % der Befragten, die behaupteten, Bleichmittel getrunken zu haben, grundlegende Aufmerksamkeits-Checks nicht bestanden oder unplausible Antworten auf einfache Reality Checks gaben. Nach der Filterung dieser fragwürdigen Antworten sank die Zahl der bestätigten Bleichmittel-Trinker dramatisch – von 4 % auf 0 %!
“To be clear, the takeaway here isn’t that all survey data is garbage. But especially when that data is used to support claims with serious societal repercussions, it’s essential to validate results with quality control interventions”
— Harvard Business Review (2021)
Für weitere Informationen können Sie den Bericht der Harvard Business Review zu dieser Geschichte lesen.
Fall 3: Der Umfragebetrug bei der Virginia-Farm-Umfrage
Um die wirtschaftlichen Auswirkungen von COVID-19 auf landwirtschaftliche Betriebe und Agrarunternehmen in Virginia zu bewerten, starteten Forscher führender US-Universitäten eine Umfrage und boten eine 10-Dollar-Amazon-Geschenkkarten-Lotterie als Anreiz an. Zunächst schien die Umfrage erfolgreich zu sein und brachte 444 Antworten ein. Eine genauere Untersuchung ergab jedoch, dass 72 % der Antworten durch Umfragebetrug generiert waren. Angesichts dieses hohen Betrugsniveaus entschieden die Forscher, die Pläne für eine weitere Umfragerunde abzubrechen. Dieser Vorfall verdeutlicht erneut die erheblichen Herausforderungen bei der Sicherstellung der Datenintegrität in incentivierten Online-Umfragen.
Für weitere Informationen können Sie den Artikel von Goodrich et al. (2023) im Applied Economic Perspectives and Policy lesen.
Conclusio
Am Ende ist es nicht die Datenmenge, die Erfolg bringt – es ist die Qualität der Daten. Die wahre Stärke von Daten liegt in ihrer Genauigkeit, Relevanz und Zuverlässigkeit. Während wir voranschreiten, müssen wir proaktiv die Herausforderungen des Umfragebetrugs angehen und sicherstellen, dass das Vertrauen in die Marktforschung nicht untergraben wird. Laut dem 2024 GRIT Insights Practice Report priorisieren 80 % der Marktforschungskäufer die Datenqualität als entscheidenden Faktor bei der Auswahl ihrer Partner, was die kritische Bedeutung zuverlässiger Umfragedaten in der heutigen Geschäftswelt unterstreicht.
Mit den richtigen Werkzeugen und einer proaktiven Einstellung können wir sicherstellen, dass unsere Erkenntnisse nicht nur aufschlussreich, sondern auch vertrauenswürdig sind. Die Umfrageforschung wird weiterhin florieren, und jetzt ist der perfekte Zeitpunkt, ihre Integrität zu stärken. Wie JFK weise sagte: „Der beste Zeitpunkt, das Dach zu reparieren, ist, wenn die Sonne scheint.“
