Incentive-Jäger, Clickfarms und Bots gefährden seit jeher die Qualität von Online-Umfragen. Bisher waren sie jedoch leicht zu identifizieren, weil sie sich zum einen durch ihren digitalen Fingerabdruck verrieten und sich zum anderen deutlich in ihrem Umfrageverhalten von jenen Menschen, die ernsthaft an Umfragen teilnehmen, unterschieden. In jüngster Vergangenheit ist jedoch eine Steigerung sowohl im Ausmaß als auch im Professionalisierungsgrad des Umfragebetrugs erkennbar. Diese neue Generation an Incentive-Betrügern lässt sich durch herkömmliche Methoden kaum noch erkennen und stellt somit zunehmend eine Herausforderung für Marktforschende dar.
Der traditionelle Umfragebetrug
„Klickbetrüger” entdeckten die Online-Werbung schon vor rund zwanzig Jahren als Verdienstquelle [1]. Mit etwas Verzögerung geschah das dann auch in der Marktforschung. Eine Vielzahl von Menschen versucht sich seither in einem wie einem Callcenter organisiertem Rahmen – den sogenannten Clickfarms – möglichst schnell durch all jene Online-Umfragen zu schwindeln, die für die Teilnahme monetäre Incentives versprechen. Ziel jedes Einzelnen ist es, die Anzahl der Incentive-Punkte, die in kurzer Zeit generiert werden können, zu maximieren [2]. Zu diesem Zweck setzen die Umfragebetrüger auch Computerprogramme (Bots) ein, die maschinell Online-Umfragen beantworten. Dazu legen sie zuerst zahlreiche E-Mail Accounts bei kostenlosen E-Mail-Diensten und Mitgliederkonten bei Online-Panels an. Die dann eingehenden Einladungslinks zu den Umfragen werden von den Umfragebots automatisiert aufgerufen und durchlaufen.
Marktforschende nutzen ihre Kenntnisse über die effizienten Arbeitsabläufe von Clickfarms, die hauptsächlich in Niedriglohnländern wie China, Indien und Bangladesch ansässig sind, um Umfragebetrüger zu entlarven. Dabei werden verschiedene Indikatoren wie kurze Umfragedauern („speeding“), monotoner Klickverlauf („straightlining“), Nonsense-Antworten (zum Beispiel willkürliche Zeichenabfolgen) und digitale Fingerabdrücke (zum Beispiel IP-Adressen) erfasst, um die betrügerischen Aktivitäten zu identifizieren.
Der Ausschluss von Daten, die durch Incentive-Jäger, Clickfarms und Bots generiert werden, ist für jede Online-Umfrage zwingend notwendig, weil ansonsten die Resultate verfälscht werden. Eine Studie [3], in der fünf der zehn größten Online-Panels in den USA untersucht wurden, kam zu der Erkenntnis, dass 46 Prozent der Daten entfernt werden mussten. Denn ein Vergleich der Ergebnisse vor und nach der Bereinigung der Daten zeigte, dass sich die Ergebnisse vor der Bereinigung diametral von jenen nach der Bereinigung unterschieden.
Eine andere Studie aus Österreich [4] ergab, dass nach der Datenbereinigung die Umfrageergebnisse um bis zu 37 Prozent näher an den Referenzdaten lagen.
Der moderne Umfragebetrug
Relativ neu ist das Phänomen, dass im Internet potentielle Incentive-Betrüger als Telearbeiter angeworben werden und auf speziellen Plattformen erlernen, wie sie bei Online-Umfragen Sicherheitslücken nützen, Identitäten technologisch verschleiern und Qualitätschecks austricksen. Die Betreiber verlangen dafür eine Art Kursgebühr von den Interessenten und/oder beteiligen sich prozentuell an deren monetären Incentives [5]. Auch werden auf solchen Plattformen aktuelle Tipps und Hinweise zum Infiltrieren von Umfragen (etwa Links, die direkt zur Incentivierung führen) geteilt.
Die einfache, schnelle und globale Verfügbarkeit dieses Spezialwissens führt zu einer zunehmenden Professionalisierung und Dezentralisierung des Umfragebetrugs. Alles Notwendige ist quasi im Home-Office verfügbar und eine Zentralisierung mittels Clickfarm nicht notwendig. Jeder kann sich also zu Hause seine eigene kleine Clickfarm kostengünstig mit einem Notebook und ein paar älteren Smartphones bauen [2]. Rechnet man mit einer Umfrage-Incentivierung von einem Euro für zehn Minuten, in denen geübte Incentive-Betrüger etwa zehn Umfragen schaffen, dann entsprechen die Einnahmen ungefähr 60 Euro pro Stunde – ein durchaus attraktiver (Neben)verdienst in vielen Ländern. Durch den Einsatz von Bots kann dieser Betrag noch deutlich gesteigert werden.
Diese Form an Umfragebetrug gefährdet die Ergebnisse in einem größeren Ausmaß, als das bei dem bisher vorherrschenden laienhaften Durchklicken von Umfragen von traditionell organisierten Clickfarms der Fall ist. Denn die neue Generation der Incentive-Betrüger hat gelernt, wie sie die Sicherheitschecks und Qualitätskontrollen von Online-Umfragen erfolgreich unterlaufen können. Sie bzw. die von ihnen eingesetzten Bots fallen nicht mehr so leicht durch speeding, straightlining, Nonsense-Antworten oder ihren digitalen Fingerabdruck auf. Eine manuelle Bereinigung der Datensätze gelingt nur noch schwer (und damit kosten- und zeitintensiv) oder gar nicht.
Empfohlene Maßnahmen
Durch eine Kombination möglichst vieler der folgenden Maßnahmen ist es möglich, den intelligenten Umfragebetrug erfolgreich zu identifizieren und zu bekämpfen:
1. Prüfung der Identität: Je strenger und aufwendiger die Form der Authentifizierung der Teilnehmer in Online-Panels, desto größer die Wahrscheinlichkeit, Missbrauch schon an dieser Stelle aufzuhalten. Beispielsweise wird durch ein postalisches Zusenden der Zugangsdaten und eine Zwei-Faktor-Authentifizierung bei jeder Umfrageteilnahme die Manipulation der Identität schwieriger.
2. Analyse von Zugriffsmustern: Ein System, welches bei ungewöhnlich vielen Neuregistrierungen von Online-Panelmitgliedern oder ungewöhnlich vielen Umfragezugriffen innerhalb eines kurzen Zeitraums Alarm schlägt.
3. Leistungsmessung: Ein Evaluierungssystem für Panelmitglieder, welches beginnend mit einer Willkommensumfrage und dann wiederholt in regelmäßigen Abständen bewertet, inwiefern die Teilnahme jedes Mitglieds ehrlich und gewissenhaft erfolgt.
4. Verzögerte Gutschrift/Auszahlung: Die Attraktivität des Incentive-Betrugs kann gesenkt werden, indem die Gutschrift/Auszahlung von Incentives nicht sofort nach Abschluss der Umfrage, sondern erst nach der bestandenen Datenbereinigung (die heutzutage meistens erst nach der Feldarbeit manuell durchgeführt wird) erfolgt. Werden Gutschriften eines Kontos stets sofort nach deren Erhalt eingelöst, könnte dies ein Indiz für Umfragebetrug sein.
5. Erfassen des digitalen Fingerabdrucks: Hier werden unterschiedliche Attribute und Parameter (wie z.B. IP-Adresse, Cookies, verwendete Hard- und Software samt ihren Einstellungen) gesammelt, um daraus Rückschlüsse auf die Identität eines potentiellen Umfrageteilnehmers abzuleiten. So können etwa (beabsichtigte und unbeabsichtigte) Mehrfachteilnahmen ein- und derselben Person, die in mehreren Panels registriert ist, an einer Umfrage verhindert werden. Anzumerken ist, dass diese Identifikation einerseits datenschutzrechtlich in der EU problematisch sein kann. Zum anderen können die Attribute und Parameter durch das Löschen von Cookies, den Einsatz von Virtual Private Networks (VPN), bestimmten Browsern oder Browsereinstellungen bzw. deren Erweiterungen sowie Proxyserver und Botnets umgangen werden.
6. Einsatz von speziellen Fragen zu Umfragebeginn: Incentive-Betrüger werden instruiert bzw. deren Bots sind so programmiert, dass sie zu Beginn möglichst viele Antwortoptionen auswählen, um die Chance der Zugehörigkeit zur Zielgruppe einer Umfrage zu maximieren. Dieses für Umfragebetrug typische Übererfüllen von Teilnahmebedingungen kann man sich zu Nutze machen, indem Fragen gestellt werden, bei denen eine Auswahl von gewissen Optionen nicht plausibel oder sogar widersprüchlich ist. Beispielsweise fragt man nach der Bekanntheit von Marken, die gar nicht existieren. Jeder Teilnehmer, der angibt, diese Marken zu kennen, wird dann schon vor dem eigentlichen Start der Umfrage ausgeschlossen.
7. Erfassen aller Zeitdauern: Sowohl Incentive-Betrüger als auch deren Umfragebots sind so instruiert/programmiert, dass sie innerhalb realistischer Zeiträume Umfragen abschließen. Die Gesamtdauer einer Umfrage hat dementsprechend nur eine begrenzte Aussagekraft. Daher sollte neben der Gesamtdauer auch die Dauer der Beantwortung einzelner Fragen erfasst und evaluiert werden. Denn der Arbeitsplatz eines professionellen Incentive-Betrügers ist üblicherweise mit zahlreichen Displays für die gleichzeitige Teilnahme an mehreren Umfragen ausgestattet. Die Umfragen werden also nicht nacheinander, sondern parallel durchlaufen. Dieses systematische Durchklicken über mehrere Displays hinweg, kann durch die Regelmäßigkeit in der Beantwortungsdauer der einzelnen Fragen erkannt werden. Auch die Bots lassen sich erfahrungsgemäß besser über die Zeitdauern der einzelnen Fragen identifizieren, weil es hier teilweise zu unrealistisch kurzen Beantwortungsdauern kommt.
8. Erfassen der Anzahl von Ausfüllfehlern: Bei Fragen, die nur gewisse Antwortoptionen erlauben, können Bots (und Incentive-Betrüger) dadurch auffallen, dass sie so oft verschiedene Optionen durchprobieren, bis sie in der Umfrage weiterkommen. Mit der Anzahl der Ausfüllfehler (in kurzer Zeit), steigt demnach auch die Wahrscheinlichkeit, dass es sich um Umfragebetrug handelt.
9. (Projektive) Kontrollfragen: Indem zum Beispiel erhoben wird, inwiefern Befragte die Häufigkeit der eigenen Antwort im Vergleich zu anderen überschätzen, lässt sich auf Grundlage des gut erforschten False-Consensus-Effekts bewerten, wie sicher und überzeugt sie von ihren eigenen Antworten sind [6].
10. Identifikation von Ausreißern: Durch statistische Verfahren lässt sich analysieren, ob Angaben so stark vom Mittel abweichen, dass es sich wahrscheinlich um kein ehrliches Antwortverhalten handelt.
11. Identifikation von Klickmustern: Durch die Identifikation gewisser Regelmäßigkeiten in Klickmustern, kann Umfragebetrug aufgedeckt werden.
12. Bewertung der Antwortqualität: Bisher musste die Qualität der Antworten auf offene Fragen nach der Feldarbeit manuell überprüft werden, was sehr aufwendig und subjektiv war. Mittlerweile gibt es technologische Lösungen, die diese Aufgabe auf Basis von künstlicher Intelligenz automatisiert und standardisiert haben und eine Datenbereinigung in Echtzeit ermöglichen.
13. Erkennen von Copy & Paste Antworten: Während der Beantwortung von Online-Umfragen, lässt sich technisch erfassen, ob Antworten in Textfelder kopiert werden.
14. Erfassen von Duplikaten: Das Erkennen von (teil)identen Antworten auf offene Fragen, sowohl innerhalb einzelner Interviews als auch über alle Interviews hinweg, ist eine wichtige Maßnahme zur Identifikation gefälschter Daten. Denn Incentive-Betrüger und ihre Bots verwenden häufig Textbausteine, die sie beliebig miteinander kombinieren, um nicht aufzufallen.
15. KI-Analyse von Verhaltensmustern: KI-Modelle können so trainiert werden, dass sie das Verhalten von Teilnehmern, die ehrlich und gewissenhaft Umfragen beantworten, von jenem der Incentive-Betrüger und Umfragebots erfolgreich unterscheiden. Voraussetzung hierfür ist zum einen, dass das Training mit zuverlässigen aktuellen Daten erfolgt, auf deren Grundlage das Modell durch Feedbackschleifen lernt, was gut und was schlecht ist. Zum anderen muss dieser Lernprozess kontinuierlich mit neuen Daten versorgt werden, weil die Umfragebetrüger ihr Verhalten laufend entsprechend der geänderten Rahmenbedingungen (wie z.B. neuen Datenqualitätschecks) anpassen.
Fazit und Handlungsempfehlungen
Es ist davon auszugehen, dass der Umfragebetrug weiter zunehmen wird, weil Incentive-Betrüger kaum negative Konsequenzen zu befürchten haben. Wird jemand vom Panelbetreiber als Betrüger eingestuft, so folgt in der Regel die Sperre der betroffenen Accounts (die naturgemäß sowieso gefälscht sind). Weitere (zum Beispiel rechtliche) Konsequenzen gibt es keine. Die Sperre der Konten, welche im Rahmen der allgemeinen Geschäftsbedingungen des Panelbetreibers erfolgt, wirkt kaum abschreckend. Insbesondere auch deshalb nicht, weil Umfragebetrüger üblicherweise laufend ihre Incentive-Punkte einlösen und somit diese Falschkonten bei Entdeckung kaum noch oder kein Guthaben aufweisen.
Allerdings wird in der Marktforschung der Stellenwert der Qualitätssicherung von Befragungsdaten, einschließlich der damit verbundenen Maßnahmen, aufgrund der zunehmenden Besorgnis um die Ergebnisse zunehmen. Doch haben nur jene Methoden einen nachhaltigen Effekt in der Betrugsbekämpfung, die den Schwindel automatisiert vor oder während der Umfrage in Echtzeit enttarnen und somit verhindern, dass Incentives gutgeschrieben bzw. ausbezahlt werden. Diese Live-Qualitätskontrolle und Bereinigung hat zudem den Vorteil, dass durch das Nichtauszahlen von Incentives, dem Einhalten von Quoten, dem nicht notwendigen Nachrekrutieren von Studienteilnehmern und dem Wegfall des aufwendigen manuellen Bereinigens Kosten und Zeit gespart werden.
Mit der Zunahme an Anzahl und Qualität der Maßnahmen zur Bekämpfung von Umfragebetrug wird vermutlich auch der Grad an Professionalität der Incentive-Betrüger und den von ihnen eingesetzten Technologien weiter zunehmen. Etwa ist zu befürchten, dass zukünftig Bots mithilfe von künstlicher Intelligenz das menschliche Verhalten bei Umfragen – wie etwa das Beantworten von offenen Fragen – wesentlich besser simulieren können, als das bisher der Fall ist. Um diese KI-Umfragebots zu erkennen, müssen dann KI-Qualitätschecks eingesetzt werden, die feststellen, ob ein Text von einem KI-Modell generiert wurde oder von einem Menschen stammt.
Zudem ist zu erwarten, dass die noch traditionell organisierten Clickfarms technologisch nachrüsten, um automatisiert ablaufende technische Sicherheitskontrollen vor der Umfrage (wie die Identitätsüberprüfung mittels digitalen Fingerabdrucks) auszutricksen.
Da sich der derzeit noch überwiegend laienhafte Betrug nach der Feldarbeit durch Durchsicht der Daten zu einem großen Teil manuell bereinigen lässt, könnte eingewendet werden, dass man durch die hier geforderten Maßnahmen immer mehr Incentive-Jäger dazu drängt, ihre Aktivitäten zu professionalisieren. Dieses Argument ließe sich wohl gegen die Bekämpfung jeglicher Art von Betrug anführen. Das Ziel einer nachhaltigen Betrugsbekämpfung muss es jedoch sein, durch den Einsatz möglichst vieler der hier angeführten Maßnahmen einen potentiellen Umfragebetrug so aufwendig zu machen, dass sich der professionelle Incentive-Betrug weder jetzt noch in Zukunft finanziell auszahlt.
All jene Marktforschende, die das Problem des zunehmenden intelligenten Umfragebetrugs ignorieren und keine oder nur unzureichend geeignete Maßnahmen dagegen ergreifen, sägen bildlich gesprochen an ihrem eigenen Ast. Denn die Auftragsgeber müssen sich auf die Daten und Ergebnisse der Marktforschung verlassen können. Wird hier beispielsweise durch Intransparenz das Vertrauen verspielt, kann das über kurz oder lang zum Imageschaden und in der Folge zu deutlichen Auftragseinbrüchen in der Marktforschungsbranche führen.
Doch auch die Auftraggeber sind gefordert. Zum einen sollen sie bei der Auftragsvergabe einen Schwerpunkt darauflegen, inwiefern geeignete Maßnahmen zur Betrugsbekämpfung ergriffen werden. Sie müssen dabei akzeptieren, dass die qualitätssichernden Aktivitäten in manchen Bereichen wie etwa bei der Panelpflege mit erhöhten Kosten einhergehen. Denn nicht das Online-Panel mit den meisten Mitgliedern, sondern das mit der geringsten Anzahl an betrügerischen Konten bietet mehr Sicherheit hinsichtlich der Datenqualität. Auf der anderen Seite können Auftraggeber durch den Einsatz von neuen Technologien, die das automatisierte und standardisierte Bereinigen von Daten noch während der Umfrage ermöglichen, Kosten einsparen.
Schließlich ist auch eine Bereitschaft der Auftraggeber notwendig, die Fragebögen von Marktforschenden so anpassen oder erweitern zu lassen, dass diese ausreichend Ansatzpunkte für Qualitätschecks bieten. Etwa sollten offene Fragen Bestandteil jedes Fragebogens sein, weil sich diese erfahrungsgemäß besonders gut zur Betrugserkennung eignen.
Trotz der zunehmenden Bedrohung durch intelligenten Umfragebetrug für die Ergebnisse von Online-Umfragen können Marktforschende dieser Herausforderung zuversichtlich entgegentreten. Die gute Nachricht ist, dass die Trefferquote einer Schrotflinte dafür ausreicht, um sie zu bewältigen. Mit anderen Worten: Eine gewisse Fehlerquote (im niedrigen einstelligen Prozentbereich) bei der Identifikation von unzuverlässigen Daten ist in der Regel akzeptabel, da sie sich nicht signifikant auf die Ergebnisse auswirkt. Problematisch wird es jedoch, wenn zehn Prozent oder mehr an schlechten Daten im Datensatz verbleiben, da dies die Resultate verfälschen kann [3]. Die Bewältigung dieser Aufgabe sollte auch in Zukunft möglich sein.
Referenzen:
[1] Wirtschaftswoche (2006): Betrüger entdecken Online-Werbung als neue Spielwiese.
[2] Trajcheva, S. (2023): Everything You Need To Know About Click Farms.
[3] Sellers, R. (2020): Still More Dirty Little Secrets of Online Panels.
[4] Kögl, F., Sobotka, R. (2022): Validierungsstudie -Themenumfrage PKW -Telemark Marketing
[5] Pasternak, O. (2019): Market Research Fraud: Distributed Survey Farms Exposed.
