Herausforderung
Die Qualitätssicherung der erhobenen Paneldaten hatte bei (r)evolution schon immer höchste Priorität. Vor der Einführung von ReDem setzte man auf Methoden wie Oversampling, Trapquestions und die Bereinigung von Speeder- und Flatliner-Antworten, um gegen „lazy respondents“ und systematischen Betrug vorzugehen. Diese Methoden waren jedoch zeitintensiv und uneinheitlich, da sie projektabhängig variierten. Besonders das Lesen und Bewerten offener Nennungen stellte eine große Herausforderung dar, da dies besonders zeitintensiv war und betrügerische Antworten immer schwerer zu erkennen waren. In den letzten ein bis zwei Jahren sah (r)evolution einen massiven Anstieg von Betrugsfällen in ihren Online-Stichproben, insbesondere in Märkten wie den USA, die stark beforscht werden und hohe Incentives bieten. Mit den traditionellen Datenprüfungs- und Bereinigungsmethoden stieß (r)evolution zunehmend an ihre Grenzen, da Betrugsfälle immer schwerer zu erkennen waren und das Oversampling in einigen Märkten nicht mehr ausreichte, um eine hohe Datenqualität zu gewährleisten.
Lösung
Um diesen Herausforderungen zu begegnen, entschied sich (r)evolution für den Einsatz von ReDem zur Qualitätssicherung. Mittlerweile wird ReDem in fast allen Panelstudien des Unternehmens eingesetzt. Dank der Live-Integration in keyingress, dem langjährigen Softwarepartner von (r)evolution, wird jedes Interview in Echtzeit anhand von definierten Qualitätskriterien geprüft. Minderwertige Daten werden sofort als „Quality Fail“ an das Panel zurückgemeldet und fließen nicht in die Quoten ein – ein großer Vorteil für die Quotensteuerung. Besonders im Fokus der Datenprüfung steht die automatisierte Prüfung offener Antworten, die (r)evolution bei jeder Studie einsetzt. Zahlreiche Qualitätsprüfungen werden automatisiert durchgeführt, darunter die inhaltliche Bewertung der Antworten sowie Duplikats-Checks sowohl innerhalb einzelner Interviews als auch interviewübergreifend. Ergänzend dazu prüft (r)evolution mit ReDem die Bearbeitungszeit und mögliche Muster in Grid-Fragen. Die Live-Integration macht den Prozess zudem deutlich einfacher und schneller.
Ergebnis
Der Einsatz von ReDem hat bei (r)evolution zu einer deutlichen Verbesserung der Datenqualität geführt, insbesondere bei der Prüfung offener Nennungen wird dies sichtbar.
Ein prägnantes Beispiel dafür ist eine Analyse zur Nutzungsabsicht von Produkten, bei der sich zeigte, wie stark Betrugsfälle die Studienergebnisse verfälschen können. Ohne eine technologie-basierte Überprüfung der Datenqualität hätten diese verzerrten Daten zu falschen Entscheidungen, etwa bei der Produkteinführung, führen können. Der Vergleich zwischen den Rohdaten und den durch ReDem bereinigten Daten offenbarte, dass die vermeintlich hohe Nutzungsabsicht in den Rohdaten hauptsächlich auf Betrugsfälle zurückzuführen war. Betrugsfälle, die durch manuelle Überprüfung mittlerweile kaum mehr zu identifizieren sind.
Zusätzlich zur Qualitätsverbesserung hat (r)evolution durch die automatisierte Datenprüfung, -bereinigung und Quotensteuerung Effizienzgewinne erzielen können. Der Zeitaufwand für die Projektleitung, Qualitätssicherung und Datenanalyse konnte deutlich reduziert werden.
"Wir erreichen nun eine Datenqualität, die wir mittlerweile angesichts des zunehmend professionellen und automatisierten Betrugs händisch nicht mehr gewährleisten könnten!" - Kim Svete (r)evolution