Im April 2020 haben wir gemeinsam mit Telemark Marketing unsere zweiteilige Validierungsstudie durchgeführt. In Zusammenarbeit mit Telemark- Marketing Geschäftsführer MMag. Robert Sobotka war es unser Ziel, die von ReDem versprochene Qualitätssteigerung bzw. Verbesserung von Umfrageergebnissen zu testen.
Die zu testende Hypothese lautete wie folgt:
Die Ergebnisse nach der Bereinigung und Gewichtung durch ReDem weisen im Vergleich zu den unbereinigten Daten eine höhere Übereinstimmung mit den Referenzdaten auf.
Als Referenzdaten verwendeten wir Daten, die durch eine 50/50 CATI/CAWI-Befragung von Telemark Marketing, mit einer bereinigten Stichprobe von 8000 (österr. Bevölkerung), erhoben wurden. Da wir für diese Studie lediglich eine unbereinigte Stichprobe von 200, durch Google Surveys, verwendet haben, gehen wir von einem vorhandenen Qualitätsunterschied der Daten (Stichprobengröße, Erhebungsmethode) aus. Mit dem Einsatz von ReDem sollte es nun möglich sein, die vermeidlich „qualitativ schlechteren Daten“ zu verbessern und somit ein Ergebnis, das sich den Referenzdaten annähert, generieren.
Konkret wurden im ersten Teil der Studie, Teilnehmer zu Ihrer Erfahrung mit österreichischen Banken befragt. Als Erhebungsinstrument wurde, wie oben angeführt, Google Surveys verwendet.
Ausgangslage der Validierungsstudie
- Erhebungsinstrument: Google Surveys
- Stichprobengröße: 200 (Österr. Bevölkerung)
- Referenzdaten: 50/50 CATI/CAWI-Befragung durch Telemark Marketing, n~8000 (repräsentativ für österr. Bevölkerung)
Das Ergebnis im Überblick
Frage: Wie zufrieden sind Sie mit den Leistungen Ihrer Bank insgesamt? Welche Schulnote würden Sie vergeben?
Blau = Unbereinigtes & Ungewichtetes Ergebnis (Jede Antwort hat gleiches Gewicht), Grün = Ergebnis nach ReDem, Gelb = Referenzergebnis CATI/CAWI Befragung n~8000, Angaben in Prozent (%)
Wie im Ergebnis gut zu sehen ist, wurde die Fehlerrate bei jeder einzelnen Antwortmöglichkeit reduziert. Insgesamt betrug die Verbesserung 37.2%.
Konkret lag die Verbesserung von Antwortoption 1 (Sehr gut) bei 36%, von Antwortoption 2 (Gut) bei 43%, von Antwortoption 3 (Befriedigend) bei 32.9%, von Antwortoption 4(Genügend) bei 39.9% und von Antwortoption 5 (Nicht genügend) bei 34.2%.
Unsere Hypothese, dass sich die „qualitativ schlechteren Daten“ durch den Einsatz von ReDem in Richtung der Referenzdaten bewegen und dadurch das Ergebnis verbessern, konnte somit bestätigt werden.
Wir bedanken uns bei Herrn Sobotka recht herzlich für die tolle Zusammenarbeit.
Weitere Ergebnisse dieser zweiteiligen Validierungsstudie finden Sie in unserem folgenden Beitrag.
