Soziale Erwünschtheit ist für die Qualität bei Umfragen eine große Herausforderung. Diese Antworten führen zu Verzerrungen in den Daten und können die Qualität von Handlungsempfehlungen negativ beeinflussen. Ein sozial erwünschtes Antwortverhalten tritt vor allem dann auf, wenn Befragte nach sozialen Normen antworten und beschreibt die Tendenz so zu antworten, wie es gesellschaftlich „erwünscht“ ist. Ein sozial erwünschtes Verhalten kann auftreten, wenn es sich bei den Fragen um sensible oder heikle Themen handelt. Beispiele hierfür sind Fragen zu Nachhaltigkeit, politischer Einstellung oder Alkoholkonsum. Auch die Erhebungsmethode hat Einfluss auf das Antwortverhalten. So kann gerade die Anwesenheit von Interviewer oder anderer Personen die Effekte von sozialer Erwünschtheit verstärken.
Da es sich bei sozialer Erwünschtheit um ein psychologisches Verhalten handelt, lässt sich diese Verzerrung nur schwer identifizieren.
In einer Fallstudie, gemeinsam mit dem österreichischen Gallup Institut, konnten wir aufzeigen, wie es mithilfe des “ReDem-Social-Desirability-Score” möglich ist, Verzerrungen durch soziale Erwünschtheit automatisiert zu identifizieren und zu korrigieren.
Wie kann soziale Erwünschtheit mit dem ReDem korrigiert werden?
Kurz gesagt ist es mit dem ReDem-Social-Desirability-Score (SDS) möglich, soziale Erwünschtheit in quantitativen Befragungen zu identifizieren. Dabei ist unser Algorithmus so konzipiert, dass sich die Anwendung in der Praxis möglichst einfach darstellt und automatisiert abläuft.
Der SDS verwendet, wie auch andere ReDem-Güte-Scores, Informationen aus projektiven Kontrollfragen. Dabei müssen Befragte eine Einschätzung über das Antwortverhalten von Anderen abgeben. Der SDS bewertet jedoch nicht das individuelle, sondern das kollektive Antwortverhalten. Das bedeutet, dass sich der SDS nicht als Kriterium für die Bereinigung auf Befragtenebene eignet, sondern als Gewichtung von Antwortoptionen.
Der SDS beruht auf dem psychologischen Phänomen des False Consensus Effekts, den wir schon in einem vorherigen Artikel beleuchtet haben.
Beim False Consensus Effekt handelt es sich um einen unbewussten psychologischen Effekt mit folgenden Prämissen:
- Personen, die eine bestimmte Meinung oder Einstellung vertreten, schätzen diese verbreiteter ein, als sie tatsächlich ist.
- Personen, die eine gegenteilige Meinung vertreten, werden die Häufigkeit anderer Meinungen eher unterschätzen.
Sollten Befragte also nicht ehrlich antworten, werden die Projektionen mit hoher Wahrscheinlichkeit nicht mit den Bedingungen des False Consensus Effekts übereinstimmen.
Für die Bewertung eines Befragten wird sodann der Mittelwert aus allen verfügbaren Projektionen herangezogen, um ein zuverlässiges Ergebnis zu gewährleisten.
Studiensetup
In unserer Pilotstudie mit dem österreichischen Gallup Institut wurden speziell Fragen gewählt, in denen ein sozial erwünschtes Antwortverhalten zu erwarten war.
Ziel war es, mithilfe des SDS eine Korrektur des Einflusses von sozialer Erwünschtheit zu bewirken. Konkret sollte der Anteil bei sozial unerwünschten Antwortmöglichkeiten erhöht werden.
- Studie 1: n = 500 repräsentativ für die österreichische Bevölkerung
- Studie 2: n = 1000 repräsentativ für die österreichische Bevölkerung
- Online-Interviews durch das eigene Gallup Online-Panel
Die folgenden Beispiele stellen einen Auszug der Studie dar und beleuchten den Korrektureinfluss des SDS auf das Ergebnis der Fragen. Die Korrektur wurde mittels der ReDem-Gewichtungsmethode vorgenommen. Das Ergebnis ohne Korrektur wird durch die blauen Balken und das korrigierte Ergebnis durch die grünen Balken dargestellt.
Studie 1 – Frage 1
Wie stehen Sie persönlich zur Frage der Migration, zu Flüchtlingen in Österreich?
In diesem Beispiel über die Meinung zu Migration sieht man sehr schön die Korrektur bei den sozial unerwünschten Antworten. Die Antwortoptionen 3 und 4, die eher eine ablehnende Haltung gegenüber Flüchtlingen zum Ausdruck bringen, wurden durch den SDS deutlich nach oben korrigiert.
Studie 1 – Frage 2
Wie sehr achten Sie persönlich auf eine gesunde und ausgewogene Ernährung?
Auch die Frage zum Thema gesunde und ausgewogene Ernährung zeigt eine Korrektur bei der sozial unerwünschten Antwortmöglichkeit. Die Einstellung, dass auf gesunde Ernährung wenig geachtet wird, gewinnt durch die Korrektur des SDS deutlich an Relevanz.
Studie 2 – Frage 1
Wie sehr ist es für Sie beim Einkaufen wichtig, dass Sie nachhaltig und vor allem umweltfreundlich einkaufen?
Auch in der zweiten Studie konnte ein ähnlicher Effekt festgestellt werden. Diese Frage sollte das Einkaufsverhalten in Bezug auf Nachhaltigkeit und Umweltfreundlichkeit beleuchten. Auch hier stieg der Anteil der sozial unerwünschten Antwort, dass Nachhaltigkeit und Umweltfreundlichkeit nur zu Marketingzwecken verwendet wird, mithilfe des SDS deutlich.
Fazit
In dieser Fallstudie konnte in allen Beispielen eindrücklich dargelegt werden, wie es mithilfe des Social-Desirability-Scores möglich ist, eine Korrektur der Verzerrung, durch soziale Erwünschtheit herbeizuführen und damit die Ergebnisqualität zu verbessern.
Ein großer Vorteil ist auch die einfache Anwendung in der Praxis. Es müssen lediglich standardisierte projektive Kontrollfragen in den Fragebogen hinzugefügt werden, nach welchen die ReDem Software die Bewertung der Befragten automatisiert durchführt.
Wir bedanken uns recht herzlich beim österreichischen Gallup Institut für die ausgezeichnete Zusammenarbeit.
Falls Sie Fragen zu dieser Studie haben oder ReDem testen möchten, kontaktieren Sie uns unter office@redem.io
