Im heutigen Beitrag geht es um unterschiedliche Fehlerarten, die bei Umfragen auftreten können und sich somit negativ auf Qualität und Validität der Umfrageergebnisse auswirken. Idealerweise sollten Fehlerquellen so weit als möglich reduziert werden, um die „Realität“ bestmöglich in den Umfrageergebnissen widerspiegeln zu können.
Eine große Herausforderung ist, dass die meisten Fehlerarten bei Umfragen, anders als der Stichprobenfehler, unter der sogenannten „Sichtbarkeitsgrenze“ bleiben. Die Sichtbarkeitsgrenze beschreibt, ob eine Fehlerart durch statistische Methoden berechnet werden kann. Bei Fehlern unterhalb der Sichtbarkeitsgrenze ist es somit schwierig, eine potenzielle Verzerrung der Ergebnisse zu identifizieren oder gar zu messen.
Doch welche Fehlerarten gibt es eigentlich, und wie lassen sich diese verhindern bzw. reduzieren? Diese Fragen versuchen wir heute zu beantworten.
Grundsätzlich gibt es drei übergreifende Fehlerkategorien.
- Fehler durch Auswahl der Auskunftsperson
- Fehler durch unzutreffende Angaben
- Fehler bei der Durchführung der Befragung.
Jede dieser Kategorien beinhaltet verschiedene Fehlerarten und wurden erstmals von Herbert F. Weisberg beschrieben.
Abb. 1 Übersicht der verschiedenen Fehlerarten (Quelle: Weisberg 2005)
Fehler durch Auswahl der Auskunftsperson
Stichprobenfehler
Dabei handelt es sich um den „Zufallsfehler” also den Fehler, der dadurch entsteht, dass statt der Grundgesamtheit nur eine (Zufalls-)Stichprobe befragt wird.
Da dieser Fehler durch statistische Methoden berechnet werden kann, sofern die Auswahl der Stichprobe zufällig erfolgt ist, wird er meist durch Angabe einer Schwankungsbreite (z.B. +/- 4%) dargestellt.
Der Stichprobenfehler liegt, als einzige Fehlerart über der Sichtbarkeitsgrenze und stellt so nur die „Spitze des Eisbergs“ unter den Fehlerarten dar. Dieser Fehler kann durch eine Vergrößerung der Stichprobe reduziert werden.
Fehlerhafte Stichprobenbasis
Eine fehlerhafte Stichprobenbasis besteht darin, dass Verzeichnisse von Personen, Haushalten, Unternehmen etc., die als Basis für die Erhebung verwendet werden, die Grundgesamtheit, nicht angemessen abdecken. Das bedeutet, dass die Grundgesamtheit und die Stichprobe nicht ausreichend übereinstimmen, was zu signifikanten Verzerrungen der Ergebnisse führen kann.
Im Allgemeinen bezeichnet man eine Stichprobenbasis als fehlerhaft, wenn bestimmte Teile der Grundgesamtheit entweder eine zu geringe Wahrscheinlichkeit (Unterrepräsentation) oder eine zu hohe Wahrscheinlichkeit (Überrepräsentation) haben, in die Stichprobe aufgenommen zu werden (siehe Abb. 2).
Diese Fehlerart, zählt zu den sogenannten systematischen Fehlern, was bedeutet, dass sich diese nicht berechnen lassen und auch nicht reduzieren, wenn die Stichprobe vergrößert wird. Damit liegt dieser Fehler unter der Sichtbarkeitsgrenze.
Um diesen Fehler möglichst gering zu halten, ist darauf zu achten, dass die verwendeten Verzeichnisse die Grundgesamtheit ausreichend abdecken.
Abb.2 Abdeckung der Grundgesamtheit durch eine fehlerhafte Stichprobenbasis (Quelle: Groves et al. 2009)
Ausfall von Interviews
Diese Fehlerart sagt aus, dass Auskunftspersonen z.b. telefonisch nicht erreicht werden können oder ihre Teilnahme an der Befragung verweigern. Bei hohen Ausfällen von Interviews kann es durch die geringe Stichprobenausschöpfung zu systematischen Verzerrungen kommen, die in Abb. 3 illustriert wird.
Auch diese Fehlerart befindet sich unter der Sichtbarkeitsgrenze. Den Ausfall von Interviews kann man reduzieren, indem man z.B. finanzielle Anreize für die Befragten zur Verfügung stellt. So haben Auskunftspersonen einen aktiven Anreiz an der Befragung teilzunehmen.
Abb. 3 Ausschöpfung einer Stichprobe (Quelle: Parasuraman 1986) Stichprobenbasis = Alle Elemente die potentiell in die Stichprobe kommen könnten, Gezogene Stichprobe = Elemente, die Teil der Stichprobe sind und kontaktiert wurden, Realisierte Stichprobe = Elemente, die tatsächlich an der Befragung teilnehmen
Fehler durch unzutreffende Angaben
Fehlende Angaben in Interviews (Item Non-Response)
Bei dieser Fehlerart handelt es sich vor allem um die Angabe einer „Weiß nicht“- oder „keine Angabe“ Antwort, speziell bei geschlossenen Fragen, wodurch sich der Befragte seiner Antwort entziehen kann.
Das Fehlen von Angaben der Befragten kann dazu führen, dass das Ergebnis wichtige Informationen nicht berücksichtigt und somit die Aussagekraft des Ergebnisses verfälscht wird.
Fehlende Angaben in Interviews können statistisch nicht berechnet werden und liegen dadurch auch unter der Sichtbarkeitsgrenze. Lösungsansätze für eine Reduzierung dieses Fehlers sind z.B. ein „Nachhaken“ des Interviewers bei persönlichen- oder Telefoninterviews, aber auch finanzielle Anreize für vollständige Angaben, speziell bei Online Befragungen, können sinnvoll sein.
Messfehler bei den Auskunftspersonen
Dieser Fehler entsteht, wenn Befragte beispielsweise oberflächlich oder unaufmerksam, durch Angabe sozial erwünschter Antworten unehrlich, durch Erinnerungsmängel falsch oder durch andere Einflüsse Fragen nicht korrekt beantworten. Die Frageformulierung kann diesen Fehler ebenfalls erheblich beeinflussen.
Diese Fehler gehören zu den systematischen Fehlern und liegen normalerweise unter der Sichtbarkeitsgrenze. Mithilfe von ReDem® ist es jedoch möglich, diese Verzerrungen sichtbar und messbar zu machen. Um diesen Fehler zu reduzieren, sollte bei der Fragebogenerstellung besonders auf eine neutrale Frageformulierung geachtet werden. Zusätzlich kann durch die Bereinigung von ReDem® der Fehlerteil, der von den Befragten abhängt, reduziert werden (siehe Abbildung 4).
Abb. 4 ReDem® innerhalb der Fehlerarten
Wir bei ReDem® haben uns auf die Reduktion des Messfehlers bei den Auskunftspersonen spezialisiert, da dieser Fehler oft nicht durch Marktforscher beeinflusst oder verhindert werden kann. Mit ReDem® ist es somit möglich, diesen Fehler über die „Grenze der Sichtbarkeit“ zu heben und weitgehend zu reduzieren.
Fehler bei der Durchführung der Befragung
Fehler bei der Datenaufbereitung
Dabei handelt es sich um mögliche Fehlerquellen, die im Datensatz vorhanden sein können (z. B. Falsche Codierung des Fragebogens). Diese eher technisch geprägten Fehler können das Ergebnis stark verfälschen und sollten deshalb immer überprüft werden.
Solange diese Fehler nicht eliminiert werden, liegen diese unter der Sichtbarkeitsgrenze.
Es gibt drei Wege, wie diese Fehler ermittelt und eliminiert werden können:
- Prüfen, ob der Codeplan mit den vorhandenen Werten übereinstimmt.
- Sicherstellen, dass eine logische Konsistenz der Werte, wie z. B. Alter und Bildungsabschluss vorhanden ist.
- Ermitteln, ob es Ausreißer gibt, die extrem vom sonstigen Wertebereich abweichen.
Fehler durch die Art der Kommunikation
In diesem Zusammenhang werden Fehlerarten betrachtet, die aufgrund verschiedener Kommunikationsformen (Methode) bei Umfragen wie Online-, telefonischen, schriftlichen oder persönlichen Befragungen auftreten können. Zudem ist es relevant, ob eine Befragung mit oder ohne Interviewer durchgeführt wird.
Beispielsweise könnte die Durchführung einer Online-Studie, deren Zielgruppe ältere Menschen sind, zu erheblichen Verzerrungen führen, da ältere Menschen tendenziell schwieriger online erreichbar sind. Hier wäre eine andere Methode, wie z. B. eine telefonische Befragung, besser geeignet.
Dieser Fehler kann weder gemessen noch berechnet werden und liegt daher unterhalb der Grenze der Sichtbarkeit. Jede Methode hat ihre eigenen Vor- und Nachteile. Daher ist es wichtig, darauf zu achten, dass die Frageformulierung und der Fragebogenaufbau zur gewählten Erhebungsmethode passen. Zudem sollte überprüft werden, ob durch die gewählte Kommunikationsart eine ausreichende Abdeckung der Stichprobe gewährleistet ist.
Fehler durch Spezifika des Instituts
Da es sich bei Fehlern, die durch die Spezifika eines Instituts verursacht werden, um eine systematische Fehlerart handelt, sind sie oft schwer erkennbar und liegen unterhalb der Sichtbarkeitsgrenze. Diese Fehler können aufgrund von internen Praktiken, Gewohnheiten und Prozessen entstehen, die in einem bestimmten Institut vorherrschen und somit die Genauigkeit und Objektivität der Forschungsergebnisse beeinflussen können.
Um diese Art von Fehlern so gut wie möglich zu minimieren, ist es wichtig, dass Institute ihre internen Verfahren und Vorgehensweisen regelmäßig überprüfen und gegebenenfalls anpassen. Dies kann beispielsweise durch regelmäßige Schulungen und Fortbildungen für Mitarbeiterinnen und Mitarbeiter, die Einführung von Qualitätsmanagement-Systemen oder die Implementierung von Richtlinien für gute wissenschaftliche Praxis erreicht werden.
