Logo weiterlesen.de
Erstellung von Fragebogen

Image

Eine Arbeitsgemeinschaft der Verlage

Böhlau Verlag · Wien · Köln · Weimar

Verlag Barbara Budrich · Opladen · Toronto

facultas.wuv · Wien

Wilhelm Fink · Paderborn

A. Francke Verlag · Tübingen

Haupt Verlag · Bern

Verlag Julius Klinkhardt · Bad Heilbrunn

Mohr Siebeck · Tübingen

Nomos Verlagsgesellschaft · Baden-Baden

Ernst Reinhardt Verlag · München · Basel

Ferdinand Schöningh · Paderborn

Eugen Ulmer Verlag · Stuttgart

UVK Verlagsgesellschaft · Konstanz, mit UVK/Lucius · München

Vandenhoeck & Ruprecht · Göttingen · Bristol

vdf Hochschulverlag AG an der ETH Zürich

K. Wolfgang Kallus, Univ.-Prof. Dr. rer. nat., Dr. phil. habil., lehrt an der Universität Graz am Institut für Psychologie. Er ist Leiter des Arbeitsbereichs für Arbeits-, Organisations- und Umweltpsychologie. Die konzeptgeleitete Entwicklung anwendungsorientierter Fragebogen und Messmethoden gehört seit vielen Jahren zu seinen Spezialbereichen in der Forschung und im von ihm geleiteten Institut für Begleitforschung.

Inhaltsverzeichnis

Vorwort

1 Grundprobleme der Fragebogenkonstruktion

1.1 Einführung

1.2 Fragebogen als psychometrischer Test zur Erfassung eines Merkmalsbereiches

1.3 Merkmale und deren Definition aus der Perspektive der Befragten

1.4 Grundbausteine von Fragebogen: Items als Frage-Antwort-Einheiten

1.5 Messinformation von Fragebogen: Items, Subtest und Bereichssubtest

2 Ansätze zur Präzisierung und Operationalisierung des zu erfassenden Merkmalsbereiches

2.1 Adaptierung – Übersetzung – Neukomposition vorhandener Messinstrumente

2.1.1 Adaptierung – Übersetzung

2.1.2 Übernahme von Subtests und Items bei der Neukonzeption eines Fragebogens

2.2 Konzeptgeleitete Zusammenstellung von Subtests und Items

2.3 Interviews zur Präzisierung des Merkmalsbereiches

2.4 Workshop-Methoden

2.5 Empirisch basierte Konzeptdefinition

2.5.1 Faktorenanalytische vs. theoriegeleitete Subtestbildung

2.5.2 Faktorenanalysen auf Subtestebene

2.5.3 Grenzen der faktorenanalytischen Konzeptdefinition

3 Entwicklung der Items

3.1 Antwortformate und Antwortskalen

3.1.1 Formale Struktur der Antwortskala

3.1.2 Zustimmung und Zustimmungsurteile

3.1.3 Abgestufte Zustimmung

3.1.4 Intensitätsskalierung

3.1.5 Merkmalsbezogene Skalierungen

3.1.6 Polaritätenprofil – Semantisches Differential

3.1.7 Häufigkeitsskalen

3.1.8 Wahrscheinlichkeitsskalierung

3.1.9 Scoringsysteme

3.1.10 Verankerung von Urteilen

3.2 Antworttendenzen und systematische Messfehler

3.3 Formulierung des Frage-Aussage-Teils von Items

3.3.1 Semantisch-inhaltliche Aspekte: Einfachheit

3.3.2 Sprachliche Aspekte: die Sprache der Antwortenden

3.3.3 Psychologische Aspekte

3.3.4 Unabhängigkeit der Messfehler

3.4 Skalierung

3.4.1 Skalenniveau

3.4.2 Zulässige Transformationen und sinnvolle Statistiken

3.4.3 Skalenniveau von Fragebogenitems

3.4.4 Alternativen zur Klassischen Testtheorie

4 Schritte der Fragebogenentwicklung

4.1 Erstellung des Prototypen für den Fragebogen

4.1.1 Inhaltliche Prüfung der Subtests

4.1.2 Formale Prüfung der Subtests

4.1.3 Erstellung der Erstfassung

4.1.4 Deckblatt, Instruktionen und Studieninformationen

4.2 Entwicklung der Endform und Itemselektion

4.2.1 Pretest zur Beantwortung durch Zielpersonen

4.2.2 Entwicklungsstichprobe

4.2.3 Überprüfung von Subtests durch Itemanalyse

4.2.4 Itemselektion

4.2.5 Einbeziehung von Iteminterkorrelationen, Itemvaliditäten und -reliabilitäten

5 Endform(en) des Fragebogens und Auswertung

5.1 Kurzformen und Parallelformen

5.1.1 Erstellung von Kurzformen

5.1.2 Entwicklung von Parallelformen

5.2 Fragebogenvarianten

5.2.1 State-Trait-Ansätze

5.2.2 Situationsspezifische Fragebogen

5.2.3 Selbst-/Fremdbeurteilung

5.2.4 Fragebogenformen, -varianten und -systeme

5.2.5 Das Konzept des modularen Fragebogens

5.3 Fragebogenhandbuch: Dokumentation der Fragebogenentwicklung und Auswertungsleitlinie

5.3.1 Auswertungsbogen

5.3.2 Datenaufbereitung

5.4 Subtestprofile und Normen

5.4.1 Entwicklung einer Profildarstellung

5.4.2 Vergleichswerte und Normen

6 Qualität der Endform des Fragebogens

6.1 Fragebogen nach der Klassischen Testtheorie

6.2 Zuverlässigkeitskennwerte

6.2.1 Reliabilität und Änderungssensitivität

6.2.2 Wiederholungszuverlässigkeit von Fragebogen/Subtests

6.3 Validität

6.3.1 Systematische Verzerrungen

6.3.2 Soziale Validität

6.3.3 Augenscheinvalidität

6.3.4 Konstruktvalidität

6.3.5 Kriterienvaliditäten

6.3.6 Nützlichkeit und Ökonomie

6.4 Alternativen und Ergänzungen zur Klassischen Testtheorie

6.4.1 Probabilistische Testtheorie

6.4.2 Lineare Strukturgleichungsmodelle

6.4.3 Entscheidung zwischen unterschiedlichen testtheoretischen Ansätzen

7 Fragebogen in der Praxis

7.1 Fragebogen, Interview, Verhaltensbeobachtung

7.2 Prinzipien der Durchführung von Fragebogenerhebungen in der Arbeitswelt

7.2.1 Studienvorbereitung

7.2.2 Zusammenstellung von Fragebogen für Studien

7.2.3 Studiendurchführung

7.3 Rückmeldung von Ergebnissen

7.4 Ethische und juristische Rahmenbedingungen

8 Checklisten

9 Literatur

10 Glossar

11 Stichwortverzeichnis

1 Grundprobleme der Fragebogenkonstruktion

Ein Fragebogen ist ein psychometrisch entwickeltes Messverfahren, welches den Kriterien eines psychometrischen Tests so nahe wie möglich kommen soll. Ein Fragebogen liefert quantitative Informationen zur Beschreibung von aktuellen, vorübergehenden oder überdauernden Merkmalen von Personen oder Personengruppen (z. B. Teams). Fragebogen können sehr wohl aber auch zur Beschreibung von anderen Personen oder auch von Merkmalen der natürlichen, sozialen, kulturellen, erbauten und technischen Umwelt und der Arbeitswelt herangezogen werden. Ein psychometrischer Fragebogen grenzt sich ab von einer psychophysischen Skala, die eine physische Erscheinung (z. B. Schall oder Licht) im Hinblick auf eine Skalierungsdimension (z. B. Lautheit, Helligkeit) nach den Regeln der linearen oder der multidimensionalen Skalierung abbildet. Ein Fragebogen grenzt sich zudem von einfachen schriftlichen Befragungen ab, in denen mit Einzelfragen qualitative Informationen (z. B. Geschlecht) oder bereits metrisch vorliegende Informationen (z. B. Alter, Kinderzahl, Jahresbruttoeinkommen) erhoben werden wie bei soziologischen Datenerhebungen. Diese werden immer wieder unreflektiert mit Fragebogenfragen kombiniert.

1.1 Einführung

Die Grundlagen professioneller Fragebogenentwicklung werden trotz der inflationären Anwendung des Instruments „Fragebogen“ nur in den seltensten Fällen systematisch berücksichtigt. Selbst wissenschaftlich entwickelte Fragebogen beschränken sich oft allein auf statistische Verfahren, um erst im Nachhinein die gröbsten Schwachpunkte zu identifizieren. Im Gegensatz dazu stellt das vorliegende Buch die folgenden Überlegungen in den Mittelpunkt: „Was soll (eigentlich) erfragt und gemessen werden?“ und „Welche Fragen eignen sich dazu?“. Aus der systematischen Beantwortung dieser Kernfragen und mit der Umsetzung in Fragebogenfragen lässt sich in der Regel ein Messinstrument konstruieren, das auch bei einer statistischen Prüfung positive Ergebnisse erbringt.

Eine systematische Entwicklung von Fragebogen als Methode der Selbstbeschreibung oder auch der Fremdbeschreibung wird zunehmend wichtiger, da Befragungen, Interviews und die Teilnahme an statistischen Erhebungen zwischenzeitlich zu den alltäglichen Gegebenheiten unserer modernen Gesellschaft gehören. Befragungen erfreuen sich hoher Popularität und haben eine hohe Bedeutsamkeit erlangt – für gesellschaftliche, politische und wirtschaftliche Entscheidungen, für die Ausrichtung von Strategien in Unternehmen und Organisationen bis hin zu Investitionsentscheidungen. Auch bei der Erfolgskontrolle von gesellschaftlichen, wirtschaftlichen, politischen, pädagogischen, psychologischen Projekten und bei gesundheitsbezogenen Maßnahmen spielen Fragebogen eine zunehmend wichtige Rolle. Und zudem stellen Fragebogen eine wesentliche Informationsquelle im Rahmen der Personalauswahl und -entwicklung, in der Psychodiagnostik, bei psychologischen Interventionen und in der Forschung dar. Dies betrifft nicht nur die Psychologie, sondern auch eine Vielzahl von Nachbardisziplinen. Ein Hintergrund für diese Entwicklung ist die wachsende Bedeutung der BürgerInnen als KonsumentInnen und Wirtschaftsfaktoren, der MitarbeiterInnen als „Sozialkapital des Unternehmens“, der SchülerInnen, Studierenden und PatientInnen als „KundInnen“. Diese Entwicklung trägt dazu bei, dass die Meinung, die Zufriedenheit oder der „Zustand“ von Personen für EntscheidungsträgerInnen immer gewichtiger wird und damit eine Erhebung zuverlässiger Informationen notwendig scheint. In der Mehrzahl fällt die Wahl auf eine „Befragung“ mittels Fragebogen. Selbst die moderne Qualitätssicherung baut auf Befragungen, da die Qualität von Produkten durch das NutzerInnenurteil mitdefiniert wird.

Die herausragende Bedeutung von standardisierten Befragungen bis hin zur Qualitätssicherung von Dienstleistungen und Produkten bildet den Ausgangspunkt dieses Buches, das seinerseits der Frage nach der Qualität von Befragungsinstrumenten, insbesondere von Fragebogen, nachgeht. Die Zielsetzung lässt sich zusammenfassend so formulieren: Einsatz von Fragebogen statt Bogen mit Fragen. Im Zentrum steht dabei die Fragestellung, wie vorzugehen ist, um die benötigte Information zu erhalten. Dieser Ansatz geht weit über die bisher vorliegenden Arbeiten hinaus, die sich den Themen „Wie formuliere ich Fragen?“, „Welche Antwortformate stehen zur Verfügung?“ und „Wie vermeide ich Verzerrungen in den Antworten durch soziale Erwünschtheit?“ widmen.

Selbstverständlich ist es immer möglich, eine Befragung durchzuführen, die Aussagen enthält wie „Ich bin mit meiner Arbeit unzufrieden“ , „Ich habe Angst“, „Mein Unternehmen finde ich gut“, „Ich bin ein guter Mitarbeiter/eine gute Mitarbeiterin“ mit den Antwortskalen „trifft nicht zu“ bis „trifft völlig zu“ oder „ja/nein“. Diese Aussagen und ihre Antworten erfassen jedoch nicht systematisch ein Konzept, sondern bieten lediglich grobe Anhaltspunkte für Entscheidungen. Weder die Frage nach der Zuverlässigkeit dieser qualitativ zu interpretierenden Informationen noch die Frage, ob tatsächlich das gewünschte Merkmal gemessen wird, lassen sich ohne weitere Zusatzinformationen beantworten: Unkontrollierte Urteilsfehler, Antworttendenzen, die Tendenz zur sozialen Erwünschtheit, Suggestiveffekte, Stimmungseffekte aufgrund des aktuellen Tagesgeschehens und vieles mehr mindern die Qualität der „Bogen mit Fragen“. Diese „Bogen mit Fragen“ begegnen uns in einem breiten Spektrum von Medien und in vielen Lebensbereichen. Die Palette umfasst die sog. „Psychotests“ in den Printmedien und im Internet, Volksbefragungen, KundInnenbefragungen, MitarbeiterInnenbefragungen, standardisierte Befragungen in der Markt- und Meinungsforschung. Selbst in Forschungsarbeiten aus Psychologie, Soziologie, Pädagogik, Politikwissenschaft, Betriebswirtschaft, den Umweltwissenschaften, den Kommunikations- und Medienwissenschaften sowie modernen Teildisziplinen wie der Pflegewissenschaft und den Gesundheitswissenschaften kommen oft Bogen mit Fragen statt Fragebogen zum Einsatz.

Anstelle der oberflächlichen Abfrage von augenscheinlich wichtigen Themen bezieht sich der aussagekräftige Fragebogen auf ein klar definiertes Konzept. Eine Befragung zur PatientInnenzufriedenheit kommt deshalb nicht umhin, sich auch mit der folgenden Frage zu befassen: „Was ist Zufriedenheit und was ist Unzufriedenheit?“ Ein Blick in ein psychologisches Lehrbuch zeigt, dass Zufriedenheit die Bewertung eines oder mehrerer Ergebnisse oder Prozesse in Abhängigkeit von den Erwartungen darstellt. Die Erwartungen wiederum sind durch die Kosten für das Individuum mitbestimmt. Setzt man diese Überlegungen fort, schlüsselt sich die PatientInnenzufriedenheit in Zufriedenheit mit unterschiedlichen Facetten der Behandlung und des Genesungsprozesses auf. Gleichzeitig wird die zentrale Bedeutung von Erwartungen sichtbar und es kommt der Gedanke auf, dass Zufriedenheit, fehlende Zufriedenheit und Unzufriedenheit nicht unbedingt auf einer „Dimension“ liegen.

Kriterien zur Bewertung der Instrumente und Hinweise zur professionellen Gestaltung von Fragebogen fehlen uns jedoch in den meisten Fällen oder decken nur unvollständig und theoriefern Teilaspekte ab (Porst, 2009). Die Lektüre dieses Leitfadens soll die LeserInnen in die Lage versetzen, die Unterscheidung zwischen einem „Bogen mit Fragen“ und einem „Fragebogen“ nachzuvollziehen und eine Bewertung der „Angebote“ im Spektrum zwischen spielerischem Medienquiz, Instrument zur Sammlung qualitativer und semiquantitativer Information bis hin zum Testverfahren mit diagnostischem Potenzial vorzunehmen. Den EntwicklerInnen von Befragungsinstrumenten sollen die wichtigsten Regeln für die Konstruktion eines guten Fragebogens vermittelt werden. Außerdem erfahren sie Unterstützung bei der Entscheidung, ob für die Entwicklung oder die Gestaltung eines Instruments zur KundInnenzufriedenheit oder MitarbeiterInnenzufriedenheit ExpertInnen hinzuzuziehen sind, damit in reproduzierbarer Weise hinreichend gehaltvolle Informationen über ein definiertes Konzept erfasst werden. Für die Berufsgruppe der PsychologInnen soll dieser Leitfaden die Kenntnisse der statistischen Modelle zur Fragebogen- und Testkonstruktion inhaltlich und formal ergänzen und dazu beitragen, eine effiziente und professionelle Fertigkeit zur Fragebogenkonstruktion zu entwickeln. Die Mehrzahl der beschriebenen Vorgehensweisen lassen sich in analoger Weise auf die Konstruktion von Beobachtungssystemen übertragen.

Ein Kernpunkt in diesem Buch betrifft die Operationalisierung eines Merkmalsbereiches durch (selbst)beobachtbare Indikatoren und die Umsetzung dieser Indikatoren in Gruppen leicht beantwortbarer Frage-Antwort-Einheiten. Dieser Ansatz wird bislang im Hinblick auf die Fragebogenentwicklung gar nicht oder nur am Rande behandelt. Anhand von Beispielen wird erläutert, dass ein Fragebogen nicht aus beliebigen Fragen bestehen sollte, sondern aus Gruppen von Frage-Antwort-Einheiten (sog. Items), die einem Merkmalsbereich oder Konzept zuzuordnen sind. Dabei wird eine Reihe von Grundregeln zur Formulierung von Items vorgestellt. Diese Regeln modifizieren einige althergebrachte Prinzipien, die ursprünglich eingeführt wurden, um Antworttendenzen zu vermeiden. Im zweiten Teil werden die Zusammenstellung von Items zu einem Fragebogen und die Prüfung der Fragebogengüte behandelt. In diesem zentralen Kapitel zur Fragebogenentwicklung steht die Beziehung zwischen inhaltlichen und statistischen Konzepten im Vordergrund. Dabei werden wiederholt die Grenzen der oft verabsolutierten statistischen Kenngrößen und Analyseprinzipien thematisiert und eine inhaltlich geleitete Vorgehensweise vorgeschlagen, die die statistischen Methoden als Werkzeug in ihren Dienst stellt. Im Anschluss daran werden Regeln zur Entwicklung und Prüfung der Endform des Fragebogens an Beispielen illustriert. In den letzten Abschnitten werden Fragebogen und Interview mit ihren jeweiligen Einsatzbereichen abgegrenzt sowie die Bedingungen zur Durchführung und Rückmeldung von Fragebogenerhebungen und MitarbeiterInnenbefragungen einschließlich ethischer und juristischer Aspekte diskutiert. Beispiele und Checklisten am Ende des Buches dienen der Erläuterung und Handhabbarkeit der Prinzipien und Methoden.

Die Mehrzahl der bisher vorliegenden Arbeiten zur Testkonstruktion stellt den mathematisch-statistischen Hintergrund verschiedener testtheoretischer Modelle in den Vordergrund (Böttcher, 2007; Bühner, 2011; Eid & Schmidt, 2014; Kranz, 2001; Krauth, 1995; Kubinger, 1989; Lienert & Raatz, 1998; Moosbrugger & Kelava, 2007; Rost, 2004). Arbeiten mit einem überwiegend inhaltlichen Bezug sind von Mummendey (1987) und Osterlind (1989) publiziert worden. Mummendey geht vor allem auf den Fragebogen als Forschungswerkzeug ein und beschränkt sich dabei auf Beispiele zur einstellungsorientierten Messung mit Zustimmungsskalen. Osterlind leistet in seinem englischsprachigen Werk für die Leistungs- und Kenntnismessung Ähnliches wie die vorliegende Arbeit für die Messung von Merkmalen mittels Fragebogen, die Osterlind im Vorwort explizit ausklammert. Wertvolle Tipps und Anhaltspunkte entstammen auch Arbeiten aus der empirischen Sozialforschung. In diesen Arbeiten liegt der Schwerpunkt jedoch bei Einzelfragen (Porst, 2009), nicht jedoch bei der Entwicklung von konzeptbezogenen Frage-Antwort-Gruppen, die ein psychometrisches Verfahren kennzeichnen.

Für die Entwicklung eines Fragebogens sind folgende Schritte abzuarbeiten:

1. Abgrenzung und Klärung des zu erfassenden Merkmalsbereiches und der Zielpopulation. Bei der Festlegung der Zielpopulation ist auch an mögliche Vergleichsgruppen, „Benchmarks“ und Weiterentwicklungen zu denken. Daher gilt die Regel für die Festlegung der Zielpopulation: Eher breit definieren!

2. Spezifizierung des Merkmalsbereiches und Sammlung von Beispielen. Hier sollten möglichst umfassend Verhaltensweisen, Leistungen, Manifestationen in Gedanken, Gefühlen, Motivationen, Wünschen, Symptomen und Zuständen körperlicher und psychischer Art aufgelistet/gesammelt werden. Zur Unterstützung werden in dieser Phase häufig Interviews, Verhaltensbeobachtung, Arbeitsanalysen, Unfallanalysen und Dokumentenanalysen oder auch Workshops mit ExpertInnen eingesetzt.

3. Gruppierung der Manifestationen in Teilbereiche, die in ähnlicher Weise mit unterschiedlichen Merkmalsausprägungen variieren

4. Festlegung der charakteristischen Manifestationsvariation und Festlegung der Antwortdimensionen

5. Formulierung der Items

6. Prüfung der Items auf sprachliche Konsistenz, Einfachheit und Verständlichkeit

7. Festlegung von Instruktionen, Ankern und Vorgabemodalitäten

8. Fixierung der Itemreihenfolge

9. Durchführung einer Studie zur Prüfung der Subtests/Items

10. Kürzung/Ergänzung des Fragebogens

11. Festlegung von Varianten des Fragebogens

12. Normierung und Auswertungsrichtlinien

13. Validierung und Interpretationsrichtlinien

Mit den 13 Schritten der Fragebogenentwicklung entsteht ein psychometrisch geprüfter Fragebogen mit definierter Qualität, der auch in Normensystemen (z. B. ISO 10075 oder DIN 33430) eingeordnet werden kann. Während ein „Bogen mit Fragen“ z. T. wenig zuverlässige qualitative Informationen liefert, sind mit psychometrisch geprüften Fragebogen exakte Messungen von Veränderungen der Merkmalsausprägung oder von Unterschieden zwischen Personen, Gruppen, Teams oder Organisationseinheiten möglich.

1.2 Fragebogen als psychometrischer Test zur Erfassung eines Merkmalsbereiches

Mit der Unterscheidung zwischen Fragebogen als psychometrisch geprüftem Messinstrument für quantitative Aussagen zu einem definierten Merkmalsbereich und der Vorgabe von Fragen zur späteren qualitativen Analyse („Bogen mit Fragen“) wird ein Fragebogen als Test im Sinne der klassischen Arbeit „Testaufbau und Testanalyse“ von G. A. Lienert (1969) klassifiziert. Danach ist ein Test ein „wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung“ (Lienert, 1969, S. 7). Die Vorgabe von Fragen zur qualitativen Analyse wird im Kapitel 7.1Fragebogen, Interview, Verhaltensbeobachtung“ aufgegriffen.

Ein Fragebogen versucht, den Kriterien für einen psychometrischen Test zu entsprechen und den zu erfassenden Merkmalsbereich möglichst objektiv, zuverlässig und valide abzubilden.

Objektivität im Sinne von Intersubjektivität erlaubt, die Merkmale unabhängig von den UntersuchungsleiterInnen zu erfassen. Objektivität bezieht sich dabei auf die Durchführung der Befragung, die Auswertung der Daten und die Interpretation der Ergebnisse.

Zuverlässigkeit lässt sich erzielen, wenn die Fragen so gestellt werden, dass die antwortenden Personen in konsistenter Weise antworten können und die Ergebnisse sich bei unterschiedlichen Fragen zu einer Merkmalsfacette in vergleichbarer Weise zeigen. Konsistente Antworten schlagen sich in hohen Kennwerten für die Zuverlässigkeit (Reliabilität) des Fragbogens nieder. Zur Reliabilitätsprüfung werden Parallelmessungen und/oder Messwiederholungen vorgenommen. Parallelmessungen erfolgen zum Beispiel, wenn jede Merkmalsfacette durch mehrere Fragen abgebildet wird. Messwiederholungen finden abhängig von der Stabilität des zu messenden Merkmals nach kurzem oder längerem Zeitintervall statt. Die unterschiedlichen Optionen der Reliabilitätsschätzung werden im Kapitel 6.2 zur Überprüfung der Güte von Fragebogen diskutiert.

Schließlich soll der Merkmalsbereich valide (modellkonform) abgebildet werden. Der Fragebogen soll diejenigen Merkmale und Zustände abbilden, die er zu messen vorgibt. Validität lässt sich insbesondere durch eine möglichst präzise Festlegung des zu messenden Merkmalsbereiches im Rahmen der Fragebogenentwicklung erreichen.

Die Definition des Merkmalsbereiches und seine Operationalisierung stellen einen zentralen Schritt in der Fragebogenentwicklung dar, dem in diesem Buch besondere Aufmerksamkeit geschenkt wird. Ziel der operationalen Definition ist eine Umschreibung der Äußerungsformen von Merkmalsunterschieden. Die Frage, wie sich inter- und intraindividuelle Unterschiede in der Merkmalsausprägung aus Sicht der Befragten darstellen und optimal operationalisieren lassen, stellt den zentralen ersten Schritt bei der Erstellung der Fragebogengrundeinheiten dar: die Formulierung der Items.

Die Operationalisierung des Merkmalsbereiches aus Sicht der Befragten bildet den ersten zentralen Schritt zur Sicherung der Validität (Gültigkeit) der Messungen. Selbstverständlich ist die Validität durch ergänzende empirische Daten – wie die Korrelationen zu relevanten Kriterien oder verwandten Konzepten – zu bestätigen. Hohe Validitätskoeffizienten können aber auch durch triviale Zusammenhänge oder durch Scheinkorrelationen, bedingt durch Drittvariablen, entstehen. Auch dieses Problemfeld wird in einem eigenen Abschnitt diskutiert (Kapitel 6.3). Dabei wird insbesondere das Problem der Augenscheinvalidität kritisch beleuchtet. Augenscheinvalidität ist sowohl ein Problem bei der Itemformulierung und -auswahl als auch ein Problem bei der Interpretation von Fragebogenergebnissen. Ein verbreiteter Interpretationsfehler betrifft die absolute Interpretation der erhaltenen Skalenwerte, z. B. für Arbeitszufriedenheit. Ohne Vergleichswerte verbietet sich die absolute Interpretation der Messwerte für ein psychometrisches Testverfahren, das maximal Intervallskalenniveau aufweist.

Die statistische Überprüfung der Testgüte kann mittels Klassischer Testtheorie (Lienert & Raatz, 1998; Lord & Novick, 1968), anhand der Generalisierbarkeitstheorie von Cronbach, Gleser, Nanda und Rajaratnam (1972), anhand moderner statistischer Analysen mit linearen Strukturgleichungsmodellen (Steyer & Eid, 2001) oder auch mit einer Analyse in einem probabilistischen Testmodell (Fischer, 1974) erfolgen. Auch wenn die psychometrische Testkonstruktion im klassischen Modell erfolgt und dementsprechend die Frage der Messung im engeren Sinn außen vor bleibt, kann durch die Auseinandersetzung mit der Frage nach den zu messenden Merkmalen oder Konzepten ein wesentlicher theoretischer und praktischer Gewinn resultieren. Das Verständnis für die inhaltlich notwendigen Schritte bei der Fragebogenkonstruktion hilft, psychometrisch aussagekräftige, zuverlässige Ergebnisse zu erzielen.

1.3 Merkmale und deren Definition aus der Perspektive der Befragten

Die Definition der zu erfassenden Merkmale und dafür repräsentativer persönlicher Reaktionen und Zustände, in denen sich Unterschiede im zu erfassenden Merkmalsbereich niederschlagen, stellt die Basis für eine effiziente und professionelle Entwicklung eines Fragebogens dar (Cronbach, Gleser, Nanda & Rayaratnam, 1972; Osterlind, 1989). Dieser erste wichtige Schritt wird jedoch nur von wenigen EntwicklerInnen mit der notwendigen Aufmerksamkeit und Konsequenz verfolgt.

Das Ergebnis der Operationalisierung aus der Perspektive der Befragten muss eine klare Abgrenzung und Kennzeichnung der zu messenden Konzepte und Merkmale sein. Die Operationalisierung erfolgt aus der Perspektive der Befragten. Dies meint nicht, dass die Operationalisierung auf der Ebene des Alltagsverständnisses der Befragten stehen bleibt. Psychologische Konzepte müssen aber aus der Sicht der Befragten (re)formuliert werden. Dabei ist zu klären, in welchen Ereignissen, Verhaltensweisen, persönlichen Zuständen oder auch Kognitionen sich unterschiedliche Ausprägungen des Merkmals niederschlagen. Ausgehend von einer hinreichend klaren Vorstellung über das zu messende Merkmal und die hierfür relevanten psychologischen Konzepte lassen sich die möglichen Manifestationen als Basis für die Formulierung von Items ableiten. Die möglichst klare und valide Operationalisierung der Merkmale muss immer die Frage beantworten, wie sich unterschiedliche Merkmalsausprägungen aus Sicht der Befragten darstellen und wie sie sich aus Sicht der Befragten kennzeichnen lassen. Die Übernahme der Perspektive von Befragten, von KundInnen, MitarbeiterInnen, PatientInnen und StudienteilnehmerInnen ist zentral für die angemessene und zielorientierte Formulierung von Items.

Fragen sollten sich möglichst konkret auf Aspekte beziehen, die für die Befragten sichtbar, spürbar, erlebbar und erfahrbar sind. Wenn sich Fragen auf abstrakte, vorgestellte und generalisierte Gegenstände beziehen, lassen die Ergebnisse der Befragung nur selten konkrete Vorhersagen zu und die Antworten können durch Faktoren wie eine positive Selbstdarstellungstendenz, soziale Erwünschtheit oder Antworttendenzen stark verzerrt werden. Fragen wie „Sind Sie ein zuverlässiger Mensch?“ oder „Sind Sie ein guter Autofahrer?“ erbringen deutlich mehr Ja-Antworten als aufgrund der Anzahl zuverlässiger Menschen oder guter AutofahrerInnen in der Population zu erwarten sind.

Auf der anderen Seite treffen sehr spezifische Fragen nur auf einen Teil der Personen oder nur sehr selten zu. Fragen zu seltenen Ereignissen sind für die Mehrzahl der Befragten nicht relevant und differenzieren daher oft nicht. Beispiele sind: „Ich bin in den letzten Tagen mit Unverschämtheiten am Arbeitsplatz konfrontiert worden“ oder „Ich habe im letzten halben Jahr ein große Geldsumme gewonnen“.

Fragebogen sind sowohl zur Selbst- als auch zur Fremdbeschreibung oder auch zur Selbst- und Fremdbeurteilung einsetzbar. Fragebogen können sich auf unterschiedliche Merkmalsbereiche beziehen und sind nicht auf die Messung von psychischen Merkmalen wie Emotion oder Persönlichkeitsmerkmalen beschränkt. Beispielsweise kann eine Symptomliste auch physiologische Zustände abbilden (Mehrdimensionale körperliche Symptomliste; Erdmann & Janke, 1978), ein Beschreibungsinstrument wie das „Semantische Differential“ Umweltaspekte aus Sicht der NutzerInnen widerspiegeln (Mehrabian & Russell, 1974) und ein Fragebogen wie das („Instrument zur Stressbezogenen Arbeitsanalyse“ (ISTA; Semmer, Zapf & Dunckel, 1999) Arbeitssituationen aus Sicht der Arbeitstätigen oder auch aus Sicht von ExpertInnen charakterisieren.

Wichtig ist, dass ein Item für die Bezugspopulation eindeutig beantwortbar ist. Dies bedeutet nicht, dass Items für jede Bezugsgruppe anders zu formulieren sind, vielmehr sind zu spezifische Formulierungen zu vermeiden, um Vergleichbarkeit zu erhalten. Dieses scheinbare Dilemma wird in Kapitel 5.2.5 unter dem Stichwort „modulare Fragebogen“ diskutiert und gelöst.

Als Leitfaden gilt, für den Merkmalsbereich spezifische Fragen zu finden, die in Häufigkeit und/oder Intensität für alle Befragten relevant sind. Dabei ist zu berücksichtigen, dass bei der Entwicklung von Items für einen Fragebogen nicht allein die Fragen, sondern auch die zugehörigen Antwortkategorien eine entscheidende Rolle spielen.

1.4 Grundbausteine von Fragebogen: Items als Frage-Antwort-Einheiten

Ein Fragebogen besteht aus systematisch zusammengestellten Frage-Antwort-Einheiten. Diese Frage/Feststellung-Antwort-Kombinationen werden mit dem Begriff Fragebogenitem oder kurz Item bezeichnet. Dabei werden mehrere Fragen mit einem identischen Antwortmodus vorgegeben, d. h., der Fragebogen besteht aus mehreren Items mit identischem Antwortformat. Im Abschnitt über die Formulierung von Items wird ausführlich diskutiert, dass das Antwortformat zur Frage/Feststellung passen sollte und unterschiedliche Antwortformate zur selben Frage unterschiedliche Aussagen ergeben können.

Items sind für die Beantwortenden eindeutig und klar zu formulieren. Subjektiv zu interpretierende Elemente, einseitige, suggestive oder für Personengruppen benachteiligende Formulierungen sind ebenso zu vermeiden wie Mehrdeutigkeiten. Im Idealfall entsprechen die Items dem Merkmal in repräsentativer Weise. Mit dem Perspektivenwechsel, dass es viele Antworten gibt und die dazu richtigen Fragen zu finden das eigentliche Problem darstellt, macht Michael Ende in der „Unendlichen Geschichte“ (Ende, 1979) auf das Problem der Passung zwischen Fragen und Antworten aufmerksam. Bei der Fragebogenentwicklung wird der Schwerpunkt in der Regel auf die angemessenen Fragen gelegt, ohne dabei die Antwortoptionen angemessen zu betrachten. Die Antwortoptionen sind aber oft entscheidend für treffsichere Fragen.

Mögliche Unterschiede lassen sich an der Frage „Haben Sie Kopfweh?“ verdeutlichen (Box 1).

Box 1: Unterschiedliche Antwortmodi zur selben Aussage

Image

Die unterschiedlichen Antwortmodi beleuchten unterschiedliche Facetten des Kopfschmerzproblems. Die erste Antwort lässt eine eher undifferenzierte Aussage zu und trifft wahrscheinlich eher aktuelle Kopfschmerzen, z. B. bei einer Befragung zu kritischem Raumklima oder beim „Sick-Building-Syndrom“. Der zweite Antwortmodus beantwortet die Intensitätsfrage, während die dritte Möglichkeit eher bei chronischen Kopfschmerzproblemen zu hohen Werten führt.

Bei den Antwortmöglichkeiten kann es sich im Falle von gebundenen Antwortformaten auch um qualitative Kategorien handeln (z. B. ja/nein), um geordnete Kategorien („gar nicht“, „wenig“, „etwas“, „viel“, „sehr viel“; vgl. Kallus & Krauth, 1995; Krauth, 1995), um eine metrische Skalierung oder auch um eine kontinuierliche Skala. Das Problem der Skala/Skalierung wird in Kapitel 3.4 ausführlich diskutiert.

Anmerkung: Interessanterweise ist die Mehrzahl der Items in „Fragebogen“ eher als Aussage mit Selbst-/Fremdbeschreibung und mit entsprechenden Antwortoptionen, aber nicht als explizite Frage formuliert.

1.5 Messinformation von Fragebogen: Items, Subtest und Bereichssubtest

Ziel eines psychometrischen Fragebogens ist es, unterschiedliche Merkmalsausprägungen von Eigenschaften, Einstellungen und Meinungen, Bewertungen, Verhaltenstendenzen, Zuständen oder längerfristigen Reaktions- oder Stimmungslagen bei Personen oder Personengruppen repräsentativ zu erfassen und zahlenmäßig wiederzugeben. Dabei kann es sich um Unterschiede im Zeitverlauf (Veränderungen) handeln oder um Unterschiede zwischen Personen oder Personengruppen.

Zu diesem Zweck werden bei einem Fragebogen die Werte für zusammengehörige Items zu einem Messwert, dem Subtestwert, verrechnet. Diese Zusammenfassung von Items zu einem sog. Subtest bildet die Grundlage, um die Güte der Fragen mit den Verfahren der Klassischen Testtheorie (Lord & Novick, 1968) zu analysieren. In der Regel umfasst ein Fragebogen mehrere Subtests, um einen Merkmalsbereich in seinen unterschiedlichen Facetten abzubilden. Jeder Subtest entspricht einer Facette des Merkmals. Das Konzept der Subtests stellt den Unterschied des „Bogens mit Fragen“ zum psychometrischen Fragebogen her.

Den Antworten werden bei jedem Item für die Auswertung Zahlen zugeordnet. Rein technisch werden bei zahlenmäßig vorgegebenen Antworten die Zahlenvorgaben der Antworten gewählt. Diese Konvention ist jedoch messtheoretisch nicht zwingend, da bei einer Intervallskala und natürlich auch bei einer Rangskala die Zahlenzuordnung weit beliebiger ist (vgl. Kap. 3.4). Bei der Auswertung und der Bestimmung der Güte eines Fragebogens geht der Untersuchende explizit oder implizit von den Grundannahmen („Axiomen“) der Klassischen Testtheorie aus. Die Axiome der Klassischen Testtheorie sind in Abbildung 1 dargestellt. Diese sind/lauten:

Messwert x: Dieser wird additiv in den wahren Wert t und den Messfehler e zerlegt (x = t+e).

Messfehler und wahrer Wert sind unabhängig.

Messfehler zweier Items sind unabhängig.

Image

Abbildung 1: Axiome der Klassischen Testtheorie (Kallus, 2016)

Die Axiome der Klassischen Testtheorie in Abbildung 1 fassen die Annahmen für zwei Items grafisch in Anlehnung an Steyr und Eid (2001) zusammen. Der aus der Antwort bestimmte Messwert eines Items zerfällt in Fehler und wahren Wert. Ein Subtest besteht aus zwei oder mehr Items, die jeweils eine wichtige Facette des zu messenden Merkmals (z.B. Prüfungsangst) beitragen. Abbildung 1 verdeutlicht, dass weder die Messfehler (z.B. durch unklare Itemformulierungen) mit dem wahren Wert zu tun haben noch untereinander abhängig sein dürfen (z.B. durch komplexe Syntax oder doppelte Verneinungen in beiden Fragen).

In manchen Messmodellen wird ein Teil der Antworten bei einem Item zusätzlich einem spezifischen Anteil zugeschrieben, der zwar zuverlässig erfasst wird, aber nichts Gemeinsames mit allen anderen Items ...

Wollen Sie wissen, wie es weiter geht?

Hier können Sie "Erstellung von Fragebogen" sofort kaufen und weiterlesen:

Amazon

Apple iBookstore

ebook.de

Thalia

Weltbild

Viel Spaß!



Kaufen