Vorlesung Empirische Managementforschung - Forschungsdesign - PDF

Vorlesung Empirische Managementforschung Forschungsdesign Prof. Dr. Frank Walter  Struktur und Ablauf des Moduls Wissenschaftstheoretische Grundlagen...

Vorlesung Empirische Managementforschung Forschungsdesign Prof. Dr. Frank Walter  Struktur und Ablauf des Moduls Wissenschaftstheoretische Grundlagen Auswahl des Forschungsproblems Theorie- und Hypothesenbildung Konzeptspezifikation, Bestimmung des Operationalisierung, Messung Forschungsdesigns Auswahl der Untersuchungseinheiten Datenerhebung Datenerfassung und Datenanalyse Publikation 2 Quelle: nach Schnell et al., 2023 Heutige Agenda Grundlagen Störfaktoren Forschungsdesigns – Experimente – Quasi-Experimente – Korrelative Designs – Kombination von Untersuchungsformen 3  Grundlagen Forschungsdesign: Gesamtheit der „Entscheidungen darüber, wann, wo, wie und wie oft die empirischen Indikatoren an welchen Objekten gemessen werden sollen“ Ziele – Empirischer Test von Theorien bzw. Hypothesen – Ausschluss möglichst vieler Alternativerklärungen Entscheidend für Grad der Gewissheit, mit dem auf Basis der Daten Schlussfolgerungen über eine Hypothese gezogen werden können 4 Quelle: Schnell et al., 2023  Grundlagen Idealfall: Kausale Schlussfolgerungen UV AV (z.B. Training) (z.B. Arbeitsleistung) Voraussetzungen für kausale Schlussfolgerungen Ausschluss von Kovariation Zeitliche Präzedenz Alternativerklärungen Variation in UV geht UV ist AV zeitlich Beobachteter mit Variation in AV vorgeordnet Zusammenhang nicht einher durch Störfaktoren erklärbar 5 Quelle: Eid et al., 2010  Korrelation ≠ Kausalität ACHTUNG: Kovariation allein reicht nicht aus, um kausale Schlussfolgerungen zu ziehen Beispiel 1: 6 Quelle: Fletcher, 2014 (BBC News Magazine)  Korrelation ≠ Kausalität Beispiel 2: 7 Quelle: http://www.businessweek.com/magazine/correlation-or-causation-12012011-gfx.html Heutige Agenda Grundlagen Störfaktoren Forschungsdesigns – Experimente – Quasi-Experimente – Korrelative Designs – Kombination von Untersuchungsformen 8  Störfaktoren Definition: Faktoren, die Alternativerklärungen (außer der UV) für den beobachteten Zusammenhang darstellen – Bedrohung der „internen Validität“ Forschungsdesigns unterscheiden sich in ihrer Fähigkeit, spezifische Störfaktoren auszuschließen Entscheidend für die Qualität eines Forschungsdesigns 9 Quelle: Schnell et al., 2023  Beispiele für wichtige Störfaktoren Zwischenzeitliches Geschehen (history) Faktoren, die zusätzlich zur UV die AV beeinflussen z.B. Ereignis zwischen Pre- und Posttest bei Experiment Reifungsprozesse (maturation/decay) Intrapersonale Veränderungen, die die AV beeinflussen z.B. Ermüdung während eines Experiments Messeffekte (testing) Veränderung der AV durch den Messvorgang (nicht durch UV) z.B. Konsistenz der Antworten bei zweimaliger Messung 10 Quelle: Schnell et al., 2023  Beispiele für wichtige Störfaktoren Hilfsmittel (instrumentation) Variation in Messverfahren/Verhalten des Messenden beeinflusst AV z.B. unterschiedlicher Verhalten gegenüber Versuchspersonen Verzerrte Auswahl (selection) Vor Untersuchung bereits existierende Unterschiede beeinflussen AV z.B. Auswahl von „High Potentials“ für ein Training Verzerrter Ausfall (mortality) Ausfälle von Untersuchungspersonen beeinflussen AV z.B. unmotivierte Teilnehmer eines Trainings brechen ab 11 Quelle: Schnell et al., 2023  Beispiele für wichtige Störfaktoren Störfaktoren können auch „externe Validität“ bedrohen – Generalisierbarkeit der Befunde Reaktive Effekte des Reaktivität Forschungskontexts Pretest verändert Sehr weit von Nor- Effekte des Treatment malität entfernt (z.B. auf die AV Labor) z.B. Leistungsmessung Spezifische Eigen- intensiviert Teilnahme schaften (z.B. an Training bestimmtes Land/ Unternehmen) 12 Quelle: Schnell et al., 2023  Generelle Kontrolle von Störfaktoren Ziel des Forschungsdesigns: Ausschließen oder zumindest kontrollieren von Störfaktoren Elimination: Konstanthaltung: Ausschaltung von Störgrößen Identische Bedingungen Vermeidung potentiell Labor: z.B. konstantes störender Einflüsse Verhalten des Versuchsleiters In Laborexperimenten oft Feld: Identische Materialien, weitgehend realisierbar vergleichbare Bedingungen Kann auch statistisch erfolgen (→ Kontrollvariablen) Vollständige Elimination/Kontrolle gelingt i.d.R. nicht! 13 Quelle: Schnell et al., 2023  Kontrolle von Störfaktoren bei (Quasi-)Experimenten Matching: Randomisierung: Ähnlichkeit Experimental- und Zufällige Zuweisung Kontrollgruppe Experimental-/Kontrollgruppe z.B. ähnliche Leistung, Systematische Unterschiede in demographische Eigen- Gruppenzusammensetzung schaften unwahrscheinlich Problem: Bei vielen Variablen Effektivste Möglichkeit der impraktikabel umfassenden Kontrolle von Störfaktoren 14 Quelle: Schnell et al., 2023 Heutige Agenda Grundlagen Störfaktoren Forschungsdesigns – Experimente – Quasi-Experimente – Korrelative Designs – Kombination von Untersuchungsformen 15  Experimente Ein experimentelles Design liegt vor, wenn drei Bedingungen erfüllt sind: 1. Mindestens zwei experimentelle Gruppen 2. Zufällige Zuordnung der Versuchspersonen zu diesen Gruppen (Randomisierung) 3. Unabhängige Variable wird „manipuliert“ (bewusster experimenteller Stimulus) Experimentalgruppe Kontrollgruppe: (treatment group): Gruppe ohne Stimulus Gruppe mit Stimulus 16 Quelle: Diekmann, 2013  Experimentelle Designs Klassisches Versuchs- und Kontrollgruppendesign R| X O R| O t1 t2 Kontrolliert (bei erfolgreicher Randomisierung) die wichtigsten Störfaktoren interner Validität Keine formale Kontrolle des Ausgangsniveaus der AV, wg. Randomisierung aber i.d.R. nicht kritisch Häufiges Design in der experimentellen Management- forschung 17 Quelle: Diekmann, 2013  Experimentelle Designs Vorher-Nachher-Messung mit Kontrollgruppe R| O X O R| O O t1 t2 t3 Vorteile wie beim klassischen Design, zusätzlich Kontrolle des Ausgangsniveaus der AV möglich Vorher-Messungen in den beiden Gruppen bei gelungener Randomisierung annähernd identisch Potentielles Problem: Reaktivität auf Vorher-Messung 18 Quelle: Diekmann, 2013  Experimentelle Designs Solomon Vier-Gruppen-Versuchsplan R| O X O R| O O R| X O R| O t1 t2 t3 Vereint Vorteile des klassischen Designs mit denen der Vorher-Nachher Messung mit Kontrollgruppe Potentielles Problem: Höherer Aufwand 19 Quelle: Diekmann, 2013  Vorteile von Experimenten Experimente können alle Störfaktoren der internen Validität kontrollieren! – Entscheidend: Randomisierung und identische Bedingungen (außer Stimulus) z.B. „Reifung“, „zwischenzeitliches Geschehen“, „Hilfsmittel“ – Störfaktoren betreffen Experimental- und Kontrollgruppe – Unterschiede können nur durch UV erklärt werden Starkes Untersuchungsdesign, ermöglicht kausale Schlüsse U.U. aber Mängel bei externer Validität − Forschungskontext oft relativ künstlich 20 Quelle: Schnell et al., 2023  Labor- vs. Feldexperimente Laborexperimente Feldexperimente In streng kontrolliertem In Alltagsumgebung der Laborumfeld Versuchspersonen Hohe Kontrolle von Stör- Kontrolle von Störfaktoren faktoren → hohe interne schwieriger → evtl. Validität Einbußen interner Validität Evtl. Probleme externer I.d.R. Vorteile für externe Validität Validität – Teilnehmer oft Studierende – Teilnehmer oft Manager (nicht Manager) – Realistischere Umgebung – Künstliches Umfeld 21 Quelle: Schnell et al., 2023  Beispiel aus der Forschungspraxis Forschungsfrage (vereinfacht): Auswirkung wahrgenommener Mitarbeiterleistung auf destruktive Führung? R| X1 O Klassisches experimentelles Design R| X2 O – X1: Hohe Mitarbeiterleistung t1 t2 – X2: Niedrige Mitarbeiterleistung – Szenario-Experiment (Labor): Manipulation innerhalb einer hypothetischen „Vignette“ („Stellen Sie sich vor, sie wären…“) Teilnehmer – 157 niederländische Studierende (Business & Economics) – 54% männlich, durchschnittl. 22 Jahre Ergebnis: Signifikant weniger destruktive Führung bei hoher als bei niedriger Mitarbeiterleistung 22 Quelle: Walter et al., 2015 (Study 1) Heutige Agenda Grundlagen Störfaktoren Forschungsdesigns – Experimente – Quasi-Experimente – Korrelative Designs – Kombination von Untersuchungsformen 23  Quasi-Experimente Quasi-experimentelle Designs folgen experimenteller Logik, erfüllen jedoch nicht alle Anforderungen an ein Experiment Häufigste Einschränkung: Keine oder unvollständige Randomisierung In Mgt.-forschung oft unvermeidlich, v.a. bei Feldforschung – Mangelnde Kontrolle über Zuordnung der Versuchspersonen Viele Störfaktoren nicht mehr ausschließbar Probleme interner Validität 24 Quelle: Diekmann, 2013  Quasi-experimentelle Designs Vorher-Nachher-Design, nicht-gleichartige Kontrollgruppe O X O O O t1 t2 t3 Vorher-Messung ist entscheidend (Unterschiede möglich) Vergleich der Veränderung beider Gruppen kontrolliert Störfaktoren, die beide Gruppen betreffen – z.B. zwischenzeitliches Geschehen, Reifung Andere Störfaktoren bleiben jedoch problematisch – z.B. verzerrte Auswahl, verzerrter Ausfall – auch: „regression to the mean“ Potentiell interessant, aber weniger eindeutig als echtes Experiment 25 Quelle: Diekmann, 2013  Quasi-experimentelle Designs Zeitreihen-Design (interrupted time series) O O O O X O O O O t1 t2 t3 t4 t5 t6 t7 t8 t9 Längerfristige Trendvergleiche vor und nach Maßnahme bzw. Ereignis (X) Ermöglicht Trennung von Trends und Maßnahmeneffekten Manche Störfaktoren unwahrscheinlich bzw. identifizierbar – z.B. Reifung, regression to the mean Andere Störfaktoren bleiben problematisch – z.B. zwischenzeitliches Geschehen 26 Quelle: Diekmann, 2013  Quasi-experimentelle Designs Zeitreihen-Design mit mehreren Zeitreihen O O O O X O O O O O O O O O O O O t1 t2 t3 t4 t5 t6 t7 t8 t9 Kombiniert Vorteile einfacher Zeitreihe mit Kontroll- möglichkeit durch Vergleichsgruppe Zwischenzeitliches Geschehen als Störfaktor unwahr- scheinlicher Problem: Vergleichsgruppe muss geeignet sein Generelle Voraussetzung bei Zeitreihendesigns: Viele Messungen vor und nach der Maßnahme 27 Quelle: Diekmann, 2013 Heutige Agenda Grundlagen Störfaktoren Forschungsdesigns – Experimente – Quasi-Experimente – Korrelative Designs – Kombination von Untersuchungsformen 28  Korrelative Designs Grundidee korrelativer Untersuchungen – Keine Manipulation der UV – Messung der „natürlichen“ Varianz von UV und AV – Bestimmung der Kovarianz/Korrelation von UV und AV Häufiger Ansatz in der Managementforschung (z.B. Feldforschung mit Fragebögen) Anfällig für verschiedene Störfaktoren Unvermeidlich, wenn UV nicht manipuliert werden kann oder darf (z.B.: Intelligenz → Arbeitserfolg) 29 Quelle: Eid et al. (2010)  Probleme korrelativer Designs Varianz der unabhängigen Variable Bei selten auftretenden Merkmalen u.U. zu geringe Varianz Beispiele – Hochbegabung → Arbeitserfolg – Gewalt am Arbeitsplatz → Bindung an die Organisation Lösungsansätze – Ausreichend große Stichprobe – Gezielte Auswahl der Untersuchungsfälle bzgl. UV 30 Quelle: Schnell et al., 2023  Probleme korrelativer Designs Kausale Reihenfolge von Variablen UV → AV oder AV → UV? V.a. bei Querschnittdesigns problematisch Beispiel: Zusammenhang zw. Zufriedenheit und Leistung Lösungsansatz – UV und AV jeweils mehrfach messen (cross-lagged panel; Längschnittdesign) → ermöglicht Vergleich der kausalen Reihenfolgen 31 Quelle: Eid et al. (2010); Schnell et al. (2023)  Probleme korrelativer Designs Kontrolle von Drittvariablen Drittvariablen können Scheinkorrelationen bewirken oder tatsächlich existierende Zusammenhänge verdecken Lösungsansatz – Potentiell wichtige Drittvariablen messen und statistisch kontrollieren → Kontrollvariablen – Problem: Nicht alle relevanten Drittvariablen sind bekannt bzw. nicht alle können erfasst werden 32 Quelle: Eid et al. (2010); Schnell et al. (2023) Probleme korrelativer Designs Common Method Bias/Common Source Bias Scheinzusammenhang, wenn UV und AV am gleichen Objekt mit gleicher Methode gemessen wurden Spezialfall des Drittvariablenproblems – z.B. Stimmung beim Ausfüllen eines Fragebogens Lösungsansätze – Unterschiedliche Messquellen für UV und AV – Deutlich unterschiedliche Messmethoden – UV und AV zeitlich versetzt messen 33 Heutige Agenda Grundlagen Störfaktoren Forschungsdesigns – Experimente – Quasi-Experimente – Korrelative Designs – Kombination von Untersuchungsformen 34  Kombination von Untersuchungsformen Jedes Forschungsdesign hat Stärken und Schwächen – Experimente: Probleme externer Validität – Andere Methoden: auch Probleme interner Validität Ideal: Prüfung einer Hypothese mit verschiedenen Designs (Triangulation) – Innerhalb einer zusammenhängenden Untersuchung – Über verschiedene Studien hinweg 35 Quelle: Schnell et al., 2023  Beispiel aus der Forschungspraxis Forschungsfrage (vereinfacht): Auswirkung wahrgenommener Mitarbeiterleistung auf destruktive Führung? Studie 1: Klassisches Experiment (Vignette) – Manipulation der Mitarbeiterleistung, Messung der Reaktion der Teilnehmer Studie 2: Korrelative Feldstudie (Querschnitts-Survey) – 169 Produktionsmitarbeiter und ihre Führungskräfte – Subjektive Mitarbeiterleistung durch Führungskräfte bewertet – Destruktive Führung durch Mitarbeiter bewertet Weitgehend identische Resultate in beiden Studien – Nutzung der Stärken beider Designs, Ausgleich ihrer Schwächen 36 Quelle: Walter et al., 2015 Rekapitulation Grundlagen des Forschungsdesigns; Kausalität Störfaktoren interner und externer Validität Forschungsdesigns – Experimente – Quasi-Experimente – Korrelative Designs – Kombination von Untersuchungsformen 37 Literatur Kernliteratur (klausurrelevant) Schnell, R., Hill, P. B., & Esser, E. (2023). Methoden der empirischen Sozialforschung (12. Aufl.). Oldenbourg. – Kap. 5: Forschungsdesign und Untersuchungsformen Weiterführende Lektüre (optional) Diekmann, A. (2013). Empirische Sozialforschung (7. Aufl.). Rowolth. – Kap. VII: Querschnitt- und Längsschnitterhebung – Kap. VIII: Experimentelle und quasi-experimentelle Designs 38 Nächste Vorlesung Thema Forschungsdesign: Exkurs Meta-Analyse Datenerhebung Lektüre zur Vorbereitung (klausurrelevant) Stamm & Schwarb (1995) → Stud.IP (statistische Details nicht klausurrelevant) Schnell et al. (2023) – Kap. 6: Auswahlverfahren ohne Kap. 6.4.4: Mehrstufige Auswahlverfahren ohne Kap. 6.7: Nonresponse – Kap. 7: Datenerhebungstechniken ohne Kap. 7.1.3 (Telefoninterview) ohne Kap. 7.2 bis 7.5 39