Qualitative and Quantitative Research Methods PDF

Untersuchungsdesigns und qualitative und quantitative Erhebungs- und Auswertungsmethoden und Interventionsforschung Sommersemester 2022 Dr. Vanessa Torres van Grinsven Einheit 2 Einheit 1 Gliederung  Sozialwissenschaftliche Forschung  Forsch...

Untersuchungsdesigns und qualitative und quantitative Erhebungs- und Auswertungsmethoden und Interventionsforschung Sommersemester 2022 Dr. Vanessa Torres van Grinsven Einheit 2 Einheit 1 Gliederung  Sozialwissenschaftliche Forschung  Forschungsansätze  (Wissenschaftsgläubigkeit und –feindlichkeit)  (Empirische Studien bewerten)  (Wissenschaftliche Zeitschriftenartikel lesen) Einheit 2: Inhaltliche Einführung Gliederung Inhaltliche Einführung Grundlagen empirische Studien Qualitätskriterien empirischer Forschung Empirische Studien planen und durchführen Empirische Studien Vorbereitung Inhaltliche Aspekte: Formulierung Forschungsfrage bzw. Forschungshypothese Methodische Aspekte: Forschungsdesign; Instrumente etc. Forschungsökonomische und organisatorische Aspekte Ethische Aspekte Empirische Studie Planung Orientierung an wissenschaftlichen Standards Beachten der typischen Phasen des empirischen Forschungsprozesses Balance zwischen Kosten-Nutzen-Aufwand Prozess- und Projektperspektive Typischer Anfängerfehler: Unterschätzung des Aufwandes bei z.B. „nur“ Fragebogenstudien. Unterschätzung des zeitlichen Aufwandes Forschungsprozess Forschungsprozess Quantitativen Forschung Phasen 1. Forschungsthema 2. Forschungsgegenstand und theoretischer Hintergrund 3. Untersuchungsdesign 4. Operationalisierung 5. Stichprobenziehung 6. Datenerhebung 7. Datenaufbereitung 8. Datenanalyse 9. Ergebnispräsentation Forschungsprozess Quantitative Forschung: Forschungsthema 1. Forschungsthema Konkretisierung des Forschungsproblems: Inhaltliche Eingrenzung des Gegenstandes (z.B. Zielgruppe) Bezug auf empirischen Forschungsstand (z.B. Forschungslücken, -desiderate) Wahl der Theorie(n) Wahl der Methode(n) Forschungsfragen bzw. Forschungshypothesen formulieren  Example Research topic: educational methods at primary school Research problem: children with dyslexia have difficulties keeping up with the pace in class -> first exhaustive literature review of former empirical research and theories (…) Research objective: to find out whether children with dyslexia are helped by using different methods that are adapted to them. E.g. method X Research question: Does using method X help children with dyslexia keeping up with the pace in class? Study population: all children with dyslexia aged between 4 and 12 years, living in the city of Cologne Department Heilpädagogik und Rehabilitation / Arbeitsbereich Forschungsmethoden | Humanwissenschaftliche Fakultät | Dr. Vanessa Torres van Grinsven | Einheit 2 Forschungsprozess Exkurs: Hypothesen (Döring & Bortz, 2016) Unterschiedshypothese: Unterschiede zw. zwei oder mehreren Gruppen. Gruppenvariable = unabhängige Variable Merkmal auf dem sich inhaltliche Gruppenunterschied zeigen soll = abhängige Variable Zusammenhangshypothese: Zusammenhang zw. zwei (bivariater ZH) oder mehr (multivariater ZH) Variablen (= „correlation“) Veränderungshypothese: Veränderungen von Variablen bei denselben Individuen über die Zeit  Types of hypotheses (other definitions)  Non-relational hypothesis: states the existence/level/condition  A is (usually a value). (e.g., At year 6 the level in reading of children is X)  Correlational hypothesis: states a relation between variables  There is a relationship between A & B. (e.g., Educational method is related to the level of children in reading at year 6)  Developmental hypothesis: states a development of one or more variables in time  A changes with time. (e.g., The level of reading of 6 year old children improves)l hypothesis: states  X causes Y. (e.g., Making puzzles every day during 30 minutes improves the cognitive abilities of elderly people) Department Heilpädagogik und Rehabilitation / Arbeitsbereich Forschungsmethoden | Humanwissenschaftliche Fakultät | Dr. Vanessa Torres van Grinsven | Einheit 2   A=X  A B X Y  A B X Y Department Heilpädagogik und Rehabilitation / Arbeitsbereich Forschungsmethoden | Humanwissenschaftliche Fakultät | Dr. Vanessa Torres van Grinsven | Einheit 2  Types of hypotheses (other definitions - continued)  Correlational hypotheses can be further refined into...  Directional hypothesis: States the direction  As A increases/decreases, B increases/decreases. (e.g., As elderly people spend more time making puzzles, their cognitive abilities increase)  Non-directional hypothesis: Does not state the direction  As A changes, B changes. (e.g., The amount of time spent on making puzzles by elderly people is related to their cognitive abilities) Department Heilpädagogik und Rehabilitation / Arbeitsbereich Forschungsmethoden | Humanwissenschaftliche Fakultät | Dr. Vanessa Torres van Grinsven | Einheit 2 Forschungsprozess Quantitative Forschung 2. Forschungsgegenstand und theoretischer Hintergrund Anknüpfung an bisherigen Forschungsstand Vorgabe eines theoretischen Rahmens Theoriearbeit, um Theoriemodell zu erstellen, aus dem Forschungsfragen bzw. Forschungshypothesen abgeleitet werden können Forschungsprozess Quantitative Forschung 3. Untersuchungsdesign (Döring & Bortz 2016) Hypothesengenerierend bzw. gegenstandserkundend (explorativ) Populationsbeschreibend (deskriptiv) Hypothesenprüfend (explanativ)  Distinctions in scientific research (other definitions) e.g. Mayring 2018  Descriptive: describes something in the world  How large is the population of storks in Netherlands?  Correlational: Investigates the relation between two things  Is the number of storks related to the number of babies? storks babies  Explanatory: Explains why things are as they are  Is the number of babies caused by the number of storks? storks babies Department Heilpädagogik und Rehabilitation / Arbeitsbereich Forschungsmethoden | Humanwissenschaftliche Fakultät | Dr. Vanessa Torres van Grinsven | Einheit 2  Distinctions in scientific research (other definitions)  Descriptive: describes something in the world  What is the average level of reading of 6 year old children in NRW? Level of reading  Correlational: Investigates the relation between two things  Is the level of reading of 6 year old children related to educational method used? Level of reading Educational method  Explanatory: Explains why things are as they are  Is the level of reading caused by the educational method? Educational method Level of reading Department Heilpädagogik und Rehabilitation / Arbeitsbereich Forschungsmethoden | Humanwissenschaftliche Fakultät | Dr. Vanessa Torres van Grinsven | Einheit 2  Distinctions in scientific research (other definitions)  Exploratory: explore a theme / field of research of which not much is known about yet  Which factors could be related to the level of reading of 6 year old children?  Building of hypotheses Department Heilpädagogik und Rehabilitation / Arbeitsbereich Forschungsmethoden | Humanwissenschaftliche Fakultät | Dr. Vanessa Torres van Grinsven | Einheit 2  Forschungsprozess Quantitative Forschung 3. Untersuchungsdesign Kennzeichen Varianten Erkenntnisziel Grundlagen- bzw. Anwendungsforschung Gegenstand Empirisch (Originalstudie; Replikation) Methodenstudie Theoriestudie (Review; Metaanalyse) Datengrundlage Primär-, Sekundär-, Metaanalyse Erkenntnisinteresse Explorativ, deskriptiv, explanativ Bildung & Behandlung von Experimentell, quasi-experimentell, nicht-experimentell Untersuchungsgruppen Untersuchungsort Feld, Labor Anzahl Untersuchungszeitpunkte Bei (quasi-)experimentellen Studien: Mit oder ohne Messwiederholung Nicht-experimentelle Studien: Quer-, Längsschnitt Anzahl der Untersuchungsobjekte Gruppen; Einzelfall Forschungsprozess Quantitative Forschung 4. Operationalisierung Präzise Definition der Merkmale Konzeptspezifikation Wie werden diese Merkmale gemessen? Durch Operationalisierung wird Skalenniveau festgelegt Mehr zur Operationalisierung in Einheit 5 Forschungsprozess Quantitative Forschung: 5. Stichprobenziehung Vollerhebung oder Stichprobenziehung Stichprobenart (zufällig; nicht-zufällig) Stichprobenumfang Mehr zur Stichprobenziehung in Einheit 7 Forschungsprozess Quantitative Forschung: 6. Datenerhebung Verschiedene Verfahren Strukturierte Beobachtung Mehr zur Datenerhebung Interview in Einheiten 8, 9 und 10 Fragebogen Psychologische Tests Physiologische Messung Quantitative Dokumentenanalyse Im Zuge der Operationalisierung müssen standardisierte Instrumente entwickelt werden, welche durch geschulte Personen erhoben werden sollten Forschungsprozess Quantitative Forschung: 7. Datenaufbereitung Schritte der Datenaufbereitung Erstellung der Datensätze Kommentierung der Datensätze Anonymisierung der Datensätze Datenbereinigung Datentransformation Forschungsprozess Quantitative Forschung: 8. Datenanalyse Deskriptive und exploratorische Auswertung Inferenzstatistische Schätzungen Klassische statistische Signifikanztests Mehr zur Datenanalyse im Seminar Statistik! Forschungsprozess Quantitative Forschung: 9. Ergebnispräsentation Präsentation der Ergebnisse in der Community Poster Konferenzvorträge Zeitschriftenartikel In Ihrem Fall eher Abschlussarbeiten, aber auch Posterpräsentationen, wenn Sie Ihre Ergebnisse des Studienprojektes aus dem Praxissemester gerne mit Ihren Peers teilen wollen. Forschungsprozess Mehr zur Qualitative Qualitative Forschung Forschung in Einheit 6 Erhebung: Bewusst nicht-strukturiert An relativ wenigen Fällen umfassendes Datenmaterial Auswertung: interpretativ Oft um Untersuchungsgegenstand detailliert zu beschreiben Hypothesen und/oder Theorien zu entwickeln  Oft theorieentdeckende Forschungslogik Forschungsprozess Qualitative Forschung Festlegung des Forschungsthemas Forschungsstand und theoretischer Hintergrund Untersuchungsdesign Operationalisierung entfällt: Verzicht auf Merkmalsfestlegung bzw. geht anders Nicht-standardisierte Datenerhebungsinstrumente (offene Fragen, Erzählaufforderungen im Interview etc.) Kleine Stichprobe Zirkuläres Vorgehen Durch unmittelbare Datenaufbereitung und –analyse wird weitere Datenerhebung gesteuert Rohdatenmaterial wird zu neuen Hypothesen oder Theorien verdichtet Forschungsprozesse Abbildung aus Döring & Bortz (2016) S.27  Distinctions in scientific research Quantitative versus qualitative research: Quantitative research: Measure characteristics of the world in the form of numbers (variables) Identifying general patterns that apply to many cases (reductionist approach) ‘Do you think that the city of Cologne should offer more recreational facilities for tourists? No, definitely not 1 2 3 4 5 Yes, definitely’ Qualitative research: Describe the world in terms of words Identifying unique patterns in only a few cases (holistic approach) ‘What is your opinion about the recreational facilities in the city of Cologne?’ Qualitätskriterien empirischer Forschung Qualitätskriterien/Qualitätsbewertung Begriffe Qualitäts- oder Gütekriterien: z.B. methodische Strenge Qualitätsindikatoren: z.B. Reliabilitätskoeffizienten durch Split-half; Paralleltest, Re-Test oder innere Konsistenz (Cronbachs Alpha) Qualitätsstandards: normative Werte; Referenzwerte (Mindest-, Regel- und Maximalstandards) Qualitätskriterien/Qualitätsbewertung 4 Standards der Wissenschaftlichkeit 1. Wissenschaftliches Forschungsproblem 2. Wissenschaftlicher Forschungsprozess 3. Wissenschafts- und Forschungsethik 4. Dokumentation des gesamten Forschungsprojektes Qualitätskriterien/Qualitätsbewertung 4 Kriterien der wissenschaftlichen Qualität 1. Inhaltliche Relevanz Wissenschaftliche bzw. theoretische Relevanz Praktische Relevanz 2. Methodische Strenge 3. Ethische Strenge 4. Präsentationsqualität  Qualitätskriterien/Qualitätsbewertung Gütekriterien der quantitativen Forschung Phasen FP Kriterien wQ Konkretisierung Forschungsthema Inhaltliche Relevanz Wissenschaftliche & praktische Relevanz Forschungsgegenstand Methodische Strenge Qualität der Lit.-recherche theor. Hintergrund Qualität der Erarbeitung des Forschungstandes Qualität der Theoriebildung Schlüssigkeit der aus Forschungsstand und Theorierahmen abgeleiteten Forschungsfrage, -hypothese Untersuchungsdesign Methodische Strenge Interne Validität Externe Validität Operationalisierung Methodische Strenge Konstruktvalidität der Messinstrumente  Qualitätskriterien/Qualitätsbewertung Gütekriterien der quantitativen Forschung Phasen FP Kriterien wQ Konkretisierung Stichprobenziehung Methodische Strenge Repräsentativität = Teil der externen Validität Datenerhebung Methodische Strenge Datenqualität I: Instrumente & Durchführung Dokumentation Ethische Strenge Forschungsethik Datenaufbereitung Methodische Strenge Datenqualität II: Datenbereinigung & Konstruktvalidität Datenanalyse Methodische Strenge Statistische Validität z.B. Teststärke Ergebnispräsentation Inhaltliche Relevanz Wissenschaftlich & praktisch Ethische Strenge Forschungs- und Wissenschaftsethik Präsentationsqual. Standards der Berichterstattung Qualitätskriterien/Qualitätsbewertung Gütekriterien der quantitativen Forschung Konstruktvalidität Interne Validität Externe Validität Statistische Validität Gütekriterien für quantitative Forschung Definition Konstruktvalidität: Konstruktvalidität („construct validity“): Repräsentieren die verwendeten Messinstrumente (abhängige Variablen) sowie die hergestellten Untersuchungsbedingungen (unabhängige Variablen) inhaltlich in hohem Maße jeweils genau die interessierenden theoretischen Konstrukte? Kann von den empirisch-statistischen Ergebnissen auf die interessierenden theoretischen Konstrukte zurückgeschlossen werden? Die Konstruktvalidität ist vor allem von der Qualität der Theoriearbeit (Konzeptspezifikation) sowie der Operationalisierung abhängig. Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Gütekriterien für quantitative Forschung Definition Interne Validität: Interne Validität („internal validity“): Wie zweifelsfrei kann für die interessierenden Effekte tatsächlich der vermutete Kausaleinfluss der unabhängigen Variable/n auf die abhängige/n Variable/ n belegt werden? Die interne Validität ist vor allem von der Qualität des Untersuchungsdesigns (experimentelle, quasi-experimentelle oder vorexperimentelle Studie) und dessen Umsetzung abhängig. Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Gütekriterien für quantitative Forschung Definition Externe Validität: Externe Validität („external validity“): Inwiefern können die Ergebnisse der Studie – vor allem im Sinne der Wirkungen einer Maßnahme – auf andere Orte, Zeiten, Wirkvariablen, Treatmentbedingungen oder Personen als die konkret untersuchten verallgemeinert werden? Die externe Validität ist vor allem von der Qualität des Untersuchungsdesigns und der Stichprobenziehung (in der Umfrageforschung idealerweise probabilistische bzw. repräsentative Stichprobe; in der Experimentalforschung dagegen meist nicht-probabilistische Stichproben) abhängig. Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Gütekriterien für quantitative Forschung Definition Statistische Validität: Statistische Validität („statistical inference validity“): Wurden die deskriptiv- und inferenzstatistischen Analysen korrekt durchgeführt, so dass für die interessierenden Variablenzusammenhänge bzw. Effekte mit hoher Sicherheit nachgewiesen wurde, ob sie a) statistisch überzufällig (signifikant) sind oder nicht und b) ob sie eine theoretisch und/oder praktisch relevante Effektgröße aufweisen. Die statistische Validität ist vor allem von der Qualität der statistischen Datenanalyse abhängig. Aber auch untersuchungsplanerische Aspekte (z. B. Stichprobenumfang, Messgenauigkeit der gewählten bzw. entwickelten Messinstrumente) sind relevant. Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Qualitätskriterien/Qualitätsbewertung Gütekriterien der qualitativen Forschung Orientierung an Gütekriterien quantitativer Forschung Entwicklung eigener Gütekriterien  Mehr als 100 versch. Kriterienkataloge  Praxistauglichkeit oftmals fragwürdig Qualitätskriterien/Qualitätsbewertung Gütekriterien der qualitativen Forschung 4 Kriterien der Glaubwürdigkeit von Lincoln und Guba (1985): Vertrauenswürdigkeit; Übertragbarkeit; Zuverlässigkeit; Bestätigbarkeit 7 Kernkriterien zur Bewertung qualitativer Forschung nach Steinke (1999): Intersubjektive Nachvollziehbarkeit; Indikation; Empirische Verankerung; Limitation; Reflektierte Subjektivität; Kohärenz; Relevanz Gütekriterien für qualitative Forschung Tab. 3.5 Vier Gütekriterien für qualitative Forschung von Lincoln& Guba (1985. Copyright © 1985 by SAGE Publications. Reprinted by Permission of SAGE Publications) inklusive Techniken zu ihrer Sicherung sowie den von Schou, Høstrup, Lyngsø, Larsen, & Poulsen (2012.Mit freundlicher Genehmigung von John Wiley and Sons) entwickelten Bewertungskriterien für Zeitschriftenartikel. (Eigene Ergänzungen) Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Gütekriterien für qualitative Forschung Tab. 3.5 (Fortsetzung) Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 3.3 Gütekriterien für qualitative Forschung Tab. 3.5 (Fortsetzung) Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 3.3 Gütekriterien für qualitative Forschung Tab. 3.5 (Fortsetzung) Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 3.3 Gütekriterien für qualitative Forschung Tab. 3.6 Checkliste der sieben Kernkriterien zur Beurteilung der Qualität qualitativer Studien. (Mod. nach Steinke, 1999, S. 252ff. Mit freundlicher Genehmigung von Beltz Juventa) Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 3.3 Gütekriterien für qualitative Forschung Tab. 3.6 (Fortsetzung) Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften.  3.3 Gütekriterien für qualitative Forschung Tab. 3.6 (Fortsetzung) Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 3.3 Gütekriterien für qualitative Forschung Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 3.3 Gütekriterien für qualitative Forschung Tab. 3.7 Kriterien wissenschaftlicher Qualität im quantitativen und qualitativen Paradigma im Überblick Aus: Döring, N., & Bortz, J. (unter Mitarbeit von Pöschl, S.) (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. D & B, p. 114 „Die Kernkriterien guter qualitativer Forschung nach Steinke (1999) weisen darüber hinaus auf die Bedeutung der reflektierten Subjektivität im qualitativen Forschungsprozess hin, verlangen die ausdrückliche Begründung aller Entscheidungen im Forschungsprozess (Indikation), fordern bedeutsame Fragestellungen und Ergebnisse (Relevanz) sowie eine ausdrückliche Behandlung der Generalisierbarkeit der Ergebnisse (Limitation). Gerade wegen seiner Breite kann das Kriterienraster von Steinke (1999, 2009) eine nützliche Arbeitsgrundlage darstellen.“ Questions? Kapitel 2 „Wirtschafttheoretische Grundlagen der Empirische Sozialforschung“ aus Döring, N. & Bortz, J. (2016). Kapitel 3 „Qualitätskriterien in der empirischen Sozialforschung“ aus Döring, N. & Bortz, J. (2016).