Hoorcollege Aantekeningen PDF

Inhoud {#inhoud.Kopvaninhoudsopgave} ====== [Lecture 1 2](#lecture-1) [Lecture 2 6](#lecture-2) [Lecture 3 13](#lecture-3) [Lecture 4 21](#lecture-4) [Lecture 5 29](#lecture-5) [Lecture 6 37](#lecture-6) [Lecture 7 44](#lecture-7) Lecture 1 --------- **Wat is wetenschap?** Kenmerken - K...

Inhoud {#inhoud.Kopvaninhoudsopgave} ====== [Lecture 1 2](#lecture-1) [Lecture 2 6](#lecture-2) [Lecture 3 13](#lecture-3) [Lecture 4 21](#lecture-4) [Lecture 5 29](#lecture-5) [Lecture 6 37](#lecture-6) [Lecture 7 44](#lecture-7) Lecture 1 --------- **Wat is wetenschap?** Kenmerken - Kennisvergaring - Empirisch weerneembare feiten als uitgangspunt nemen - Systematisch beschrijven hoe je het onderzocht hebt - Cumulatief **Kenmerken empirisch-analytische benadering** - Empirisch/systematisch gebaseerd op waarneembare feiten, verzameld in een onderzoek dat herhaalbaar en controleerbaar is - Theoretisch/cumulatief theorievorming en hypothesetoetsing via respectievelijk inductie en deductie om kennishiaten op te vullen - Nomothetisch gericht op wetmatigheden die algemeen geldend zijn door het kwantitatief meten van een beperkt aantal variabelen (reductionisme) bij veel onderzoekseenheden - Waardevrij geen plaats voor normatieve opvattingen als goed of slecht als onderzoeksuitkomst **Kenmerken empirisch-interpretatieve benadering** - Emperisch/systematisch gebaseerd op waarneembare feiten, verzameld in een onderzoek dat herhaalbaar en controleerbaar is - Theoretisch/cumulatief theorievorming en hypothesetoetsing via respectievelijk inductie en deductie om maatschappelijke verschijnselen te begrijpen - Idiografisch gericht op begrip van unieke onderzoekseenheden welke worden gemeten met verschillende kwalitatieve methoden van dataverzameling (holistisch) - Subjectiviteit ervaringen en attitudes van de onderzoeker beïnvloeden de dataverzameling en interpretatie van die data **\ ** **Wetenschappelijke integriteit** - Herhaalbaarheid (replicatie) en controleerbaarheid van onderzoek - Explicitering van keuzes in onderzoeksplan (dit vak) - Bij wie worden data verzameld? - Wanneer en waar worden data verzameld? - Hoe worden de data geanalyseerd? - Nederlandse gedragscode wetenschappelijke integriteit (2018) **5 principes m.b.t. wetenschappelijke integriteit** - **Eerlijkheid** = dat men over het onderzoeksproces correct rapporteert, dat men data of bronnen niet verzint of vervalst - **Zorgvuldigheid** = dat men wetenschappelijke methoden gebruikt en optimale precisie betracht bij het ontwerp (dit vak !), de uitvoering, \.... van het onderzoek - **Transparantie** = dat het voor anderen helder is op welke data men zich heeft gebaseerd, hoe deze zijn verkregen, \... en dat stappen in het onderzoeksproces controleerbaar moeten zijn - **Onafhankelijkheid** = dat men zich in de keuze van de methode, bij de beoordeling van de data \... niet laat leiden door buiten-wetenschappelijke overwegingen - **Verantwoordelijkheid** = dat men \... rekening houdt met de legitieme belangen van \... personen en dieren \.... \... verantwoordelijkheid houdt ook in dat men onderzoek doet dat wetenschappelijk en/of maatschappelijk relevant is **Normen voor goede onderzoekpraktijken** Ontwerp - Zorg voor een onderzoeksopzet waarmee de onderzoeksvraag beantwoord kan worden - Geef een zorgvuldige methodologische onderbouwing Uitvoering - Wees precies en accuraat bij de uitvoering van het onderzoek - Hanteer wetenschappelijke methoden - Verzin geen data of onderzoeksresultaten en rapporteer niet over verzonnen data of onderzoeksresultaten alsof ze echt zijn Verslaglegging - Wees transparant over de gevolgde methode en werkwijze, en leg deze waar relevant vast in onderzoeksprotocollen, logboeken, lab journals of verslagen. De wetenschappelijke argumentatie moet helder zijn en de stappen in het onderzoeksproces moeten controleerbaar zijn. Doorgaans zal dit betekenen dat het onderzoek voldoende gedetailleerd moet zijn beschreven om de dataverzameling te kunnen repliceren en de data-analyse te kunnen herhalen **Onderzoekstypen** Fundamenteel wetenschappelijk - Verzamelen van kennis, gericht op ontwikkeling en toetsing van theorie als oplossing van kennisproblemen - Wetenschappelijke normen (empirisch, theoretisch, systematisch, cumulatief) Praktijkgericht wetenschappelijk - Verzamelen van kennis, gericht op helpen oplossen van praktijkproblemen - Wetenschappelijke normen en praktijknormen Praktijkgericht niet-wetenschappelijk - Niet uitgevoerd conform wetenschappelijke criteria (niet systematisch) **Empirische en regulatieve cycli** Fundamenteel wetenschappelijk onderzoek: Empirische (EC) - Kennisprobleem - Dataverzameling - Inductie: theorie - Deductie: hypothesen - Dataverzameling - Toetsing - Evaluatie Praktijkgericht wetenschappelijk onderzoek: Regulatieve cyclus (RC + EC) - Praktijkprobleem = Analyse praktijkprobleem in samenwerking met\ opdrachtgever (= onderzoek) - Diagnose = Onderzoek naar mogelijke oorzaken - Planontwikkeling = Inventariseren van realiseerbare oplossingen (geen taak van de onderzoeker) Onderzoek naar haalbaarheid oplossing (pilot) - Interventie = Keuze specifieke oplossing (geen taak van de onderzoeker) - Monitoring = Onderzoek naar juiste uitvoering interventie - Evaluatie = Onderzoek naar effect op praktijkprobleem **\ ** Lecture 2 --------- **Het onderzoeksplan** - Systematisch geheel van methodische beslissingen - Bij wie verzamel je data? - Hoe vind je die onderzoekseenheden (steekproefmethode)? - Wetenschapsbeoefening ≠ politiek bedrijven - In praktijkgericht wetenschappelijk onderzoek is de inventarisatie van realiseerbare oplossingen en de keuze voor een specifieke oplossing geen taak van de wetenschapper maar beleidsmaker - De uitkomst van praktijkgericht wetenschappelijk onderzoek is nooit beleid, maar altijd kennis Voorbereiding op het onderzoeksplan - Literatuuronderzoek/-studie - Wat is er bekend over het praktijkprobleem? - Hoe werd eerder onderzoek uitgevoerd? - Welke theorieën zijn er opgesteld of gebruikt - Welke kennis ontbreekt er? - Probleemschets - Oriëntatie probleem (wat is het probleem? Waarom? Voor wie?) - Welke kennis zal jouw onderzoek opleveren? Onderdelen 1 t/m 10 - Probleemstelling (doelstelling, vraagstelling, theoretisch raamwerk) - Onderzoeksontwerp (zeven onderdelen) - Onderzoeksopzet? - Wat voor data? Dataverzamelingsplan (operationaliseren) - Bij wie of wat? Steekproefplan - Wanneer? - Waar? - Welke data-analyse? Data-analyseplan - Hoe te rapporteren? - Doelstelling (waarom) - Handelingsdoel (meehelpen oplossen van een praktijkprobleem) - Kennisdoel (beantwoorden van een wetenschappelijke vraag) - Vraagstelling - Overkoepelende of centrale vraag en deel- of subvragen - Begripsdefiniëring (omschrijving) - Hypothesen (sterk gerelateerd aan onderzoeksvragen) Initiële centrale vraag: Waarom gooien mensen afval op straat? Omschrijven en elimineren: - Waarom = wat is het voornaamste motief - Mensen = Nederlanders, winkelend publiek in de Utrechtse binnenstad, bejaarden - Afval = etensresten, verpakkingsmaterialen Nieuwe centrale vraag: wat is het voornaamste motief van winkelend publiek in de Utrechtse binnenstad om verpakkingsmateriaal op straat te gooien? Subvragen: - Wat is het voornaamste motief van winkelend publiek in de Utrechtse binnenstad om blik op straat te gooien? - Wat is het voornaamste motief van winkelend publiek in de Utrechtse binnenstad om papier op straat te gooien? - Etc. **Theoretisch raamwerk (conceptueel model)** - Vereenvoudigde weergave van de werkelijkheid waarvoor de onderzoeker belangstelling heeft - Weergave op basis van te meten begrippen uit de vraagstelling - Weergave van verbanden tussen begrippen - Past bij empirisch-analytische benadering **Verbanden tussen begrippen X en Y** - Causaal (mediatie; verklarend, voorspellend) - Correlatie (beschrijvend comperatief) - Causaal (moderatie, moderater heeft invloed sterkte van het verband) **Typen hypothesen** - Non-relationeel - Beschrijvende vraagstelling - Cross-sectionele opzet (descriptief) - Correlationeel: associatie tussen begrippen - Beschrijvende comperatieve vraagstelling - Cross-sectionele opzet (correlationeel) - Causaal: causale relatie tussen begrippen - Verklarende / voorspellende / mediërende / modererende vraagstelling - Experimentele opzet **Het maken van goede (deel)onderzoeksvragen** Twee gereedschappen 1\. Pad diagram (causale relatie tussen begrippen) 2\. Boomdiagram **Pad diagram** - Een pad diagram: grafische representatie van directe en indirecte verbanden tussen begrippen, bijv X Y - Positief verband: toename in X leidt tot toename in Y - Negatief verband: toename in X leidt tot afname in Y **Pad diagram** - Stap 1: selecteer de (te meten) begrippen in je onderzoeksvraag - Stap 2: identificeer primair oorzaak-gevolg verband, en waar mogelijk, geef aan of het verband positief of negatief is - Stap 3: vind tussenliggende (mediërende) begrippen - Stap 4: Formuleer (deel)onderzoeksvragen (elk lijntje een deelvraag) COV: Wat is het effect van verkeersdrempels op het optreden van verkeersongevallen in Utrecht? Identificeer primair oorzaak-gevolg verband Zijn er mediërende begrippen?  COV: Wat is het effect van verkeersdrempels op het optreden van verkeersongevallen in Utrecht? - SOV 1: Wat is het effect van verkeersdrempels (in Utrecht) op de gemiddeld gereden\ snelheid - SOV 2: Wat is het effect van de gemiddeld gereden snelheid op het optreden van verkeersongevallen (in Utrecht) **Boomdiagram** - Een boomdiagram: opdeling (soms op basis van gebruikte definitie) van een abstract begrip of concept in aspecten (zijn geen oorzaken of gevolgen) - Stap 1: Identificeer begrippen in de centrale onderzoeksvraag - Stap 2: Deel elk begrip op in aspecten - Stap 3: Formuleer de sub onderzoeksvragen COV: Wat zijn de weerkenmerken in NL? Afbeelding met tekst, schermopname, Lettertype, lijn Automatisch gegenereerde beschrijving - SOV 1: Wat is de gemiddelde jaartemperatuur in NL? - SOV 2: Hoeveel neerslag valt er gemiddeld per jaar in NL? **Voorwaarden boomdiagram** Aspecten: - Moeten kunnen variëren over onderzoekseenheden (evenals het concept zelf) - Moeten intern homogeen zijn - Moeten onderling uitsluitend zijn - Moeten uitputtende zijn - Mogen geen oorzaken of gevolgen zijn - Mogen geen waarden bevatten (weinig, gemiddeld, veel) - Moeten op dezelfde onderzoekseenheid van toepassing zijn **Veel gemaakte fouten** Overdreven ambitieus - Vragen zin te algemeen - Vragen omvatten de gehele regulatieve cyclus Doelstelling en/of vragen zijn onderling niet coherent - Centrale onderzoeksvraag breidt de doelstelling uit of beperkt die, of heeft er niets mee te maken - Deelvragen breiden de centrale onderzoeksvraag uit of beperken die, of hebben er niets mee te maken **Operationaliseren** 1. Variabelen 2. Meetniveau (nominaal, ordinaal, interval, ratio) 3. Validiteit 4. Betrouwbaarheid (precisie of nauwkeurigheid) 1\. Variabelen Een variabele is een attribuut van de te bestuderen onderzoekseenheid (object) - Object = student - Attributen = leeftijd, studentennummer, etnische afkomst, geboorteplaats, etc. 2\. Meetniveau Meten is het classificeren van eenheden aan de hand van de waarde van hun attributen/eigenschappen. De waarde van zo'n attribuut/eigenschap varieert tussen eenheden (mensen, landen, organisaties enz.) , vandaar de naam variabele. Het meetniveau is een abstract kenmerk van een variabele - Nominaal -- geen ordening van waarden (geboorteplaats) - Ordinaal -- waarden zijn geordend maar niet met gelijke stappen (hoogst afgeronde opleiding) - Interval -- ordening met gelijke afstand tussen waarden, geen natuurlijk nulpunt (graden celsius) - Ratio -- waarden zijn geordend met gelijke aftand tussen de waarden en een natuurlijk nulpunt (aantal deelnemende studenten / graden kelvin) x Lecture 3 --------- **Het onderzoeksplan** Vraagstelling - Hypothesen = aannames over de realiteit Methodologische spelregels - Hypothesen moeten emperisch waarneembaar zijn (data nodig) - Hypothesen moeten (statistieken nodig) - Hypothesen kunnen juist of onjuist zijn - Systematische dataverzameling en verzameling en verwerking vereist - Maak hypothesen specifiek **Stappen in operationaliseringsproces** Begrip -- aspecten -indicatoren -- instrumenten -- variabelen Begripsdefiniëring: 6 criteria 1. Gebruikte begrippen in omschrijving zelf ook weer definiëren 2. Het te definiëren begrip niet opnemen in de omschrijving, noch\ synoniemen daarvan 3. De omschrijving moet compleet zijn, dat wil zeggen dat zij alles omvat\ wat men eronder wil verstaan 4. De omschrijving dient uit te sluiten wat men er niet onder wil verstaan 5. De omschrijving moet bij voorkeur niet afwijken van gangbare\ omschrijvingen 6. De omschrijving mag geen normatief karakter hebben (bv. opleidingsniveau is\ de gewenste opleiding in een technologisch georiënteerde maatschappij - Begrip: identificeer en definieer te meten begrippen in (deel)vragen - Aspecten: bepaald door keuze voor een definitie onderzoeker - Indicatoren: concreet en dus meetbaar bij onderzoekseenheden - Instrumenten: zelf te ontwikkelen of literatuuronderzoek - Variabelen: eindproduct van het operationaliseringsproces Boomdiagram komt hier van pas Niet abstracte of enkelvoudige begrippen **(bv. leeftijd)** rechtstreeks\ vertalen naar instrumenten **("Hoe oud ben je?")** die variabelen **(leeftijd in jaren respectievelijk geboortejaar)** meten **Voorbeeld begrip 'vrijetijdsbesteding'** Stap 1: definieer begrip Vrijetijdsbesteding zijn passieve en actieve activiteiten die buiten schooluren om worden uitgevoerd Stap 2: aspecten Passieve en actieve buitenschoolse activiteiten Stap 3: indicatoren TV kijken en Gamen (passief) Sporten en buitenspelen (actief) Stap 4: meetininstrumentarium Hoeveel uur heb je afgelopen week TV gekeken? **Operationaliseren:** Het vertalen van begrippen uit de onderzoeksvraag naar meetbare variabelen **Het onderzoeksplan operationaliseren validiteit en betrouwbaarheid** Meetvaliditeit meten we wat we willen meten? Betrouwbaarheid meten we bij herhaling dezelfde waarde (precisie)? **Soorten meetvaliditeit** - Inhoud: literatuuronderzoek en advies van deskundigen over volledigheid meetinstrumentarium - Soortgenoot: samenhang met gelijkaardige instrumenten (digitale en balans weegschaal) - Convergent: samenhang met ongelijkaardige of seperate instrumenten (data verzamelingsmethoden) die hetzelfde begrip meten (bv zelfinvullijst) - Construct: theoretische samenhang tussen begrippen - Begripsvaliditeit: alle aspecten afgedekt door instrumenten - Predictief: voorspelt succes in ander domein (op arbeidsmarkt) **Meetvaliditeit en betrouwbaarheid: meetfouten** Afbeelding met cirkel, schets, tekening, kunst Automatisch gegenereerde beschrijving - Niet valide, betrouwbaar - Systematische fout en toevallige fout (nauwkeurig)  - Niet betrouwbaar, valide - Toevallige fout (onnauwkeurig) Afbeelding met cirkel, schets, zeef, kunst Automatisch gegenereerde beschrijving - Betrouwbaar én valide - Toevallige fout (nauwkeurig) **Het experiment** Verschillende sociaalwetenschappelijk (SW) en natuurwetenschappelijk (NW) experiment 1. NW kunnen uitgaan van exacte replica van het experiment, SW opzet is moeilijker repliceerbaar. Explicitering van methodologische keuzes is belangrijk 2. In SW grote beperking op toegestane manipulaties van de oorzaak - Risico's deelnemers minimaliseren (beneficence) - Respect voor personen: informed consent - Gerechtigheid: eerlijke verdeling lasten en lusten **Voorwaarden causaliteit** 1. Er is een samenhang tussen begrip X en Y 2. Verandering in begrip Y na verandering in begrip X 3. Afwezigheid van confoundig 4. Plausibele theorie Manipulatie van begrip X begrip X begrip Y **Het experiment** Waartoe - Onderzoeken causaal verband (oorzaak-gevolg) Hoe - Controle van onderzoeker over - Wie er deelnemen (eigenschappen / attributen vaststellen) - Wat er gebeurt (manipulatie van de oorzaak - Twee soorten - Laboratorium experiment (randomisatie van onderzoekseenheden) - Veldexperiment (clusterrandomisatie) **Het experiment** **Basis idee van pre-experimenteel ontwerp 1** - O1: observatie tijdstip 1 - X: manipulatie begrip X - O2: observatie tijdstip 2 Verschillen tussen O1 en O2 worden geacht veroorzaakt te\ zijn door de manipulatie van begrip X **Het experiment** **Pre-experimenteel ontwerp 1 -- experimenteel schema** T1 t2 Experimentele groep O1 X O2 Pretest posttest Causale redenering: Het verschil op de afhankelijke variabele (O1-O2) wordt veroorzaakt door manipulatie van begrip X Binnen-proefpersonen ontwerp: zelfde eenheden gemeten op t1 en t2 Alternatieve verklaringen 1. Testeffect 2. Tussentijds extern voorval **Quasi-experimenteel ontwerp** t1 t2 experimentele groep O1 X O2 controlegroep O3 O4 Causale redenering: Het evt. verschil op de afhankelijke variabele O4 -- O3 wordt veroorzaakt door alleen extern voorval. Het verschil op de afhankelijke variabele O2 - O1 wordt veroorzaakt door de manipulatie van begrip X plus evt. extern voorval. Alternatieve verklaring 1. Selectie of confounding randomiseren, matching **Zuiver (of klassiek) experimenteel ontwerp 2: voor- en nameting met controlegroep** +-------------+-------------+-------------+-------------+-------------+ | | = | t1 | | t2 | | | randomiseri | | | | | | ng | | | | | | | | | | | | (gelijke | | | | | | groepen) | | | | +=============+=============+=============+=============+=============+ | Experimente | R | O1 | X | O2 | | le | | | | | | groep | | | | | +-------------+-------------+-------------+-------------+-------------+ | Controlegro | R | O3 | | O4 | | ep | | | | | +-------------+-------------+-------------+-------------+-------------+ Causale redenering: het verschil op O4-O3 wordt veroorzaakt door extern voorval. Het verschil op O2-O1 wordt veroorzaakt door manipulatie van begrip X plus extern voorval Tussen-proefpersoon ontwerp: randomisatie bepaalt welke eenheden aan welke groep worden toegewezen - Alternatieve verklaring: interactie of moderatie tussen voormeting en de manipulatie van begrip X **Zuiver experimenteel ontwerp 3: solomon-viergroepenontwerp** t1 t2 ------------------------ ---- ---- --- ---- Experimentele groep I R O1 X O2 Controlegroep II R O3 O4 Experimentele groep II R X O5 Controlegroep IV R O6 Causale redenering: het verschil op O4-O3 wordt veroorzaakt door extern voorval. Het verschil op O2-O1 wordt veroorzaakt door manipulatie van begrip X plus extern voorval Groep III en IV zijn toegevoegd om het testeffect en het interactie of\ moderatie effect te meten tussen voormeting en de manipulatie van begrip X **Solomon viergroepenontwerp: test- en interactie-effect** Formaliseren van de nul- en alternatieve hypothese met betrekking tot het test- en interactie effect Nulhypothese testeffect H0: O4 = O6 or O4-O6 = 0 Alternatieve hypothese Ha: O4 ≠ O6 or O4 -- O6 ≠ 0 Nulhypothesetest + interactie H0: O2 = O5 or O2 -- O5 = 0 Alternatieve hypothese Ha: O2 ≠ O5 or O2 -- O5 ≠ 0 Nulhypothese interacite H0: (O4 -- O6) = (O2 -- O5) or (O4 -- O6) -- (O2 -- O5) = 0 Alternatieve hypothese: Ha: (O4 -- O6) ≠ (O2 -- O5) or (O4 -- O6) -- (O2 -- O5) ≠ 0 **Hierarchie van validiteiten**  **Bedreigingen van de interne validiteit + oplossingen** - Testeffect - Voormeting weglaten - Instrumentatie - Zelfde meetinstrumenten gebruiken - Verspreiding (communicatie tussen groepen) - Communicatie onmogelijk maken - Selectie (confounding) - Randomisatie toepassen **Bedreigingen van de interne validiteit + oplossingen** - Proefleiderseffect (verwachtingen) - Dubbelblind onderzoek - Tussentijds extern voorval - Controlegroep en tijd tussen voor- en nameting kort houden - Rijping - Moeilijk te controleren! Kunt alleen hopen dat alle groepen in gelijke mate rijpen - Uitval - Tijd voor- en nameting kort houden **Bedreigingen van de externe validiteit** - **Populatievaliditeit**: mate waarin de steekproef een goede afspiegeling is van de populatie waarnaar de onderzoekers willen generaliseren - **Ecologische** **validiteit**: mate waarin de resultaten kunnen worden gegeneraliseerd naar andere plaatsen, tijden, andere omstandigheden, andere manipulaties. Replicatie als oplossing. Explicitering van methodologische keuzes noodzakelijk **\ ** Lecture 4 --------- **Onderzoeksontwerp** - Onderzoeksopzet - Wat voor data? Dataverzamelingsplan (operationaliseren, methode, kwantitatief / kwalitatief) - Bij wie of wat? Steekproefplan (methode) - Wanneer? - Waar? - Welke data-analyse? Data analyse plan - Hoe te rapporteren **Onderzoeksopzetten** - Cross-sectioneel (dataverzameling op één moment) - Longitudinaal (dataverzameling herhaald op specifieke momenten) - Trend - Panel **Typen hypothesen** - Non-relationeel - Beschrijvende vraagstelling - Cross-sectionele opzet (descriptief) - Correlationeel: assosciatie tussen begrippen - Beschrijvende comperatieve vraagstelling - Cross-sectionele opzet (correlationeel) - Ontwikkeling: ontwikkeling over de tijd - Causaal: causale relatie tussen begrippen **\ ** **Kenmerken cross-sectionele opzet** - Beschrijven en verklaren van sociale verschijnselen - Relatief grote steekproef - Gestandaardiseerd meetinstrument - Momentopname of korte periode - Confounding controleren **Confounding controleren** - Tool om confounders te identificeren: pad diagram - Confounders moeten worden gemeten - Probleem: het is onmogelijk alle potentiële confounders vooraf te identificeren en daarna te meten - Confounders zijn vaak achtergrondkenmerken van de eenheden 1. Definieer de doelpopulatie 2. Selecteer het steekproefkader (administratie of lijst) 3. Kees een steekproefmethode (kans vs niet kans steekproeven) 4. Maak een beslissing over de steekproefgrootte **1. Definieer de doelpopulatie** De doelpopulatie is de populatie waarover je uitspraken wilt doen - Voorbeeld 1: alle ondernemingen in Amsterdam - Voorbeeld 2: alle huishoudens in een straal van 20 km rond Schiphol Baken de onderzoekseenheden af door kenmerken te geven en leg uit waarom je voor die kenmerken kiest 2. **Selecteer steekproefkader** - Idealiter omvat het steekproefkader alle onderzoekseenheden van de doelpopulatie - In de praktijk bestaat die lijst vrijwel nooit en moeten we genoegen nemen met een incomplete lijst - Voorbeeld 1: alle kleine ondernemingen in Amsterdam kamer van koophandel (toegang en kenmerken onderzoekseenheden) - Voorbeeld 2: alle huishoudens in een straal van 20km rond Schiphol Aselecte steekproef uit "grid" **Procedure steekproeftrekking incl. beperkingen** Operationele of bereikbare populatie is de populatie waarnaar je kunt generaliseren Afbeelding met tekst, schermopname, cirkel, Lettertype Automatisch gegenereerde beschrijving 3. **Steekproefmethode** **Typen kanssteekproeven (steekproefkader vereist)** - Enkelvoudig aselecte steekproef - Grabbelton = niet random of genummerde ledenlijst - Systematische steekproef - Elk n-de nummer van de lijst (met random begin) - Gestratificeerde steekproef - Doelpopulatie kan worden verdeeld in categorieën - Kanssteekproef binnen elke categorie, proportioneel of disproportioneel - Steekproef wat betreft categorieën representatief - Clustersteekproef - Doelpopulatie kan worden aangetroffen in clusters - Selectie van sommige clusters - Alle eenheden binnen geselecteerde clusters in steekproef - Kanssteekproef van eenheden binnen geselecteerde clusters **Typen niet-kanssteekproeven (geen steekproefkader voorhanden)** - Quotasteekproef - Quota zijn combinaties van variabelen - Selecte keuze uit quota - Sneeuwbalsteekproef - Moeilijke groepen die tot een sociaal netwerk behoren - Inclusie in steekproef afhankelijk van eerste contact - Gemakssteekproef - Eenheden die makkelijk te bereiken zijn insluiten in steekproef - **Kanssteekproeven** bieden hogere representativiteit, maar vereisen een steekproefkader en meer middelen. - **Niet-kanssteekproeven** zijn sneller en eenvoudiger, maar zijn minder geschikt om te generaliseren naar de gehele populatie. 4. **Maak een beslissing over steekproefgrootte** - Afhankelijk van gewenste precisie in te schatten populatie parameters - In algemene zin niet afhankelijk van de populatie omvang - Eenheden die op papier in de steekproef terecht komen zijn niet per definitie deelnemers aan het onderzoek - Dergelijke non-respons opgevangen door 'oversampling' toe te passen - Beschikbare middelen **Non-observatie fouten** Bedreigingen van de externe validiteit van sociaal wetenschappelijk onderzoek kent verschillende oorzaken: - Voor de dataverzameling - Tijdens de dataverzameling **Non-respons** - Corrigeren voor non-respons: grotere steekproef nemen - Corrigeren voor selectieve non-respons: oversampling of wegen **Vragenlijst** - Dataverzamelingsmethode - Modi (wijze van aanbieden) - Persoonlijk (face-to-face) - Telefonisch - Zelfinvullijst (email/post) - Gestructureerde wijze van gestandaardiseerde vragen stellen - Vs volledig ongestructureerd - Geen gestandaardiseerde vragen - Vaker gebruikt in kwalitatief onderzoek **Standaardisatie kwantitatief** Gestandaardiseerd wil zeggen dat de vragenlijst bestaat uit dezelfde vragen met dezelfde antwoordmogelijkheden in dezelfde volgorde en welke op identieke wijze wordt voorgelegd aan iedere onderzoekseenheid **Vragenlijst modus - Persoonlijk** - Interviewer bezoekt mensen thuis - Papier of computer assisted Voordelen - Hoge respons - Lange en complexe vragenlijst mogelijk Nadelen - Veel tijd nodig voor dataverzameling - Hoge kosten - Gevoelige onderwerpen **Vragenlijst modus -- telefonisch** - Interviewer belt mensen thuis - Papier of computer assisted Voordelen - Minder duur - Minder tijd nodig voor dataverzameling - Minder sociaal wenselijke antwoorden Nadelen - Minder hoge respons - Onderdekking - Gesprek mag niet lang duren **Vragenlijst modus -- zelfinvullijst** - Papier of digitaal Voordelen - Routing - Automatische controle op invoerfouten - Sneller voor wat betreft data invoer - Minder sociaal wenselijke antwoorden Nadelen - Lage respons - Mag niet te lang zijn - Foutgevoeligheid bij papier **Richtlijnen gebruik vragenlijst** Vraagvorm: open en gesloten vragen - Open vraag is gemakkelijk gesteld, moeilijk te analyseren Vraagformulering - Verplaats je in de respondent - Vermijd afkortingen, jargon en moeilijke termen - Taalgebruik sluit aan bij taalgebruik respondenten - Stel ondubbelzinnig interpreteerbare vragen - Houd vragen zo kort en eenvoudig mogelijk - Stel 1 vraag per keer - Formuleer de vraag zo neutraal mogelijk - Niet sturend - Niet normatief - Geen vooronderstelling - Pas op met gevoelige onderwerpen - Stel alleen relevante vragen - Vermijd (dubbele) ontkenningen Formulering antwoordcategorieën bij gesloten vragen - Duidelijk interpreteerbaar - Aansluiten bij de vraag - Uitputtend - Elkaar wederzijds uitsluiten - Aantal en volgorde - Middencategorie aanbevolen bij likert statements - Restcategorie (nvt)aanbevolen - Laat de vragen nakijken door experts - Test de vragen uit bij proef respondenten - Na pilot testen grootschalig Volgorde vragen - Start met aantrekkelijke en makkelijke vragen - Vragen moeten logisch op elkaar volgen - Ga van algemene vragen naar specifieke vragen - Pas op voor referentie wissselingen (bv. vragen over hetzelfde begrip/onderwerp bij\ elkaar zetten) - Plaats vragen met dezelfde antwoordschalen achter of bij elkaar - Gevoelige en bedreigende onderwerpen in tweede deel vragenlijst - Eindig met makkelijke vragen **Bedenkingen gebruik vragenlijst** Bedreigingen van de meetvaliditeit - Interviewer effect (sociale wenselijkheid = systematische fout) - Formulering (vermijd ambigue vragen) - Volgorde van vragen (vermijd referentiewisselingen) - Gevoelige onderwerpen (responsvertekening) Lecture 5 --------- **Confounding controleren** Optie 1: confounders moeten worden geidentificeerd en daarna worden gemeten Optie 2: gestratificeerde steekproeftrekking: Optie 3: homogene steekproef (alleen maar 20 jarigen): nadeel is dat externe validiteit gecompromiseerd raakt **Longitudinale opzet** Drie typen - Trendonderzoek -- elke verandering een steekproef (populatieverandering/ontwikkeling over de tijd) - Panelonderzoek -- één steekproef en die volgen over tijd (individuele verandering/ontwikkeling over de tijd) - Cohort studie -- speciale vorm van panel, mensen in de steekproef hebben iets gemeenschappelijks (eenheden bezitten een gemeenschappelijk kenmerk) **Longitudinale opzet -- trendonderzoek** - Herhaald cross-sectioneel onderzoek met nieuwe steekproeven op twee of meer tijdstippen - Doel is veranderingen in de tijd in kaart te brengen op het niveau van een populatie (externe validiteit vereist - Idealiter wordt steeds hetzelfde instrument gebruikt (standaardisatie) - Geen individuele verandering over de tijd vast te stellen Visualisatie: **Longitudinale opzet -- trendonderzoek** Onderzoeksvragen gaan over de ontwikkeling over tijd - Is het vervuilingsniveau van de Rijn in de afgelopen 40 jaar veranderd? - Begrip / wat gemeten wordt vervuilingsniveau - Is een retrospectieve (over de afgelopen jaren) beschrijvende (een ding wordt maar gemeten) trendvraagstelling - Eenheden zijn meetlocaties - Welke invloed hebben nieuwe autotechnieken (elektrische auto / zelf-of autonoom rijdende auto) op de verkeersveiligheid in Nederland? - Wat gemeten wordt veiligheid - Is een prospectieve trendvraagstelling waarin een causale inferentie of gevolgtrekking wordt gemaakt - Eenheden zijn wegen Voorbeeld trendonderzoek: consumentenvertrouwen **Longitudinale opzet** Probleem in trendonderzoek - Je kunt de trend vinden, maar niets zeggen over individuele ontwikkelingen. Bijvoorbeeld: Neemt de individuele studietevredenheid gedurende de bacheloropleiding onder WUR studenten toe of af? - Geen oorzaak-gevolg relaties **Longitudinale opzet -- panelonderzoek** Dezelfde steekproef wordt 2 of meer keer gebruikt (golven) Non-respons heeft invloed op externe validiteit - Initiële non-respons tijdens werving - Incidentele non-respons tijdens data analyse - Uitval of panelmortaliteit - Groot probleem in panels - Vanwege uitval moet de steekproef regelmatig worden aangevuld - Selectieve uitval (sterfte, panelmortaliteit) - Vaststellen van individuele verandering wordt ook moeilijker **Longitudinale opzet - panelonderzoek** Onderzoeksvragen gaan over ontwikkeling in de tijd - Hoe snel verslechterd de lichamelijke gezondheid van individuele long-COVID patiënten in het eerste jaar na het stellen van de diagnose long-COVID? - Long covid patiënten zijn een subpopulatie de populatie corona geïnfecteerde - Steekproef van mensen die leiden aan long covid **Longitudinale opzet -- cohort studie** Studie van een populatie die op een bepaald tijdstip een gezamenlijk kenmerk bezit - Mensen geboren tussen 2000 en 2004 - Huizenbezitters die hun huis in 2020 hebben gekocht - Groep 2024 BSc studenten YRM aan de WUR  **Cohort studie -- voorbeeld leeftijd- en periode effecten** - Leeftijdeffecten (maturatie): verandering in de tijd die het gevolg zijn van het ouder worden van de onderzoekseenheden - Periode effecten (history): veranderingen in de tijd als gevolg van een gebeurtenis die alle eenheden beïnvloedt - Cohort effecten: vruchtbaarheid (bijv) verschillend **Case studie opzet: etnografisch veldonderzoek** - Een beperkt aantal casussen worden bestudeerd - Onderzoek vindt plaats in natuurlijke situaties (veld) - Toepassing case studie opzet - Etnografisch veldonderzoek - Beschrijven en verklaren van verschijnselen en fenomenen (bv. Wat is het\ drugsgebruik onder jongeren? Wat zijn de oorzaken van \...?) **Voorbeeld etnografisch veldonderzoek** - Onderzoek naar culturele gebruiken (lichaamsbeschilderingen) en kennis (geneeskrachtige planten) m.b.v. participerende observatie (wat voor data, onderzoeksontwerp) - Dataverzameling over langere tijd (Wanneer, onderzoeksontwerp) - Onderzoek naar de manier waarop mensen sociale orde creëren assumptie is dat mensen niet enkel samenleven in een sociale ordening, maar dat zij ook specifieke methodes hanteren waarmee die ordening wordt gecreëerd - Wanneer en waar specificeren in onderzoeksplan **Case study opzet** Kenmerken - Case studie = fenomeen + casus(sen) - Slechts een beperkt aantal casussen wordt bestudeerd - De studie van de casus moet leiden tot het zo volledig mogelijk beschrijven/verklaren van het fenomeen = doel - Er worden verschillende databronnen (doelpopulaties) en dataverzamelingsmethoden gebruikt - Eenheden binnen databronnen leveren gegevens (bij wie of wat?) - Informanten (eigenaren van winkels die behoren tot de middenstand) - Documenten (brochures en kranten) - Specifieke dataverzamelingsmethoden (wat voor data?) - Participerende observatie - On- of semi-gestandaardiseerd open interview - Vragenlijst **\ ** **Wat is een fenomeen?** - Simpel gezegd: alles waarin je geïnteresseerd bent - Historische gebeurtenis (bv natuurramp of oorlog) - Gebruiken rondom trouwerijen - Het idee is dat zulke fenomenen te ingewikkeld of te onbekend zijn om te bestuderen in de vorm van variabelen **Wat is een casus?** De casus is het subject vastgelegd in tijd en plaats waar het fenomeen kan worden bestudeerd - Plaats (dorp, eiland) of gebeurtenis (aardbeving) - Organisatie (bedrijf) of groep (schoolklas) - Persoon - Etc. **Voorbeeld case studie** Onderzoeksvraag: Hoe ervaren verschillende belanghebbenden het gebruik van duurzame technologie in ecologische wijken? - Wat is het fenomeen? - Duurzame technologie in ecologische wijken (bv zonnepanelen en waterzuivering) - Wat is een relevante casus? - Eén of meer ecologische wijken Databronnen (bij wie of wat? Steekproefplan) - Bewoners - Architecten - Diverse media Methoden van dataverzameling (Wat voor data? Dataverzamelingsplan) - Observatie - Interviews - Vragenlijst **Typen casestudies** - Enkelvoudige case studie: N = 1 - Meervoudige case studie: een case studie waarin meerdere casussen worden bestudeerd - Parallel (alle casussen tegelijk geselecteerd -- ontwerpfase) - Sequentieel (selectie van de volgende casus is gebaseerd op de resultaten van de vorige casus -- uitvoeringsfase) **Steekproefplan** - Steekproeven worden genomen op drie niveaus: Casussen -- databronnen -- eenheden binnen databronnen - Dataverzameling bij eenheden binnen databronnen **Saturatie** Databronnen, onderzoekseenheden, data: Wanneer is het genoeg? Verzadiging (saturatie): stop als je niets nieuws meer leert **Triangulatie** Typen triangulatie - Triangulatie van observatoren/codeurs (betrouwbaarheid data) - Triangulatie van dataverzamelingsmethoden (convergente meetvaliditeit) binnen een databron - Triangulatie van databronnen (interne validiteit casus) Doel is het verhogen van de betrouwbaarheid en meetvaliditeit van de data en de interne validiteit van het onderzoek **\ ** **Validiteiten** - Meetvaliditeit binnen databronnen - Zijn de juiste instrumenten gebruikt (denk aan operationalisatie)? - Als er ongelijkaardige of seperate instrumenten zijn gebruikt: zijn de waarnemingen onderling geassocieerd (methoden triangulatie)? - Interne validiteit binnen databronnen - Worden geldige conclusies betrokken m.b.t. het fenomeen? - Externe validiteit binnen databronnen - Zijn de gekozen eenheden binnen de bronnen representatief voor de doelpopulatie? - Interne validiteit van de case studie heeft betrekking op de gebruikte databronnen - Zijn de geldige conclusies getrokken over het fenomeen binnen iedere databron? - Zijn de bronnen aanvullend (bron triangulatie)? - Ontbreken er geen databronnen? - Externe validiteit van de case studie heeft betrekking op de mate van generaliseerbaarheid van conclusies van de onderzochte casus naar andere casussen **Validiteiten -- samenvattend**  **\ ** **Systematisch literatuuronderzoek** - Gebruikt om wetenschappelijke vraagstellingen te beantwoorden - Duidelijke criteria voor het vinden van relevante literatuur (inclusie voor corpus vorming / exclusie voor selectie) - Onderdelen uit het onderzoeksplan worden toegepast - Steekproefplan (census van wetenschappelijke artikelen) - Dataverzamelingsplan (scopus) - Data-analyseplan (meta-analyse) - Rapportage - Voordelen t.o.v. traditioneel literatuuronderzoeko - Transparant over uitvoering en dus repliceerbaar - Beoordeling wetenschappelijke kwaliteit mogelijk (hogere kwaliteit) - Geringere kans dat belangrijke studies worden "vergeten" - Minder ruimte voor subjectiviteit vanwege toepassing elementen uit onderzoeksplan (steekproefplan / dataverzameling / data-analyse / rapportage) - Samenvoegen vele studies voor krachtiger conclusies (meta-analyse) - Opsporen van kennishiaten - Nadelen - Tijdrovend - Waarom systematisch literatuuronderzoek doen? - Bestaand empirisch bewijs verzamelen en samenvoegen (bv. mate van werkzaamheid bepaalde interventie) - Uitsluitsel geven over tegenstrijdige onderzoeksresultaten (bv. conflicterende theorieën) - Opsporen van kennishiaten - Welke vraagstellingen zijn geschikt? - Effect vragen - Associatie vragen - Prevalentie vragen - Verklarende vragen - Methodologische vragen Lecture 6 --------- **Voorbeeldvragen** Een onderzoekster is betrokken bij een case studie over de invloed van modernisering op de cultuur van inheemse stammen in Kenia. Om gegevens te verzamelen, woont de onderzoekster een paar maanden bij een inheemse stam nabij Lake Turkana Fenomeen Casus Geen randomisatie dus onjuist: Het doel van een casestudie is om te komen tot statistische generalisatie. Juist: In een casestudie kan een databron met één dataverzamelingsmethode worden onderzocht **Kwantitatief vs kwalitatief** Kwantitatief onderzoek - Nadruk op toetsen van hypothesen (fundamenteel en praktijkgericht, deductie hypothese) - Cijfers verzamelen - Gebruik van gestandaardiseerde instrumenten (reductionistisch) - Op zoek naar regelmatigheden (beschrijven van verbanden, nomothetisch) Kwalitatief onderzoek - Nadruk op exploreren (fundamenteel en praktijkgericht, inductie theorie) - Tekst verzamelen - Antwoorden op open vragen - Beschrijving van datgene wat je observeert - De onderzoeker is (onderdeel van) het instrument (selectiviteit en subjectiviteit) - Op zoek naar bijzonderheden (beschrijven/verklaren van maatschappelijke verschijnselen) **\ ** **Kwalitatief onderzoek** - Omvat de eerste fasen van de empirische cyclus in SW - Gemengde methoden - Kwantitatief onderzoek volgt op kwalitatief onderzoek. Theorie ontwikkelen (studie 1) gevolgd door hypothesetoetsing (studie 2) - Kwalitatief onderzoek volgt op kwantitatief onderzoek. Hypothese toetsing (studie 1) gevolg door diepgaander begrip (studie 2) - Specifieke selectie van onderzoekseenheden (bv doelgericht), vaak niet-kanssteekproeven - Specifieke dataverzamelingsmethoden - Participerende observatie - On- of semi-gestandaardiseerd open interview, gevolgd door kwalitatieve inhoudsanalyse - De onderzoeker als instrument - Subjectiviteit - Selectiviteit Bedenkingen bij kwalitatief onderzoek: We have to remember that what we observe is not nature in itself, but nature exposed to our method of questioning.\" -- Werner Heisenberg - De mens is een niet valide instrument. Precies om die reden zijn in het verleden echte instrumenten uitgevonden - Meer reden om duidelijk te zijn over systematiek in het eigen onderzoek. Maakt het transparant, controleerbaar en repliceerbaar **Het formele interview -- ontwerpstappen** Formuleer (sub)onderzoeksvragen - Maak een interview blauwdruk (operationaliseer onderzoeksvraag in interview vragen) - Construeer een voorlopige interview guide (topiclijst of conversatiehandleiding) - Pilot test de interview guide - Selecteer interview respondenten (maak afspraken) - Neem het interview af - Maak transcripten van antwoorden - Analyseer de transcripten - Optioneel : optimaliseer interview guide - Report the results **Van interview blauwdruk naar interview guide** Afbeelding met tekst, schermopname, Lettertype, logo Automatisch gegenereerde beschrijving **Beoordelingscriteria van het antwoord** - Compleet: de respondent heeft alle relevante informatie gegeven - Duidelijk: de interviewer begrijpt het antwoord - Relevant: het antwoord gaat over het object, persoon, situatie in de vraag - Consistent: de antwoorden van de respondent spreken andere antwoorden tijdens het interview niet tegen Niet compleet - V: Wat doet u voor uw beroep? - A: Ik werk met mensen Niet duidelijk - V: Hoe vaak kijkt u naar de weblectures van YRM10306? - A: Soms Niet relevant - V: Wat zou u doen als u werd ontslagen? - A: Dat zal niet gebeuren Niet consistent - V: Hoe vaak gaat u op vakantie? - A: Soms, tamelijk vaak **Semi gestandaardiseerd open interview**  **Ongestandaardiseerde methode versus kwanti(kwali)tatieve data** Afbeelding met tekst, schermopname, Lettertype Automatisch gegenereerde beschrijving **Inhoudsanalyse** Kenmerken - Inhoudsanalyse betreft een methode waarin teksten en/of tekstfragmenten de codeereenheden vorm - Inhoudsanalyse kent twee varianten - Kwantitatief - Kwalitatief - Systematische repliceerbare en soms kwantificeerbare analyse van 'boodschappen' - 'boodschappen' zijn niet beperkt tot (geprinte) woorden (boeken, kranten). Dit kan ook de inhoud zijn van films, foto's, sociale media, enz. **Inhoudsanalyse: kwantitatief voorbeeld** Onderzoeksvraag (vraagstelling: beschrijvend comperatief) - Welk Nederlands dagblad toont zich het meest bezorgd om klimaatverandering? Codeereenheden -- hoe te vinden? - Artikelen die het klimaat als onderwerp hebben - Afkomstig uit geselecteerde kranten in Nederlandse dagbladen (bij wie of wat? Steekproefplan; steekproefeenheden) - Nederland (waar?) - Verschenen in bepaalde periode (wanneer?) - 2016-2020 - Census als alle kranten met artikelen over het klimaat uit Nederlandse dagbladen en bovengenoemde periode worden opgenomen in het onderzoek Begrip (wat voor data? Dataverzamelingsplan) - 'zorgen om klimaatverandering' - Definitie of omschrijving begrip geven Operationalisatie begrip (Wat voor data? Dataverzamelingsplan) - Indicator 1: omvang van artikelen die het klimaat als onderwerp hebben - Indicator 2: positionering artikelen in geselecteerde krant (variabele: paginanummer -- voorpagina, pagina 1 -- als waarden) **Inhoudsanalyse: kwalitatief voorbeeld** In een kwalitatieve inhoudsanalyse is de onderzoeker geïnteresseerd in de inhoud van de artikelen die het klimaat als onderwerp hebben Onderzoeksvraag (vraagstelling: beschrijvend comperatief) - Wat zijn de verschillen in de wijze waarop Nederlandse dagbladen klimaatverandering aan de orde stellen? Codeereenheden -- hoe te vinden? - Tekstfragmenten - Geselecteerde artikelen uit Nederlandse dagbladen (bij wat? Steekproefeenheden) - Nederland (Waar?) - Verschenen in bepaalde periode (wanneer?) Beoordeel wat er wordt gezegd over klimaatverandering (Wat voor data? Dataverzamelingsplan) - Welke onderwerpen kunnen worden onderscheiden? - CO2 emissie, wereldwijde temperatuurstijging, zeespiegelstijging - Op welke wijze worden de onderwerpen gepresenteerd? - Opinie vs. feit / skeptisch vs. alarmerend (subjectiviteit) Inhoudsanalyse: kwalitatief voorbeeld **Inhoudsanalyse: geschikte onderzoeksvragen** - Laten satellietbeelden over de laatste 5 jaar een toename zien in verstedelijking op Java? (beschrijven van trends) - Zijn Europese bedrijven op hun websites positiever over duurzame ontwikkeling vergeleken met Amerikaanse bedrijven? (vergelijken van media) - Is agressie in tekenfilms voor kinderen in de laatste 10 jaar in Nederland toegenomen? (beschrijven van trends) - Hoe ervaren koffieboeren (onderzoekseenheden) hun werksituatie nadat ze zijn aangesloten bij Fair Trade? - Tekstfragmenten (codeereenheden) uit transcripten (steekproefeenheden) verkregen uit open interviews (dataverzamelingsmethode) dienen met inhoudsanalyse (data analyse methode) te worden gecodeerd **Onderzoeksethiek** - De Nederlandse gedragscode wetenschappelijke integriteit geeft ook zorgplichten van de instelling weer - Functie van ethische normstelling, procedure en toetsing - Bescherming van de integriteit en veiligheid van mensen, dieren en leefmilieu - Professionalisering van de onderzoeker en zijn/haar organisatie **Stakeholders in onderzoek** 1. De participanten (onderzoekseenheden) 2. De onderzoeker 3. De opdrachtgever Elke stakeholder (belanghebbende) heeft andere belangen, doelen en motivaties die elk invloed kunnen uitoefenen op de manier waarop onderzoek wordt uitgevoerd of het onderzoeksrapport wordt geschreven (Hoe te rapporteren? Zie onderzoeksplan) Lecture 7 --------- **Gebruik van bestaande gegevens -- definitie** Primair onderzoek - Data door de onderzoeker zelf verzameld (primaire data) Secundaire data of bestaande gegevens - Gegevens verzameld door anderen - Onderzoeksgegevens van andere onderzoekers **Gebruik van bestaande gegevens -- onderscheid** Gegevens verzameld door anderen - Mogelijk geschikt voor eigen onderzoeksvraag - Officiële statistiek - Registraties zijn administratieve gegevens - Gemeentelijke vergunningaanvragen / notulen vergadering - Belastingdienst Onderzoeksgegevens van andere onderzoekers - Geschikt voor eigen onderzoeksvraag - Data archieven - Replicatie onderzoek (transparantie vereist m.b.t. onderzoeksontwerp en data bewerking) - Secundaire analyse voor nieuwe (eigen) onderzoeksvragen **Gebruik van bestaande gegevens -- voor- en nadelen** Voordelen - Replicatie oorspronkelijk onderzoek mogelijk - Geen last van reactiviteit (gedragsaanpassing) - Besparing op middelen (geld en tijd) Nadelen - In primair onderzoek heeft de onderzoeker zelf controle (bv operationalisatie / steekproefplan) - Allerlei vragen over meetvaliditeit te stellen (bv begripsdefinitie) - Data zijn niet automatisch betrouwbaar wanneer ze komen van het CBS, RIVM - Data zijn niet automatisch valide wanneer ze komen van het CBS, RIVM **Samenvatting** - Empirische & regulatieve cycli - Verschillende onderzoeksopzetten - Meet-, interne en externe validiteit **Empirische cyclus Regulatieve cyclus** **Verschillende onderzoeksopzetten** - Experimenteel (lab- of veldexperiment) - Cross-sectioneel (grootschalig veldonderzoek) - Longitudinaal (trend of panelonderzoek) - Case studie (etnografisch veldonderzoek) Experimenteel - Causale hypothese (causaal effect; mediatie en moderatie) - Manipulatie door onderzoeker (oorzaak manipuleren) - Verschillende groepen (randomisatie / matching) - Confounding voorkomen (testeffect en/of interactie effect) - (Vaak) meerdere metingen (pre- / posttest) Cross-sectioneel - Correlationele of non-relationele hypothese (beschrijvend comperatief vs beschrijvend) - Relatief grote steekproef (doelpopulatie / kader / methode) - Gestandaardiseerd meetinstrument (afnameprocedure) - Vaak vragenlijst als dataverzamelingsmethode (modi / richtlijnen) - Momentopname of korte periode (niet longitudinaal) Longitudinaal - Ontwikkelingshypothese (beschrijvend trend; trendbreuk: causale inferentie mogelijk) - Metingen over tijd - Trendonderzoek (populatieniveau) - Panelonderzoek (individueel) - Cohort studie (multipel: scheiding leeftijd en periode effecten) - Gestandaardiseerd meetinstrument **Verschillende onderzoeksopzetten** - Kwalitatief, bedoeld om volledig begrip te krijgen (explorerend; holistisch) - Fenomeen + casus(sen) - Triangulatie - Databronnen (onderzoekseenheden) - Dataverzamelingsmethoden (observatie / open interview / vragenlijst / focus groep) - Onderzoekers (betrouwbaarheid gegevens vaststellen) **Validiteiten op generiek niveau** - Meetvaliditeit - Meten we wat we willen meten? - Operationalisering (van abstract begrip naar meetbare variabelen) - Interne validiteit - Zijn de conclusies geldig binnen de steekproef? - Ontwerpkeuzes onderzoeker zijn medebepalend - - Externe validiteit - Zijn de conclusies geldig buiten de steekproef? - Steekproefplan Een goed doordacht onderzoeksplan helpt alle validiteiten te optimaliseren **Validiteit experiment** Interne validiteit - Zijn de gevonden effecten volledig toe te schrijven aan de manipulatie van X? - Pre-, quasi,- zuiver experimenteel - Bedreigingen van de interne validiteit Externe validiteit - Ecologische validiteit (replicatie met andersoortige manipulaties of typen experiment) - Populatie validiteit (steekproefplan) **Validiteit cross-sectioneel & longitudinaal** Interne validiteit - Zijn de conlusies geldig binnen de steekproef? - Confounders vooraf geïdentificeerd, gemeten en achteraf meegenomen in data-analyse - Gestratificeerde steekproef en homogenisering als alternatieven vooraf Externe validiteit - Generaliseerbaar naar of geldig voor doelpopulatie? - Steekproefkader (onderdekking / overdekking) - Steekproefmethode (kans vs. niet-kans) - Selectieve non-respons (vooraf) / uitval (tijdens) **Validiteit case studie** Interne validiteit op casus niveau - Per databron - Meetvaliditeit instrument(en) - Methoden triangulatie - Brontriangulatie Externe validiteit - Theoretische generaliseerbaarheid (toepassen resultaten bij andere vergelijkbare casussen) - Motiveer casus selectie