Inleiding Methodenleer - alles PDF

Inhoudsopgave {#inhoudsopgave.Kopvaninhoudsopgave} ============= [Hoorcollege 1: inleiding methodenleer 2](#hoorcollege-1-inleiding-methodenleer) [Hoorcollege 2: Verbanden tussen variabelen 11](#hoorcollege-2-verbanden-tussen-variabelen) [Hoorcollege 3: Validiteit en betrouwbaarheid 17](#hoorcoll...

Inhoudsopgave {#inhoudsopgave.Kopvaninhoudsopgave} ============= [Hoorcollege 1: inleiding methodenleer 2](#hoorcollege-1-inleiding-methodenleer) [Hoorcollege 2: Verbanden tussen variabelen 11](#hoorcollege-2-verbanden-tussen-variabelen) [Hoorcollege 3: Validiteit en betrouwbaarheid 17](#hoorcollege-3-validiteit-en-betrouwbaarheid) [Hoorcollege 4: Kwalitatief onderzoek 29](#hoorcollege-4-kwalitatief-onderzoek) [Hoorcollege 5 + 6: Steekproeftrekking 37](#hoorcollege-5-6-steekproeftrekking) [Hoorcollege 7 en 8 47](#hoorcollege-7-en-8) [Hoorcollege 9: Experimenten 62](#hoorcollege-9-experimenten) [Hoorcollege 10 70](#hoorcollege-10) [Hoorcollege 11 77](#hoorcollege-11) Hoorcollege 1: inleiding methodenleer ===================================== [Wat is wetenschappelijk onderzoek?] Afbeelding met tekst, schermopname, Lettertype, visitekaartje Automatisch gegenereerde beschrijving - **Produceren**: wetenschap is een continu proces - Als wetenschappelijk onderzoeken, aan de universiteit of een instituut. Of in de praktijk - **Kennis**: als beschrijving - Niet ambigu (verschillende betekenissen mogelijk) - Jargon (e.g. constructen) (taalgebruik dat niet bekend is buiten de groep die het gebruikt) - Als verklaring: idealiter resulterend in een theorie - Let op: kennis verwijst [niet] naar de ultieme waarheid - **Consumeren**: - Binnen de journalistiek - Belangrijke besluitvorming - Medisch, politiek, bedrijven - **Proces**: De methode van empirisch onderzoek en logisch redeneren door middel waarvan kennis wordt verworven, getoetst en/of bijgesteld → rode draad doorheen deze gehele cursus - **Product**: Een logische structuur van kennis die ons iets zegt over hoe of waarom iets is (d.w.z., wetmatigheden en theorieën) - Product: kennis - Als beschrijving - Niet ambigu - Eventueel d.m.v. concepten en constructen (woorden die verwijzen naar een specifieke beschrijving - Als verklaring en voorspelling - Eventueel resulterend in theorieën - Let op: kennis verwijst niet naar de ultieme waarheid - Het is beter te begrijpen als een toestand waarin we het dichtsbij de waarheid zijn als waar we tot nu toe hebben kunnen komen - Wetenschap is een continu **proces**! **[Verschillende benaderingen ]** - Wetenschappelijk methode van onderzoek - Survey - Experimenten - Veldonderzoek - Beschikbare data - Voorbeeld: - Altruïsme -- "Onbaatzuchtigheid (tegenstelling: egoïsme)" (Van Dale, 2023) - = hulpgedrag dat puur wordt gemotiveerd uit het verlangen om anderen te helpen, zonder te anticiperen op persoonlijke beloningen en dat vaak ten koste van de helpende. - Kritisch: onderzoeksresultaten niet zomaar voor waar aannemen - Kwaliteit van onderzoek: betrouwbaarheid en validiteit - Anderen toestaan het tegendeel te bewijzen (=falsificeerbaarheid) **Survey** - Mogelijke vragen: - Hoe vaak komen altruïstische gedragingen voor in de TiU studentpopulatie? - Hoe hangen deze gedragingen samen met persoonskenmerken? - Onderzoeksopzet: - Vragenlijst opstellen - Vragenlijst voorleggen - Verzamelde data analyseren **Experimenten** - [Mogelijke vragen ] - Wat maakt dat iemand altruïstisch gedrag vertoont? - Wat verklaart verschillen in altruïsme tussen personen/situaties? - Theorie zegt: - De mate van altruïsme hangt af van de mate waarin iemand zich deel voelt uitmaken van de gemeenschap waarin men wederzijds hulp aanbiedt, elkaar aanmoedigt en om elkaar geeft (Twenge, 2007). - Onderzoeksopzet: - Twee groepen studenten - Zorgen dat studenten in de ene groep zich thuis voelen en studenten in de andere groep niet (= manipulatie) - Meten van altruïsme in beide groepen [Veldonderzoek ] - Mogelijke vragen - Hoe manifesteert altruïsme zich onder studenten? - Hoe dragen leiderschapsgedragingen bij aan altruïstische gedragingen van teamleden? - Hoe draagt de cultuur binnen vrijwilligersorganisaties bij aan het morele zelfbeeld van vrijwilligers? - Onderzoeksopzet: - Benadering bepalen (interviews, observaties?) - Rol van onderzoeker bepalen (deelnemer/onderzoeker, zich al dan niet kenbaar maken, persoonlijke band met deelnemers?) [Beschikbare data] - Mogelijke vragen: - Wat is de invloed geweest van een ingrijpende gebeurtenis (e.g., 9/11) op altruïstisch gedrag van individuen direct na de gebeurtenis? - Wat is de relatie tussen fysieke nabijheid 9/11 en altruïsme? - Wat is het verschil in altruïsme tussen werknemers van een grote multinational die werkzaam zijn in verschillende landen? - Mogelijke benaderingen: - Bekijken van aantal en/of inhoud van Facebook-berichten over dit onderwerp - Eventueel gebruik maken van big data (e.g., GPS en zoekopdrachten) - Eventueel data van bestaand onderzoek samenvoegen [3.Het wetenschappelijk proces]  Afbeelding met tekst, schermopname, diagram, lijn Automatisch gegenereerde beschrijving [Onderzoeksvraag]: - Hoe ervaren docenten het social media gebruik van jongeren op school? [Observatie]: - Docenten ervaren het gebruik van social media onder jongeren als problematisch voor de leerprestaties van de jongeren - Signalering van probleem [Theorievorming/toetsbare hypotheses: ] - Docenten suggesteren: - Social media-gebruik vermindert de leerprestaties van jongeren door het verstoren van hun aandacht voor de les - Social media vermindert de duur van de aandacht spanne [Kwalitatief] - Wat is de beleving van docenten m.b.t. social media gebruik van studenten en de mogelijke gevolgen van social media gebruik voor leerprestaties? - Signalering, beschrijving - Vaak, maar zeker niet altijd: inductief proces (observatie → theorievorming) [Kwantitatief ] - Wat is het effect van social media gebruik (tijd, soort, doel, etc.) op leerprestaties van studenten op de universiteit? - Theorie/Hypothesen toetsen (deductie) - Eventueel theorie bijstellen of zelfs ontkrachten (inductie) [Kwantitatief ] - Hoe veel procent van de vluchtelingen met een verblijfsvergunning in Nederland heeft een betaalde baan 3, 6, 12, 18,\... maanden na het ontvangen van de verblijfsvergunning? - D.m.v. beschikbare data de stand van zaken beschrijven [Kwalitatief ] - Wat zijn de ervaringen van vluchtelingen met een verblijfsvergunning in Nederland met de Nederlandse arbeidsmarkt? - Komen bevindingen overeen met verwachtingen die voorkomen uit kwantitatief onderzoek? (Deductie) - Data Theorie (inductie) - Eventueel theorie bijstellen of zelfs ontkrachten (inductie) [Wetenschappelijke onderzoeksvragen] - Vragen die toestaan beantwoord te worden d.m.v. empirisch onderzoek! - Wetenschappelijk: - In welke mate/Hoe worden bepaalde typen leiderschap toegepast in bedrijf Y? - Waarom is het ene type leiderschap effectiever dan het andere? - Vraag naar hoe, in welke mate en waarom bepaalde fenomenen zich voordoen - Niet wetenschappelijk: - Welk type leiderschap is goed/het meest wenselijk in bedrijf Y? - Is leiderschapstype X gepast in bedrijf Y? - Vragen over wat in zijn algemeenheid "goed/slecht" zou zijn (=ethiek) - Vragen die niet empirisch te onderzoeken zijn (= filosofie) - Vraag naar wat "goed" of "wenselijk" is Om een wetenschappelijke onderzoeksvraag te formuleren, moeten we weten: - 1\) (Wat "interessant" is)\ 2) Wat een "concept" is\ 3) Wat wetenschappelijke kennis is Wat is een **concept/construct?** **Concept** = een algemene beschrijving van een fenomeen - Bijv. gewicht, sociale cohesie, menselijk kapitaal, altruïsme, extraversie, massa - Als een concept voor wetenschappelijke doeleinden is ontwikkeld, noemen we het een **construct**. Bijv. sociale cohesie. Voorbeelden en definities: - Menselijk kapitaal = Kennis, vaardigheden en bekwaamheden belichaamd in individuen, die relevant zijn voor economische activiteit en die gevormd worden door onderwijs en training (OESO, 2007). - Altruïsme = (onbaatzuchtigheid; tegenstelling: egoïsme) Hulpgedrag dat puur wordt gemotiveerd uit het verlangen om anderen te helpen, zonder te anticiperen op persoonlijke beloningen en dat vaak ten koste van de helpende (Van Dale, 2023) Wat is **wetenschappelijke kennis**? - Beschrijvend (e vragen) (**descriptive**) - Hoeveel % van de stemgerechtigden geven aan te stemmen op partij X? - Op welke manier laten studenten onderling altruïstisch gedrag zien? - Verklarend (**explanatory**) - Wat is de invloed van de mate van ervaren sociale cohesie in iemands woonplaats op stemgedrag? - Waarom vertonen sommige voetbalsupporters agressief gedrag na een voetbalwedstrijd en andere niet? - Verkennende (e vragen) (**exploratory**) - Hoe komt het dat interventie X geen positief effect heeft bij bedrijf Y, maar wel bij andere bedrijven? - Wat zijn de ervaringen van hardhorende docenten die werken aan de universiteit met het geven van colleges? - Verkregen kennis: beschrijving of verklaring. (Meestal iets onbekends, nieuws, afwijkends. ) 4\. Hypothesen  **Hypothese** = een verwachte, maar onbevestigde stelling - In een kwantitatief onderzoek dient het als mogelijk antwoord op de onderzoeksvraag (het verwachte resultaat - Sterker nog: het is het verwachte resultaat van het desbetreffende onderzoek - Een hypothese wordt d.m.v. het desbetreffende onderzoek aangenomen of weerlegd - Een hypothese moet dus [toetsbaar] zijn (een [precieze formulering] is daarbij noodzakelijk) Kwantitatief onderzoek: toetsbare hypothesen, kwalitatief: geen hypothesen. Eventueel verwachtingen Overeenkomsten en verschillen tussen onderzoeksvragen en hypothesen: +-----------------------------------+-----------------------------------+ | Overeenkomsten: | Helder en beknopt geformuleerd | | | | | Essentieel in kwantitatief | | | sociaalwetenschappelijk | | | onderzoek. | | +===================================+===================================+ | Verschillen | Verschillen | +-----------------------------------+-----------------------------------+ | Onderzoeksvraag | **Hypothese** | +-----------------------------------+-----------------------------------+ | Vraag die beantwoord zal worden | Het verwachte resultaat behorden | | d.m.v. het onderzoek | bij het onderzoek zoals | | | beschreven in de onderzoeksvraag | +-----------------------------------+-----------------------------------+ | Geformuleerd als een vraag | Geformuleerd als een toetsbare | | | stelling die waar of onwaar kan | | | zijn | +-----------------------------------+-----------------------------------+ | Bijv. wat is de relatie tussen | Bijv. Hoe hoger het | | opleidingsniveau en mate van | opleidingsniveau, des te minder | | vooroordelen t.o.v. etnische | vooroordelen ten van etnische | | minderheden? | minderheden | +-----------------------------------+-----------------------------------+ Om goede hypotheses te formuleren, hebben we kennis nodig van: 1. Variabelen 2. Meetniveaus 3. De rol van de variabelen in een onderzoek 1.**Variabelen** = een eigenschap die kan variëren tussen eenheden - Concepten die in de onderzoeksvraag staan, worden vertaald naar variabelen zodra hypotheses worden geformuleerd - Dit noemen we **operationalisatie** Niet alle eigenschappen van eenheden zijn variabelen Voorbeeld: Een onderzoeker onderzoekt het welzijn van studenten die alleen wonen.\ → In deze context is "woonsituatie" geen variabele!\ Deze eigenschap beschrijft alleen de populatie waarin de onderzoeker geïnteresseerd is Bijvoorbeeld, leeftijd, woonsituatie, inkomen en IQ **Concepten** zijn abstracties die zich bevinden in de ideeënwereld. Ze zijn niet als zodanig te meten. **Variabelen** zijn observeerbare eigenschappen in de echte wereld. Ze zijn meetbaar en te kwantificeren 2\. **Meetniveaus**: elk variabele heeft een meetniveau - [Categorische variabelen (nominaal en ordinaal)] - Discrete (of kwalitatieve) variabele - Bestaan uit verschillende categorieën - Voorbeelden: woonsituatie, relatiestatus, nationaliteit, opleidingsniveau. - Single, getrouwd, gescheiden) - [Continue variabelen (interval en ratio)] - Ook wel kwantitatieve variabele genoemd (In deze cursus vermijden we het gebruik van de term "kwantitatieve variabele" om te verwijzen naar continue variabelen aangezien ook categorische variabelen vaak met waarden worden aangegeven. In het boek wordt deze term echter wel gebruikt.) - Kunnen allerlei waarden aannemen - Voorbeelden: score IQ-test (85,100, 130, etc.) - Inkomen (€1000, 2000 per maand) - Leeftijd 3.De rol van de variabelen in een onderzoek - In een verklarend onderzoek (explanatory) onderscheiden we onafhankelijke en afhankelijke variabelen. - Voorbeeld: Wat is de invloed van [de mate van sociale cohesie in de wijk] (OV) op [stemgedrag] (AV) van de inwoners? Onafhankelijke variabele (OV) Afhankelijke variabele (AV) ------------------------------- ------------------------------------------------------------------------------------------- Beinvloed vermoedelijk de AV De variabele die men wil verklaren. De variatie wordt vermoedelijk verklaard door de OV's De oorzaak (cause) Het effect De predictor die voorspelt De uitkomst (outcome) die voorspeld wordt Vaak aangegeven met X Vaak aangegeven met Y Hoe kunnen hypothesen geformuleerd worden? [In **beschrijvend** onderzoek**:**] - Hypothesen bevatten vaak maar [1 variabele ] - Hypothesen geven verwachte waarde van de variabele aan - Bijv. Het gemiddelde cijfer is een 7 - Meer dan de helft van de studenten woont op kamers - Het aantal inwoners in de stad is 10% hoger dan in 2023 vergeleken met 2021 [In **verklarend** onderzoek:] - [2 of meer variabelen] - Speculeren over de vorm van de relatie tussen de variabelen - Positieve relatie - Negatieve relatie [Positieve relatie ] - Als een [toename] in de waarde van een variabele samengaat met de toename in de waarde van een andere variabele - Als een [afname] in de waarde van een variabele samengaat met de afname in de waarde van een andere variabele - → Dus, [beide variabelen veranderen consistent in dezelfde] richting (i.e., afname/toename) - Voorbeeld - Onderzoeksvraag: "Hoe is leeftijd op het moment van trouwen geassocieerd met de kans om te scheiden?" - Hypothese: - "Hoe **hoger** de leeftijd ten tijde van trouwen, des te **groter** de kans dat het huwelijk eindigt in een scheiding." - OF - "Hoe **lager** de leeftijd ten tijde van trouwen, des te **kleiner** de kans dat het huwelijk eindigt in een scheiding." [Negatieve relatie ] - Als een toename in de waarde van een variabele samengaat met de afname in de waarde van een andere variabele - → Dus, beide variabelen [veranderen consistent in tegenovergestelde] richting (i.e., afname/toename) - Voorbeeld Hypothese: - "Hoe **hoger** de leeftijd ten tijde van trouwen, des te **kleiner** de kans dat het huwelijk eindigt in een scheiding." Afhankelijk van het [meetniveau] (categorisch/continu) van de verschillende variabelen in de hypothese, kunnen hypothesen geschreven worden als: - Stellingen die een *continu verband* aangeven (*continuous statements*) - Stellingen die een *verschil* aangeven (*difference statements*) - Stellingen die een *voorwaarde* aangeven (*conditional statements*) - → Als het meetniveau in de hypothese niet overeenkomt met het meetniveau van de variabele, is toetsen van de hypothese op (on)waarheid NIET mogelijk! **Continue verband** - Twee continue variabelen - Stelt dat een toename in een variabele (OV) geassocieerd is met een toename/afname in een andere variabele (AV) - page11image50045472 Voorbeeld hypotheses: - "Hoe **hoger** het [opleidingsniveau], des te **zwakker** de [vooroordelen ten opzichte van etnische minderheden]." - "Hoe **meer** [studie-uren] een student besteedt aan de cursus, des te **hoger** [het cijfer voor het tentamen voor de cursus]." **Verschil** - Eén continue (AV) en één categorische variabele (OV) - Stelt dat de waarde van de continue variabele verschilt naargelang de categorieën van de categorische variabele (OV) -  Voorbeeld: - "Mensen die in [regio Zuid] wonen, hebben [**sterkere** vooroordelen ten opzichte van etnische minderheden vergeleken] met mensen die in [regio Noord] wonen." - "Vrouwen hebben gemiddeld een **beter** [inleveringsvermogen] dan [mannen]" **Voorwaarde** - Twee categorische variabelen (e.g., regio: Noord/Zuid, en vooroordelen: veel/weinig) - Stelt dat als een eenheid deel uitmaakt van de categorie (OV), deze deel uit zal maken van een specifieke categorie op de andere variabele (AV) - page13image28179552 Voorbeeld: - "Als individuen in [regio Zuid] wonen, dan hebben ze [veel vooroordelen ten opzichte van etnische minderheden]." - "Studenten die [het hele boek lezen, scoren een voldoende] op het tentamen." Hoorcollege 2: Verbanden tussen variabelen ========================================== [2.Bivariate verbanden] Een relatie tussen **2** variabelen (= Bivariaat verband) - X Y - X = onafhankelijke variabele Y = afhankelijke variabele\ = richting van het effect  Voorbeelden hypotheses bivariaten verbanden: - Hoe hoger het opleidingsniveau (*X*), hoe groter de kans op reintegratie in de arbeidsmarkt (*Y*). - Hoe extraverter de persoonlijkheid (*X*), hoe hoger de sociale status van een individu (*Y*). - Hoe groter de stad (*X*), hoe hoger het stresslevel van de inwoners (*Y*). Afbeelding met tekst, Lettertype, lijn Automatisch gegenereerde beschrijving Voorbeeld hypothese bivariaat verband met categorische OV: - Praktisch geschoolden hebben een grotere kans op reintegratie op de arbeidsmarkt dan\ theoretisch geschoolden. (= geeft verschil aan, zie HC1)  Voorbeeld hypothese bivariaat verband met categorische OV: - Praktisch geschoolden hebben een grotere kans op reintegratie op de arbeidsmarkt dan\ theoretisch geschoolden. (= geeft verschil aan, zie HC1) - Linkshandigen hebben een grotere kans op reintegratie op de arbeidsmarkt dan rechtshandigen Afbeelding met tekst, schermopname, Lettertype, lijn Automatisch gegenereerde beschrijving [3.Twee (of meer) onafhankelijke variabelen ] - Een meervoud aan verbanden tussen twee variabelen, maar dan in 1 model -  - Afbeelding met tekst, lijn, Lettertype, schermopname Automatisch gegenereerde beschrijving - Voorbeeld: De kans op reintegratie in de arbeidsmarkt (Y) neemt toe met onderwijsniveau (X1) en neemt af met de hoogte van de uitkering (X2). - Voorbeelden hypotheses: - De kans op reïntegratie in de arbeidsmarkt (Y) neemt toe met opleidingsniveau (X1). - De kans op reïntegratie in de arbeidsmarkt (Y) neemt af naarmate het bedrag van de uitkering\ hoger is (X2). -  - In principe kan je zo veel onafhankelijke variabelen toevoegen als je wilt (totdat statistiek dwars gaat liggen) Een meervoud aan verbanden tussen twee variabelen, maar dan in één model - Mogelijkheid tot aangeven **relatief belang** (relative importance) Afbeelding met tekst, lijn, Lettertype, schermopname Automatisch gegenereerde beschrijving Voorbeeld hypothesen: - De kans op reïntegratie in de arbeidsmarkt (Y) neemt toe met opleidingsniveau (X1). - De kans op reïntegratie in de arbeidsmarkt (Y) neemt af naarmate het bedrag van de uitkering hoger\ is (X2) - **Het effect van onderwijsniveau op de kans op geïntegratie op de arbeidsmarkt is sterker dan het effect van de hoogte van de uitkering** **[4.Mediatie]** Het mechanisme waardoor de onafhankelijke variabele (x) de afhankelijke variabele beïnvloed (Y) -  - Afbeelding met lijn, Lettertype, ontwerp Automatisch gegenereerde beschrijving - X3 = onafhankelijke variabele - X4 / M = mediërende variabele - Y = afhankelijke variabele - = richting van het effect **Volledige mediatie (full mediation)** De mediterende variabele verklaart volledig het effect van OV op AV - Voorbeeld: Hoe hoger de leeftijd, des te kleiner de kans op re-integratie in de arbeidsmarkt. - Dit verband kan **volledig** worden verklaard door de gezondheid van een individu, want hoe ouder een individu is, des te slechter de gezondheid, wat leidt tot minder kansen op re-integratie in de arbeidsmarkt. **Onwaarschijnlijk** in het geval van sociaalwetenschappelijk onderzoek -  **Gedeeltelijke mediatie (partial mediation)** - De mediërende variabele verklaart gedeeltelijk het effect van OV op AV - Voorbeeld**:** Hoe hoger de leeftijd, des te kleiner de kans op reintegratie in de arbeidsmarkt. Dit verband kan **gedeeltelijk** worden verklaard door de gezondheid van een individu, want hoe ouder een individu is, des te slechter de gezondheid, wat leidt tot minder kans op reintegratie in de arbeidsmarkt. - Afbeelding met tekst, lijn, Lettertype, schermopname Automatisch gegenereerde beschrijving - Totale effect "leeftijd" op kans re-integratie arbeidsmarkt" = **directe + indirecte effect**  **[Moderatie ]** - De omstandigheden die bepalend zijn voor de relatie tussen de OV en AV - M.a.w. de relatie tussen OV en AV is afhankelijk van de waarde van de modererende variabele - Statistiek: een interactie tussen X4 and X5 - Engels: *the relationship between X and Y is dependent on / conditional upon the value of the moderator* - Afbeelding met lijn, symbool Automatisch gegenereerde beschrijving - X5 = onafhankelijke variabele - X4 / M = modererende variabele - (niet te verwarren met M in mediatie!) - Y = afhankelijke variabele - = richting van het effect [Modererende variabele continu ] Effect X op Y wordt versterkt (*intensified*) of gebufferd (*buffered*) [Modererende variabele categorisch] Effect X op Y verschillend tussen 2 of meer categorieën [Modererende variabele continu ] - Hoe hoger de motivatie om te werken, des te groter de kans op re-integratie in de arbeidsmarkt. -  - Versterkt: deze relatie wordt versterkt door de gezondheid van de individu; hoe gezonder iemand is, hoe sterker het verband tussen motivatie en kans op re-integratie in de arbeidsmarkt. - Afbeelding met tekst, schermopname, Lettertype, lijn Automatisch gegenereerde beschrijving - Buffer: Deze relatie wordt afgezwakt door de grootte van iemands sociale netwerk; hoe groter iemands sociale netwerk, hoe kleiner het positieve effect van motivatie op re-integratie op de arbeidsmarkt [Modererende variabele categorisch ] - Deze relatie is sterker voor wetenschappelijk opgeleide dan voor praktisch opgeleide werkzoekenden. -  De omstandigheden die bepalend zijn voor de relatie tussen de OV en AV Hypothese bivariaat verband: Hoe sterker de motivatie om te werken, des te groter de kans op reintegratie op de arbeidsmarkt. Modererende variabele categorisch - Deze relatie is sterker voor wetenschappelijk opgeleide dan voor praktisch opgeleide werkzoekenden Afbeelding met tekst, schermopname, visitekaartje, Lettertype Automatisch gegenereerde beschrijving [Conceptueel model]  - Een visuele weergave van een of meerdere (verwachte) verbanden tussen variabelen - Vaak maar niet altijd, bestaande uit combinatie van meerdere gerelateerde hypotheses (bij simpele verbanden is een grafisch weergave vaak overbodig) - Mogelijkheid om hypotheses af te leiden uit conceptueel model Afbeelding met lijn, schermopname, Perceel, diagram Automatisch gegenereerde beschrijving **[Schijnverband ]** - In verklarend onderzoek zijn we geinteresseerd in causale verbanden, waarbij de OV de\ AV verklaart - Echter, alleen een verband tussen 2 variabelen impliceert [geen] causaal verband - Om een causaal verband vast te stellen hebben we nodig - Associatie - Richting/volgorde - Uitsluiten van alternatieve verklaringen - Gezond verstand gebruiken - Bestaande literatuur en statistiek Een ogenschijnlijk verband tussen 2 variabelen dat wordt geobserveerd doordat een 3^e^ variabele een gedeelde oorzaak is van zowel de OV als de AV -  - X = onafhankelijke variabele - Y = afhankelijke variabele - C = 'confounder' - = richting van het effect Voorbeeld: Een groep onderzoekers verzamelt informatie over de dagelijkse ijsconsumptie op een stadsstrand en de mate van zonnebrand onder bezoekers aan het einde van de dag. Na het analyseren van de data, vinden ze dat als er op een dag meer ijs wordt gegeten door bezoekers, er ook meer zonnebrand is vastgesteld bij de bezoekers aan het einde van de dag. Ze veronderstellen daardoor dat er een positieve relatie moet zijn tussen ijsconsumptie en zonnebrand. Afbeelding met Lettertype, tekst, lijn Automatisch gegenereerde beschrijving Gezond verstand; vreemd - 3^e^ variabele: zonkracht - Relatie ijsconsumptie-zonnebrand is louter [correlationeel] en niet [causaal] - Afbeelding met tekst, lijn, Lettertype, schermopname Automatisch gegenereerde beschrijving Hoorcollege 3: Validiteit en betrouwbaarheid ============================================ Wanneer is het meten van variabelen in het onderzoeksproces?  Eenheid van analyse (unit of analysis) = over wie of wat de uitspraken kunnen worden gedaan in een onderzoek - Moet voor het onderzoek helder zijn, correcte onderzoeksvraag en hypothese, concepten operationaliseren Voorbeelden: Afbeelding met tekst, schermopname Automatisch gegenereerde beschrijving  Afbeelding met tekst, schermopname Automatisch gegenereerde beschrijving  [Eenheid van analyse misvattingen] - We kunnen alleen uitspraken doen over het niveau dat we hebben onderzocht - Betekenis concepten is mogelijk anders (operationalisatie van het concept) - Tekort aan informatie (misvattingen (fallacies) - Dezelfde concepten kunnen naar verschillende eigenschappen verwijzen op verschillende niveaus (variabelen) - Voorbeeld: voortbestaan (survival) - Individu: fysieke overleving - Organisatie: de economische instandhouding van een organisatie - Landen: de instandhouding van politiek zeggenschap over grondgebied Afbeelding met cirkel, tekst, schermopname, logo Automatisch gegenereerde beschrijving **Misvatting** = een verkeerde of misleidende veronderstelling gebaseerd op een ondeugdelijke\ redenering - Het is niet correct om resultaten te interpreteren op een ander niveau dan het niveau waar de\ resultaten betrekking op hebben - Als dit wel gebeurt → **logische misvatting (logical fallacy)** - **Ecologische misvatting (ecological fallacy)** - **Atomistische misvatting (atomistic fallacy)** [Misvattingen] **Misvatting** = een verkeerde of misleidende overtuiging of idee, gebaseerd op een ondeugdelijke redenering - Het [is niet correct] om resultaten te interpreteren op een ander niveau dan het niveau waar de resultaten betrekking op hebben! - Als dit wel gebeurt → **logische misvatting** (*logical fallacy*) - **Ecologische misvatting** (*ecological fallacy*) - **Atomistische misvatting** (*atomistic fallacy*) **[Ecologische misvatting ]** - Conclusies trekken op [individueel niveau terwijl] onderzoeksresultaten betrekking hebben op [een hoger niveau] Voorbeelden - Vaststelling: In regio's met hogere werkloosheid stemt men gemiddeld meer op extreemrechtse politieke partijen - → Foutieve interpretatie: Werklozen stemmen meer op extreme rechtse politieke partijen - Vastelling: Er is meer criminaliteit in Dordrecht dan in Ede. - → Foutieve interpretatie: Individuen die in Dordrecht wonen hebben een grotere kans om een crimineel te zijn dan individuen in Ede. **[Atomische misvatting ]** - Conclusies trekken op [hoger niveau] terwijl onderzoeksresultaten betrekking hebben op individuen Voorbeelden - Vastelling: Werknemers met een hoger inkomen voelen zich meer betrokken bij het bedrijf waar ze werken. - → Foutieve interpretatie: Hoe meer salaris een bedrijf uitbetaalt, hoe meer betrokken de werknemers. - Vaststelling: Individuen met een hoger inkomen vertonen minder leeftijdsdiscriminatie. - → Foutieve interpretatie: Hoe hoger het BBP van een land, hoe minder er sprake is van leeftijdsdiscriminatie in een land. Voorbeeld Anderman, 2002:  [Eenheid van analyse -- Geneste data] - Kleinere eenheden zijn ingebed (genest\_ in grotere eenheden - Verschillende levels kunnen voorkomen in 1 onderzoeksvraag - Wat is de invloed van de grootte van de universiteit op het welzijn van studenten? - Wat is de invloed van de bevolkingsdichtheid van een provinvie op het veiligheidsgevoel van inwoners? - zulke onderzoeksvragen vereisen geavanceerd onderzoek (ReMa) Afbeelding met tekst, schermopname, cirkel, Lettertype Automatisch gegenereerde beschrijving De eenheid van de [afhankelijke variabele] is de eenheid van analyse - Voorbeeld: - Wat is de invloed van de grootte van de universiteit op het welzijn van studenten? - Welzijn van studenten = eenheid van analyse  [Eenheid van analyse -- eenheid van observatie] Eenheid van analyse ≠ Eenheid van observatie **Eenheid van observatie** = het niveau waar de informatie verzameld wordt - Voorbeelden: - Mate van vooroordelen in regio's (eenheid van analyse = regio) - → Mate van vooroordelen gemeten bij individuen (eenheid van observatie = individuen) - Prestatieniveau van werkteams (eenheid van analyse = team) - → Informatie verkregen via vragenlijsten bij teamleden (eenheid van observatie = teamleden) - → Informatie verkregen via interview met teammanager (eenheid van observatie = team) - Na het opstellen van een onderzoeksvraag, volgen de volgende uitdagingen: - 1\. Het onderzoeksdesign bepalen - **2. Bepalen hoe de variabelen te meten** (uitgaande van kwantitatief onderzoek) [Meten in de sociale wetenschappen] - **Meten** = het proces van het toekennen van cijfers aan eenheden van analyse a.d.h.v.\ regels, waarbij die cijfers bepaalde eigenschappen (variabelen) representeren - Cijfer: Een symbool (bijv. I, II, III, \... of 1, 2, 3, \...) dat an sich geen kwantitatieve betekenis heeft totdat wij die eraan geven. Op deze manier kunnen we statistische technieken toepassen. - Regels: deze specificeren de procedure waarmee de cijfers worden toegekend aan de variabelen Alledaags voorbeeld - Regels zijn institutie - Geen duidelijke definitie - Afbeelding met tekst, schermopname, Lettertype, nummer Automatisch gegenereerde beschrijving - Regels zijn tot detail omschreven zodat men... - 1)De scores maar op één manier kan interpreteren\ 2) De observaties eventueel kan herhalen\ 3) De kwaliteit van de metingen kan beoordelen We kunnen niet zondermeer veronderstellen dat de relatie tussen variabelen hetzelfde is op alle niveaus! → Concepualisatie (=\> betekenis is anders) → Misvattingen (*fallacies*) (=\> verklaring is anders) - Dezelfde concepten kunnen naar verschillende eigenschappen verwijzen op verschillende niveaus - Voorbeeld: voortbestaan (*survival*) - Individu: fysieke overleving - Organisatie: de economische instandhouding van een organisatie - Landen: de instandhouding van politiek zeggenschap over grondgebied Conceptualiseren operationaliseren **Conceptualiseren** = het proces waarin je een precieze beschrijving geeft van het concept dat je wilt meten/observeren Vaak op basis van bestaand onderzoek Voorbeeld: Sociaal kapitaal - "Een eigenschap van een sociale organisatie waaronder de netwerken, normen en sociaal vertrouwen die coördinatie en samenwerking bevorderen" (Putnam, 1995). - Concepten binnen de sociale wetenschappen zijn doorgaans complex ( **constructen**) - Er wordt vaak gebruik gemaakt van **dimensies** om deze complexiteit structuur te geven Voorbeeld: Sociaal kapitaal - "Een eigenschap van een sociale organisatie waaronder de netwerken, normen en sociaal vertrouwen die coördinatie en samenwerking bevorderen" (Putnam, 1995). - Dimensies: - Structureel: de mate van sociale structuur (e.g., bonding, bridging, linking) - Cognitief: beleving van de sociale context (e.g., gedeelde normen, solidariteit, wederkerigheid, etc.) **Operationaliseren** = Het proces waarin je een concept observeerbaar maakt Het uiteindelijke doel is de **operationele definitie**, die je in staat stelt het concept zoals geconceptualiseerd empirisch te meten in de praktijk - In de sociale wetenschappen vaak **latente constructen** (e.g., sociaal kaptiaal) = variabelen die niet direct te observeren zijn - We hebben observeerbare **indicatoren** nodig (e.g., gerichte vragen) Voorbeeld: Sociaal kapitaal "Een eigenschap van een sociale organisatie waaronder de netwerken, normen en sociaal vertrouwen die coördinatie en samenwerking bevorderen" (Putnam, 1995). - Dimensies: - Structureel: de mate van sociale structuur - "Hoe veel personen binnen de groep beschouw je als vriend?" - "In de afgelopen 7 dagen, hoe vaak heb je vrienden of kennissen bezocht?" - Cognitief: beleving van de sociale context - "Denk je dat je buren betrouwbaar zijn?" - "Denk je dat de mensen in jouw wijk onderling goede relaties hebben?" In dit geval: - Eenheid van analyse (woonwijk)=/ eenheid van observatie (individuen) [Intermezzo: latente constructen in conceptueel model]  Conceptualiseren operationaliseren Voorbeeld: Sociaal kapitaal "Een eigenschap van een sociale organisatie waaronder de netwerken, normen en sociaal vertrouwen die coördinatie en samenwerking bevorderen" (Putnam, 1995). - Niet elk onderzoek gebruikt uitgebreide/precieze meetinstrumenten - Oorzaak: beperkte middelen, tijd, kennis van onderwerp, etc. - Gevolg: meting van mindere kwaliteit (→ betrouwbaarheid & validiteit) - Alternatieve operationalisaties zijn: - Het aantal vrienden, familieleden, en kennissen waarmee men gemiddeld regelematig contact heeft. - Hoe vaak iemand gemiddeld met vrienden en familieleden afspreekt per week. Het gemiddelde aantal buren waarmee men minstens eens per maand contact heeft Meetniveaus:  **[Nominaal ]** - Twee of meer categorieën, [zonder] volgorde - Type woning: appartement, rijtjeshuis, studentenkamer, woonboot, etc. - Bachelorprogramma's TSB: sociologie, personeelswetenschappen, etc. **[Ordinaal ]** - Twee of meer categorieën, met volgorde - Taalniveau's: A1, A2, B1, B2, C1, C2 - Studiejaar: 1, 2, 3, etc.  **[Interval ]** - Kan worden gemeten langs een continuum, en de afstanden tussen de waarden zijn betekenisvol (= te interpreteren) - Verhoudingen zijn [niet] betekenisvol - De waarde '0' betekent [niet]'afwezigheid' - Komt [niet] vaak voor in de sociale wetenschappen - Temperatuur in graden Celsius: - Het verschil tussen 20ºC en 30ºC is even groot als tussen 30ºC en 40ºC, - Als het vandaag 15ºC is en het was gister 10ºC dan kunnen we niet stellen dat het vandaag 1.5 keer zo warm is als gister. - IQ-scores: - Iemand met een IQ van 140 scoort 20 IQ-punten hoger dan iemand met een IQ van 120 - Iemand met een IQ van 140 is niet 140/120=1.17 keer zo slim als iemand met een IQ van 120. **[Ratio ]** - Kan worden gemeten langs een continuum, en de afstanden én verhoudingen tussen de waarden zijn betekenisvol - De waarde '0' betekent 'afwezigheid' - Aantal geconsumeerde glazen alcohol op een avond - Aantal jaren genoten onderwijs - Leeftijd - Afstand in meters - Ik: 80km reizen woonplaats-campus - Student: 4km reizen woonplaats-campus → Ik woon 80-4=76km verder van de campus dan de student → Ik woon 80/4=20 keer zo ver van de campus als de student 4.Kwaliteit van meten Betrouwbaarheid en validiteit Afbeelding met tekst, visitekaartje, schermopname, Lettertype Automatisch gegenereerde beschrijving  Afbeelding met tekst, schermopname, Lettertype, Elektrisch blauw Automatisch gegenereerde beschrijving [Face validiteit:] andere onderzoeker komt kijken en meet [Criterium gerateerde validiteit:] je gaat kijken naar de mate van de samenhang van de meting met een observeerbaar criterium. Vergelijken, samenhang [Constructvaliditeit d.m.v. Bestaande groepen:] kijkt naar de samenhang van de meting van een concept met andere concepten. [Constructvaliditeit d.m.v. Correlaties met andere variabelen:] [Validiteit]: meten wat je wil meten [Betrouwbaarheid]: als je het onderzoek opnieuw doet, krijg je ongeveer dezelfde resultaten. Als de resultaten in de buurt van elkaar zitten. Betrouwbaarheid **[Test-hertest ]** - [Meerdere keren meten met hetzelfde meetinstrument in dezelfde omstandigheden] - Nagaan of de metingen op de twee verschillende momenten dezelfde scores geven - Limitaties: - Eerdere metingen kunnen invloed hebben op de volgende metingen (leereffect) - Sommige variabelen variëren regelmatig (fenomenen, emoties, etc.) -  **[Split-half ]** - De vragenlijst in tweeën splitsen - Nagaan in hoeverre de metingen op de twee helften dezelfde scores geven Voorbeeld: Vragenlijst etnocentrisme - Meerdere vragen meten hetzelfde construct - Verdeel de vragenlijst in twee delen - Ga na in hoeverre de scores op de twee delen overeenkomen Limitaties - Alleen mogelijk wanneer meerdere vragen worden gebruikt om hetzelfde construct te meten - Afbeelding met tekst, schermopname, Lettertype, lijn Automatisch gegenereerde beschrijving **[Interne consistentie ]** - Nagaan in hoeverre de scores op elke vraag overeenkomen met de scores op alle andere vragen - Resulteert in Cronbach's α Statistiek jaar 2 (= statistische maat die aangeeft in welke mate alle items onderling samenhangen) Voorbeeld: Vragenlijst etnocentrisme  Limitaties - Alleen mogelijk wanneer meerdere vragen worden gebruikt om hetzelfde construct te meten **[Intercoder ]** - De mate waarin verschillende beoordelaars tot dezelfde resultaten komen Voorbeelden: - Beoordeling scripties - Coderen van data uit interviews of observaties - (→ Kwalitatieve onderzoeksmethoden jaar 2) Toepassing - Veelal kwalitatief onderzoek (interviews, observaties, documenten) Afbeelding met tekst, schermopname, diagram, logo Automatisch gegenereerde beschrijving  [Validiteit] [Inhoud ] - **Inhoudsvaliditeit** = De mate waarin een meting op een adequate manier alle aspecten (dimensies) van het concept omvat zoals in de definitie omschreven - **'Face' validiteit**: Subjectieve beoordeling van een persoon over de inhoudsvaliditeit van een meetinstrument Voorbeelden - Tentamen: Collega vergelijkt de inhoud van het opgestelde tentamen met de inhoud/leerdoelen van de cursus - Vragenlijst: Bevat een vragenlijst vragen over alle dimensies waaruit een construct bestaat? Limitaties - Lastig toe te passen voor slecht gedefinieerde concepten - En, wanneer zijn alle dimensies voldoende weerspiegeld in het meetinstrument? [Criterium ] - **Criteriumvaliditeit** = De mate waarin een meting samenhangt met een empirisch (observeerbaar) criterium - Twee typen: **1) Predictieve validiteit** = Samenhang met criterium in de toekomst - Voorbeeld: Score meetinstrument creatieve vaardigheden zou moeten samenhangen met toekomstige ontvangen erkenning en waardering van anderen voor diens kunst - **2) 'Concurrent' validiteit** = samenhang met een bekend criterum in het heden - Voorbeeld: Score op nieuw meetinstrument schizofrenie zou moeten samenhangen met psychiatrische diagnose schizofrenie [Construct ] - **Constructvaliditeit** = De mate waarin een meting van een concept samenhangt met metingen van andere concepten - Op basis van theoretische gronden wordt er al dan niet een samenhang verwacht - Vier typen **3) Convergerende validiteit** (*convergent validity*) **4) Discriminante validiteit** (*divergent validity*) **1) Correlaties** met theoretisch gerelateerde variabelen - Voorbeeld: Overeenkomsten en samenhang tussen 'etnocentrisme', 'discriminatie' en 'racisme' **2) Verschillen** tussen bekende groepen - Voorbeeld: Een schaal die 'politieke voorkeur' meet, moet duidelijk onderscheid laten zien tussen partijleden van GroenLinks en de VVD **3) Convergerende validiteit** = Mate van overeenkomst van resultaten van verschillende manieren om eenzelfde concept te meten; hoge correlatie verwacht - Voorbeeld: Een score op meetinstrument voor 'sociale isolatie' zou moeten samenhangen met de bevindingen van een observatie of bijhouden van een dagboek over sociale interacties **4) Discriminante validiteit** = Mate van samenhang tussen verschillende concepten; lage correlatie verwacht - Voorbeeld: Als een vragenlijst over 'Intollerantie t.o.v. Islamitische gebruiken' iets anders meet dan 'Racisme', dan zouden de scores op de vragenlijsten niet te sterk met elkaar moeten correleren Afbeelding met tekst, schermopname, Lettertype, ontwerp Automatisch gegenereerde beschrijving  Hoorcollege 4: Kwalitatief onderzoek ==================================== [Kwantitatief en kwalitatief onderzoek ] Afbeelding met tekst, schermopname, Lettertype Automatisch gegenereerde beschrijving Woorden die kwalitatief onderzoek typeren: - Rijke data - Uitpluizen - Nabijheid - Interpretatie - Diepgaande data - Woorden en tekst - Relatief ongestructureerd Bijdrage aan het product van de wetenschap (=kennis):  Het wetenschappelijke proces Afbeelding met lijn, Lettertype, tekst, schermopname Automatisch gegenereerde beschrijving Kwalitatief - Docenten ervaren het gebruik van social media onder jongeren als problematisch voor de leerprestaties van de jongeren - Signalering, beschrijving - Inductief proces: observatie → theorievorming Kwantitatief - Vermindert social media gebruik (tijd, soort, doel, etc.) de leerprestaties van jongeren door het verstoren van hun aandacht voor de les? - Deductief proces: theorie/hypothesen toetsen - Eventueel theorie bijstellen of zelfs ontkrachten (inductie) Kwantitatief - Hoe veel procent van de vluchtelingen met een verblijfsvergunning in Nederland heeft een betaalde baan 3, 6, 12, 18,\... maanden na het ontvangen van de verblijfsvergunning? - Eventueel orienteren op verklaring van verschillen tussen vluchtelingen\ met verschillende eigenschappen (e.g., herkomst, leeftijd, opleidingsniveau) - Inductief proces: d.m.v. data de stand van zaken beschrijven = lauter observatie Kwalitatief - Wat zijn de ervaringen van vluchtelingen met een verblijfsvergunning in Nederland met de Nederlandse arbeidsmarkt? - Deductief proces: Komen bevindingen overeen met verwachtingen die voortkomen uit kwantitatief onderzoek? = Bevindingen duiden - Andere verklaringen gevonden? → Eventueel theorie bijstellen of aanvullen [2.Methoden van kwalitatief onderzoek] a\) Observeren - Kijken naar (observeerbaar) gedrag - Veelal beschrijvend onderzoek - Zo objectief als mogelijk b\) Interviewen - Vragen naar redenen, overtuigingen, gevoelens, beleving, etc. achter het gedrag - Veelal verklarend onderzoek - Subjectief (naar input participanten) c\) Bestaande data [a) Observeren; wat, waarom, wanneer?] Onderzoeken van: - Menselijke interactie met de fysieke omgeving - E.g., gebruik van ruimte en objecten - Onbewuste gedragingen - E.g., instinctief gedrag, gedrag dat zo "vanzelfsprekend" wordt geacht dat personen dit zelf niet zouden benoemen - Gedragingen die sterk onderhevig zijn aan sociale normen - E.g., spieken tijdens tentamens, handen wassen na toiletbezoek - Gedrag van personen dat we niet op een andere manier kunnen onderzoeken - E.g., baby's en jonge kinderen, personen met een verstandelijke beperking, personen onder invloed door middelengebruik Mogelijke doeleinden: - Vertrouwd raken met de onderzoek setting - Multi-method design - Als centrale methode [Overwegingen ] - Structuur -  - Afbeelding met tekst, schermopname, ontvangst, nummer Automatisch gegenereerde beschrijving - Rol van de observant -  - Afbeelding met tekenfilm, clipart Beschrijving automatisch gegenereerd met gemiddelde betrouwbaarheid - Achtergrond: Etnisch gescheiden scholen en clubs worden als ongewenst beschouwd, omdat ze social integratie van etnische minderheidsgroepen in de Nederlandse samenleving verhinderen. - Doel: Een analyse van het transitieproces van een Hollandse voetbalclub tot een etnisch gemixte club m.b.t. het managementteam - Hoe interacteren de leden van de club tijdens de transitieperiode? - Hoe ervaren de leden van twee etnische groepen (Nederlands en Marokkaans) de transitie naar een etnische gemixte club met een etnisch gemixt management team? - Is het proces geslaagd in de ogen van de leden? - Methode: Etnografie (observaties, interviews, bestaande data), Oktober 2008 -- December 2011, observant als participant (openlijk) deelnemend aan de werkgroep die aangewezen werd om de transitie te begeleiden - Voordelen? - Nadelen? [b) Interviewen: wat, waarom, wanneer] [Overwegingen] - Deelnemers - Individuen - Groepen (→ focusgroepen) - Typen - Gestructureerde interview (= Survey/Enquête, kwantitatief → College 7 & 8) - Semi-gestructureerde interview - Open interview - Verschillen in de mate waarin onderzoeker/participant richting geven aan het interview - Semi-gestructureerde interview - Er is al informatie over het onderwerp bekend - Interesse van onderzoeker in bepaalde deelonderwerpen - Structuur en inhoud van interview wordt deels bepaald door de onderzoeker en deels door de participant - Met behulp van een **topic guide/list** (→ prettig voor beginnende interviewers!) [Topic guide] - Algemene opbouw: - Fase 1 - Introductie interview (doel, verwachting, definities) - Vragen over achtergrondkenmerken - Fase 2 - Algemene inhoudelijke vragen (e.g., beschrijvingen van gebeurtenissen) - Fase 3 - Diepgaande vragen (e.g., attitudes, motieven, ervaringen, gevoelens, meningen) - Van oppervlakking/algemeen naar diepgaand/specifiek - Fase 4 - Afronding (eventuele emoties afbouwen) - Interview samenvatten - Beschrijven van eventuele vervolgstappen (e.g., contactinformatie, eventuele ondersteuning) - Overwegingen - Aantal topics - Meer of minder gedetailleerd - Met of zonder vooraf geformuleerde vragen -  [Interviewen ] [Do's] - Bedenk eventueel vooraf helder geformuleerde open vragen (topic guide!) - Hoe ervaar je de samenwerking met je collega's binnen jouw werkteam? - Wat vind je ervan dat de TiU een rookvrije campus heeft? - Veel (serieus) oefenen! - Handigheid ontwikkelen in informatieverwerking en vragen bedenken - Ontwikkelen van "soft skills" [Don'ts] - Gesloten en kwantificerende vragen - Voel je je thuis tussen je collega's? - Hoe veel stress ervaar je als gevolg van de taken die je hebt op werk? - Leidende vragen - Je ervaart minder stress als je vrij hebt, neem ik aan? - Welke problemen ervaar jij met de nieuwe buurtpreventie-app? - Onduidelijke formulering (e.g., te lang, te algemeen, ambigu, jargon) - Op welke manier voel je je soms vervreemd van je werk? - Hoe komt het dat je op vakantie gaan ziet als vorm van escapisme? - Wat vind je van de sociale cohesie in jouw werkteam? Open interview - Er is nog geen informatie over het onderwerp bekend (→ exploratief onderzoek!) - Interesse van onderzoeker is breed en/of specifieke richting is nog onbepaald - Structuur en inhoud van interview wordt merendeels (al dan niet volledig) gestuurd door input participant - Inhoudelijke voorbereiding niet mogelijk (en misschien zelfs niet verstandig) - Vergt bedrevenheid met interviewvaardigheden (= ervaring!) Methode: Etnografie (observaties, interviews, bestaande data), Oktober 2008 -- December 2011, observant als participant (overt) deelnemend aan de werkgroep die aangewezen werd om de transitie te begeleiden Voordelen? Nadelen? Bevindingen: Transitie resulteerde in conflicten rondom de betekenis van symbolische praktijken/tradities (e.g., bier/thee, snacks). Dit proces van betekenisgeving van de organisatiecultuur resulteerde in een versterking van het wij/zij-onderscheid wat integratie juist verhindert. Kortom, het forceren van een etnisch divers clubmanagement leidt niet per se tot het vormen van positieve relaties tussen de betrokken etnische groepen en/of integratie van etnische minderheden in de Nederlandse maatschappij. [2.Methoden van kwalitatief onderzoek ] - Kritiek op kwalitatief onderzoek - Grote invloed onderzoeker - E.g. invloed op geobserveerd gedrag, sturing interview, sociale wenselijkheid - Subjectief - Data krijgt pas betekenis door de ogen van onderzoekers - Resultaten lastig te generaliseren [3.Kwaliteitscriteria] - Bruikbaarheid kwaliteitscriteria kwantitatief onderzoek: - Je gaat niets "meten"! - Validiteit → Je weet vooraf niet wat de inhoud zal zijn van hetgeen waarin je geïnteresseerd bent. - Betrouwbaarheid → Twee keer dezelfde informatie ophalen is erg onwaarschijnlijk in kwalitatief onderzoek, en immers ook niet het streven. - Andere criteria nodig voor kwalitatief onderzoek! - **Kwaliteit in kwalitatief onderzoek** = Vertrouwbaarheid/ Te vertrouwen (*Trustworthiness*): - Geloofwaardigheid (*Credibility*) -- geloofwaardigheid van de bevindingen - Afhankelijkheid (*Dependability*) -- repliceerbaarheid van het onderzoek - Bevestigbaarheid (*Confirmability)*-- duidelijke relatie tussen data en bevindingen - Overdraagbaarheid (*Transferability*) -- toepasbaarheid in andere contexten - Geen hard bewijs (zoals bij kwantitatief onderzoek), dus: - Zo goed mogelijk verantwoording afleggen van alle keuzes - En mogelijke consequenties daarvan benoemen - Geen standaard manieren van 'bewijzen' kwaliteit - Verantwoording zit vaak verweven doorheen het gehele onderzoeksverslag - Gebruik checklists - COREQ - IRP Checklist (tot dusver alleen voor HRS) [Geloofwaardigheid (Credibility) -- geloofwaardigheid van de bevindingen] - De bevindingen volgen logisch uit het onderzoek - Theorie, onderzoeksvraag, dataverzameling, analyse en resultaten sluiten op elkaar aan - Er is voldoende informatie gegeven die aanleiding geeft tot de getrokken conclusies Voorbeeld: - Het is helder op welke informatie de conclusies gebaseerd zijn - Er is duidelijk aangegeven waarom informatie op een bepaalde manier is geinterpreteerd (sarcasme? → field notes) - Onderzoeksvraag: Wat is de beleving van BHV'ers van TiU die de afgelopen brandoefening in het Cube-gebouw hebben meegemaakt met de brandveiligheid van het Cube-gebouw? - Participanten: ~~BHV'ers van TiU~~ BHV'ers van TiU die de afgelopen brandoefening in het Cube-gebouw hebben meegemaakt - Methode: ~~observatie~~ Interviews [Afhankelijkheid (dependability) -- repliceerbaarheid van het onderzoek] - [Er wordt gereflecteerd op de "reproduceerbaarheid van de resultaten"] - [Er wordt aangegeven in heoverre wordt verwaht dat het onderzochte fenomeen stabiel is] - Er wordt voldoende informatie gegeven waardoor een andere onderzoeker dezelfde stappen kan nemen om het onderzoek te repliceren - Ondanks dat de kans groot is dat er op basis van een replicatiestudie andere conclusies worden getrokken - De procedure in voldoende detail beschrijven is vaak uitdagender dan je zou willen! [Bevestigbaarheid (*Confirmability)*-- duidelijke relatie tussen data en bevindingen] - De relatie tussen data en bevindingen komt duidelijk naar voren, bijvoorbeeld door gedetailleerde beschrijvingen en gebruik van voorbeelden (bijv. quotes uit interviews) - 'Objectiviteit' → 'intersubjectiviteit', kwalitatief onderzoek is namelijk per definitie subjectief - Data verzamelen en analyseren met collega-onderzoekers - Eventueel een check bij de deelnemers van het onderzoek (*member check*) [Overdraagbaarheid (*Transferability*) -- toepasbaarheid in andere contexten] 'Toepasbaarheid' verwijst hier niet naar strikte geldigheid van de conclusies in soortgelijke contexten of voor soortgelijke personen, maar naar eventuele overdraagbaarheid van conclusies - Een gedetailleerde beschrijving van de context waarin het onderzoek heeft plaatsgevonden en van de participanten die eraan hebben deelgenomen (i.e., "*thick description*" (Geertz, 1973)) - Reflectie op hoe bovenstaande de bevindingen van het onderzoek hebben gevormd (denk naast kenmerken van de context en de participanten ook aan sociale wenselijkheid, reactiviteit) - Voorbeelden - Locatie interview werktevredenheid → Sociale wenselijkheid? - (C)overt observatie fietsexamen scholieren vs immigranten → Reactiviteit? - Afbeelding met tekst, schermopname, Lettertype Automatisch gegenereerde beschrijving  Hoorcollege 5 + 6: Steekproeftrekking ===================================== Wat? - Steekproef = Een selectie uit een totale groep - Steekproeftrekking = De methode door middel waarvan de steekproef wordt samengesteld Waarom? - Haalbaarheid Wanneer welke methode? - Doeltreffendheid - Generaliseerbaarheid - Informatierijkheid Wanneer in het onderzoeksproces? - Afbeelding met tekst, diagram, schermopname, lijn Automatisch gegenereerde beschrijving [Sleutelconcepten ] - (Doel)populatie - = het totaal aan eenheden (e.g., personen, groepen, bedrijven, gebeurtenissen) waarover we informatie willen verzamelen - Steekproef eenheden - = de personen, groepen, bedrijven, of gebeurtenissen die samen de doelpopulatie vormen - Steekproef - = een selectie van eenheden uit de populatie die we daadwerkelijk gaan observeren -  - Steekproefkader = de operationele definitie van de populatie die dient als basis voor de daaropvolgende steekproeftrekking - Duidt de verzameling van alle aanheden waarvan de steekproef zal worden getrokken - Voorbeeld: - Doelpopulatie: Studenten van Tilburg University (TiU) - Steekproefkader: Een lijst met alle namen en contactgegevens van studenten die op 1 september ingeschreven staan voor een studie aan TiU - Afbeelding met cirkel, schermopname, diagram, Lettertype Automatisch gegenereerde beschrijving [Willekeurige vs. niet-willekeurige steekproeftrekking] Twee families: 1\. Willekeurige steekproeftrekking = willekeurige selectie van eenheden + gelijke (of bekende) kans op selectie bekend - Is vereist als een steekproef representatief moet zijn voor de populatie - Draagt bij aan generaliseerbaarheid van de resultaten - Door middel van steekproefkader - Het meest gebruikt in kwantitatief onderzoek 2\. Niet-willekeurige steekproeftrekking = als niet aan bovenstaande eisen wordt voldaan - Staat toe om specifieke eenheden te selecteren die rijk zijn aan informatie - Het meest gebruikt in kwalitatief onderzoek [Dekkingsfout (coverage error)] - Dekkingsfout = het verschil tussen doelpopulatie en steekproefkader a\) Eenheden die tot de doelpopulatie behoren maar niet voorkomen in het steekproefkader (= **onderrepresentatie**) b\) Eenheden die behoren tot de doelpopulatie én ook in het steekproefkader zitten (idealiter maken alle elementen deel uit hiervan) c\) Eenheden die niet tot de doelpopulatie behoren maar wel in het steekproefkader voorkomen (= **overrepresentatie**) - Voorbeeld: - Doelpopulatie: Studenten van Tilburg University (TiU) - Steekproefkader: Een lijst met alle namen en contactgegevens van studenten die op 1 september ingeschreven staan voor een studie aan TiU -  - Ideale scenario: - Alle studenten die aan TiU studeren staan op de lijst en alle studenten op de lijst studeren momenteel aan TiU - Afbeelding met tekst, cirkel, schermopname, Lettertype Automatisch gegenereerde beschrijving - Werkelijkheid: a\) Studenten die zich later hebben ingeschreven (= **onderrepresentatie**) - c\) Studenten die uiteindelijk niet zijn gestart met een opleiding aan TiU, en studenten die gestopt zijn (= **overrepresentatie**) - →*Oplossing?* -  [Willekeurige steekproefdesigns (Probability sampling)] **1. Eenvoudige willekeurige steekproef (*simple random sampling*)** **2. Gestratificeerde willekeurige steekproef (*stratified random sampling*)** a\) Gestratificeerde willekeurige steekproef b\) Disproportionele gestratificeerde willekeurige steekproef **3. Clustersteekproef (*cluster sampling*)** a\) Eentraps clustersteekproef (*one-stage cluster sampling*) b\) Meertraps clustersteekproef (*multi-stage cluster sampling*) \- *Probability Proportionate to Size* (*PPS*) steekproef **[Eenvoudige willekeurige steekproef ]** - Een willekeurige (random) selectie van eenhedenuit de populatie, waarbij, elke eenheid (i.e., individu, bedrijf, gebeurtenis) heeft dezelfde kans om geselecteerd te worden voor de steekproef - Afbeelding met cirkel, schermopname Automatisch gegenereerde beschrijving - Twee vereisten: - Een [complete] lijst van de populatie (= het perfecte steekproefkader) - Willekeurige selectie van eenheden -  - Twee vereisten → uitdagingen: 1\. Een compleet steekproefkader - EWS leidt alleen tot representatieve informatie van doelpopulatie als dekkingsfout klein/afwezig is - → **Dekkingsfout** is het resultaat van een systematische fout (systematic error) 2\. Willekeurige selectie van eenheden **Steekproeffout** = Verschil tussen eigenschappen van de populatie (parameters) en schattingen van de steekproef m.b.t. die eigenschappen (statitistieken) 1. *Steekproefkader* a. EWS leidt alleen tot representatieve informatie van doelpopulatie als dekkingsfout klein/afwezig is b. D steekproeffout als gevolg van dekkingsfouten is een systematische fout (systematic error) [A) Gestratificeerde willekeurige steekproef] - Hoe willekeurige (steekproef)fout verkleinen? - Maak gebruik van beschikbare informatie van steekproefkader! - 1\. Maak groepen van eenheden die bepaalde eigenschappen delen (meervoud = strata; enkelvoud = stratum) - 2\. Trek een eenvoudige willekeurige steekproef uit elk stratum - Veronderstellingen: - Stratificatie van eenheden in groepen van elementen die dezelfde eigenschappen delen (= homogene strata) - Strata gedefinieerd door (combinaties van) relevante eigenschappen - Afbeelding met cirkel, Kleurrijkheid Automatisch gegenereerde beschrijving -  - Afbeelding met tekst, schermopname, Lettertype, menu Automatisch gegenereerde beschrijving - [Voordelen] - Verkleint de steekproeffout m.b.t. eigenschappen die de strata definiëren - Grotere kans dat ook kleine strata/groepen in de populatie gerepresenteerd zijn in de steekproef (afhankelijk van grootte strata en steekproef) - Resultaten van onderzoek zullen dichter bij de werkelijkheid liggen dan met eenvoudige willekeurige steekproef als strata gelinkt zijn aan de afhankelijke variabele van het onderzoek - [Nadeel] - Nog steeds een kans dat kleine groepen niet of nauwelijks gerepresenteerd zijn in de steekproef [b) Disproportionele gestratificeerde willekeurige steekproef] - !! Ongelijke kans voor eenheden om geselecteerd te worden voor de steekproef → Dit hoeft echter géén nadeel te zijn. We kunnen zo mooi verschillende groepen vergelijken! -  - Afbeelding met tekst, schermopname Automatisch gegenereerde beschrijving [Clustersteekproef] - Clusters= bestaande groepen in de doelpopulatie (e.g. landen, scholen, werkteams) - Multilevel (of genest) steekproefkader met twee (of meer) "niveaus" - Twee soorten clustersteekproeven: - A. **Eentraps clustersteekproef** - 1\. Steekproef van *primaire eenheden* (clusters) - 2\. Alle eenheden in de geselecteerde clusters zitten in de steekproef - B\) **Meertraps clustersteekproef** - 1\. Steekproef van *primaire eenheden* (clusters) - 2\. Selecteer *secundaire eenheden* binnen de geselecteerde primaire eenheden, enz. - Voordeel van clustersteekproeven: kostenefficiëntie! - NB: selectie blijft d.m.v. eenvoudige willekeurige steekproeftrekking [A.Eentraps clustersteekproef] -  [B.Meertraps clustersteekproef ] - Afbeelding met schermopname, ontwerp, patroon Automatisch gegenereerde beschrijving [Twee nadelen ] 1. [Clustersteekproeven zijn minder precies] dan andere willekeurige steekproefdesigns - Steekproeffouten vinden plaats op elk level van steekproeftrekking (invloed eerdere niveaus groter dan latere niveaus!) - Elke cluster is minder heterogeen dan de originele populatie waarvan deze is getrokken (ook hier invloed eerdere niveaus groter dan latere niveaus!) Oplossing: verhoog het aantal te selecteren clusters → Maar dit heeft ook direct invloed op de kostenefficiëntie van de methode! 2. [Als clusters vershcillen in grootte, dan is er ongelijke ( en doorgaans oo onbekende) kans voor eenheden] om geselecteerd te worden voor de steekproef. 3. Oplossing: *Probability Proportionate to Size* (PPS) steekproef [Probability proportionate to size (PPS) steekproef] -  Twee stappen 1. [Selecteer clusters:] trek eenvoudige willekeurige steekproef (EWS) van X nummers van de lijst van genummerde eenheden (met terugplaatsing) a. Voorbeeld: EWS van 4 nummers 82 (cluster 10), 55 (cluster 9), 6 (cluster 2), en 23 (cluster 4) 2. [Selecteer eenheden:] trek eenvoudige willekeurige steekproef van X nummers [binnen] de clusters geselecteerd in vorige stap. b. Voorbeeld: EWS van 3 nummers binnen elke cluster Cluster 10: 74, 75, 81 Cluster 9: 70, 56, 59 Cluster 2: 11, 9, 10 Cluster 4: 22, 27, 25 - Afbeelding met tekst, schermopname, nummer, Lettertype Automatisch gegenereerde beschrijving -  [Willekeurig selecteren (random selection)] - Manieren om willekeurig te selecteren - Lotto-procedure - Computer algoritme dat willekeurige nummers genereert - Systematische selectie - Stappen - Afbeelding met tekst, Lettertype, schermopname, algebra Automatisch gegenereerde beschrijving Voorbeeld 1: [Eenvoudige willekeurige steekproeftrekking] - Eenheid van analyse/observatie: Nederlandse individuen - Steekproefkader: lijst van Nederlandse vaste telefoonnummers (0031-...) - Probleem: Geen garantie dat zo'n lijst compleet is! - Mogelijke oplossing: '[*Simple random dialing*'] - Creëer eigen steekproefkader door een lijst te maken van alle theoretisch mogelijke Nederlandse telefoonnummers - Registreer elke nummer dat je belt en wat het resultaat daarvan is (actief telefoonnummer, wel/niet opgenomen, wel/geen medewerking, etc.) (→ lees p.136 over *sample bias*) - Aangezien prefixen regio's aanduiden, kun je eventueel stratificeren op prefix Voorbeeld 2: [Een creatieve oplossing voor clustersteekproeftrekking] - Eenheid van analyse/observatie = inwoners van een gemeente - Steekproefkader = lijst van huishoudens wonend in de gemeente - Probleem: - Hoe selecteer je [willekeurig binnen] de geselecteerde huishoudens als je geen informatie hebt over de samenstelling van huishoudens? - → dit moet dus in het moment gebeuren! - Mogelijke oplossing: Instrueer interviewers om de persoon te interviewen die als eerstvolgende jarig is (en geïnterviewd kan worden) [Voorbeeld 3: Geen steekproefkader beschikbaar] - Eenheid van analyse/observatie = inwoners van een wijk - Steekproefkader = geen - Probleem: - Hoe random inwoners selecteren zonder steekproefkader? - Mogelijke oplossing: Meertraps clustersteekproef met zelfgemaakt steekproefkader! - Stel een lijst samen van alle straatnamen in de wijk - Trek een eenvoudige willekeurige steekproef van straten uit de lijst - Bepaal de steekproeffractie voor het aantal te bezoeken adressen in elke straat (e.g., 1/10) en een startpunt (e.g., 3) - Instrueer interviewers om een interview te doen bij elk 10de huis in de straat, beginnend bij huisnummer 3 7.Niet-willekeurige steekproefdisigns (non-probability sampling) - Wanneer een [steekproefkader] niet voorhanden is en ook niet samengesteld kan worden en/of [generaliseerbaarheid] van de resultaten niet het voornaamste doel van het onderzoek is - **1. Gemakssteekproef (*Convenience sampling*)** - **2. Doelgerichte steekproef (*Purposive sampling*)** - **3. Quota steekproef (*Quota sampling*)** - **4. Verwijzingssteekproef (*Referral sampling*)** - a\) Netwerksteekproef (*Network sampling*) - b\) Sneeuwbalsteekproef (*Snowball sampling*) **Gemakssteekproef** [Voordeel] - Een selectie van eenheden die gemakkelijke te bereiken zijn - E.g., studenten via e-mailadres of op de campus, op straat, bij je stage, familieleden [Nadeel] - Leidt vaak tot een homogene steekproef waardoor er veel informatie wordt gemist vergeleken met een heterogenere steekproef - Risico voor kwaliteit verzamelde data i.v.m. eventuele vanden met participanten) **Doelgerichte steekproef** - Een selectie van eenheden die representatief of "typisch" zijn voor een (sub)populatie - Gebaseerd op basis van "expertise" van de onderzoeker - Stappen 1\. Identificeer belangrijke bronnen van variatie binnen de populatie 2\. Selecteer een steekproef die deze variatie reflecteert - Voorbeelden - Onderzoek naar mogelijke bijeffecten van en ervaringen met een nieuwe innovatie op scholen: Selecteer niet alleen de "gemiddelde" school, maar ook de scholen die bijv. juist laag of hoog scoren op kwaliteit. Het vergelijken van casussen kan veel informatie opleveren! - De voordelen en uitdagingen van het gebruik van AI in HRM: Ga gericht op zoek naar HR-medewerkers die ten minste 5 jaar werkervaring hebben binnen HR én gedurende tenminste 1 jaar AI hebben gebruik in hun werk. **Quota steekproef** - De niet-willekeurige gelijke van een gestratificeerde willekeurige steekproef - Stappen - Definieer de quota (eigenschappen & aantallen) - Op zo'n manier dat de steekproef gelijk is aan de populatie op belangrijke eigenschappen - Of zo'n manier die vergelijking van groepen mogelijk maakt - Vul de quota - Meestal gedaan d.m.v. gemakssteekproef - Ondanks dat de steekproef in meer of mindere mate de heterogeniteit van de populatie omvat, blijft dit een gemakssteekproef - Er wordt geen gebruik gemaakt van willekeurige selectie - Er is geen garantie dat heterogeniteit wordt bewerkstelligd op andere eigenschappen! **Verwijzingssteekproef** - Een steekproef samenstellen door respondenten te vragen te verwijzen naar andere potentiële respondenten - Assumptie: Eenheden van de doelpopulatie kennen elkaar - Twee variaties - **a) Netwerksteekproef**: Respondenten die initieel worden gecontacteerd naar aanleiding van een screening van een willekeurige steekproef van de gehele populatie worden gevraagd om door te verwijzen naar andere eenheden van de doelpopulatie - **b) Sneeuwbalsteekproef**: Wanneer eenheden van de doelpopulatie bereikt zijn, worden ze gevraagd om door te verwijzen naar andere eenheden van de doelpopulatie, die vervolgens ook worden gevraagd om naar nieuwe respondenten te verwijzen, enz. - Gebruik - Als de doelpopulatie een kleine subgroep is van de totale populatie, of niet direct zichtbaar of te identificeren, en/of het onderzoek betrekking heeft op een zeldzaam fenomeen **a) Netwerksteekproef** - Voorbeeld: Veteranen die symptomen van PTSS ervaren - Een kleine subpopulatie - Lastig te identificeren - Veteranen zijn te identificeren - Screening is nodig voor PTSS symptomen (= tijdrovend!) - Het is waarschijnlijk dat veteranen elkaar kennen - → Een netwerksteekproef is minder tijdrovend en verlaagt screeningkosten **b) Sneeuwbalsteekproef** - Voorbeeld: Niet-geregistreerde arbeidsmigranten - Kleine subpopulatie - Geen informatie voor selectie van deelnemers - Samenstellen steekproefkader is onmogelijk - In het wilde weg arbeiders gaan screenen is tijdrovend - Grote kans dat niet-geregistreerde arbeidsmigranten elkaar kennen - → Sneeuwbalsteekproef als aangewezen strategie [8.Steekproefgrootte (Sample size)] - Factoren die bepalend kunnen zijn voor steekproefgrootte: - Doel van onderzoek - De populatie - Grootte - Heterogeniteit - Beschikbare middelen (o.a., tijd, geld en informatie) - Beoogde precisie van de meting (kwantitatief)/ Verzadiging van informatie (kwalitatief) Hoorcollege 7 en 8 ================== - Kenmerken van surveyonderzoek - Willekeurige steekproeftrekking op grote schaal - Vooraf opgestelde vragenlijst en eventueel protocol - Antwoorden omgezet in cijfers en op kwantitatieve wijze geanalyseerd - [Voordelen] - Efficiënt en economisch - Relatief veel informatie/data in korte tijd en lage kosten - Grote steekproeven - Grote steekproeven mogelijk door "simpele" dataverzameling - Inhoud - Afstand - Mankracht/kosten - Bevorderlijk voor onderzoek dat veel variabelen betreft (→ statistische power) - Anonimiteit - Data kan anoniem verzameld worden bevordert kwaliteit antwoorden over gevoelige onderwerpen - Flexibiliteit - Veel verschillende mogelijkheden - Onderwerpen - Vraagsoorten - Timing - Automatische afstemming op respondent - Selectievragen - Programmering - [Nadelen] - Lage causaliteit te bewijzen - Bewijzen causaliteit is doorgaans lastig - Associatie - Richting/volgorde - Uitsluiten van alternatieve verklaringen - Geen aanpassingen na uitzetten - Aanpassingen niet mogelijk als vragenlijst is uitgezet - Gestandaardiseerde procedure - Sociale wenselijkheid en reactief gedrag - Zonder dat onderzoekers dit kunnen nagaan, kunnen respondenten - Antwoorden geven die henzelf in positiever daglicht zet - Antwoorden geven die zij in overeenstemming achten met het doel van het onderzoek - Surveymoeheid en attritie/uitval - Respondenten kunnen beantwoorden van vragen zat worden - Te veel en lange vragenlijsten - Risico dat individuen weigeren of tussentijds stoppen [Survey onderzoeksdesigns] **Onderzoekdesign** = beschrijft wanneer meetmomenten plaatsvinden en bij wie die data wordt verzameld  Afbeelding met tekst, schermopname, lijn, Lettertype Automatisch gegenereerde beschrijving **[Cross-sectioneel ]** - Éen meetmoment - Dit betekent [niet] per se dat de data exact op hetzelfde moment wordt verzameld bij alle participanten. - Dit betekent [wel] dat er bij elke participant maar één keer data wordt verzameld. - Éen steekproef - Doel: Verbanden tussen variabelen onderzoeken - Limitaties - Causaliteit lastig te bewijzen - Vragen over verleden kunnen alleen betrekking hebben op feitelijke informatie - → Beperkte validiteit en betrouwbaarheid van data over verleden **[Longitudinaal ]** - Meerdere meetmomenten - Doel: Ontwikkelingen in de loop van de tijd onderzoeken (= causaliteit!) - Typen: - Panelstudie - Trendstudie **[Panelstudie]** - Voor elke meting: - Dezelfde vragenlijst - Dezelfde doelpopulatie - [Dezelfde steekproef] voor elke meting - Doel: Onderzoeken van veranderingen binnen individuen in de loop van de tijd - Nadelen: kosten, attritie, reactiviteit (= **panel conditioning**) -  **[Trendstudie]** - Voor elke meting: - Dezelfde vragenlijst - Dezelfde doelpopulatie - Nieuwe steekproef voor elke meting - → Idealiter zitten er vaste intervallen tussen de meetmomenten (e.g., 6 maanden, 5 jaar, etc.) - Doel: Onderzoeken van veranderingen op groepsniveau doorheen de tijd - Voorbeeld: Trend in de mate van support voor verwelkomen arbeidsmigranten (1960, 1980, 2000) - Afbeelding met lijn, diagram, schermopname, Parallel Automatisch gegenereerde beschrijving - Speciaal type trendstudie: **cohortstudie** - Cohort = een groep personen die een impactvolle gebeurtenis heeft meegemaakt op hetzelfde moment - Dezelfde vragenlijst - Nieuwe steekproef voor elke meting - [Meerdere doelpopulaties tegelijkertijd] - Voorbeeld: Op welke manier verschilt de mate van support voor verwelkomen arbeidsmigranten door de tijd heen? - Informatie - Periode - Cohort - Leeftijd -  - Periode economische omstandigheden/tijdsgeest? - Afbeelding met tekst, schermopname, nummer, Lettertype Automatisch gegenereerde beschrijving - Cohort opvoeding met bepaalde mindset/normen/waarden? - Leeftijd carrierekansen? -  [Kwaliteit van surveyonderzoek ] Lijdt onder: 1. Dekkingsfout = verschillen tussen doelpopulatie en steekproefkader (HC 5+6) 2. Steekproeffout = verschillen tussen de werkelijke scores in de populatie en de schatting daarvan op basis van de verzamelde data bij de steekproef (HC 5+6) 3. Non-respons bias = Wanneer eenheden in de steekproef items niet beantwoorden 4. Survey mode bias = vertekening van resultaten als gevolg van keuzes mb.t. survey mode → Zo goed mogelijk verhelpen d.m.v. keuzes in ontwerp surveyonderzoek! [Non-respons] Participanten reageren niet altijd op een uitnodiging voor deelname aan een vragenlijst (algehele non-respons), of ze slaan bepaalde vragen over (item non-respons - Response rate: - Vuistregel: hoe persoonlijker de benadering (bijv. interviews, persoonlijke uitnodiging) hoe groter de kans op deelname - Item non-respons: - Vuistregel: Minder item non-respons bij hulp/aanmoediging aanwezig [Vormen van surveyonderzoek (survey modes)] - Hoe bieden we de vragenlijst aan? - Interview (gestructureerd) - Face-to-face - Telefonisch - Zelf in te vullen (*self-administered*) - Schriftelijke vragenlijst (op locatie of per post) - Al dan niet met groepsinstructie - Elektronische vragenlijst (email of websurvey) - Bij keuze, rekening houden met: - Non-respons bias - Kosten - Vertekening van resultaten (ook *biases*) [Non-respons] - Participanten reageren niet altijd op een uitnodiging voor deelname aan een vragenlijst (**algehele non-respons**), of ze slaan bepaalde vragen over (**item non-respons**) - Algemene response rate - Vuistregel: Hoe persoonlijker de benadering (bijv. interviews, persoonlijke uitnodiging) hoe groter de kans op deelname. - Item non-respons - Vuistregel: Minder item non-respons bij hulp/aanmoediging aanwezig (bijv. interviewer) [Kosten] - Wat is het budget en wat zijn de kosten voor de verschillende vormen van surveyonderzoek in de praktijk? - Vuistregel: hoe persoonlijker de afname, hoe hoger de kosten (reiskosten, telefoonkosten, ontwerpkosten, etc.) - Vuistregel: hoe meer interviews m.b.v. interviewers, hoe hoger de kosten (gegeven hetzelfde steekproefdesign [Vertekening (*biases*)] - Aspecten die de resultaten kunnen vertroebelen*modes*) - **Interviewer bias** - = vertekening van antwoorden als gevolg van de aanwezigheid van de interviewer (eigenschappen, gedrag, houding, etc.) - Vuistregel: Geen interviewer aanwezig → geen interviewer bias (maar ook geen voordelen) - Voordelen interviewer: - Minder (item en algehele) non-respons - Meta-data - Minder belastend voor respondent om veel vragen te beantwoorden - **Respondent bias** - = vertekening van antwoorden als gevolg van eigenschappen, houding, of gedrag van de respondenten zelf. - Vuistregel: Geen interviewer aanwezig Minder respondent bias als vragenlijst anoniem is → meer eerlijke antwoorden minder sociale wenselijkheid - Vuistregel: Interviewer aanwezig minder respondent bias, want assistentie en aanmoediging mogelijk Elke vorm heeft voor- en nadelen - Overweeg altijd [gegeven de omstandigheden] wat mogelijk is en wat naar alle waarschijnlijkheid de hoogste kwaliteit oplevert! - Mixed mode surveys = combinatie van verschillende vormen - Om zwakke punten van elke vorm te compenseren met sterke punten van andere vormen. - Voorbeeld: - Eerst aanbellen, bij afwezigheid brief achterlaten of telefonisch contact opnemen - Kort face-to-face interview en vervolgens een schriftelijke vragenlijst meegeven om zelf in te vullen - Face to face interviews en online vragenlijsten (zoals bij EVS en NIB) - → Let op: Een mix/Vrije keuze voor respondent leidt tot ***survey mode bias*** in het design [Vragenlijstontwerp ] - "The two most critical features for successful survey research are the [sample] and the [survey instrument.] Accurate generalizations about populations of interest depend on the quality of the sample. **But no matter how carefully the sample is selected, a survey study is only as good as the design of the questionnaire**." [Open vs gesloten ] - Open vragen - In surveyonderzoek meestal niet gedoeld op diepgaande antwoorden (zoals in kwalitatief onderzoek) - Voordelen: - Vrijheid om te antwoorden - Mogelijkheid voor verzamelen onverwachte antwoorden - Inzicht op gedachtegang respondenten (tot op zekere hoogte) - Kost minder tijd bij ontwerpen vragenlijst - Nadelen: - Kost meer tijd om te beantwoorden - → Sneller vragenlijstmoeheid & dus beperkt aantal vragen in vragenlijst - Vereist goede interviewvaardigheden van interviewers - Beperkte vergelijkbaarheid van antwoorden - Grote invloed van eigenschappen respondenten op antwoorden - → Bijv. verbale/technische vaardigheden - Onpraktisch bij verwerken data - → Achteraf coderen van antwoorden - Gesloten vragen - Een vraag met een gegeven aantal antwoordmogelijkheden waaruit een respondent kan kiezen - Voordelen: - Snel te beantwoorden - → Minder snel vragenlijstmoeheid & meer vragen in één vragenlijst - Antwoorden zijn goed vergelijkbaar (want, gestandaardiseerde vragen) - Soms tijdsbesparing bij vragenlijstontwerp - → Vragen hergebruiken - Nadelen: - Soms lastig te ontwerpen (formulering en antwoordopties uitputtend/uitsluitend) - Risico om respondenten naar een bepaald antwoord te leiden - Geeft geen inzicht in denkproces participant [Antwoordschalen ] Antwoordschalen voor gesloten vragen: a\. Dichotoom (dichotomous) b\. Geordende beoordelingsschalen (rating) c\. Semantische differential (semantic differential) d\. Rangschikken (ranking) e\. Kiezen (picking) **A.Dichotoom** - Slechts 2 antwoordmogelijkheden - Voorbeelden: ja/nee, juist/onjuist - Male/female - Overweging: Optie"wil ik niet zeggen"/"weet ik niet"/"anders" toevoegen? - Aanbieden = aanmoedigen - Ga altijd na welk nut deze optie dient - → Begrip tonen voor participant - → Minder valide meting wanneer weggelaten? - Geselecteerd/niet geselecteerd - Afbeelding met tekst, Lettertype, lijn, schermopname Automatisch gegenereerde beschrijving **B.Geordende beoordelingsschalen (rating questions)** - Mate van "iets" aangeven - Verschillen in antwoordcategorieën: - Met/zonder labels en/of cijfers - Even/oneven aantal antwoordcategorieën - Alleen positieve waarden, of zowel positief als negatief Voorbeeld 1[: Klassieke Likertschaal] - 5-puntschaal - Neutrale in het midden - Volledig gelabeld -  Voorbeeld 2: Likertschaal - 4-puntschaal - [Geen neutrale antwoordcategorie] → participanten moeten eens dan wel oneens zijn met elke stelling - Volledig gelabeld - Nummering antwoordopties indicatief, maar niet nodig - Afbeelding met tekst, schermopname, Lettertype, document Automatisch gegenereerde beschrijving Voorbeeld 3: [Thermometervraag] - Alleen uiterste antwoordcategorieën gelabeld - Tussenliggende schaalwaarden in cijfers uitgedrukt -  c.Semantische differentiaal - Twee (semantisch) tegengestelde opties vormen de polen van een schaal - Respondenten geven aan hoe dicht ze bij een pool zitten t.o.v. de andere pool - Afbeelding met tekst, schermopname, Lettertype, nummer Automatisch gegenereerde beschrijving -  d.Rangschikken - Participant rangschikt alle opties van een gegeven lijst van opties - Kan worden opgebroken in meerdere deelvragen Voorbeeld: [**Gedeeltelijke** ranschikkingsvraag (partial ranking)] - Afbeelding met tekst, schermopname, Lettertype Automatisch gegenereerde beschrijving [e.Kiezen] - Respondent kiest een of meer opties van een gegeven lijst van opties Voorbeeld: -  [Gevoelige onderwerpen] Hoe verzamelen we betrouwbare en valide informatie over onderwerpen die gevoelig liggen? a\. Indirecte vraagstelling b\. Aanvaardbaar maken van antwoorden die afwijken van de sociale norm c\. Randomized response d\. Item-count methode [A.Indirecte vraagstelling ] Voorbeeld: "heb je onder jouw collega's overwegend positieve of overwegend negatieve opmerkingen gehoord over de aanstelling van de nieuwe leidinggevende?" - Gebaseerd op projectie: de neiging om eigen ideeën/opinies/gevoelens op andere te projecteren - Andere typen: woord-associatietaak, aanvullen van zinnen, story telling - Nadeel: validiteit van de antwoorden? Ethisch verantwoord? B.[Aanvaardbaar maken van antwoorden die afwijken van de sociale norm] Voorbeeld: "Het mag niet, maar veel mensen hebben wel eens ooit stiekem iets meegenomen uit een winkel zonder te betalen. Is het U wel eens overkomen dat u iets zonder te betalen meenam uit een winkel?" - Logica: Als we de context zo vormgeven dat de sociale norm "verbreed" wordt, dan durft men sneller antwoorden te geven die verder van de doorsnee sociale norm. - Nadeel: Te veel van dit soort vragen zet participanten juist aan het denken over de sociale norm C.[Randomized response ] - [Voordeel: 100% anoniem ] - [Nadelen:] beperkt tot vragen over feitelijke informatie, instructie en extra materiaal/handelingen nodig, en alleen uitspraken op [groepsniveau] mogelijk, data over item van slechts 1⁄2 van de participanten [ ] [Procedure ] 1. Een **procedure** voor willekeurige toewijzing (met bekende kans) wordt gebruikt om participanten toe te wijzen aan vraagformulering. 2. Respondent geeft antwoord op 1 van de 2 **alternatieven** van de vraag - Interviewer/onderzoeker weet zo niet welk alternatief werd gebruikt door welke respondenten en dus ook niet wat de werkelijke antwoorden van individuele respondenten zijn. - Afbeelding met tekst, schermopname, Lettertype, nummer Automatisch gegenereerde beschrijving -  Kansberekening achter randomized response voorbeeld 2 - D.[Item-count methode] - Voordeel: 100% anoniem, niet zo bewerkelijk als randomized response - Nadelen: kan alleen worden gebruikt bij dichotome vragen en feitelijke informatie, alleen uitspraken op groepsniveau mogelijk, data over item van slechts 1⁄2 van de participanten - Procedure: 1. Een gevoelig item is opgenomen in een lijst neutrale items 2. Dezelfde vraag is van toepassing op alle items (bijv. ja/nee) 3. Neutrale items moeten zo gekozen worden dat elke respondent minstens 1 keer "ja" antwoordt, maar niet op alle items 4. Willekeurige toewijzing aan een van twee groepen 5. "Groep 1" krijgt de volledige lijst en "Groep 2" de lijst zonder het gevoelige item 6. Respondent geeft alleen aan hoeveel keer een specifiek antwoord van toepassing is\ (bijv. aantal keren "ja") -  - - [Uitkomst]\ N = 100 studenten\ Groep 1 (6 items, 50 studenten): 260x 'ja' Groep 2 (5 items, 50 studenten): 250x 'ja' - Aantal 'ja' in Groep 2 dient als 'baseline' - Aangenomen wordt dat Groep 1 net zo vaak 'ja' heeft geantwoord als Groep 2, plus aantal 'ja' op item 6 - Dus aantal extra 'ja' in Groep 1: 260-251=9 - [Bevinding ] - 9/50 = 18% van de studenten gaf aan geen geld te hebben voor studieboeken. 9.Vraagformulering 1[. Gebruik natuurlijke en begrijpelijke taal] - Voorkom gebruik van jargon en technische termen - Gebruik voorbeelden die spreken tot de participanten - Pas het taalgebruik aan op de participanten (leeftijd, opleidingsniveau, cultuur, taalniveau) - Heterogene steekproef → simpel taalgebruik - Homogene steekproef →specifiek taal gebruik - Voorbeeld - Dat we "dankjewel" zeggen als iemand iets aan ons geeft, [spreekt voor zich.\ ]Maar [wat kun je zeggen] als iemand "dankjewel" zegt [terwijl deze persoon] iets aan jou geeft? - - Als jij iets [krijgt] van iemand, dan zeg je "dankjewel".\ Maar, [wat zeg] je als jij iets krijgt van iemand [en] hij/zij zegt "dankjewel" tegen jou? - Als dan constructie 2.[Tactvolle/diplomatische verwoording] - Voorkom (impliciete) belediging - Verdiep je in de belevingswereld van je participanten - Voorbeelden - Heeft u momenteel werk (aan moeders vragen) - Beter, heeft u momenteel werk buitenhuis - Heeft u momenteel een betaalde baan - Gebruik van symbolen en afbeeldingen (spaarvarken) 3.[Enkelvoudige betekenis/ voorkom ambiguïteit] - Meestal: hoe korter de zin, des te kleiner de kans op ambiguïteit - Als de vraag niet duidelijk is, zal het geen betrouwbare en valide data opleveren! - Bijv. voorkom gebruik van woorden zoals: 'regelmatig', 'meestal', 'zelden' - Voorbeelden: - "Bent u een wapenpersoon?" "Bent u in het bezit van een vuurwapen?" - "Hoe vaak maakt u gebruik van uw auto?" - Vaak →  Gemiddeld 7 keer per week of vaker - Soms →  Gemiddeld 4 -- 6 keer per week - Zelden →  Gemiddeld 0 -- 3 keer per week 4.[Voorkom dubbele vragen (***double-barreled questions*)**]**\ **= Eén vraag waarin wordt gevraagd naar 2 antwoorden, terwijl er maar 1 gegeven kan worden. - **Voorbeelden:** - "Vindt u dat docenten meer contact moeten hebben met [ouders en ondersteunend personeel?" ] - ["In welke mate ben je het eens of oneens] met de stelling dat eerst vrouwen en kinderen gered moeten worden bij een ramp en daarna pas mannen?" 5.[Voorkom dubbele negaties **(*double negatives*)**]**\ **= vragen waarin ontkenningen (mogelijk) gestapeld worden - Dit veroorzaakt verwarring in de betekenis! - **Voorbeeld:** - Ben je het eens of oneens met de volgende stelling? - "Studentassistenten die werkcolleges geven mogen geen bijles geven aan andere studenten over de cursus waarvoor zij werkcolleges geven." - Als je het met deze stelling oneens bent, betekent dat dat je niet vindt dat studentenassistenten die werkcolleges geven geen bijles mogen geven. Kortom, je vindt dat ze wél bijles mogen geven. 6.[Voorkom leidende/richtinggevende vragen (leading questions)] = een vraag die de respondent stuurt naar een bepaald antwoord **Voorbeelden:** "Vindt u ook niet dat het dringend tijd wordt dat de gemeente Tilburg iets gaat doen aan onze sociale veiligheid op straat?" ❑Ja, ik vind het dringend tijd\... ❑Nee, ik vind het niet dringend tijd\... ❑Weet ik niet/geen mening "Leerkrachten in het basisonderwijs zouden meer moeten verdienen, toch?" ❑ Eens\ ❑ Oneens **7. Voorkom beladen vragen (*loaded questions*)\ **= vragen die emotioneel beladen taal gebruiken die de respondent stuurt naar een bepaald antwoord - Specifieke variant van een leidende vraag - **Voorbeeld:** - Ben je het eens of oneens met de volgende stelling? - "Het is ongelofelijk oneerlijk dat leerkrachten in het basisonderwijs zo weinig verdienen" - "Vindt u dat de salarissen van leerkrachten in het basisonderwijs op dit moment te laag, te hoog, of precies goed zijn? - ❑Te laag - ❑Te hoog - ❑Precies goed **8. Gebruik uitputtende en elkaar uitsluitende antwoordcategorieën (*mutual exclusive, exhaustive*)** - Uitputtend = alle mogelijke antwoorden op de vraag moeten opgenomen zijn in de antwoordmogelijkheden - Elkaar uitsluitend = antwoordmogelijkheden moeten niet overlappen - Geldt alleen voor meerkeuzevragen! - **Voorbeelden:** - Hoe veel uur heb je tot nu toe besteed aan de cursus? ❑10 uur of minder\ ❑Tussen 10 en 20 uur\ ❑Tussen 20 en 30 uur - ❑Tussen 30 en 40 uur - ❑40 of meer - niet uitputtend bijv. geen optie om precies 20 te kiezen - Hoe wil je het liefst geïnformeerd worden over activiteiten van jouw studievereniging? - ❑Via de website\ ❑Via een e-mail\ ❑Via Instagram\ ❑Anders, namelijk \_\_\_\_\_\_\_\_\_\_\_\_\_\_\_ 10\. Vertekening van antwoorden (response bias) - **Vertekening van antwoorden** - = een vertekening van de resultaten van een onderzoek als gevolg van de inhoud of vorm van de survey vragen. - **Sociaal wenselijk antwoorden** (*social desirability*) - Oplossingen: garandeer anonimiteit in verwerken data - Gebruik methodes voor sensitieve vraagstelling - **Ja-knikkers** (*Ac