HC08 Experimenteel Onderzoek 1 PDF

KOM Kennismaken met Onderzoeksmethoden & Statistiek HC8 – Experimenteel Onderzoek 1 1 Vandaag ▪ Correlatie → causaal verband Voorw...

KOM Kennismaken met Onderzoeksmethoden & Statistiek HC8 – Experimenteel Onderzoek 1 1 Vandaag ▪ Correlatie → causaal verband Voorwaarden nader bekeken ▪ Experiment Onderzoeksvraag Onderzoeksopzet en randomisatie Statistische hypothese opstellen Data verzamelen ▪ Inferentiële statistiek: hypothesen toetsen 2 2 Experimenteel Onderzoek 1 KOM Waarom causale verbanden? ▪ Waarom zijn onderzoekers geïnteresseerd in causale verbanden? Begrijpen hoe de (sociale) werkelijkheid in elkaar zit: ▪ Effect van motivatie op leerprestaties ▪ Effect van SES op toegang tot gezondheidszorg Beïnvloeden van die werkelijkheid: ▪ Effect van inquiry-based learning op studiemotivatie van universitaire studenten ▪ Effectiviteit van anti-rookcampagne (“Samen op weg naar een rookvrije generatie”) op het rookgedrag van jongeren en studenten 3 3 Van correlatie → causaal verband ▪ Uit correlationeel onderzoek blijkt: Relatie tussen Facebook gebruik en depressieve klachten Begrijpen van de sociale werkelijkheid Causaal verband? 4 4 Experimenteel Onderzoek 2 KOM Van correlatie → causaal verband ▪ Uit onderzoek blijkt: Relatie tussen reviseren van aantekeningen en leerprestaties bij studenten Begrijpen van de sociale werkelijkheid Causaal verband? 5 5 Voorwaarden causaliteit 1. Covariance Er moet een relatie zijn tussen oorzaak en gevolg 2. Temporal precedence De oorzaak moet in de tijd voorafgaan aan het gevolg 3. Internal validity Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten 6 6 Experimenteel Onderzoek 3 KOM Experiment ▪ Beste manier om te kunnen voldoen aan de drie voorwaarden is middels een gerandomiseerd experiment: onderzoeksopzet waarbij ▪ door randomisatie de groepen hetzelfde worden verondersteld ▪ de onderzoeker één variabele manipuleert (varieert) ▪ de onderzoeker het effect daarvan op een andere variabele meet 7 7 Voorbeeld: ‘Aantekeningen reviseren…’ 8 8 Experimenteel Onderzoek 4 KOM Idee/theorie leidt onderzoekers tot het stellen van speciale… Onderzoeks- vragen die leiden tot een passend… Niet-ondersteunende data Ondersteunende data Onderzoeksontwerp leidt tot herziening van de leidt tot versterking In de context van het ontwerp, theorie of een verbeterd van de theorie formuleren onderzoekers… onderzoeksontwerp Hypothesen Om deze te kunnen toetsen, gebruiken onderzoekers… Data verzameling Data-analyse die weer terug de cyclus ingaan 9 9 Idee/theorie leidt onderzoekers tot het Idee/theorie stellen van speciale… ▪ Aantekeningen maken blijkt effectief wanneer studenten deze tijdens studeren teruglezen ▪ Een onderzoeker veronderstelt dat dit proces effectiever is als zij een stap toevoegen: tussentijdse revisie van de aantekeningen ▪ Bij tussentijdse revisie zullen studenten zich informatie herinneren die zij in eerste instantie niet genoteerd hadden en kunnen daarmee hun aantekeningen aanpassen en verbeteren 10 10 Experimenteel Onderzoek 5 KOM Idee/theorie leidt onderzoekers tot het Onderzoeksvraag stellen van speciale… ▪ Een onderzoeksvraag van een experimenteel Onderzoeks- vragen onderzoek kun je herkennen aan de volgende die leiden tot een passend… elementen: ▪ PICO: Population Intervention Comparison Outcome 11 11 PICO ▪ Population De groep mensen die de onderzoeker wil onderzoeken ▪ Intervention De experimentele conditie De gemanipuleerde ▪ Comparison De controlegroep variabele De gemeten ▪ Outcome De uitkomst variabele variabele 12 12 Experimenteel Onderzoek 6 KOM Onderzoeksvraag ▪ Heeft het tussentijds reviseren van aantekeningen effect op leerprestaties van studenten? 2-Minuten opdracht Geef de PICO-elementen aan in bovenstaande onderzoeksvraag. 13 13 Aantekeningen reviseren… Deelnemers verzamelden zich in een klaslokaal en werden willekeurig toegewezen aan de revisie- of recopygroep. Deelnemers ontvingen een map met algemene materialen, algemene instructies en groeps-specifieke instructies. Algemene instructies informeerden de deelnemers dat ze tijdens het luisteren naar een college van 14 minuten notities in hun eigen stijl zouden opschrijven met behulp van een zwarte pen en vervolgens die notities gedurende 10 minuten zouden bestuderen voordat ze een niet- gerelateerde woordenschattaak en een college gerelateerde toets over feiten en verbanden zouden voltooien. 16 16 Experimenteel Onderzoek 7 KOM 1. Covariantie ▪ Is er samenhang tussen reviseren van aantekeningen en leerprestatie? Operationalisatie Deelnemers verzamelden zich in een klaslokaal en werden willekeurig toegewezen aan de revisie- of recopygroep. […] voordat ze een niet-gerelateerde woordenschattaak en een college gerelateerde toets over feiten en verbanden zouden voltooien. 18 18 1. Covariantie ▪ Is er samenhang tussen reviseren van aantekeningen en leerprestatie? Aantekeningen revisie is de onafhankelijke variabele Andere naam: gemanipuleerde variabele Leerprestatie is de afhankelijke variabele Andere naam: gemeten variabele / uitkomst variabele Deelnemers verzamelden zich in een klaslokaal en werden willekeurig toegewezen aan de revisie- of recopygroep. […] voordat ze een niet-gerelateerde woordenschattaak en een college gerelateerde toets over feiten en verbanden zouden voltooien. 19 19 Experimenteel Onderzoek 8 KOM 1. Covariantie ▪ Wanneer is er sprake van samenhang tussen reviseren en leerprestatie? → Wanneer we een verschil in leerprestatie zien tussen de twee groepen! 20 20 2. Temporal precedence ▪ In een experiment kan de onderzoeker er voor zorgen dat oorzaak vooraf gaat aan het gevolg ▪ Door de manipulatie (1) uit te voeren voorafgaand aan de meting van de afhankelijke variabele (2) 1Deelnemers verzamelden zich in een klaslokaal en werden willekeurig toegewezen aan de revisie- of recopygroep. […] voordat ze een niet-gerelateerde woordenschattaak en een college gerelateerde toets over feiten en verbanden zouden voltooien. 2 21 21 Experimenteel Onderzoek 9 KOM 3. Interne validiteit ▪ Is het wel de gemanipuleerde variabele die het verschil tussen de groepen verklaart of is er een alternatieve verklaring? ▪ Bedreigingen van interne validiteit: Design confounds ▪ Was de gemanipuleerde variabele wel het enige verschil in de behandeling van de twee groepen? Selectie effect ▪ Waren de twee groepen wel vergelijkbaar bij aanvang van het experiment? 23 23 3. Interne validiteit: design confounds ▪ Mogelijke alternatieve verklaring: Design confounds Groep specifieke instructies informeerden de revisiegroep dat ze 15 minuten zouden hebben om hun aantekeningen onmiddellijk na het college te herzien om ze vollediger te maken voor beoordeling. Hen werd gevraagd de rode pen te gebruiken om aan hun oorspronkelijke notities alles toe te voegen wat ze tijdens het college misschien gemist hadden en al het andere dat hen zou kunnen helpen het materiaal te leren. 24 24 Experimenteel Onderzoek 10 KOM 3. Interne validiteit: design confounds ▪ Oplossing Groep specifieke instructies voor de recopy-groep informeerden hen om hun aantekeningen gedurende 15 minuten na het college over te schrijven. Reviseren Overschrijven 29 29 3. Interne validiteit: selectie ▪ Mogelijke alternatieve verklaring: Waren de twee groepen wel vergelijkbaar bij aanvang van het experiment? ▪ Met betrekking tot afhankelijke variabele? ▪ Met betrekking tot andere onafhankelijke variabelen (zowel gemeten als ongemeten)? De helft mocht de aantekeningen herzien, de andere helft mocht de aantekeningen alleen overschrijven. ▪ Belangrijkste vraag: hóe werden de groepen ingedeeld? 30 30 Experimenteel Onderzoek 11 KOM Zoek op welke type Toewijzing aan groepen groepen in een experiment gebruikt kunnen worden. ▪ Hóe werden de groepen ingedeeld? Natuurlijke indeling / eigen keuze deelnemers? Op grond van bepaalde persoonskenmerken? Op basis van willekeur toegewezen? Willekeurige (random) toewijzing 31 31 Doel van willekeurige toewijzing (randomisatie) ▪ …is om ervoor te zorgen dat: de gemiddelde scores en spreiding in scores op alle variabelen, zowel gemeten als ongemeten bij aanvang vergelijkbaar zijn tussen de groepen Groep 1 Steekproef Groep 2 32 32 Experimenteel Onderzoek 12 KOM Uitvoeren van willekeurige toewijzing ▪ Soms is randomisatie deelnemers niet mogelijk: Niet ethisch Praktisch onhaalbaar ▪ Soms wel mogelijk, maar gaat het mis: Deelnemers in experimentele groep vertellen deelnemers in controle groep over deelname ▪ Dit heet contaminatie Deelnemers houden zich niet aan behandeling Beïnvloeding door de onderzoeker 34 34 In het voorbeeld Deelnemers verzamelden zich in een klaslokaal en werden willekeurig toegewezen aan de revisie- of recopygroep. Deelnemers ontvingen een map met algemene materialen, algemene instructies en groeps- specifieke instructies. Algemene instructies informeerden de deelnemers dat ze tijdens het luisteren naar een college van 14 minuten notities in hun eigen stijl zouden opschrijven met behulp van een zwarte pen en vervolgens die notities gedurende 10 minuten zouden bestuderen voordat ze een niet-gerelateerde woordenschattaak en een college gerelateerde toets over feiten en verbanden zouden voltooien. 35 35 Experimenteel Onderzoek 13 KOM Onderzoeksontwerp Onderzoeksontwerp In de context van het ontwerp, formuleren onderzoekers… ▪ Onderzoeker kiest bij wie en hoe de data verzameld wordt ▪ Onderzoeker begint met een steekproef van participanten Bij voorkeur een aselecte steekproef Populatie Aselecte Aselecte steekpro steekproef Externe validiteit ef 37 37 Onderzoeksontwerp Onderzoeksontwerp In de context van het ontwerp, formuleren onderzoekers… ▪ Onderzoeker kiest bij wie en hoe de data verzameld wordt ▪ Gerandomiseerd experiment Experimentele Groep Tussentijdse revisie Aselecte steekproef R Interne validiteit Controle Groep Overschrijven 38 38 Experimenteel Onderzoek 14 KOM Idee/theorie leidt onderzoekers tot het stellen van speciale… Onderzoeks- vragen die leiden tot een passend… Niet-ondersteunende data Ondersteunende data Onderzoeksontwerp leidt tot herziening van de leidt tot versterking In de context van het ontwerp, theorie of een verbeterd van de theorie formuleren onderzoekers… onderzoeksontwerp Hypothesen Om deze te kunnen toetsen, gebruiken onderzoekers… Data verzameling Data-analyse die weer terug de cyclus ingaan 40 40 Hypothesen Verwachting → onderzoekshypothese Om deze te kunnen toetsen, gebruiken onderzoekers… ▪ Verwachting: De onderzoeker verwacht een positief effect van tussentijds reviseren van college-aantekeningen op leerprestaties van studenten ▪ Onderzoekshypothese: Studenten die hun college-aantekeningen tussentijds mogen reviseren hebben gemiddeld een hogere toets-score dan studenten die de aantekeningen alleen mogen overschrijven 41 41 Experimenteel Onderzoek 15 KOM Data Data-verzameling verzameling ▪ Voor de twee groepen vindt de onderzoeker de volgende beschrijvende statistieken 44 44 Data-analyse Data-analyse die weer terug de cyclus ingaan ▪ Data visualisatie Boxplot: 45 45 Experimenteel Onderzoek 16 KOM 2-Minuten opdracht Bespreek met je buur Wat de dikke streep in het midden van de box aangeeft In welke groep de laagste score voorkomt Wat de hoogste score is in de recopy groep 46 46 Data-analyse Data-analyse die weer terug de cyclus ingaan ▪ In de steekproef wordt er een verschil gevonden tussen de twee condities in gemiddelde score voor de vragen over verbanden: M1 = 45.9 en M2 = 33.0 (verschil = M1 – M2 = 12.9) Studenten die aantekeningen reviseren (conditie 1) scoren gemiddeld hoger dan studenten die aantekening overschrijven (conditie 2) 48 48 Experimenteel Onderzoek 17 KOM Inferentiële statistiek ▪ Mogen we het steekproefresultaat generaliseren naar de populatie? Populatie Steekproef Data Resultaat 49 49 Inferentiële statistiek: stappen NHST 1. Formuleren van hypothesen 2. Keuze & berekenen van een toetsingsgrootheid 3. Kans bepalen op resultaat of nog extremer gegeven H0 4. Beslissing nemen over H0 (wel of niet verwerpen) 5. (Extra) Conclusie opschrijven 50 50 Experimenteel Onderzoek 18 KOM 1. Formuleren van hypothesen ▪ Naast de onderzoekshypothese, stelt de onderzoeker de nulhypothese op: Onderzoekshypothese: Studenten die hun college-aantekeningen tussentijds mogen reviseren hebben gemiddeld een hogere toets-score dan studenten die de aantekeningen alleen mogen overschrijven Nulhypothese: Studenten die hun college-aantekeningen tussentijds mogen reviseren hebben gemiddeld dezelfde toets-score als studenten die de aantekeningen alleen mogen overschrijven 51 51 1. Formuleren van statistische hypothesen ▪ In de statistiek worden hypothesen vaak in symbolen opgeschreven ▪ Voor populaties en steekproeven gebruiken onderzoekers verschillende symbolen Steekproefgemiddelde = Romeinse letter M = M Populatiegemiddelde = Griekse letter M = “mu” = m ▪ A.d.h.v. deze symbolen kunnen statistische hypothesen geschreven worden: H0: mrevisie = mrecopy Oefen met opstellen en schrijven van HA: mrevisie > mrecopy statistische hypothesen in Grasple. 52 52 Experimenteel Onderzoek 19 KOM 2. Keuze & berekenen toetsingsgrootheid ▪ Op basis van de hypothesen (onderzoeksvraag en operationalisatie) kiest een onderzoeker de juiste toetsprocedure ▪ Als de gemiddelde scores van twee onafhankelijke groepen worden vergeleken: t-toets voor onafhankelijke groepen 53 53 Resultaten 54 54 Experimenteel Onderzoek 20 KOM 2. Keuze & berekenen van een toetsingsgrootheid ▪ Het verschil in gemiddelden tussen de groepen was: M1 – M2 = 12.9 55 55 2. Keuze & berekenen van een toetsingsgrootheid ▪ Verschillen tussen gemiddelden zijn afhankelijk van de meeteenheid liggen voor ieder onderzoek weer op een andere schaal ▪ Met de t-toets bepalen we het relatieve verschil tussen de twee groepen op grond van: verschil in gemiddelden tussen de groepen: M1 – M2 de spreiding in scores in de groepen: SD1 en SD2 de grootte van de groepen: n1 en n2 56 56 Experimenteel Onderzoek 21 KOM Resultaten Wat betekent 𝑡 = 2.06? 57 57 Toetsingsgrootheid t ▪ Net als dat de correlatie van steekproef tot steekproef varieert, zullen de waarden van M1 – M2 ook van steekproef tot steekproef variëren 58 58 Experimenteel Onderzoek 22 KOM Toetsingsgrootheid t ▪ Ook bij het verschil M1 – M2 wordt er een standaardfout berekend ▪ Dit gebeurd a.d.h.v. de grootte van de groepen (n1 en n2) de spreiding in de steekproeven (SD1 en SD2) 59 59 Toetsingsgrootheid t in the making Correlaties 60 60 Experimenteel Onderzoek 23 KOM Toetsingsgrootheid t in the making Verschil in gemiddelde 100 metertijd SE = 0.16 sec -2.0 -2.0 -1.5 -1.5 -1.0 -1.0 -0.5 00 -0.5 0.5 0.5 1.0 1.0 1.5 1.5 2.0 2.0 61 tijd in seconden tijd in seconden 61 Toetsingsgrootheid t in the making Verschil in gemiddelde opbrengst SE = €3087 -9000 -9000 -6000 -6000 -3000 -3000 00 3000 3000 6000 6000 9000 9000 62 Verschil in inkomen in Euro’s Verschil in opbrengst in Euro’s 62 Experimenteel Onderzoek 24 KOM Toetsingsgrootheid t in the making ▪ Wanneer we het verschil M1 – M2 delen door de standaardfout krijgen we een gestandaardiseerde score 𝑀1 − 𝑀2 𝑡= SE = Standard Error 𝑆𝐸 = standaardfout ▪ Dit is de toetsingsgrootheid t ▪ De waarden van t zijn onafhankelijk van de meeteenheid liggen allemaal op dezelfde schaal 63 63 Toetsingsgrootheid t in the making 64 64 Experimenteel Onderzoek 25 KOM M1 – M2 = 0.21 sec en SE = 0.16 sec: Voorbeeld van t: 100 metertijd 𝑡= 0.21 = 1.31 0.16 t = 1.31 65 65 M1 – M2 = €2000 en SE = €3087: Voorbeeld van t: opbrengst 𝑡= 2000 = 0.65 3087 t = 0.65 66 66 Experimenteel Onderzoek 26 KOM Hoe werkt de toetsingsgrootheid t? ▪ Wanneer meerdere steekproeven getrokken worden uit een populatie waarin H0 waar is (er is geen verschil tussen de gemiddelden in de populatie): Zal het verschil in gemiddelden tussen de twee groepen vaak dichtbij nul zijn Zal de waarde van t dus ook vaak dichtbij nul zijn Zullen de t-waarden die ver weg liggen van nul veel minder vaak voor komen 67 67 3. Kans bepalen resultaat of nog extremer gegeven H0 ▪ Met behulp van deze t-verdeling kunnen onderzoekers weer de p- waarde bepalen ▪ Weet je nog? p-waarde = overschrijdingskans Computer berekend Wordt berekend onder de aanname dat er géén verschil is (dat H0 waar is) Meet de kans op de geobserveerde waarde óf een waarde nog verder van nul Meet mate van ondersteuning van de situatie onder H0 68 68 Experimenteel Onderzoek 27 KOM 4. Beslissing nemen over H0 ▪ Statistische hypothesen: H0: mrevisie = mrecopy HA: mrevisie > mrecopy ▪ De onderzoekers vonden: 69 69 p-waarde p-waarde t = 2.06 70 70 Experimenteel Onderzoek 28 KOM 4. Beslissing nemen over H0 Wat betekent p =.04 nou precies? ▪ Als de nulhypothese, dat er geen verschil is, waar zou zijn, dan is de kans op het gevonden resultaat of nóg extremer, gelijk aan.040. ▪ Als H0 waar zou zijn, zouden we in maar 4% van de gevallen een resultaat net zo extreem of nóg extremer vinden 71 71 Idee/theorie leidt onderzoekers tot het stellen van speciale… Onderzoeks- vragen die leiden tot een passend… Niet-ondersteunende data Ondersteunende data Onderzoeksontwerp leidt tot herziening van de leidt tot versterking In de context van het ontwerp, theorie of een verbeterd van de theorie formuleren onderzoekers… onderzoeksontwerp Hypothesen Om deze te kunnen toetsen, gebruiken onderzoekers… Data verzameling Data-analyse die weer terug de cyclus ingaan 72 72 Experimenteel Onderzoek 29 KOM Take home Zoek in het boek op welke Oefen met opstellen en type groepen in een schrijven van statistische experiment gebruikt hypothesen in Grasple. kunnen worden. 76 76 Experimenteel Onderzoek 30