Hoorcollege Onderzoeksprakticum - Survey PDF

lOMoARcPSD|5892772 Hoorcollege onderzoeksprakticum Onderzoekspracticum 1: Survey (Universiteit van Amsterdam) Scannen om te openen op Studeersnel Studeersnel wordt niet gesponsord of ondersteund door een hogeschoo...

lOMoARcPSD|5892772 Hoorcollege onderzoeksprakticum Onderzoekspracticum 1: Survey (Universiteit van Amsterdam) Scannen om te openen op Studeersnel Studeersnel wordt niet gesponsord of ondersteund door een hogeschool of universiteit Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 HOORCOLLEGES ONDERZOEKSPRACTICUM 1: SURVEY Hoorcollege 1 Waarom survey goede methode? Empirische cyclus Hee昀琀 de student vaardigheid in het toepassen van standaard kwan琀椀ta琀椀eve methoden en technieken Kan de student een niet te complex onderzoeksplan opstellen Kan de student binnen een aangereikt kader begrippen opera琀椀onaliseren en een niet te complexe vragenlijst opstellen. Kenmerken van surveyonderzoek (fowler) - Het doel van het onderzoek is het produceren van sta琀椀s琀椀eken over aspecten van de onderzoekspopula琀椀e - Er wordt informa琀椀e verzameld door mensen vragen te stellen - Er wordt informa琀椀e verzameld door het nemen van een steekproef van een popula琀椀e Corela琀椀oneel- x kan e昀昀ect hebben op y maar y ook op x Causaal – x  y Het is beschrijvende sta琀椀s琀椀ek wanneer er niet perse een rela琀椀e tussen variabelen is Twee belangrijke gevolgtrekkingen in survey onderzoek - Als we de juiste vragen stellen, dan kunnen we met die vragen ook het gewenste concept meten - Als we de juiste steekproef trekken moet die ook representa琀椀ef zijn voor de gehele popula琀椀e –  dan pas kan er een uitspraak worden gedaan over de popula琀椀e Type error - Willekeurig – steekproe昀昀out kan evengoed verkeerd zijn. – meestal niet heel erg omdat je het wel via het boekje hebt gedaan – e昀昀ect is onvoorspelbaar – bijvoorbeeld 40% mannen 60% vrouwen toevallig. - Bias (systema琀椀sche vertekening) – bias steekproef- e昀昀ect is voorspelbaar – bijvoorbeeld alleen mensen uit de eerste rij kiezen - Vragen: over en onderscha琀 ng – eerlijke fout – niet voorspelbaar - Bias vraag- bijvoorbeeld een sociaal wenselijke vraag. – voorspelbaar Voor en nadelen surveyonderzoek + rela琀椀vely low costs + rela琀椀vely fast delivery + rapid data processing + can research large popula琀椀ons Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 + various modes: phone, e mails, internet, face-to-face. - Generally limited to scaled or check-list ques琀椀ons - No control over response rate - Provides informa琀椀on more than understanding - Increasing public resistance - Di昀케cult to explore issues in depth - We weten niet waarom. Vraagtypen en soorten gegevens Open vragen - Kwalita琀椀ef – nominale gegevens - Kwan琀椀ta琀椀ef - ra琀椀o gegevens Gesloten vragen - Nominale antwoordcategorieën (zonder rangorde) - Ordinale antwoordcategorieën (met rangorde) - Antwoordschaal: subjec琀椀eve schaal, een-niet eens stellingen:  Combineer 3+ items in een nieuwe schaal voor latente variabele: behandel latente variabele als interval  Item met 7+ antwoord categorieën: behandelen als intervalsschaal Openvragen + respondenten antwoorden in hun eigen woorden +mogelijkheid op nieuwe, onverwachte reac琀椀es + verkennend – genereren van vaste antwoord categorieën - Tijdrovend voor interviewer en respondent - Moeilijk en 琀椀jdrovend coderen - Varia琀椀e in hoe interviewer antwoorden opslaat Algemene regels voor ontwerpen vragenlijst - Uitgangspunt is onderzoeksvraag - Bepaal precies wat je wilt onderzoeken - Denk na over de popula琀椀e. - Stel jezelf voor als respondent  Zou jij de vragen beantwoorden?  Hoe zou jij de vragen beantwoorden?  Is er iets vaag? Fouten - Onduidelijke termen (bijv vaak, regelma琀椀g - Lange vragen - Double-barreled vragen- dubbele vraag - Erg algemene vragen (hoe gelukkig en je? - Sturende vragen – laten merken wat de onderzoeker wil wat je antwoord - Dubbele nega琀椀even - Niet teveel sociale wenselijke vragen. Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 Zou je ooit iets stelen is bijvoorbeeld een sociaal wenselijke vraag. Speci昀椀eke vragen - Hoe gedetaileerd moet het antwoord zijn - Nauwkeuriger is las琀椀ger Don’t know op琀椀e kan veroorzaken dat mensen sneller erop drukken als het meteen wordt weergegeven. Middencategorie Wanneer een middencategorie wordt ook vaak gekozen. Maar het kan ook irrita琀椀es veroorzaken als je het niet toevoegd aan de vragenlijst. Sociale wenselijkheid - Heb je je huiswerk gemaakt voor vandaag? - Hoe vaak ben je dronken geweest? - Sociale wenselijkheid kan varieren per groep en kan a昀栀angen van de persoon die de vragen stelt:  Hoeveel geld verdien je per maand?  Hoe vaak ben je dronken  Heb je alles gelezen voor vandaag? - Mogelijke oplossingen: ongewenste antwoord minder bedreigend maken.  Iedereen maakt fouten in zijn in zijn of haar leven. Hoe zit dat met jou? Heb jij wel eens iets gestolen?  Heb je iets van deze misdrijven gepleegd. > zwerver negeren, moorden, 昀椀etsen door rood. > antwoorden minder erg maken. Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 Structuur van de vragen kan ook uitmaken welke word als eerste gesteld? - Kan worden door antwoordop琀椀es te valanceren door beide op琀椀es te geven. Primacy- voorkeur voor eerste antwoord categorie – vooral bij visueel Recency – laatste antwoord categorie- audi琀椀ef.  Kan je voorkomen door antwoordop琀椀es te roteren. Toegee昀氀ijkheid (acquiescence): neiging om eens zijn dus bij eens en oneens stellingen.  Kan je verhelpen dat door posi琀椀eve en nega琀椀eve categorieën te combineren Structuur van de survey - Duidelijke instruc琀椀es  Sommige vragen niet relevant voor iedere respondent  Filter vragen (helpen de interviewer navigeren door de survey) - Vraag volgorde  Elke respondent krijgt de vraag in dezelfde volgorde  Algemene vragen voor speci昀椀eke vragen  Eerdere vragen beïnvloeden latere vragen  Mogelijk genante of gevoelige vragen later in de survey Introduc琀椀e van de studie Stel jezelf voor, de werkgever, doel van onderzoek, en procedures voor de survey. Ethische randvoorwaarden - Anonimiteit, vertrouwelijkeheid, recht om te stoppen - Gelegenheid voor geïnterviewde om vragen te stellen Format hiervoor in de powerpoint. Duidelijke construc琀椀es voor vragen - Hoe maak je een antwoordkeuze – vinkje, cirkel, streep - Als meer antwoorden kunnen worden gegeven dit even aangeven. - Eerste algemene vragen dan speci昀椀eke vragen. Filtervragen- dus als ze zeggen dat alleen het relevante wordt gesteld dus als je nooit tv kijkt wordt ook niet over het favoriete tv-programma wordt gevraagd. Vragen niet meteen he昀琀ig of saai want dan schrik je de respondenten niet af. Als we de antwooordcategorieën van een vraag roteren dan Verkleinen we de kans van bias op aggregaatniveau- hele steekproef. Werkgroep 15 jan Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 Surveymodi- hoe je iets afneemt. – face-to-face, telefonisch, schri昀琀elijk(post) en online Hoorcollege 2 Surveymodi- online, face- to face, schri昀琀elijk (post) en telefonisch. Ligt aan onderzoekspopula琀椀e en budget. Met een interviewer + hulp met las琀椀ge vragen + hoge respons +gebruik van las琀椀ge vragenlijsten + minder ontbrekende antwoorden + controle over het gesprek - kosten:interviewerd zijn duur. - geen anonimiteit. - sociaal wenselijke antwoorden - Je kan met Recency en primacy kan je voorkomen door antwoorden te switchen heb je het niet op groepsniveau of je kan de vraag anders stellen en dan heb je ook geen bias op individueel niveau. Modi mixen om van alle voordelen te pro昀椀teren en de respons te vergroten. Wel vragen hetzelfde houden. Steekproef Een goede steekproef kan je je onderzoek generaliseren naar de onderzoekspopula琀椀e. Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 Popula琀椀e- alle eenheden waar we iets over willen zeggen / doelgroep. Steekproe昀欀ader- deelpopula琀椀e (geselecteerd door onderzoeker). Steekproefeenheid- eenheden geselecteerd voor de studie. Steekproe昀昀out- Je kan afwijkende steekproeven hebben ook met randomisa琀椀e Selec琀椀e bias Steekproe昀欀ader Waarom trek je een steekproef? Representa琀椀eve steekproef- representa琀椀ef voor de doelpopula琀椀e Selecte steekproef- hier hee昀琀 de ene in de onderzoekspopula琀椀e meer kans om in de steekproef te komen dan de ander. Aselecte steekproef- iedereen in de onderzoekspopula琀椀e hee昀琀 evenveel kans om in de steekproef te komen Representa琀椀ef door toeval  willekeurige steekproef Representa琀椀ef door ontwerp  complex steekproef ontwerp Niet-representa琀椀eve steekproef  voor speci昀椀ek gebruik. Enkelvoudige aselecte steekproef- willegkeurige selec琀椀e van respondenten. Systema琀椀sch steekproef – willekeurige start, systema琀椀sch verhoging Gestra琀椀昀椀ceerde steekproef- kenmerken van de popula琀椀e zijn bekend- we willen garanderen dat onze steekproef representa琀椀ef is. Willekeurige steekproef- in theorie representa琀椀ef. Gestra琀椀昀椀ceerde steekproef. Propor琀椀oneel; propor琀椀es zijn gelijk aan de propor琀椀es van de popula琀椀e Dispropor琀椀oneel- “oversampling” propor琀椀es zijn ongelijk aan de popula琀椀e. Wanneer er van een kleine groep ook een uitspraak moet worden gedaan. Geclusterde steekproef- selec琀椀e van respondenten per cluster - Alle studenten in een tutorialgroep - Alle bewoners van een straat. Wanneer? Persoonlijk interview Getrapte (mul琀椀stage cluster) steekproef – willekeurige selec琀椀e van sommige studenten per cluster - Een deel van de studenten per tutorialgroep - Een deel van de bewoners van een straat Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 Niet willekeurige steekproeven Quata steekproef- kenmerken van onze popula琀椀e zijn bekend. We willen garanderen dat onze steekproef representa琀椀ef is. Sneeuwbalsteekproef- voor popula琀椀es die moeilijk zijn te bereiken – kleine N Interview panels- (online) Survey panel; groep van gewillige respondenten Steekproeven verzameld in winkelcentra Bad samples – steekproeven verzameld in winkelcentra- opt-in steekproeven Steekproef is a昀栀ankelijk van het aantal subgroepen want je hebt 30-50 respondenten nodig. wat voor precisie heb je nodig. Gemakssteekproef- kiest niet perse mensen maar mensen die voor hande liggen. Hoorcollege 3 Item non-response- vraag niet beantwoord - Te moeilijk - Ingewikkelde vraag - Antwoorden kost veel moeite - Te persoonlijk - Te bedreigend  Tegengaan door pilot test.  Tegengaan door minder bedreigend formuleren  Tegengaan door minder precies te formuleren  Tegengaan door opdelen in simpelere vragen  Tegengaan door extra instruc琀椀es geven Unit non-response- respondent doet helemaal niet mee - Respondent doet niet mee - Respondent kan niet worden bereikt - Respondent weigert deelname - Respondent spreekt de taal niet - Survey is kwijt geraakt.  Problemen voor e昀케cien琀椀e van steekproef  Gevaar voor de externe validiteit. Niet opnemen in steekproefeenheden - Respondent is overleden - Verkeerde adres - Respondent is verhuisd buiten het onderzoeksgebied - Telefoonnummer is niet meer in gebruik - Verkeerd mailadres Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 Wel opnemen in steekproefeenheden - Spreekt de taal niet, weigering, ziek, op vakan琀椀e Unit non-response: probleem Willekeurige non-response - Respondenten hebben zelfde kans om deel te nemen aan de studie Minder onderzoekseenheden - Conclusie minder precies - Bredere betrouwbaarheidsintervallen, verschillen niet signi昀椀cant, of doorgaan met respondenten werven om benodigde steekproefgroo琀琀e te bereiken. Niet e昀케cient maar niet problema琀椀sch Problema琀椀sch Niet willekeurige non-response - Niet elke respondent hee昀琀 dezelfde kans om deel te nemen aan de studie - Non-response is gerelateerd aan kenmerken van de respondent Willekeurige non-response= ligt niet aan kenmerk van de respondent of interviewer. = beter. Interview modus en onderwerp van de studie = missing completely at random. Type non-response bepalen Verband tussen non-response en - Kenmerken interviewer - Responspercentage vergelijken tussen interviewers - Rela琀椀e kenmerk respondent en interviewer - Interview modus - Bij verschillende survey modi: vergelijk de responspercentages - Vergelijk kenmerken respondent per modus - Respondent kenmerken - Vergelijk respondenten met niet-respondenten? Interviewer kan scha琀 ng maken van weigerende respondenten - Geslacht, lee昀琀ijd, groo琀琀e van huis - Kenmerken vergelijken van respondenten en niet-respondenten Makkelijk te bereiken respondenten vs. Moeilijk te bereiken respondenten Par琀椀cipanten die direct deelnemen vs. Par琀椀cipanten die overtuigd moeten worden. Bijna respondenten: doorstep vraag Doorstep vraag Vraag 1 cruciale vraag aan weigerende respondenten - Wat heb je gestemd - Wat is je lee昀琀ijd? Werk? Etc. Vergelijk antwoorden van steekporefeenheden met de respondenten die alleen de doorstep hebben beantwoord. Bij verschil mogelijke bias Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 Verhogen van unit response 1. Onderzoeksperiode verlengen (risico op geschiedenis) 2. Vermijd vakan琀椀eperiodes 3. Genereer publiciteit voor je onderzoek 4. Train interviewers om niet-respondenten te overtuigen 5. Contact respondent van tevoren 6. Geef een beloning Timing van de beloning: - Voor het onderzoek, zonder voorwaarden – anders vullen ze het snel in Groo琀琀e van de beloning - Niet te veel gaat meer om het gebaar +meer respons - Alleen voor de beloning Welke modus is het meest e昀昀ec琀椀ef voor een hoog responspercentage - Face-to-face interviews - Telefoon vaak lage respons - Internet hangt af van lee昀琀ijd Los van de modus gaat responspercentage omhoog als… - Meer investeren: 琀椀jd en geld - Goed lopende survey - Hard werken om weigeraars te overtuigen om deel te nemen - Interviewers: goede training geven - Mail – reminders. Je kan beter mensen blijven benaderen want dan worden las琀椀g benaderbare eenheden ook worden onderzocht. Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 De volgorde van de vragen is verkeerd Systema琀椀sche steekproef Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 Bij niet willekeurige nonresponse. (niet)representa琀椀eve steekproef - Willen we verkomen door gestra琀椀s昀椀ceerde steekproef en quota steekproef - Verhelpen kan door wegen van data  Kan je uiteindelijk bijvoorbeeld meer mannen vragen dan vrouwen. Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 Kan ook in spss door weight cases Codeboek beschrij昀琀 - Doel van de studie - Studie design, survey modus, doelpopula琀椀e - Steekproef, (non)respons, periode van onderzoek) - Survey, codering van variabelen, extra variabelen - Codeerschema open vragen, codeerschema categorische vragen. - Frequen琀椀etabellen voor de variabelen. Limita琀椀es van surveyonderzoek - Correla琀椀e is geen causaliteit - Kan geen causaliteit vaststellen - Interne validiteit gelimiteerd Gedownload door T.J. Oldenhof ([email protected])  lOMoARcPSD|5892772 - Vaak hogere non-respons Wat is een belangrijke limita琀椀e van survey onderzoek - Geen causaliteit - Veel non-respons - Limiteerde interne validiteit Hoe kun je voorkeurse昀昀ecten zoals primacy en recency tegen gaan - Roteren van antwoorden – groepsniveau balanceerd het uit. Quotasteekproef – na gestra琀椀昀椀ceerde de beste Voor gestra琀椀昀椀ceerde- heb je steekproe昀欀ader nodig 2 3 4 5 6 7 9 10 11 12 Gedownload door T.J. Oldenhof ([email protected])