Methodology Samenvattingen PDF

College 1: Introductie sociaalwetenschappelijk onderzoek Begrippen Inductie: redeneren van specifieke waarnemingen naar algemene conclusies. Deductie: redeneren van algemene principes naar specifieke conclusies. Abductie: redeneren van een waarneming naar de meest waarschijnlijke...

College 1: Introductie sociaalwetenschappelijk onderzoek Begrippen Inductie: redeneren van specifieke waarnemingen naar algemene conclusies. Deductie: redeneren van algemene principes naar specifieke conclusies. Abductie: redeneren van een waarneming naar de meest waarschijnlijke verklaring. Logisch positivisme: een filosofische stroming die stelt dat wetenschappelijke kennis gebaseerd moet zijn op empirische waarnemingen en logische redenering. Kritisch rationalisme: een filosofische stroming die stelt dat wetenschappelijke kennis altijd voorlopig is en openstaat voor falsificatie. Theorie: een logisch en consistent geheel van uitspraken dat dient om een bepaald verschijnsel of fenomeen te beschrijven en/of verklaren. Hypothese: een voorlopige veronderstelling die uit de theorie is afgeleid en die men door onderzoek probeert te bevestigen of te weerleggen. Groupthink: een fenomeen waarbij een groep individuen, onder druk van conformiteit, slechte beslissingen neemt. Empirisch: gebaseerd op waarnemingen. Normatief: gebaseerd op waarden of normen. Conceptueel: betrekking hebbend op ideeën of concepten. Individueel: betrekking hebbend op een enkel individu. Universeel: betrekking hebbend op alle individuen of gevallen. Lessen Wetenschappelijk onderzoek is gebaseerd op methodologie, methoden en technieken. Er zijn verschillende manieren om kennis te verwerven en te rechtvaardigen. Sociaalwetenschappelijk onderzoek verschilt van natuurwetenschappelijk onderzoek omdat het zich bezighoudt met menselijk gedrag, dat complex en veranderlijk is. Mensen verschillen in waarneming en interpretatie, wat van invloed is op sociaalwetenschappelijk onderzoek. Taal speelt een belangrijke rol in sociaalwetenschappelijk onderzoek, omdat het de manier beïnvloedt waarop we de werkelijkheid waarnemen en interpreteren.  Mensen passen hun gedrag aan op basis van hun waarnemingen en interpretaties, wat betekent dat sociaalwetenschappelijk onderzoek rekening moet houden met veranderingen in de tijd. College2: Onderzoeksstrategieën en interventiemethoden Begrippen Onderzoeksstrategie: Een plan om een onderzoek uit te voeren. Dit omvat beslissingen over het type onderzoek, de te gebruiken methoden en de te verzamelen data. Interventiemethoden: Specifieke methoden die gebruikt worden om veranderingen in een systeem te bewerkstelligen. Voorbeelden hiervan zijn Systeem Dynamica en Group Model Building. Theoriegericht onderzoek: Onderzoek dat gericht is op het ontwikkelen of testen van theorieën. De aanleiding hiervoor kan zijn hiaten in bestaande theorieën, onontgonnen terreinen of tegenstrijdige resultaten. Praktijkgericht onderzoek: Onderzoek dat gericht is op het oplossen van een praktisch probleem in een organisatie of voor een specifieke opdrachtgever. Dit kan bijvoorbeeld in het kader van een interventiecyclus plaatsvinden. Interne validiteit: De mate waarin de resultaten van een onderzoek daadwerkelijk veroorzaakt worden door de bestudeerde variabelen en niet door andere factoren. Externe validiteit: De mate waarin de resultaten van een onderzoek generaliseerbaar zijn naar andere situaties of populaties. Survey: Een onderzoeksmethode waarbij data wordt verzameld via vragenlijsten. Kenmerken van een survey zijn een groot aantal waarnemingseenheden, een variërend aantal eigenschappen en kwantitatieve analysemethoden. Experiment: Een onderzoeksmethode waarbij de onderzoeker de onafhankelijke variabele manipuleert om het effect op de afhankelijke variabele te meten. Experimenten worden gekenmerkt door een klein aantal waarnemingseenheden, een beperkt aantal eigenschappen en kwantitatieve analysemethoden. Casestudy: Een onderzoeksmethode die zich richt op een gedetailleerde analyse van een specifiek geval. Casestudy's gebruiken open interviews, observaties en inhoudsanalyse om data te verzamelen en worden meestal kwalitatief geanalyseerd.  Systeem Dynamica: Een interventiemethode die gebruikt wordt om het gedrag van een complex systeem te modelleren met behulp van literatuur, externe data en experts. Group Model Building: Een interventiemethode waarbij stakeholders samen een model bouwen om consensus en draagvlak te creëren. Probleemstelling: De centrale vraag die in een onderzoek wordt beantwoord. Deze moet voldoen aan bepaalde eisen en kan theoriegericht of praktijkgericht zijn. Onderzoekseenheid: De personen, groepen of objecten waarover je in een onderzoek uitspraken wilt doen. Waarnemingseenheid: De eenheden waaraan je data onttrekt, deze kunnen gelijk zijn aan of verschillen van de onderzoekseenheden. Eigenschappen (variabelen): De kenmerken van de onderzoekseenheden die je in het onderzoek bestudeert. Conceptueel model: Een grafische weergave van de relaties tussen de variabelen in je onderzoek. Lessen Er zijn verschillende onderzoeksstrategieën en interventiemethoden beschikbaar, elk met hun eigen kenmerken en toepassingen. De keuze voor een specifieke onderzoeksstrategie hangt af van het type onderzoek (theoriegericht of praktijkgericht) en de onderzoeksvraag. Het is belangrijk om te overwegen welke kennis nodig is om de onderzoeksvraag te beantwoorden en welke methode het beste geschikt is om die kennis te vergaren. Een goede probleemstelling is cruciaal voor een succesvol onderzoek. Het is belangrijk om de verschillende onderdelen van een probleemstelling (onderzoekseenheid, waarnemingseenheid, eigenschappen) duidelijk te definiëren. Een conceptueel model kan helpen om de relaties tussen de variabelen in je onderzoek te visualiseren en te begrijpen. Interventiemethoden zoals Systeem Dynamica en Group Model Building kunnen gebruikt worden om veranderingen in complexe systemen te bewerkstelligen. College 3: Probleemstelling en conceptuele modellen Begrippen:  Onderzoeksstrategie: Een plan om een onderzoek uit te voeren, met keuzes voor methoden en technieken. Interne validiteit: De mate waarin de resultaten van een onderzoek correct zijn en geen fouten bevatten. Externe validiteit: De mate waarin de resultaten van een onderzoek generaliseerbaar zijn naar andere situaties. Theoriegericht onderzoek: Onderzoek gericht op het ontwikkelen of toetsen van theorieën. Praktijkgericht onderzoek: Onderzoek gericht op het oplossen van praktische problemen. Probleemstelling: Een duidelijke beschrijving van het onderzoeksprobleem, inclusief doelstelling en vraagstelling. Conceptueel model: Een visuele weergave van de relaties tussen de belangrijkste concepten in een onderzoek. Samenhang: Een relatie tussen twee variabelen zonder oorzaak-gevolg verband. Causaliteit: Een oorzaak-gevolg relatie tussen twee variabelen. Schijnverband: Een ogenschijnlijk verband tussen twee variabelen dat wordt veroorzaakt door een derde variabele. Interactie: Een situatie waarin het effect van een variabele op een andere variabele afhangt van de waarde van een derde variabele. Lessen: Er zijn verschillende onderzoeksstrategieën, elk met hun eigen kenmerken en voor- en nadelen. De keuze voor een onderzoeksstrategie hangt af van het type onderzoek (theoriegericht of praktijkgericht). Een goede probleemstelling is essentieel voor een goed onderzoek. Een conceptueel model helpt om de relaties tussen de belangrijkste concepten in een onderzoek te visualiseren. Er zijn verschillende soorten relaties tussen variabelen, waaronder samenhang, causaliteit, schijnverband en interactie. College 4: Operationaliseren, meten en waarnemen 1. Validiteit en Betrouwbaarheid: Validiteit gaat over de mate waarin een meting meet wat het beoogt te meten.  o Interne validiteit: Focust op de vraag of de conclusies van een onderzoek gerechtvaardigd zijn. o Externe validiteit: Betreft de generaliseerbaarheid van de onderzoeksresultaten. Betrouwbaarheid verwijst naar de consistentie en reproduceerbaarheid van de metingen. o De metafoor van de schutter wordt gebruikt om betrouwbaarheid te illustreren: een betrouwbaar geweer zal consistent op hetzelfde punt raken, zelfs als het niet in het midden van het doel is (lage validiteit). Les: Zowel validiteit als betrouwbaarheid zijn cruciaal voor kwalitatief onderzoek. 2. Definiëren en Operationaliseren: Definiëren: Het helder en eenduidig omschrijven van begrippen. o Theoretische definitie: Beschrijft een begrip in abstracte, conceptuele termen. o Operationele definitie: Vertaalt een theoretisch begrip naar meetbare indicatoren. o Stipulatieve definitie: Een specifieke definitie die wordt gebruikt voor een bepaald onderzoek. Operationaliseren: Het proces van het vertalen van theoretische begrippen naar meetbare variabelen. Les: Duidelijke definities en een zorgvuldige operationalisatie zijn essentieel om ervoor te zorgen dat je onderzoek meet wat je wilt meten. 3. Meten en Meetniveaus: Meten: Het toekennen van getallen of labels aan waarnemingen volgens een vastgestelde regel. Meetniveaus: o Nominaal: Classificatie in categorieën zonder rangorde (bv., geslacht, land). o Ordinaal: Categorieën met een rangorde, maar zonder gelijke intervallen (bv., opleidingsniveau). o Interval: Geordende categorieën met gelijke intervallen, maar zonder absoluut nulpunt (bv., temperatuur in Celsius). o Ratio: Geordende categorieën met gelijke intervallen en een absoluut nulpunt (bv., leeftijd, inkomen). Les: Het meetniveau bepaalt welke statistische analyses je kunt uitvoeren. 4. Waarnemingmethoden: Waarnemingmethoden: Manieren om data te verzamelen. o Interview: Gestructureerd of ongestructureerd gesprek met respondenten. o Enquête: Gestandaardiseerde vragenlijst die aan een grote groep mensen wordt voorgelegd. o Observatie: Systematisch observeren en registreren van gedrag. o Inhoudsanalyse: Kwantitatieve of kwalitatieve analyse van tekst of beeldmateriaal. Hier is een studiewijzer op volgorde van hoorcollege nummer: Hoorcollege 5: Vragenlijst- en schaalconstructie, Validiteit en betrouwbaarheid Waarnemingsmethoden: o Definitie o Vier typen: Interview, Observatie, Enquête, Inhoudsanalyse o Elk type heeft diverse varianten Vragenlijstconstructie: o Stappen bij het opstellen van een vragenlijst: ▪ Specificeer de benodigde informatie ▪ Kies een adequate dataverzamelingstechniek ▪ Kies de inhoud van de vragen ▪ Bedenk of de respondent de vragen kan beantwoorden ▪ Bedenk of de respondent de vragen wil beantwoorden ▪ Kies adequate structuren voor de vragen ▪ Kies adequate formuleringen (incl. verbindingsteksten) ▪ Kies een adequate volgorde voor de vragen ▪ Kies een adequate lay-out o Soorten vragen: ▪ Inhoud: Kennis, Opinie, Gedrag, Gevoelens ▪ Structuur: Open, Gesloten Schaalconstructie: o Typen: Likertschaal, Thurstoneschaal, Guttmanschaal, Index Interne validiteit: o Inhoudsvaliditeit o Begripsvaliditeit o Criteriumvaliditeit Hoorcollege 6: Kwantitatief empirisch onderzoek 1: Beschrijven van data Kenmerken kwantitatief onderzoek Survey en experiment Gegevens op orde brengen Rekenen en resultaten beschrijven Kwantitatieve analyse: o Voorbereiding: Dataverzamelingsmethode, Steekproef, Dataverzameling o Datapreparatie: Missing values, Data cleaning, Representativiteit, Constructie variabelen, Check criteria o Data-analyse: Beschrijvend, Samenhang, Causaliteit Steekproeven: o A-select: enkelvoudige random steekproef, systematische steekproef, gestratificeerde steekproef, cluster steekproef o Niet a-select: Convenience steekproef, Quota steekproef, Sneeuwbal steekproef Experiment: o Bedreigingen o Randomisatie is belangrijk! Kwantitatief onderzoek: o Kwantificering: meten in maat en getal, schalen, tellen en berekenen (statistiek), beschrijving, verklaring en toetsing, reductionistisch, eenheden en variabelen, resultaten samenvatten in getallen Beschrijven van variabelen: o Centrale tendentie (centrum) o Spreiding o Maten voor centrale tendentie en spreiding: ▪ Nominaal: Modus, n.v.t. ▪ Ordinaal: Mediaan, Interkwartielrange ▪ Interval / Ratio: Gemiddelde, Standaardafwijking Hoorcollege 7: Kwantitatief empirisch onderzoek 2: Samenhang tussen variabelen, tabel elaboratie Causale effecten: o Direct o Interactie (conjunctieve hypothese) o Indirect (disjunctieve hypothese 1)  o Schijn (disjunctieve hypothese 2) Tabelelaboratie (tabelanalyse) Toetsing causale hypothese: o Bivariate hypothese: Naarmate werknemers ouder zijn, zijn zij daardoor meer betrokken bij de organisatie waar ze werken o Conceptueel model: leeftijd (X) -> mate van betrokkenheid (Y), direct effect o Gegevensbewerking: indeling van leeftijd en betrokkenheid in categorieën o Onderzoeksresultaat: De kans dat men betrokken is bij de organisatie, gegeven dat men oud is, is groter dan de kans dat men betrokken is, gegeven dat men jong is Stappenplan tabelelaboratie: o Hypothese formuleren o Conceptueel model opstellen o Predicties formuleren o Predicties controleren = analytische conclusie o Uitspraak over de hypothese = inhoudelijke conclusie Trivariate analyse: o Invloed van derde variabele (Z) o Interactie-effect (conjunctieve hypothese): Z nuanceert het effect van X op Y ▪ Voorbeeld: leeftijd (X) heeft een effect op de organisationele betrokkenheid (Y), maar dit geldt alleen voor de hoger opgeleiden (Z+) o Indirect effect (disjunctieve hypothese 1): X heeft een indirect effect op Y via Z ▪ Voorbeeld: Betrokkenheid van mensen (Y) ontstaat door het aantal dienstjaren (Z), en deze wordt weer beïnvloed door leeftijd (X) o Schijneffect (disjunctieve hypothese 2): Het verband tussen X en Y verdwijnt wanneer gecontroleerd wordt voor Z ▪ Voorbeeld: Het aantal brandweerlieden (X) heeft een effect op de hoeveelheid schade in een object na brand (Y). Dit effect is er, omdat de grootte van de brand invloed heeft op zowel het aantal brandweerlieden als op de hoeveelheid schade Disjunctieve hypothese: o Twee typen: indirect effect en schijnsamenhang o Predicties zijn hetzelfde: Z+ en Z-: d% = 0 o De juiste hypothese wordt bepaald door theorie, niet door data Hoorcollege 8: Kwalitatief empirisch onderzoek 1 Kenmerken van kwalitatief onderzoek: o Interpretatieve benadering o Verstehen: de samenhang tussen het handelen van mensen en de betekenis die ze eraan toekennen o Triangulatie: combineren van methoden en bronnen o Holistische benadering: in welke context vindt een sociaal verschijnsel plaats, hoe ervaren betrokkenen een verschijnsel zelf, welke processen vinden plaats Casestudy (gevalsstudie): het bestuderen van één of enkele dragers van een sociaal verschijnsel in de natuurlijke omgeving, gedurende een bepaalde periode, met behulp van diverse databronnen, om uitspraken te kunnen doen over de patronen en processen die aan het verschijnsel ten grondslag liggen Bijdragen casestudy aan wetenschappelijke kennis: o Inductie: theorie afleiden uit specifieke waarnemingen (bv. Freud, Weber) o Falsificatie: één casus die een universele uitspraak tegenspreekt is voldoende om deze te falsifiëren o Particuliere uitspraken: diepgravend onderbouwen van een particuliere uitspraak (bv. praktijkgericht onderzoek) Kwaliteitscriteria: o Betrouwbaarheid: langdurig waarnemen, replicatie, triangulatie o Interne validiteit: verzadiging (saturatie), verantwoording, 'member check', 'peer debriefing' o Externe validiteit: analytische generalisatie, typologie, falsificatie via 'kritische casus' Hoorcollege 9: Kwalitatief empirisch onderzoek 2: Kwalitatieve dataverzameling en -analyse Dataverzameling: o Primaire data: open interviews, participerende observatie o Secundaire data: verzamelen van documenten, verzamelen van audiovisueel materiaal Open interview: o Semigestructureerd: lijst open vragen, topic lijst o Ongestructureerd: open beginvraag  Participerende observatie: observeren van feitelijk gedrag, situatie en interacties door een (sociaal) verschijnsel te observeren in haar natuurlijke context (en er aan deel te nemen) o Participerend - niet participerend o Open - gesloten onderzoeksrol o Semigestructureerde observatie o Open observatie Inhoudsanalyse: o Verzamelen van documenten die relevant zijn voor het onderzoek o Het systematisch samenvatten, selecteren, vergelijken en interpreteren van geschreven databronnen Data-analyse: o Coderen: handmatig of computerondersteund (Kwalitan, Atlas.ti, NVivo) ▪ Beschrijvende codes (open codes): signaalwoorden in tekst ▪ Thematische codes (axiale codes): overkoepelende categorieën ▪ Patrooncodes (selectieve codes): patronen die het verschijnsel verklaren o Constante vergelijking Kwalitatieve analyse: interpretatie: het interpreteren van de verzamelde data en het formuleren van conclusies Hoorcollege 10: Interventiemethoden 1: Dynamische theorieën en modellen Verschil tussen onderzoeks- en interventiemethodologie: o Onderzoek: startpunt is gebrek aan kennis, genereren van nieuwe theorie, onderzoeker is buitenstaander, eindpunt is nieuwe kennis o Interventie: startpunt is ongewenste situatie, toepassen van bestaande theorie, onderzoeker neemt actie, eindpunt is veranderde situatie Interventies: o Startpunt is ongewenste situatie - wat is symptoom en wat is probleem? o Problemen staan vaak niet op zichzelf o Tijd is vaak een belangrijk aspect o Vaak zijn er veel partijen betrokken met elk hun eigen zienswijzen o Noodzaak van systeembenadering en probleemstructurering Systeembenadering: o Een systeem is een samenhangend geheel van elementen dat op een coherente manier georganiseerd is om een bepaald doel te verwezenlijken  o Kijk naar het grote geheel, onderlinge verbanden en veranderingen over de tijd o Kenmerken: veel elementen, non-lineaire verbanden, lange termijn en vertragingen, circulaire causaliteit = feedback Systeemdynamica: o Ontwikkeld door Jay Forrester in de jaren '50 aan het MIT o Causale relatiediagrammen & stand en stroomdiagrammen o Focus op non-lineariteit, vertragingen en feedback o Computersimulatie wordt gebruikt omdat het menselijk brein slecht is in het doorzien van de implicaties Causale relaties: o Positief effect: als A toeneemt, neemt B toe; als A afneemt, neemt B af o Negatief effect: als A toeneemt, neemt B af; als A afneemt, neemt B toe Feedback loops: o Positieve feedback loop: een initiële toename van A leidt tot een verdere toename van A; een initiële afname van A leidt tot een verdere afname van A o Negatieve feedback loop: een initiële toename van A leidt tot een afname van A; een initiële afname van A leidt tot een toename van A Standen en stromen: o Standen: vast te stellen op een tijdstip o Stromen: vast te stellen in een periode Richtlijnen voor het maken van CLD's: o Gebaseerd op causaliteit en niet op correlaties o Namen van de variabelen moeten zelfstandige naamwoorden of zinnen met betrekking tot een zelfstandig naamwoord zijn o Namen van de variabelen moeten een duidelijke richting aangeven o Benoem de polariteit van de link en de loop (ondubbelzinnige polariteiten) o Benoem de loops o Gebruik gebogen lijnen o Zorg ervoor dat de belangrijke loops cirkelvormige / ovale paden volgen o Minimaliseer het kruisen van lijnen Hoorcollege 11: Interventiemethoden 2: probleemstructurering in organisaties Messy problems: o Kenmerken: complex, partiële versies van het probleem, interdependentie ('systeem van problemen'), feedback processen o Cognitieve complexiteit: probleem is moeilijk te overzien/doordenken  o Sociale complexiteit: meerdere realiteiten o Gerelateerde termen: wicked problems, VUCA, (dubbel) ongestructureerde problemen Probleemstructurering: o Mensen 'zien' situaties verschillend (hebben verschillende 'mentale modellen') en zien daarom problemen verschillend, of verschillende problemen, of geen problemen waar anderen die wel zien, of problemen waar anderen die niet zien o Vragen: Is er een probleem? (discrepantie 'feitelijke' en 'gewenste' situatie), Wat is het probleem?, Voor wie is het een probleem?, Waarom is het een probleem?, Wat zijn de oorzaken van het probleem? (diagnostisch) Group Model Building (GMB): o Combinatie van systeemdynamica en group facilitation o Participatie is belangrijk omdat mensen verschillende 'mentale modellen' hebben o Proces: ▪ Identificeer een dynamisch probleem ▪ Identificeer de groep deelnemers ▪ Spreek rollen, procedure en product af ▪ Maak een lijst met variabelen (bv. met brainstorming of Nominal Group Technique) ▪ Relateer variabelen aan elkaar ▪ Identificeer feedback loops ▪ Beschrijf de resultaten in werkboeken ▪ Check de relatie tussen structuur en gedrag ▪ Identificeer stuurpunten, doelen en scenariovariabelen o Maak een aanbeveling over stuurpunten o GMB heeft ook een kwantitatieve variant met extra stappen Hoorcollege 12: Logica van Onderzoek Twee typen fouten: o Fout binnen een fase (criterium) o Inconsistentie tussen twee fasen Casus: The Channeled Scablands: o Hoe komen die keien daar? o J. Harlen Bretz vs. The Geological Society ▪ Bretz: sterk in empirische ondersteuning, zwak in theorie (P- -O)  ▪ The Geological Society: sterk in theorie, zwak in empirische ondersteuning (P-T- ) o Eerste observaties van Bretz (vanaf 1922): rechthoekige dwarsdoorsnede, uniek drainage patroon, immens gebied, immense kuilen en rimpels, enorme keien (graniet) o Rivaliserende paradigma's: ▪ Uniformitarisme (de heersende wetenschappelijke consensus): "dezelfde geologische processen die in het heden werken, werkten ook in het verleden zo" ▪ Vloedmodel van Bretz (1923): contra 'Uniformitarisme', bevindingen passen niet in de bestaande theorie o Vloedhypothese van Bretz: theorie ontbreekt, alternatieve theoretische noties (onmiddellijk smelten door klimaatverandering, subglaciaal vulkanisme) worden niet ondersteund door data o Scablands debat (1927): ▪ Geological Society: vloedhypothese past niet in het huidige perspectief ▪ Bretz: scabs zijn te groot voor 'standaard' geologische processen, nieuwe empirische ondersteuning voor veel water, maar de bron is onbekend en er ontbreekt een verklaring ▪ Pardee (geoloog en lid van de Geological Society): drainage van ijsmeer (Lake Missoula) is mogelijk een bron o Scablands debat 1940: conferentie in Seattle o Verklaring van Pardee: Lake Missoula is de waterbron, een ijsdam is de blokkade, periodiek tilt water de dam op o Tegenwoordig: verdeling in verscheidene grote stromen (meer dan 180 meter diep, meer dan 70 km per uur) o Tegen paradigmatisch dogmatisme (P - T - X) ▪ "Ideeën zonder precedent worden vaak met ongenade bekeken en mensen zijn geschokt als hun opvattingen over een ordelijke wereld worden uitgedaagd" (J.H. Bretz 1928) ▪ Naïef inductivisme ▪ Empiricistische vertekening (P - X - O): geen zinvolle interpretaties zonder theorie o Uniformitarisme plus heroverweging van het concept Logica van onderzoek: o Empirische cyclus: Probleemstelling (PS: HD-KD-KV) (Handelingsdoel, kennisdoel, kennisvraag), Theorie, Conceptueel model, Operationalisatie, Waarneming, Analyse, Conclusie o DOVE cyclus: Diagnose (probleem + oorzaken), Ontwerp (interventie), Verandering, Evaluatie Dit zijn voorbeelden van fouten binnen de fasen van het onderzoek en inconsistenties tussen fasen: Probleemstelling: o Fout: De vraagstelling is niet duidelijk geformuleerd. o Inconsistentie: De vraagstelling is niet in lijn met de doelstelling. Theorie: o Fout: De theorie is niet relevant voor de probleemstelling. o Inconsistentie: De theorie is niet in lijn met de literatuur. Conceptueel model: o Fout: De variabelen in het conceptueel model zijn niet duidelijk gedefinieerd. o Inconsistentie: Het conceptueel model is niet in lijn met de theorie. Operationalisatie: o Fout: De indicatoren zijn niet valide. o Inconsistentie: De indicatoren zijn niet in lijn met de variabelen in het conceptueel model. Waarneming: o Fout: De dataverzameling is niet betrouwbaar. o Inconsistentie: De dataverzameling is niet in lijn met de operationalisatie. Analyse: o Fout: De data-analyse is niet correct uitgevoerd. o Inconsistentie: De data-analyse is niet in lijn met de vraagstelling. Conclusie: o Fout: De conclusie is niet gebaseerd op de data. o Inconsistentie: De conclusie is niet in lijn met de doelstelling. Deze voorbeelden zijn niet afkomstig uit de bronnen en moeten mogelijk onafhankelijk worden geverifieerd.