Validità della ricerca e forme di controllo PDF 2017-18

“Validità della ricerca e AVVISO IMPORTANTE forme di controllo” Il presente materiale didattico può essere Prof. Augusto Gnisci scaricato dal sito del Dipart...

“Validità della ricerca e AVVISO IMPORTANTE forme di controllo” Il presente materiale didattico può essere Prof. Augusto Gnisci scaricato dal sito del Dipartimento solo dagli LEZIONI DI PSICOMETRIA studenti di Psicometria (prof. Augusto Gnisci), Facoltà di Psicologia, Seconda Università di A.A. 2017-18 Napoli. Può essere utilizzato solo per motivi di formazione e studio da tali studenti. QUALSIASI ALTRO USO È DA CONSIDERARSI ILLECITO. 1 2 VALIDITÀ DELLA RICERCA VALIDITÀ DELLA RICERCA frustrazione aggressività La validità è la solidità e l’attendibilità di un’indagine, ossia la vera 1. La relazione individuata è vera per le situazioni, le persone, i luoghi e i tempi in cui ho fatto la ricerca? corrispondenza tra mondo reale e 2. Ho misurato realmente ciò che dico di misurare? conclusioni di una ricerca. 3. I risultati sono dovuti alla manipolazione della variabile “migliore approssimazione disponibile indipendente o a variazioni di ordine casuale? alla verità o alla falsità delle conclusioni 4. La relazione individuata è vera anche per le situazioni, di una ricerca” (Cook & Campbell, 1979) le persone, i luoghi e i tempi diversi da quelli in cui ho fatto la ricerca? 4 + 1 aspetti 5. La relazione individuata in laboratorio è vera anche in situazioni naturali? frustrazione aggressività 3 4 5 ASPETTI DELLA VALIDITÀ Relazione diretta 1] VALIDITÀ INTERNA 2] VALIDITÀ DI COSTRUTTO X (V.I.) Y (V.D.) 3] VALIDITÀ STATISTICA 4] VALIDITÀ ESTERNA 5] VALIDITÀ ECOLOGICA 5 6 1 Variabili di CONFUSIONE nel Variabili e relazioni: legame tra V.I. e V.D. V.I. V.D. moderatore e mediatore Variabili di confusione o intervenienti: Variabile non prevista dal ricercatore, che interviene tra la variabile indipendente e quella dipendente. Es.: frustrazione  aggressività frustrazione  depressione  aggressività CONFONDENTE (o DI DISTURBO) ( minaccia alla validità interna) a) b) c) E’ una variabile che nasce da un errore metodologico del ricercatore relazione spuria relazione causale relazione causale indiretta (artefatto), e quindi non è controllata, che covaria con la V.I. ma è (variabile spuria) moderata (moderatore) (mediatore) estranea ad essa. Es.: appartenenza politica  conservatorismo C  Y X  Y X  C  Y  appartenenza politica o età ?  conservatorismo   CONFUSA ( minaccia alla validità di costrutto) X C E’ una variabile teoricamente non prevista dal ricercatore, e quindi non controllata, che covaria con la V.I., è intrinsecamente associata alla V.I. e alla sua operazionalizzazione. Es., ombrelli Es., crema solare Es., pioggia, isolamento e depressione Es.: extra-comunitari  crimine la relazione tra X e Y varia al variare dei livelli di C extra-comunitari  povertà  crimine 7 8 VALIDITÀ INTERNA Implicazioni per la validità La validità interna è fondamentale perché della ricerca: riguarda la verità dei risultati sul campione raccolto e, quindi, è alla base anche degli altri Tutte le variabili che covariano con la V.I. tipi di validità. senza esser controllate costituiscono le “famose” minacce alla VALIDITÀ DELLA Un esperimento ha alta validità interna se vi RICERCA: sono ragioni valide per ritenere che una Interna relazione di causa-effetto esiste realmente tra la variabile indipendente e quella dipendente Esterna (popolazione, temporale, spaziale o ecologica) nel campione raccolto. Cioè, se si può Costrutto ritenere che la variazione della dipendente (Statistica) (VD) è causata dalla manipolazione della indipendente (VI) e se si può escludere che è 9 causata da altre variabili (VC). 10 MINACCE ALLA VALIDITÀ VALIDITÀ INTERNA INTERNA Una relazione causale implica: 1) una direzione (A B); 1. Effetto Storia 2) esclusione dei fattori di confusione. 2. Effetto Maturazione 3. Effetto Prove La prima viene dedotta o su base teorica o su 4. Effetto Strumentazione base temporale. La seconda comporta il controllo di tutte le variabili potenzialmente in 5. Regressione verso la media (o statistica) grado di influenzare la relazione causale, cioè 6. Selezione dei gruppi tutte le variabili che minacciano la validità 7. Mortalità interna della ricerca. Il ricercatore deve quindi creare delle procedure per escludere tutte le 8. Interazioni tra gli effetti precedenti altre possibili spiegazioni e perché la relazione trovata sia genuina. 11 12 2  1. Effetto storia 2. Effetto maturazione accadimento di un evento imprevisto che confonde la relazione cambiamenti sistematici delle persone, di tipo biologico o psicologico, tra variabile indipendente e variabile dipendente che avvengono spontaneamente col trascorrere del tempo, attribuibili alla crescita o allo sviluppo degli stessi soggetti trattamento trattamento Pre-test Post-test Pre-test Post-test Evento imprevisto Maturazione interna del soggetto L’effetto storia può essere prodotto da due diversi tipi di variabili: Critico nelle ricerche ti tipo evolutivo o longitudinali 1. riferite all’ ambiente sperimentale (luce, ecc.) 13 14 2. riferite al contesto esterno (evento d’attualità) 3. Effetto prove 4. Effetto strumentazione E’ dovuto al fatto che il soggetto ha partecipato a esperimenti precedenti Si verifica tutte le volte che si ci sono delle fluttuazioni nelle misurazioni o altre prove dello stesso esperimento, ed è dovuto all’apprendimento, dovute sia al cambiamento dello strumento di misura sia all’uso che si fa alla pratica o alla familiarità che ha acquisito grazie ad essi. dello strumento. Dipende perciò da: strumenti trattamento trattamento chi li somministra Pre-test Post-test Pre-test Post-test Pratica Cambiamento d’umore dello sperimentatore Critico nelle ricerche di tipo evolutivo o longitudinali Esperimento di Schacter & Singer (1962) sull’effetto sperimentatore. 15 16 5. Regressione statistica Es. da Pedon & Gnisci, p.132: Quando si fanno più misurazioni della stessa variabile sugli stessi soggetti in diversi momenti, i soggetti che hanno dato uno punteggio estremo nella prima prova tendono a regredire verso la media nella seconda, cioè, nella prova successiva ottengono punteggi vicini ai valori medi del gruppo. trattamento Pre-test Post-test Fluttuazioni casuali dipende da fluttuazioni casuali (stato d’animo, motivazione, fatica, interazione esaminatore-esaminatore, ecc…), non legate all’effetto strumentazione.. 17 18 3  6. Selezione 7. Mortalità L’effetto selezione, in studi che presentano L’effetto mortalità si verifica quando più gruppi, si riferisce ad una diversità nella alcuni soggetti che hanno partecipato al selezione dei gruppi che vengono utilizzati pre-test dell’esperimento si ritirano per fare i confronti. prima della fine dell’esperimento. I gruppi, infatti, devono essere in tutto e per tutto uguali eccetto che per la VI manipolata, altrimenti non posso attribuire ad essa l’effetto riscontrato. INTERAZIONE TRA DIVERSI EFFETTI 19 20 Alcuni metodi per ridurre le minacce VALIDITÀ ESTERNA Controllo della costanza (si mantengono il La componente esterna della validità consiste nella possibilità di generalizzare le più possibili costanti le condizioni di ricerca conclusioni a individui, tempi e luoghi diversi per tutti i soggetti per tutto il periodo da quelli che il ricercatore ha considerato. sperimentale ad eccezione della VI) La generalizzazione a soggetti diversi è detta: Bilanciamento nella formazione dei gruppi Validità della popolazione La generalizzazione a tempi diversi è detta: Abbreviare l’intervallo tra le prove Validità temporale Far passare il pre-test per un evento La generalizzazione a luoghi diversi è detta: ordinario (es., un compito scolastico) Validità spaziale o ecologica 21 22 VALIDITÀ ESTERNA Minacce alla validità esterna: Il modo migliore per ottenere validità esterna VALIDITÀ DI POPOLAZIONE: uso di sarebbe replicare la ricerca modificando, volta categorie particolari di soggetti, come: per volta, i soggetti, i luoghi e i tempi. Studenti universitari (“fagioli”) Topialbini In pratica, si cerca un campione rappresentativo. Volontari Per ottenerlo: VALIDITÀ TEMPORALE: Aumenta la numerosità del campione Cambiamenti stagionali Utilizzano dei metodi di campionamento Cambiamenti ciclici (ritmi circadiani) Cambiamenti della persona (es., voto) 23 24 4 SUGGERIMENTI PER AUMENTARE CAUTELE NELLA VALUTAZIONE LA VALIDITÀ ESTERNA DELLA VALIDITÀ ESTERNA 1. adoperare misurazioni non intrusive Tenere presente che: 1. gli esperimenti non sempre sono condotti per 2. raccogliere i dati prima dell’esperimento generalizzare alla vita reale ma anche per altri 3. evitare di dire il vero motivo della ricerca scopi o inganno Esp. su uomini con occhiali giudicati più intelligenti se mostrati per soli 5 secondi 4. ricorrere a situazioni naturali 5. ricorrere a particolari disegni di ricerca 2. La componente di un esperimento da generalizzare riguarda il processo teorico che viene verificato. 3. Abbandonare il laboratorio non assicura 25 meccanicamente validità esterna. 26 Operazionismo VALIDITÀ DI COSTRUTTO (o operazionalismo) Un COSTRUTTO, in psicologia, è un concetto Teoria sui concetti della scienza, elaborata da astratto che indica un complesso organizzato B.H. Brodie (1869) e più esplicitamente da della vita psichica e che si riferisce a qualcosa Bridgman (1927) di non osservabile direttamente (latente). Il significato di un concetto è dato dall’insieme Esempi: di operazioni e dei processi mediante i quali Intelligenza esso viene applicato alla realtà Ansia Affiliazione Storicamente: comportamentismo Obbedienza Interpretazione più moderna: definizioni Atteggiamenti Opinioni concettuali e operative  quantificazione e Emozioni Esso viene inferito attraverso alcuni indicatori. misurazione dei costrutti ritmo del battito cardiaco sudorazione delle mani risposte a domande Gli indicatori sono il frutto dell’operazionalizzazione del costrutto. 27 28 Per una buona validità di MINACCE ALLA VALIDITÀ DI costrutto: COSTRUTTO Adeguata definizione teorica 1. insufficiente definizione teorica dei costrutti, selettività, non esaustività Adeguata definizione operativa 2. inadeguata operazionalizzazione del costrutto, errori nell’operazionalizzazione Scelta adeguata degli indicatori 3. ambiguità delle variabili indipendenti effetto Hawthorne VI = livello di illuminazione cooperazione/relazioni umane paura di accordo tra sperimentatori e dirigenti 29 30 5  METODI PER LA VALIDITÀ DI Manipulation Check COSTRUTTO (verifica della manipolazione) dare una definizione chiara, esplicita, TRAMITE INTERVISTE definita ed esaustiva del costrutto e, in condurre delle interviste ai soggetti generale, dei costrutti che si vogliono dopo aver condotto l’esperimento per misurare, facendo riferimento alla teoria assicurarsi che il costrutto è stato ben e alla letteratura manipolato (Ash, 1956, sul conformismo) eseguire delle verifiche empiriche TRAMITE INDICATORI EMPIRICI dell’avvenuta manipolazione, cioè dei manipulation check stabilire degli indicatori comportamentali atti a rilevare la manipolazione della VI (topi affamati) 31 32 VALIDITÀ STATISTICA VALIDITÀ ECOLOGICA La validità ecologica è la possibilità di generalizzare i La validità statistica intende verificare se il rapporto tra risultati della ricerca anche a contesti della vita le variabili sperimentali è di tipo CASUALE o quotidiana. CAUSALE. STORIA: Gli effetti osservati sono dovuti alla manipolazione BRUNSWIK ’40: Disegno rappresentativo: replicare I della VI (causa) o sono dovuti semplicemente al caso? risultati degli esperimenti di laboratorio nella vita reale LEWIN ’40: Percezione soggettiva del soggetto sia del E’ basata sulla teoria della probabilità e dell’inferenza compito sia dell’ambiente dell’esperimento statistica, cioè su quei procedimenti che consentono di BRONFENBRENNER ’80: La validità ecologica è il valutare la variabilità dei fenomeni che avrebbero grado con cui l’ambiente che I soggetti percepiscono luogo se agisse solo il caso. ha le caratteristiche che il ricercatore assume Tali procedimenti confrontano: Rilevanza: utilità reale e potenziale della ricerca per risolvere problemi o per migliorare la vita delle la variabilità dovuta al caso (teoria delle probabilità) persone la variabilità empiricamente osservata 33 34 Esempio dei topi nei labirinti con più corridoi. Minacce alla validità ecologica Secondo la definizione di Brunswik  tutti gli artefatti di laboratorio (ambiente poco IL CONTROLLO DEGLI EFFETTI familiare, oggetti sconosciuti o esotici, ecc.) Secondo la definizione di Lewin  tutto ciò DI DISTURBO che impedisce allo sperimentatore di sapere come il soggetto percepisce la situazione ( imp. dei manipulation check) 35 36 6 Cos’è il controllo? A) Strategie generali Permette di limitare al massimo le sorgenti Caratteristiche della richiesta (demand di variabilità indesiderata di una ricerca, cioè characteristics): indizi in base ai quali il le variabili di confusione. soggetto cerca di capire cosa si vuole da lui Controllo della costanza STRATEGIE di CONTROLLO: Follow up 1. Generali Attendibilità, validità, oggettività e sensibilità 2. Sugli effetti dei soggetti e dello nella misura sperimentatore Ripetizione dell’esperimento: esatta e 3. Mediante selezione e assegnazione dei sistematica soggetti 4. Degli effetti dell’ordine e della sequenza 37 38 B) Strategie di controllo su effetti Controllo dei soggetti e dello sperimentatore I soggetti possono essere influenzati Singolo cieco: si tengono i soggetti all’oscuro delle ipotesi e delle condizioni in cui sono messi; dalle conoscenze che hanno sulla Doppio cieco: anche i collaboratori dello psicologia, sulla procedura sperimentatore ne sono all’oscuro; sperimentale, dall’effetto diffusione. Placebo: farmaco o trattamento che ha solo in apparenza le caratteristiche di quello somministrato L’ effetto sperimentatore consiste al gruppo sperimentale; nell’influenza che lo sperimentatore, Automazione delle istruzioni (scritte o al PC); incosciamente o inintenzionalmente, ha Tecnica dell’inganno (si fa credere ai soggetti che la situazione sia qualcosa di diverso da quella sui soggetti dell’esperimento. sperimentale) Esp.di Schacter & Singer (1962) su Esperimenti di Darley & Batson (1973), di Asch (1956), di Milgram (1936) sperimentatore euforico e depresso. 39 40 Lo studio di Asch sul C) Controllo su selezione e conformismo del 1951 assegnazione dei soggetti a) Selezione dei soggetti dalla popolazione Popolazione Campione b) Assegnazione dei soggetti ai gruppi C1 A 1 2 3 Campione C2 41 C3 42 7 I. Selezione dei soggetti dalla Stante che più il campione è numeroso, popolazione. La rappresentatività maggiore è la probabilità che sia rappresentativo… Per generalizzare i risultati da un campione ad una popolazione, il campione deve essere 3 metodi di selezione: rappresentativo della popolazione. 1. Campionamento casuale Cosa significa “ rappresentativo” ? Significa che il campione deve riflettere 1. Con ripetizione o reinserimento adeguatamente le caratteristiche della popolazione. 2. Senza ripetizione In altri termini: 2. Stratificazione le caratteristiche della popolazione ( sesso, età, 3. Campionamento ad hoc intelligenza, classi sociali, atteggiamenti, affiliazioni politiche, religione, etc. ) devono essere presenti nel campione nelle stesse proporzioni presenti nella popolazione. 43 44 1) Campionamento casuale 2) Stratificazione Un campione si dice casuale quando Un campione è stratificato quando la popolazione viene suddivisa in tante parti, ogni soggetto della popolazione ha la dette strati, sulla base delle variabili stessa probabilità di essere scelto considerate critiche per i soggetti, e da per far parte del campione. ognuna di queste parti viene compiuta un’estrazione casuale. a) con ripetizione o reinserimento Le variabili critiche per i soggetti sono, b) senza ripetizione ovviamente, le variabili che si suppone influenzino la VD. Possono essere prese in considerazione più variabili critiche contemporaneamente. 45 46 II. Assegnazione dei soggetti 3) Campionamento ad hoc ai gruppi. 3 metodi: Si dice campione ad hoc quel campione 1. Assegnazione casuale formato da soggetti facilmente accessibili 2. Pareggiamento, appaiamento e disponibili a partecipare alla ricerca e, quindi, non estratti casualmente da alcuna (matching) popolazione. 3. Metodo dei blocchi Si può generalizzare solo (1) con cautela e 4. Soggetti come controllo di sé stessi con riserva e (2) a persone che hanno le stesse caratteristiche del campione. 47 48 8 1) Assegnazione casuale 2) Pareggiamento Si parla di assegnazione casuale E’ un metodo di assegnazione dei soggetti alle condizioni che permette di quando ogni soggetto estratto dalla costruire campioni bilanciati. popolazione ha la stessa probabilità Utile quando si hanno pochi soggetti. di capitare nell’una o nell’altra Come si fa? condizione 1) si dispongono i soggetti in ordine crescente sulla base di una (o più) variabili ( per es., l’età) Il campione deve essere numeroso. 2) si formano delle coppie di soggetti in base all’ordine precedente (i due più giovani, poi i due appena più grandi,…) 3) i membri della coppia vengono assegnati a caso nell’uno o nell’altro gruppo (dei due più giovani, uno va ad un gruppo, l’altro va all’altro gruppo, …) 49 50 2) Pareggiamento 3) Metodo dei blocchi E’ un metodo che permette di suddividere + giovane S1 S2 S3 S4 S5 S6 S7 S8 … + vecchio i soggetti in gruppi, detti blocchi, ciascuno corrispondente ad un livello di una S1 S2 variabile che si ritiene influenzi la VD. S3 S4 S5 S6 Es. suddividere il campione in tre blocchi C1 C2 S7 S8 sulla base del QI ed assegnare casualmente S9 S10 … a ciascun gruppo i soggetti dei blocchi Gruppo 1 Gruppo 2 (S1, S3, S6,…) (S2, S4, S5....) 51 52 D) Controllo degli effetti D) Controllo degli effetti dell’ordine e della sequenza dell’ordine e della sequenza Si ricordi il disegno entro i gruppi: Ogni misurazione può anche essere indicata con una lettera. Es., A, B, C, ecc. 54 53 9 Effetti dell’ordine e della CONTROBILANCIAMENTO Il controbilanciamento delle prove o delle condizioni sequenza consiste nel sottoporre il soggetto a diverse Effetto dell’ordine: sequenze/ordini di prove. E’ dovuto all’ordine delle condizioni, indipendentemente dalla specificità delle condizioni 2 TIPI DI CONTROBILANCIAMENTO: stesse (posizione). TRA GRUPPI: Ogni gruppo viene sottoposto a una Es. A B  B è alterata dal fatto di essere svolta per sequenza di prove diversa seconda ES: 2 gruppi per AB e BA CONTROLLO: ogni prova si deve realizzare lo stesso ENTRO I GRUPPI: Ogni soggetto viene sottoposto a tutte numero di volte in ogni posizione le sequenze delle prove Effetti della sequenza: ES: a tutti AB e BA E’ dovuto al tipo di prova che precede la prova in questione Il controbilanciamento si dice inoltre completo o Es. A B  B è alterata dalla presentazione incompleto a seconda che si sottopongano al precedente di A soggetto tutte le possibili combinazioni tra le prove o CONTROLLO: ciascuna prova deve essere solo alcune di esse, selezionate sulla base delle preceduta/seguita lo stesso numero di volte da considerazioni su quali effetti (sequenza o ordine) qualsiasi altra prova 55 siano più minacciosi. 56 CONTROBILANCIAMENTO CONTROBILANCIAMENTO TRA TRA GRUPPI: A) COMPLETO GRUPPI: B) INCOMPLETO Il controbilanciamento completo è in teoria il Il controbilanciamento incompleto fornisce migliore, ma è difficile da realizzare. Infatti: delle sequenze idonee a controllare 2 prove (A, B)  2 sequenze: AB BA determinati effetti dannosi in disegni di ricerca 3 prove (A, B, C)  6 sequenze: ABC, BCA, con più prove. CBA, ACB, BAC, CAB Il “quadrato latino” 4 prove (A, B, C, D)  24 sequenze! 5 prove (A, B, C, D, E)  120 sequenze! 6 prove (A, B, C, D, E, F)  720 sequenze! Ecc. 57 58 Il “quadrato latino” Controlli: Il quadrato latino controlla gli effetti dell’ordine ma non della sequenza. Il quadrato latino bilanciato controlla sia gli effetti dell’ordine sia quelli della Il “quadrato latino bilanciato” sequenza. 59 60 10 CONTROBILANCIAMENTO ENTRO GRUPPI: B) INCOMPLETO ENTRO GRUPPI: A) COMPLETO Il “quadrato latino” Anche per il controbilanciamento entro i gruppi si può adottare una strategia completa, solo che ogni soggetto sarà sottoposto tutte le sequenze. 2 prove (A, B)  2 sequenze: AB BA 3 prove (A, B, C)  6 sequenze: ABC, BCA, CBA, ACB, BAC, CAB Il “quadrato latino bilanciato” 4 prove (A, B, C, D)  24 sequenze! 5 prove (A, B, C, D, E)  120 sequenze! 6 prove (A, B, C, D, E, F)  720 sequenze! Ecc. 61 62 ALTRE TECNICHE DI CONTROBILANCIAMENTO ENTRO I GRUPPI (oltre a Completo e Incompleto): Randomizzazione dell’ordine delle prove per ciascun soggetto (se tante): ACABBACA… Randomizzazione dell’ordine delle prove, uguale per ciascun soggetto. Controbilanciamento inverso: 2 prove: AB BA 3 prove: ABC CBA Randomizzazione a blocchi: Es. 3 blocchi, ciascuno costituito da tutte le prove ma scelte casualmente: CDBA-BDAC-ADCB 63 11