Test Di Ipotesi - 2024-2025 PDF

INFORMATICA E BIOSTATISTICA Anno Accademico 2024-2025 Dott. Alberto Bertoncini  TEST DI IPOTESI STATISTICA INFERENZIALE Stima dei parametri di una popolazione mediante un campione Il test d’ipotesi è un processo mediante il quale s...

INFORMATICA E BIOSTATISTICA Anno Accademico 2024-2025 Dott. Alberto Bertoncini  TEST DI IPOTESI STATISTICA INFERENZIALE Stima dei parametri di una popolazione mediante un campione Il test d’ipotesi è un processo mediante il quale si traggono conclusioni su di una popolazione utilizzando un campione tratto da essa Non si è assolutamente certi che le conclusioni tratte siano corrette Poiché si utilizza un campione estratto dalla popolazione esiste un elemento di incertezza Le conclusioni sulla popolazione devono essere accompagnate da una PROBABILITÀ Esempio di ipotesi: La differenza tra le medie relative ad una variabile tra 2 campioni sono statisticamente significative? Dott. Alberto Bertoncini  TEST DI IPOTESI Con il test di ipotesi si valuta la plausibilità una e una sola ipotesi Quel ipotesi conviene valutare? IPOTESI DI DIFFERENZA: Infinite possibilità, 2 gruppi possono differire in diversi modi IPOTESI DI UGUAGLIANZA: Una sola possibilità Dott. Alberto Bertoncini  TEST DI IPOTESI IPOTESI NULLA IPOTESI ALTERNATIVA H0 H1 NON C’È DIFFERENZA I PARAMETRI OSSERVATI TRA I PARAMETRI NEL CAMPIONE E I OSSERVATI NEL PARAMETRI ATTESI CAMPIONE E I NELLA POPOLAZIONE PARAMETRI ATTESI SONO DIFFERENTI NELLA POPOLAZIONE Il test di ipotesi è volto unicamente a perseguire un risultato: ACCETTARE O RIFIUTARE L’IPOTESI NULLA Dott. Alberto Bertoncini  TEST DI IPOTESI Data una variabile in studio, cosa fare? 1)Si definisce il problema in termini di ipotesi (H0,H1) sul parametro oggetto di studio 2)L’ipotesi da sottoporre al test è l’ipotesi nulla H0 3)Si decide una soglia α oltre la quale si accetta o si rifiuta H0 4)Si utilizza un appropriato test statistico 5)Si ottiene una statistica test: Grandezza calcolata a partire dai dati per valutare il grado di compatibilità dei risultati con l’ipotesi H0 6)Per ciascun valore della statistica test esiste una probabilità (p-value), ossia la probabilità con la quale si potrebbero ottenere i dati osservati se l’ipotesi nulla fosse vera Dott. Alberto Bertoncini  TEST DI IPOTESI Il rifiuto dell’ipotesi H0 avviene quando sussiste una differenza significativa tra i dati del campione e quelli della popolazione Calcolata una statistica test, il p-value e decisa una soglia α di accettazione possiamo utilizzare due metodi: 1.Metodo del valore critico: Se la statistica test è inferiore al valore critico, non si rifiuta H0 Se la statistica test supera il valore critico, si rifiuta H0 2.Metodo del p-value: Se il p-value < α, l’ipotesi nulla H0 è incompatibile coi dati e si rifiuta Se il p-value > α, l’ipotesi nulla H0 è compatibile coi dati e non si rifiuta Dott. Alberto Bertoncini  TEST DI IPOTESI ESEMPIO: test d’ipotesi su una media – σ nota Il dosaggio di un ormone nella razza A è ben noto per essere stato fatto su tantissimi individui: μ = 60 unità σ = 10 unità In un gruppo di 25 animali di razza ignota è stato rilevato un dosaggio medio pari a x̄ = 65 unità Questi animali appartengono alla razza A? 1)Il campione proviene dalla razza A La differenza tra le medie può essere dovuta ad errori di campionamento e alla variabilità biologica della variabile in studio La differenza osservata è quindi casuale 2)Il campione non proviene dalla razza A La media osservata non è una delle possibili medie che si osserverebbero campionando al popolazione n-volte La differenza non è casuale Dott. Alberto Bertoncini  TEST DI IPOTESI Verifichiamo l’ipotesi nulla che non c’è differenza tra la media del campione e la popolazione È necessario calcolare qual è la probabilità di trovare la media del campione utilizzando la distribuzione standardizzata Z Poichè si tratta di una media campionaria il valore Z è: Test statistico z = (65 – 60)/2 = 2.5 Statistica test P(z=2.5) = 0.0062 P-value Dott. Alberto Bertoncini  TEST DI IPOTESI La probabilità che la differenza tra la media della popolazione e la media del campione sia uguale a 0 è pari a 0.0062 (0.62%) P=0.0062 P-value P=P-value, ossia la probabilità di ottenere i dati osservati se H0 fosse vera Se P è molto piccolo: H viene rifiutata perché incompatibile con i dati 0 H (ipotesi alternativa) viene accettata 1 Quale valore di P dobbiamo considerare abbastanza piccolo per rifiutare l’ipotesi? E’ necessario stabilire una soglia o valore critico del P- value che ci consenta di stabilire se accettare o meno l’ipotesi nulla Dott. Alberto Bertoncini  TEST DI IPOTESI P(z=2.5)=0.0062 P-value La soglia di rifiuto viene indicata con α Dott. Alberto Bertoncini  TEST DI IPOTESI Metodo del valore critico Si identifica il valore critico Z (Z α α/2 ) nell’esempio è ±1.96 Se Z della statistica test è nella parte di curva esterna rispetto al valore critico allora si rifiuta l’ipotesi nulla H0 Se Z della statistica test si trova nella regione della curva compresa tra i valori critici allora H0 non può essere rifiutato Nell’esempio Z della statistica test è uguale a 2.5 quindi si trova nella regione esterna rispetto a Zα , quindi H0 viene rifiutato Dott. Alberto Bertoncini  TEST DI IPOTESI Nel caso l’ipotesi nulla è falsa: L’ipotesi alternativa è unilaterale (o a una coda), ossia la differenza tra le medie è in un’unica direzione. Dott. Alberto Bertoncini  TEST DI IPOTESI Nel caso l’ipotesi nulla è falsa: l’ipotesi alternativa è bilaterale (o a due code), ossia include valori da entrambi i latti (maggiori o minori) del valore specificato dall’ipotesi nulla Dott. Alberto Bertoncini  TEST DI IPOTESI Metodo del P-value Una volta calcolato il P-value lo si confronta con α Se P-value < α si rifiuta l’ipotesi nulla H0 Se P-value > α non si può rifiutare l’ipotesi nulla H0 Nell’esempio: La probabilità che gli animali appartengano alla razza A è 0.0062, inferiore allo 0.05, quindi si rifiuta l’ipotesi H0 Conclusione: i 25 animali appartengono ad una razza diversa Dott. Alberto Bertoncini  TEST DI IPOTESI Quale valore di P dobbiamo considerare abbastanza piccolo? Per convenzione il confine tra P-value piccoli e P-value non piccoli è 0.05 Se P < 0.05 rifiutiamo l’ipotesi nulla Se P > 0.05 accettiamo l’ipotesi nulla La soglia di decisione P (cioè P = 0.05) è detta livello di significatività e si indica con α = 0.05 Dott. Alberto Bertoncini  TEST DI IPOTESI □ Test d’ipotesi su una media con σ nota: statistica test ► distribuzione Z □ Test d’ipotesi su una media con σ non nota: statistica test ►distribuzione t □ Test d’ipotesi su frequenze osservate vs attese e su relazione tra variabili categoriche: statistica test ► distribuzione χ2 □ Test d’ipotesi sul coefficiente di correlazione: statistica test ► distribuzione t □ Test d’ipotesi su più medie: statistica test ► distribuzione F Dott. Alberto Bertoncini  TEST DI IPOTESI Esercizio 1 Sulla base dei seguenti valori ottenuti su un campione casuale proveniente da una popolazione normale 1.1, 3.1, 4.2, 4.6, 5.0, 5.2, 5.3, 6.5, 8.4, 9.6 verificare l’ipotesi H0: μ=4 al livello di significatività α = 0.01 attraverso il metodo del valore critico Dott. Alberto Bertoncini  TEST DI IPOTESI Esercizio 1 - soluzione Utilizzeremo la distribuzione t, in quanto mancanti di σ La statistica del test risulta t = (5.3-4)/√(5.8/10) =1.6811, il quantile di riferimento è t9(0.995) = 3.25 in quanto α = 0.01 1.6811 < 3.25, quindi non si ha motivo di rifiutare H0 Dott. Alberto Bertoncini  TEST DI IPOTESI Esercizio 2 Su un campione casuale di 200 elementi proveniente da una popolazione normale con σ= 40 si è ottenuta una media pari a 24. Verificare l’ipotesi H0: μ = 25 al livello di significatività α = 0.05 attraverso il calcolo del p-value Dott. Alberto Bertoncini  TEST DI IPOTESI Esercizio 2 – Soluzione La statistica test risulta Z = (24-25)/√(40/200) = -2.236 e il p-value corrispondente è all’incirca pari a: 2*0.0125 = 0.025 < 0.05 Per cui si rifiuta H0 Dott. Alberto Bertoncini  ERRORI DI I TIPO E II TIPO Prendere una decisione comporta il fatto di correre dei Rischi Il rischio che si corre è prendere una decisione sbagliata, cioè si sceglie l’ipotesi sbagliata E’ necessario ridurre al minimo le possibilità di errore Quali tipi di errore si possono commettere? 1)Rifiuto H0 quando è vera ► ERRORE DI I TIPO 2)Accetto H0 quando è falsa ► ERRORE DI II TIPO Si possono minimizzare questi errori? Dott. Alberto Bertoncini  ERRORI DI I TIPO E II TIPO Se l’ipotesi nulla è vera e si rifiuta, si commette un errore di I tipo La probabilità di commettere un errore di I tipo è pari ad α Il livello di protezione del test contro la possibilità di commettere un errore di I tipo è pari a 1 – α Se l’ipotesi nulla è falsa e si accetta, si commette un errore di II tipo La probabilità di commettere un errore di II tipo è pari a β La probabilità che un campione casuale determini il rifiuto di un’ipotesi nulla falsa è detta potenza del test e si indica con 1 - β Dott. Alberto Bertoncini  RELAZIONE TRA SIGNIFICATIVITÀ E POTENZA DEL TEST Dott. Alberto Bertoncini  RELAZIONE TRA SIGNIFICATIVITÀ E POTENZA DEL TEST Dott. Alberto Bertoncini  RELAZIONE TRA SIGNIFICATIVITÀ E POTENZA DEL TEST  L’ideale è che il test sia ben protetto da una parte e potente dall’altra.  Quanto più le medie che definiscono H0 e H1 sono distanti tra loro, non tanto in valore assoluto quanto in termini di σ, tanto più il test sarà protetto e potente.  È necessario però che questa differenza misurata in termini di σ ponga le due distribuzioni ben separate e con la minore sovrapposizione possibile.  Se le due distribuzioni sono ben separate, σ è piccolo Dott. Alberto Bertoncini  TEST DI IPOTESI Esercizio 3 Il preside di una scuola elementare sospetta che i suoi studenti abbiano un IQ, quoziente di intelligenza, superiore alla media italiana. Dopo aver selezionato casualmente 64 bambini tra i suoi studenti e misurato il loro quoziente di intelligenza, il preside riscontra un valore medio di 106. Supponiamo che l'IQ di uno studente della scuola elementare sia una variabile aleatoria normale con valore atteso non noto μ, e varianza 256. Supponiamo inoltre che il valore medio nazionale sia 100. Avendo fissato un valore di significatività α = 0.025, può il preside concludere che i suoi studenti siano più intelligenti della media? Dott. Alberto Bertoncini  TEST DI IPOTESI Esercizio 3 - Soluzione Il preside è interessato alla verifica delle seguenti ipotesi: La statistica test che ci interessa è z = (x̄-μ0)/(σ/√n): distribuzione normale standard con σ noto. Per α=0.025 è pari a 1.96 Il valore della statistica test è quindi: Pertanto ricadiamo nella zona della curva che rifiuta l’ipotesi nulla.Il preside può concludere che i suoi studenti sono più intelligenti della media. Dott. Alberto Bertoncini