Appunti Statistica Francesca Manna (2020-2021) PDF

STATISTICA APPUNTI di FRANCESCA MANNA (2020-2021) NB: QUESTO MATERIALE NON PUÒ SOSTITUIRE LO STUDIO ATTRAVERSO I LIBRI E LE SLIDE/SPIEGAZIONI DEL PROFESSORE. SONO APPUNTI PERSONALI, NON MA...

STATISTICA APPUNTI di FRANCESCA MANNA (2020-2021) NB: QUESTO MATERIALE NON PUÒ SOSTITUIRE LO STUDIO ATTRAVERSO I LIBRI E LE SLIDE/SPIEGAZIONI DEL PROFESSORE. SONO APPUNTI PERSONALI, NON MATERIALE DIDATTICO. 1  PARTE 1 STATISTICA DESCRITTIVA 2 La STATISTICA DESCRITTIVA è la branca della statistica che studia i criteri di rilevazione, classificazione, sintesi e rappresentazione dei dati appresi dallo studio di una popolazione o di una parte di essa (detta campione). [es. censimento] ▪ La POPOLAZIONE è l’insieme di unità di rilevazione. # popolazione = N (numerosità della popolazione) [#: numerosità] ▪ Il CAMPIONE è la parte di popolazione su cui spesso vengono effettuate le indagini. (Le indagini si effettuano sul campione perché sull’intera popolazione potrebbero comportare un dispendio eccessivo di denaro o tempo o perché in alcuni casi attuare la verifica è necessario distruggere i campioni [es. testare la resistenza di un piatto]). L’analisi sul campione è meno precisa rispetto a quella effettuata sulla popolazione intera (gli scienziati potrebbero ottenere risultati completamente diversi da due campioni differenti). Per estendere a tutta la popolazione i risultati dell’indagine campionaria viene utilizzata una tecnica di calcolo delle probabilità, misurando circa la dimensione dell’errore [es. exit poll delle votazioni]. Maggiore è la numerosità del campione, più precisa potrebbe essere l’indagine. # campione = n (numerosità del campione) Dunque, il campione è un sottoinsieme della popolazione e la loro relazione è: n ≤ N. ▪ l’OGGETTO dello studio sono uno o più CARATTERI (X). Questi possono essere di diversa natura:  Quantitativa:  Discreti: caratteri esplicitati da espressioni numeriche che fanno parte dell’insieme dei numeri naturali (es. numero dei componenti della famiglia: o 4 o 5, non ci sono valori intermedi).  Continui: caratteri esplicitati da espressioni numeriche che possono assumere come valore qualsiasi intervallo di R (es. altezza: tra 170cm e 171cm vi sono infinite possibilità [170.1; 170.2,..]).  Qualitativa:  Ordinali: caratteri di cui è possibile creare una scala in base alla valenza (es. titolo di studio: elementare < media < liceo < laurea).  Nominali: caratteri di cui non è possibile creare una scala di valore (es. colore dei capelli). ▪ Il carattere si estrinseca attraverso delle OSSERVAZIONI o RILEVAZIONI (x). Il numero delle osservazioni coincide con la numerosità della popolazione: #x = N, per cui indichiamo le osservazioni in questo modo: xi i = 1…N (NB: si legge: x di i con i che va da 1 a N) (insieme NON aggregato) Esempio: X = # componenti famiglia (carattere quantitativo discreto) xi i = 1…10 x1 = 3 x3 = 4 x5 = 4 x7 = 4 x9 = 4 x2 = 4 x4 = 4 x6 = 5 x8 = 4 x10 = 5 Esempio: X = altezza (carattere quantitativo continuo) xi i = 1…10 x1 = 171.33 x3 = 178.25 x5 = 176.82 x7 = 174.38 x9 = 172.15 x2 = 178.10 x4 = 180.15 x6 = 183.21 x8 = 186.25 x10 = 190.72 3 AGGREGAZIONE DEI CARATTERI: LA DISTRIBUZIONE STATISTICA Per migliorare l’analisi (si preferisce la sintesi perdendo alcune informazioni) è necessario trasformare l’insieme non aggregato di rilevazioni in un insieme aggregato. Questa aggregazione varia a seconda che si tratti di un carattere quantitativo discreto o continuo. AGGREGAZIONE DI UN CARATTERE QUANTITATIVO DISCRETO L’aggregazione di un carattere discreto avviene mediante la DISTRIBUZIONE STATISTICA o VARIABILE STATISTICA (V.S.), che indica l’insieme delle coppie ordinate (da x*i più piccolo al più grande) di modalità e frequenza. Le MODALITÀ (x*i) sono le osservazioni diverse. Indichiamo con h il numero delle modalità (h ≤ N) ❖ DISTRIBUZIONE STATISTICA CON FREQUENZE ASSOLUTE Le FREQUENZE ASSOLUTE (ni) indicano quante volte ciascuna modalità si presenta. 𝐍 ∑ 𝐧𝐢 = 𝐍 [la sommatoria delle frequenze assolute per i che va da 1 a N è uguale alla numerosità della popolazione] 𝐢=𝟏 Esempio: X = # componenti famiglia (dati precedenti) X*i ni 3 1 (1 persona ha la famiglia composta da 3 membri) 4 7 (7 persone hanno la famiglia composta da 4 membri) 5 2 (2 persone hanno la famiglia composta da 5 membri) ❖ DISTRIBUZIONE STATISTICA CON FREQUENZE RELATIVE Le FREQUENZE RELATIVE (pi) sono frequenze relativizzate rispetto alla numerosità della popolazione. 𝐧 𝐩𝐢 = 𝐢 𝐍 Esempio: X = # componenti famiglia (dati precedenti) X*i ni pi 3 1 0.1 (il 10% ha 3 componenti in famiglia) 4 7 0.7 (il 70% ha 4 componenti) 5 2 0.2 (il 20% ha 5 componenti) h=3 N=10 1 ni 1 1 ∑N N i=1 pi = ∑i=1 = (porto fuori N costante) → ∑N N i=1 ni = (∑i=1 ni = N) → xN=1 N N N AGGREGAZIONE DI UN CARATTERE QUANTITATIVO CONTINUO [Non è possibile aggregare una misurazione di caratteri continui con lo stesso metodo utilizzato per i caratteri discreti in quanto ogni modalità avrebbe come frequenza 1 perché ogni osservazione è differente dalle altre]. Per migliorare la sintesi delle rilevazioni di un carattere continuo si attua la DISTRIBUZIONE STATISTICA CONTINUA PER INTERVALLI, creando una CLASSE (o INTERVALLO) di modalità ( x*i – x*i-1): si prendono in considerazione degli intervalli di valori e si procede per classi. NB: per ogni classe di modalità l’estremo inferiore è incluso e l’estremo superiore è escluso. [es. 175 verrebbe inserito nella classe 175-180] NB: Se sono presenti valori anomali (outliers) l’ultimo intervallo è (n - ∞). Esempio: X = altezza (dati precedenti) [Classe = 5 cm] x*i – x*i-1 ni pi 170 - 175 3 0.3 175 - 180 3 0.3 180 - 185 2 0.2 185 - 190 1 0.1 190 - 195 1 0.1 RAPPRESENTAZIONI GRAFICHE DELLE DISTRIBUZIONI STATISTICHE ❖ IL DIAGRAMMA DELLE FREQUENZE La rappresentazione grafica della distribuzione statistica di un carattere discreto si attua mediante il DIAGRAMMA DELLE FREQUENZE, che mette in relazione le modalità e le frequenze relative. All’interno del diagramma non vi sono modalità intermedie e la superficie tra le frequenze non ha importanza analitica. Esempio: X = # componenti famiglia (dati precedenti) X*i ni pi 3 1 0.1 4 7 0.7 5 2 0.2 4 ❖ LA FUNZIONE DI DENSITA’ DELLE FREQUENZE La rappresentazione grafica della distribuzione statistica continua per intervalli è data dalla FUNZIONE DI DENSITA’ DELLE FREQUENZE. Questa si rappresenta mediante un ISTOGRAMMA, che mette in relazione le modalità e la densità di frequenza. Nell’istogramma tutti i punti sull’asse delle X rappresentano una possibile misurazione, dunque la superficie tra le frequenze ha importanza analitica: le aree dei rettangoli indicano la frequenza relativa. La DENSITÀ DI FREQUENZA (fi) è data dal rapporto tra frequenza relativa e ampiezza della classe (estremo superiore - estremo inferiore) 𝐩 𝐟𝐢 = ∗ 𝐢 ∗ 𝐱 𝐢+𝟏 − 𝐱 𝐢 Esempio: X = altezza (dati precedenti) x*i – x*i-1 ni pi fi 170 - 175 3 0.3 0.06 0.3/(175-170)=0.06 175 - 180 3 0.3 0.06 0.3/(175-170)=0.06 180 - 185 2 0.2 0.04 0.2/(175-170)=0.04 185 - 190 1 0.1 0.02 0.1/(175-170)=0.02 190 - 195 1 0.1 0.02 0.1/(175-170)=0.02 La FORMA ANALITICA della funzione di densità delle frequenze è: 0 x < 170 0.06 170 ≤ x < 175 0.06 175 ≤ x < 180 F(x) = 0.04 180 ≤ x < 185 0.02 185 ≤ x < 190 0.02 190 ≤ x < 195 0 x ≥ 195 Le PROPRIETA’ della funzione di densità delle frequenze sono: 1. F(x) ≥ 0 ∀x ∈ R (è non negativa) +∞ 2. ∫−∞ 𝑓(𝑥)𝑑𝑥 = 1 (la somma delle aree corrisponde alla somma delle frequenze relative) LA FUNZIONE DI RIPARTIZIONE La FUNZIONE DI RIPARTIZIONE assume forme diverse a seconda della tipologia di carattere: ❖ FUNZIONE DI RIPARTIZIONE PER X DISCRETO Inseriamo la FREQUENZA CUMULATA (Fi), ovvero la frequenza con cui il carattere X assume valori minori o uguali a x*i -> F(x*i) = Fr (X≤ x*i) Esempio: X = # componenti famiglia (dati precedenti) X*i ni pi Fi 3 1 0.1 0.1 [=pi1] 4 7 0.7 0.8 [=Fi1 + pi2] (0.1 + 0.7 = 0.8) 5 2 0.2 1 [=Fi2 + pi3] (0.8 + 0.2 = 1) La RAPPRESENTAZIONE ANALITICA della funzione di ripartizione per X discreto è: 0 X (0; 1) (F è definito in R e il codominio (valori possibili di Y) abbraccia l’intervallo da 0 a 1, estremi esclusi) Da qui otteniamo che: lim 𝑓(𝑥) = 1 e lim 𝑓(𝑥) = 0 𝑥→ +∞ 𝑥→ −∞ 3. lim+ 𝐹(x*i + h) = F(x*i) (estremo inferiore incluso) ℎ→ 0 lim 𝐹(x*i + h) = F(x*i-1) (estremo superiore escluso) ℎ→ 0− LA FUNZIONE è CONTINUA IN TUTTO R AD ECCEZIONE DEI PUNTI ESTREMI DELLE CLASSI, IN QUESTI PUNTI LA FUNZIONE è CONTINUA SOLO DA DESTRA 5 ❖ FUNZIONE DI RIPARTIZIONE PER X CONTINUO Inseriamo la FREQUENZA CUMULATA (Fi) con cui il carattere si manifesta in un determinato intervallo. [nell’istogramma x può avere qualsiasi valore compreso fra x*i incluso e x*i-1 escluso] Esempio: X = altezza (dati precedenti) x*i – x*i-1 ni pi fi Fi 170 - 175 3 0.3 0.06 0.3 175 - 180 3 0.3 0.06 0.6 180 - 185 2 0.2 0.04 0.8 185 - 190 1 0.1 0.02 0.9 190 - 195 1 0.1 0.02 1  Intervallo x < 170 l’area (Fi) è 0  Intervallo 170 ≤ x < 175 area = base (x – 170) × altezza (0.06) = (x – 170)0.06  Intervallo 175 ≤ x < 180 aera = area precedente (pi= 0.3) + aera del nuovo rettangolo [base (x – 175) × altezza (0.06)] = 0.3 + (x – 175)0.06  Intervallo 180 ≤ x < 185 area = area del primo rettangolo (0.3) + area del rettangolo precedente (0.3) + area del nuovo rettangolo [base (x – 180) × altezza (0.04)] = 0.03 + 0.3 + (x – 180)0.04  … La RAPPRESENTAZIONE ANALITICA della funzione è: 0 x < 170 (x – 170) 0.06 170 ≤ x < 175 [= (x – x*i1)] 0.3 + (x – 175) 0.06 175 ≤ x < 180 [= pi1 + (x – x*i2)] f(x) = 0.3 + 0.3 + (x – 180) 0.04 180 ≤ x < 185 [= pi1 + pi2 (x – x*i3)] 0.3 + 0.3 + 0.2 + (x – 185) 0.02 185 ≤ x < 190 [= pi1 + pi2 + pi3 (x – x*i4)] 0.3 + 0.3 + 0.2 + 0.1 + (x – 190) 0.02 190 ≤ x < 195 [= pi1 + pi2 + pi3 + pi4 (x – x*i5)] 0.3 + 0.3 + 0.2 + 0.1 + 0.1 x ≥ 195 [= pi1 + pi2 + pi3 + pi4 + pi5] Svolgendo i calcoli, possiamo riscrivere questi dati come: 0 x < 170 0.06x – 10.2 170 ≤ x < 175 Calcoli: 0.06x – 10.2 175 ≤ x < 180 [0.3 + 0.06x – 10.5 = 0.06x – 10.2] f(x) = 0.04x – 6.6 180 ≤ x < 185 [0.3 + 0.3 + 0.04x – 7.2 = 0.04x – 6.6] 0.02x – 2.9 185 ≤ x < 190 [0.3 + 0.3 + 0.2 + 0.02x – 3.7 = 0.02x – 2.9] 0.02x – 2.9 190 ≤ x < 195 [0.3 + 0.3 + 0.2 + 0.1 + 0.02x – 3.8 = 0.02x – 2.9] 1 x ≥ 195 [0.3 + 0.3 + 0.2 + 0.1 + 0.1 = 1] La RAPPRESENTAZIONE GRAFICA della funzione di ripartizione per un carattere continuo è: Prima di 170: COSTANTE 0 Tra 170 e 175: NON costante: da 0 a 0.3 Tra 175 e 180: NON costante: da 0.3 a 0.6 (stessa pendenza) Tra 180 e 185: NON costante: da 0.6 a 0.8 (cambia pendenza) Tra 185 e 190: NON costante: da 0.8 a 0.9 Tra 190 e 195: NON costante: da 0.9 a 1 Da 190 in poi: COSTANTE 1 Le PROPRIETA’ della funzione di ripartizione per X continuo sono: 1. F: R -> [0; 1] (F è definito in R e il codominio (valori possibili di Y) abbraccia l’intervallo da 0 a 1, estremi inclusi) Da qui otteniamo che: lim 𝐹(𝑥) = 1 e lim 𝐹(𝑥) = 0 𝑥→ +∞ 𝑥→ −∞ 2. La funzione F(x) è continua e derivabile ∀x ∈ R ad eccezione dei punti estremi delle classi (sono punti angolosi: derivata dx ≠ derivata sx, quindi non è derivabile in quei punti) CONTINUA = LA FUNZIONE è CONTINUA IN OGNI PUNTO DEL PROPRIO DOMINIO DERIVABILE = QUANDO ESISTE LA DERIVATA PRIMA NEL PUNTO CONSIDERATO AD ECCEZIONE DEGLI ESTREMI DELLE CLASSI. 6 LE MISURE DI SINTESI RIFERITE AD UN CARATTERE UNICO Ci troviamo nel campo della STATISTICA UNIVARIATA, che studia un carattere per volta. [≠ bivariata: 2 caratteri contemporaneamente; multivariata: + caratteri contemporaneamente] Dopo essere partiti da un insieme non aggregato abbiamo effettuato una sintesi ottenendo una distribuzione statistica del carattere (discreto o continua). Dobbiamo ora effettuare una ulteriore sintesi dell’indagine statistica con una sola variabile attraverso le MISURE DI SINTESI: Misure di posizione (o tendenza):  Centrale: MEDIA, MODA E MEDIANA.  Non centrale: QUARTILI, DECILI E PERCENTILI. Misure di dispersione (o variabiltà): VARIANZA, SCARTO QUADRATICO MEDIO, CAMPO DI VARIAZIONE, COEFFICIENTE DI VARIAZIONE. Misure di concentrazione MISURE DI POSIZIONE CENTRALE: MEDIA, MODA e MEDIANA LA MEDIA ARITMETICA μ(X) Dato un carattere X, ottenuti i valori di un esperimento xi i = 1... N, la media aritmetica si indica con μ(X) ed ha sempre la stessa unità di misura degli elementi cui si riferisce. Distinguiamo diverse situazioni: 1. Nel caso di INSIEMI NON AGGREGATI la media aritmetica è data da: 𝟏 μ(X) = ∑𝐍𝐢=𝟏 𝐱𝐢 (Sommatoria per i che va da 1 a N (numerosità della popolazione = numero di osservazioni) del numero delle osservazioni diviso N) 𝐍 a. Per un CARATTERE DISCRETO: Esempio1: X = # componenti famiglia xi i = 1…10 x1 = 3 x3 = 4 x5 = 4 x7 = 4 x9 = 4 3+4+4+4+4+5+4+4+4+5 x2 = 4 x4 = 4 x6 = 5 x8 = 4 x10 = 5 μ= 10 b. Per un CARATTERE CONTINUO: Esempio2: X = altezza xi i = 1…10 x1 = 171.33 x3 = 178.25 x5 = 176.82 x7 = 174.38 x9 = 172.15 1791.36 μ= = 179.136 x2 = 178.10 x4 = 180.15 x6 = 183.21 x8 = 186.25 x10 = 190.72 10 2. Nel caso di DISTRIBUZIONE STATISTICA CON FREQUENZE ASSOLUTE la media: a. Per un CARATTERE DISCRETO è data da: 𝟏 μ(X) = ∑𝐡𝐢=𝟏 𝐱𝐢∗ 𝐧𝐢 (Sommatoria per i che va da 1 a h (numero delle modalità) delle modalità moltiplicate per la frequenza assoluta diviso N) 𝐍 Esempio1: X = # componenti famiglia (dati precedenti) X*i ni 𝐱𝐢∗ 𝐧𝐢 3 1 3 (3 x 1) 3+28+10 41 μ= = = 4.1 4 7 28 (4 x 7) 10 10 5 2 10 (5 x 2) b. Per un CARATTERE CONTINUO è necessaria una semplificazione (comporta una perdita di informazioni): approssimiamo i risultati con il punto medio (mi) di ciascuna classe: 𝟏 μ(X) = ∑𝐡𝐢=𝟏 𝐦𝐢 𝐧𝐢 𝐍 Esempio2: X = altezza (dati precedenti) x*i – x*i-1 ni mi mini 170 - 175 3 172.5 517.5 517.5+532.5+365+187.5+192.5 1795 μ= = = 179.5 10 10 175 - 180 3 177.5 532.5 180 - 185 2 182.5 365 NB: la media è diversa (meno precisa) da quella ottenuta dall’insieme non aggregato (1) [179.136] 185 - 190 1 187.5 187.5 190 - 195 1 192.5 192.5 3. Nel caso di DISTRIBUZIONE STATISTICA CON FREQUENZE RELATIVE la media: a. Per un CARATTERE DISCRETO è data da: μ(X) = ∑𝐡𝐢=𝟏 𝐱𝐢∗ 𝐩𝐢 (Sommatoria per i che va da 1 a h (numero delle modalità) delle modalità moltiplicate per la frequenza relativa. NB non va divisa per N perché la divisione è compresa nella formula della frequenza relativa). Esempio1: X = # componenti famiglia (dati precedenti) X*i pi 𝐱𝐢∗ 𝐩𝐢 3 0.1 0.3 (3 x 0.1) μ = 0.3+2.8+1 = 4.1 4 0.7 2.8 (4 x 0.7) 5 0.2 1 (5 x 0.2) b. Per un CARATTERE CONTINUO è data da: μ(X) = ∑𝐡𝐢=𝟏 𝐦𝐢 𝐩𝐢 (NB anche in questo caso non va divisa per N perché la divisione è compresa nella formula della frequenza relativa). Esempio2: X = altezza (dati precedenti) x*i – x*i-1 pi mi mipi 170 - 175 0.3 172.5 51.75 175 - 180 0.3 177.5 53.25 μ = 51.75 + 53.25 + 36.5 + 18.75 = 179.5 180 - 185 0.2 182.5 36.5 [NB: μ ≠ insieme non aggregato: 179.136 / μ = distribuzione con ni (stessa approssimazione) 185 - 190 0.1 187.5 18.75 190 - 195 0.1 192.5 19.25 7 ▪ Le PROPRIETA’ DELLA MEDIA ARITMETICA sono: 1. La media di una costante è la costante stessa [c: costante]: μ(c) = c 2. La media della somma fra una costante e una variabile è data dalla somma tra la costante e la media della variabile: μ(c + X) = c + μ(X) 3. La media del prodotto fra una costante e una variabile è data dal prodotto tra la costante e la media della variabile: μ(c ∙ X) = c ∙ μ(X) 4. La media di una somma algebrica di due variabili è fata dalla somma algebrica tra la media della variabile1 e la media della variabile2: μ(X ± Y) = μ(X) ± μ(Y) 5. La somma degli scarti dalla media è nulla (la media è quell’operatore che annulla gli scarti): ∑Ni=1[xi − μ(X)] = 0 DIMOSTRAZIONE: - Distribuiamo la sommatoria: ∑N N N i=1[xi − μ(X)] = ∑i=1 xi – ∑i=1 μ(X) 1 - Sappiamo che μ(X) = ∑N N i=1 xi , quindi: ∑i=1 xi = Nμ(X) N - Dal momento che μ(X) è una costante: ∑N i=1 μ(X) = μ(X) moltiplicata Nvolte = Nμ(X) - Otteniamo dunque: Nμ(X) – Nμ(X) = 0 6. La media è l’operatore che minimizza la somma degli scarti quadratici (il punto di minimo in una sommatoria di quadrati si ha nel punto in cui la costante (a) corrisponde alla media aritmetica). Lo scarto (xi – a) è la differenza tra le singole osservazioni e una costante qualsiasi. ∑N 2 i=1(xi − a) → MIN a=μ(X) DIMOSTRAZIONE: - Per calcolare il punto di minimo svolgiamo la derivata di ∑N 2 N i=1(xi − a) : –2 ∑i=1(xi − a) - Poniamo la derivata uguale a 0 e semplifichiamo il -2: ∑N (x i=1 i − a) = 0 - Distribuiamo la sommatoria: ∑N N i=1 xi – ∑i=1 a = 0 - Sappiamo che ∑N N i=1 xi = Nμ(X) e che ∑i=1 a = Na - Otteniamo dunque: Nμ(X) – Na = 0 - Semplifichiamo N: μ(X) – a = 0 - Dunque il punto di minimo (derivata’=0) si ha in μ(X) = a ▪ La media aritmetica è solo una delle tante tipologie di media, è intesa come MOMENTO I (primo). Infatti, dalla formula generatrice dei momenti sappiamo che: 1 Mk (momento kappesimo) = ∑𝑁 𝑘 𝑖=1 𝑥𝑖 𝑁 1  Media aritmetica: MOMENTO PRIMO (M1; k:1) = ∑N I=1 X I N 1  Media quadratica: MOMENTO SECONDO (M2; k: 2) = ∑N 2 I=1 X I N 1 N 1  Media armonica: MOMENTO TERZO (M3; k: -1) = ∑i=1 N xi LA MODA (Mo) La MODA È L’OSSERVAZIONE CHE SI PRESENTA CON MAGGIORE FREQUENZA. Distinguiamo: ❖ MODA PER UN INSIEME NON AGGREGATO In caso di insieme non aggregato, la moda è l’osservazione che si presenta più volte. Esempio: X = animali domestici X1 = 0 X3 = 0 X5 = 2 Mo = 0 X2 = 1 X4 = 0 X6 = 1 ❖ MODA PER UNA DISTRIBUZIONE STATISTICA CON CARATTERE DISCRETO In caso di distribuzione statistica, la moda è la modalità con la frequenza più alta Esempio: X = animali domestici X*i ni 0 1 Mo = 1 1 4 2 2 3 3 NB: se ci sono più valori con la stessa frequenza, avremo una distribuzione BIMODALE (due mode) Esempio: X = animali domestici X*i ni 0 1 Mo = 1 e 2 1 4 2 4 3 3 ❖ MODA PER UNA DISTRIBUZIONE STATISTICA CONTINUA PER INTERVALLI In caso di distribuzione statistica continua per intervalli, non avremo una moda ma una CLASSE MODALE. 8 LA MEDIANA (Me) La MEDIANA DIVIDE L’INSIEME IN PARTI EQUIFREQUENTI: vi sono tante osservazioni più piccole quante sono quelle più grandi. Distinguiamo: ❖ MEDIANA PER UN INSIEME NON AGGREGATO ▪ Supponiamo di avere n rilevazioni di un determinato carattere: X1 X2 (insieme ordinato secondo l’arrivo delle osservazioni: … X1= prima osservazione; Xn = ultima osservazione) Xn ▪ Ordiniamo le osservazioni in modo non decrescente: X(1) X(2) (insieme ordinato secondo la grandezza delle osservazioni: … X1= osservazione più piccola; Xn = osservazione più grande) X(n) ▪ A questo punto, distinguiamo due situazioni: o CASO 1: N DISPARI N+1 Nel caso in cui la numerosità della popolazione è dispari, la mediana è data dall’osservazione X posizionata in 2 Me = 𝐗 (𝐍+𝟏) 𝟐 ▪ Esempio1: X = componenti della famiglia; N = 5 X1 = 3 X3 = 4 X5 = 4 X2 = 1 X4 = 2 Ordiniamo l’insieme in maniera non decrescente: X(1) = 1 X(3) = 3 X(5) = 4 X(2) = 2 X(4) = 4 Me = X(N+1) = X(5+1)= X(3)= 3 2 2 (3 è il valore centrale nell’insieme non aggregato che divide la popolazione in due parti equifrequenti: ci sono 2 persone che hanno carattere ≥ 3 e 2 persone che hanno carattere ≤3). ▪ Esempio2 con carattere discreto: X =numero di esami dati; N = 11 X1 = 9 X3 = 8 X5 = 7 X7 = 6 X9 = 12 X11 = 12 X2 = 10 X4 = 7 X6 = 7 X8 = 5 X10 = 9 Ordiniamo l’insieme in maniera non decrescente: X(1) = 5 X(3) = 7 X(5) = 7 X(7) = 9 X(9) = 10 X(11) = 12 X(2) = 6 X(4) = 7 X(6) = 8 X(8) = 9 X(10) = 12 Me = X(N+1) = X(11+1)= X(6)= 8 2 2 (8 è il valore centrale nell’insieme non aggregato che divide la popolazione in due parti equifrequenti: ci sono 5 persone che hanno carattere ≥ 8 e 5 persone che hanno carattere ≤8). o CASO 2: N PARI 𝑁 Nel caso in cui la numerosità della popolazione è pari, la mediana è data dalla media aritmetica tra X posizionato in e X posizionato 2 𝑁 in +1 2 Me = 𝛍 [𝐗 (𝐍) , 𝐗 (𝐍+𝟏) ] 𝟐 𝟐 ▪ Esempio: X = componenti della famiglia; N = 6 X1 = 3 X3 = 4 X5 = 4 X2 = 1 X4 = 2 X6 = 5 Ordiniamo l’insieme in maniera non decrescente: X(1) = 1 X(3) = 3 X(5) = 4 X(2) = 2 X(4) = 4 X(6) = 5 Me = μ [X(N) , X(N+1)] = μ [X(6) , X(6+1)] = μ [X(3), X(4)] = μ (3; 4) = 3.5 2 2 2 2 (3.5 è il valore centrale nell’insieme non aggregato che divide la popolazione in due parti equifrequenti: ci sono 3 persone che hanno carattere ≥ 3.5 e 3 persone che hanno carattere ≤3.5). ▪ Esempio2 con carattere discreto: X =numero di esami dati; N = 10 X1 = 9 X3 = 8 X5 = 7 X7 = 6 X9 = 12 X2 = 10 X4 = 7 X6 = 7 X8 = 5 X10 = 9 Ordiniamo l’insieme in maniera non decrescente: X(1) = 5 X(3) = 7 X(5) = 7 X(7) = 9 X(9) = 10 X(2) = 6 X(4) = 7 X(6) = 8 X(8) = 9 X(10) = 12 Me = μ [X(N) , X(N+1)] = μ [X(10), X(10+1)] = μ [X(5), X(6)] = μ (7; 8) = 7.5 2 2 2 2 (7.5 è il valore centrale nell’insieme non aggregato che divide la popolazione in due parti equifrequenti: ci sono 5 persone che hanno carattere ≥ 7.5 e 5 persone che hanno carattere ≤7.5). NB: la mediana è una misura di sintesi di posizione che NON SUBISCE L’INFLUENZA DEI VALORI ESTREMI (≠ media): variando un carattere estremo la mediana non cambia [Se avessimo avuto X(10)=28 o X(1)=0, N sarebbe stata sempre la stessa per cui la mediana non sarebbe cambiata]. 9 ❖ MEDIANA PER UNA DISTRIBUZIONE STATISTICA CON CARATTERE DISCRETO In caso di distribuzione statistica con carattere discreto, la mediana coincide con la modalità in corrispondenza della quale le frequenze cumulate Fi superano per la prima volta il 50%. Me = X*i in corrispondenza della quale Fi > 0.5 per la prima volta ▪ Esempio: X =numero di esami dati (dati precedenti-> aggreghiamo insieme precedente) X*i ni (f. ass.) pi (f. rel.) Fi 5 1 0.09 0.09 6 1 0.09 0.18 7 3 0.27 0.45 Fi > 0.5 = 0.54 8 1 0.09 0.54 Me = 8 9 2 0.18 0.72 10 1 0.09 0.81 12 2 0.18 1 NB: ECCEZIONE Fi = 0.5: Nel caso in cui la frequenza cumulata è pari al 50%, la mediana è data dalla media aritmetica tra X*i in cui Fi=0.5 e X*i successiva. Me = μ (X*i in cui Fi=0.5; X*i successivo) ▪ Esempio: X =numero di esami dati X*i ni pi Fi 5 1 0.1 0.1 6 1 0.1 0.2 7 3 0.3 0.5 Me = μ (7; 8) = 7.5 8 1 0.1 0.6 9 2 0.2 0.8 10 1 0.1 0.9 12 2 0.1 1 ❖ MEDIANA PER UNA DISTRIBUZIONE STATISTICA DI UN CARATTERE CONTINUO PER INTERVALLI In caso di distribuzione statistica di un carattere continuo per intervalli, per ricavare la mediana, determiniamo la forma analitica della funzione di ripartizione ed individuiamo il binomio relativo alla classe mediana, in cui Fi supera per la prima volta il 50%. ▪ Esempio: X =numero di esami dati 𝒑 X*i – X*i+1 pi fi ( ∗ 𝒊 ∗ ) Fi 𝑿𝒊+𝟏 −𝑿𝒊 0 - 10 0.1 0.01 0.1 10 - 20 0.3 0.03 0.4 20 - 30 0.4 0.04 0.8 30 - 40 0.2 0.02 1 Per ottenere la forma analitica della funzione disegniamo l’istogramma della funzione: Da qui la forma analitica della funzione di ripartizione: 0 x 2; 2.7 -> 3) Esempio Partendo dall’insieme non aggregato: x1 = 0 x3 = 2 x5 = 4 x7 = 1 x9 = 2 x11 = 1 x2 = 4 x4 = 5 x6 = 5 x8 = 3 x10 = 0 x12 = 3 Ordiniamo le osservazioni in modo non decrescente: x(1) = 0 x(3) = 1 x(5) = 2 x(7) = 3 x(9) = 4 x(11) = 5 x(2) = 0 x(4) = 1 x(6) = 2 x(8) = 3 x(10) = 4 x(12) = 5 Calcoliamo i quartili: ▪ Q1 = 𝑋(𝑁+1)= 𝑋(3.25) -> 3 CASO: si arrotonda -> 𝑋(3) = 1 (circa il 25% delle osservazioni è ≤1; circa il 75% delle osservazioni è ≥1) 4 ▪ Q2 = 𝑋(𝑁+1)= 𝑋(6.5) -> 2 CASO: μ(X(6); X(7)) -> μ (2; 3) = 2.5 (Il 50% delle osservazioni è ≤2.5; il 50% delle osservazioni è ≥2.5) 2 ▪ Q3 = 𝑋(3(𝑁+1))= 𝑋(9.75)-> 3 CASO: si arrotonda -> 𝑋(10) = 4 (circa il 75% delle osservazioni è ≤4; circa il 25% delle osservazioni è ≥4) 4 ❖ QUARTILI PER UNA DISTRIUZIONE STATISTICA DI UN CARATTERE DISCRETO ▪ 1° quartile Q1: modalità in corrispondenza della quale le Fi superano per la prima volta il 25% ▪ 2° quartile Q2: modalità in corrispondenza della quale le Fi superano per la prima volta il 50% ▪ 3° quartile Q3: modalità in corrispondenza della quale le Fi superano per la prima volta il 75% Esempio (dati precedenti) X*i ni pi Fi 0 2 0.17 0.17 Q1 = 1 [Fi = 0.33] 1 2 0.17 0.33 Q2 = 2.5 [μ(2;3)] 2 2 0.17 0.5 Q3 = 4 [Fi = 0.84] 3 2 0.17 0.67 4 2 0.17 0.84 5 2 0.16 1 ❖ QUARTILI PER UNA DISTRIBUZIONE STATISTICA CONTINUA PER INTERVALLI ▪ 1° quartile Q1: classe di modalità in corrispondenza della quale le Fi superano per la prima volta il 25% ▪ 2° quartile Q2: classe di modalità in corrispondenza della quale le Fi superano per la prima volta il 50% ▪ 3° quartile Q3: classe di modalità in corrispondenza della quale le Fi superano per la prima volta il 75% Esempio (dati precedenti) X*i – X*i+1 pi fi Fi ▪ Q1 = classe 10 – 20 (Fi=0.4) -> la pongo = 0.25 0 - 10 0.1 0.01 0.1 (X – 10) 0.03 + 0.1 = 0.25 10 - 20 0.3 0.03 0.4 0.03X = 0.45 20 - 30 0.4 0.04 0.8 X = 15 (il 25% della popolazione ha modalità ≤15, il 75% ha modalità ≥15) 30 - 40 0.2 0.02 1 ▪ Q2 = classe 20 – 30 (Fi = 0.8) -> la pongo = 0.5 Svolgendo i calcoli otteniamo: (X – 20) 0.04 + 0.4 = 0.5 0 x la pongo = 0.75 F(x) = (x – 20) 0.04+0.4 20 ≤ x < 30 (X – 20) 0.04 + 0.4 = 0.75 (x – 30) 0.02+0.8 30 ≤ x < 40 0.04X = 1.15 X = 28.75 (il 75% della pop. ha modalità ≤28.75, il 25% ha modalità ≥28.75) 1 x ≥ 40 Ci interessa il binomio 20 – 30 -> (x – 20) 0.04 I DECILI I DECILI hanno una determinazione identica ai quartili ma rapportata al 10%: ▫ Il 10% della popolazione avrà modalità ≤ 1° decile: ▫ Il 90% della popolazione avrà modalità ≥ 1° decile. I PERCENTILI I PERCENTILI hanno una determinazione identica ai quartili ma rapportata all’1% (utilizzati nelle osservazioni estremamente numerose): ▫ L’1% della popolazione avrà modalità ≤ 1° percentile: ▫ Il 99% della popolazione avrà modalità ≥ 1° percentile. 11 MISURE DI DISPERSIONE: VARIANZA, SCARTO QUADRATICO MEDIO e COEFFICIENTE DI VARIAZIONE Supponiamo di avere tre popolazioni: A, B e C. L’oggetto di studio è il numero delle componenti (X = # componenti) A B C X1=3 X1=2 X1=1 X2=3 X2=3 X2=3 X3=3 X3=4 X3=5 μ=3 μ=3 μ=3 Me=3 Me=3 Me=3 Abbiamo ottenuto che tutte le popolazioni hanno media μ=3 e mediana Me=3. In cosa variano? Nel GRADO DI DISPERSIONE DEL CARATTERE: - Nella popolazione A il carattere è COSTANTE in quanto tutte le osservazioni sono pari a tre, dunque non c’è dispersione. - Nella popolazione B le osservazioni sono diverse dunque c’è dispersione. - Nella popolazione C il carattere è disperso in quanto le osservazioni sono diverse. LA DISPERSIONE DEL CARATTERE INTORNO ALLA MEDIA SI MISURA MEDIANTE TRE ELEMENTI: 1. VARIANZA σ2(X) 2. SCARTO QUADRATICO MEDIO o DEVIAZIONE STANDARD σ(X) 3. COEFFICIENTE DI VARIAZIONE CV VARIANZA DEL CARATTERE Vediamo il calcolo della varianza in diverse situazioni: 1. Calcolo nella varianza nel caso di un INSIEME NON AGGREGATO: LA VARIANZA DI UN INSIEME NON AGGREGATO È LA MEDIA ARITMETICA DEGLI SCARTI QUADRATICI. 𝟏 σ2(X) = ∑𝐍𝐢=𝟏(𝐱𝐢 − 𝛍(𝐗))𝟐 𝐍 [varianza = 1/N che moltiplica sommatoria per i che va da 1 a N (popolazione) della differenza, elevata al quadrato, tra osservazione e media aritmetica]. - Scarti: distanza delle osservazioni dalla media, dati dalla differenza tra le osservazioni e la media aritmetica (xi − μ(X)) - SCARTI QUADRATICI: (xi − μ(X))2 , Per evitare che scarti positivi e negativi si semplifichino fra loro possiamo o utilizzare valori assoluti oppure gli scarti quadratici (per annullare l’influenza del segno). Maggiore sarà la somma maggiore sarà dispersione del carattere (dividiamo sempre per N perché la varianza non deve essere influenzata da numero osservazioni: altrimenti sarà tanto maggiore quanto maggiori saranno le osservazioni). ESEMPIO A B C Popolazione A: varianza=0 perché carattere è costante 1 2 1 1 X1=3 X1=2 X1=1 σ2(X) = ∑N 2 2 2 i=1(xi − μ(X)) = [(0) + (0) + (0) ] = x 0 = 0 N 3 3 X2=3 X2=3 X2=3 Popolazione B: varianza= 2/3 1 2 1 1 2 X3=3 X3=4 X3=5 σ2(X) = ∑N 2 2 2 i=1(xi − μ(X)) = [(-1) + (0) + (1) ] = x (1 + 0 + 1) = N 3 3 3 μ=3 μ=3 μ=3 Popolazione C: varianza= 8/3 1 2 1 1 1 8 σ2(X) = ∑N 2 2 2 2 2 2 i=1(xi − μ(X)) = [(1-3) + (3-3) + (5-3) ] = [(-2) + (0) + (2) ] = x (4 + 0 + 4) = N 3 3 3 3 QUINDI: C ha la varianza maggiore (gli scarti dalla media sono maggiori). 2. Calcolo della varianza nel caso di DISTRIBUZIONE STATISTICA CON FREQUENZE ASSOLUTE (ni) 𝟏 σ2(X) = ∑𝐤𝐢=𝟏(𝒙𝒊∗ − 𝛍(𝐗))𝟐 ni 𝐍 [Varianza = 1/N che moltiplica sommatoria per i che va da 1 a K (modalità) delle singole modalità - la loro media, al quadrato, tutto moltiplicato per le frequenze assolute]. ESEMPIO 𝟏 1 Xi* ni Xi*ni (Xi*- μ)2 (Xi*- μ)2ni La media è data da: μ(X) = ∑𝒌𝒊=𝟏 𝒙∗𝒊 𝐧𝐢 = x 20 = 2 𝑵 10 0 1 0 4 4 Calcoliamo gli scarti quadratici tra la modalità e la media elevati al quadrato e li 1 2 2 1 2 moltiplichiamo per le frequenze assolute, la somma fa 10. 2 3 6 0 0 La varianza sarà quindi data da: 3 4 12 1 4 1 σ2(X) = x 10 = 1 10 10 20 10 3. Calcolo della varianza nel caso di DISTRIBUZIONE STATISTICA CON FREQUENZE RELATIVE (pi) σ2(X) = ∑𝐤𝐢=𝟏(𝒙𝒊∗ − 𝛍(𝐗))𝟐 pi [Varianza= sommatoria per i che va da 1 a K (modalità) delle singole modalità - la loro media, al quadrato, tutto moltiplicato per le frequenze relative (no 1/N)] ESEMPIO Xi* pi (Xi* - μ)2 (Xi* - μ)2pi 0 0.1 4 0.4 1 0.2 1 0.2 2 0.3 0 0 3 0.4 1 0.4 1 La varianza sarà quindi data da: σ2(X) = 1 ▪ L’UNITÀ DI MISURA DELLA VARIANZA È QUADRATA RISPETTO ALL’UNITÀ DI MISURA DELLE OSSERVAZIONI. Se X (popolazione) è espressa in cm la varianza è espressa in cm2, se X è espressa in persone, l’unità di misura di σ sarà persone2 (≠ media espressa in stessa unità di misura di X) 12 ▪ VARIANZA COME MOMENTO SECONDO MENO QUADRATO DEL MOMENTO PRIMO NB in tutti i casi prima elencati LA VARIANZA PUÒ ANCHE ESSERE DATA DALLA DIFFERENZA TRA LA MEDIA DEI QUADRATI E IL QUADRATO DELLA MEDIA (o MOMENTO SECONDO MENO QUADRATO DEL MOMENTO PRIMO): σ2(X) = μ(X2) – μ2(X) DIMOSTRAZIONE: Partendo da formula varianza per un insieme non aggregato 1 σ2(X) = ∑𝑁𝑖=1(𝑥𝑖 − 𝜇) 2 𝑁 Sviluppo il quadrato di binomio: 1 σ2(X) = (∑𝑁 𝑁 𝑁 𝑖=1 𝑥i – 2μ∑𝑖=1 𝑥i + ∑𝑖=1 𝜇 ) 2 2 𝑁 Distribuisco 1/N e ottengo: 1 1 1 σ2(X) = ∑𝑁 2 𝑖=1 𝑥i – 2μ ∑𝑁 𝑖=1 𝑥 i + ∑𝑁 𝑖=1 𝜇 2 𝑁 𝑁 𝑁 1 Il primo elemento ( ∑𝑁 2 2 𝑖=1 𝑥i ) può essere interpretato come la media delle x , prende il nome di momento secondo o media dei quadrati, quindi possiamo 𝑁 riscriverlo come μ(X2); 1 Il secondo operatore ( ∑𝑁 𝑖=1 𝑥 i) è una media aritmetica, quindi possiamo riscriverlo come μ(X); 𝑁 Il terzo operatore è una costante. Possiamo quindi riscrivere il tutto come: σ2(X) = μ(X2) – 2 μ2(X) + μ2(X) = μ(X2) – μ2(X) ▪ ESEMPIO con INSIEME NON AGGREGATO A B C X1=3 X1=2 X1=1 (Media è 3 in tutte e tre le popolazioni (A; B; C) quindi μ2(X)= 9, bisogna calcolare il momento secondo μ(X2) 𝟏 X2=3 X2=3 X2=3 μ(X2) = ∑𝐍𝐢=𝟏 𝐱i2 𝐍 X3=3 X3=4 X3=5 σ2(X) = μ(X2) – μ2(X) μ=3 μ=3 μ=3 1. Me=3varianza popolazione Me=3 A Me=3 = 0 (il carattere è costante) 1 2 = 1 (9 + 9 + 9) = 27 = 9 μ(X2) = ∑N i=1 xi N 3 3 σ2(X) = μ(X2) – μ2(X) = 9 – 9 = 0 2. varianza popolazione B = 2/3 1 2 1 29 μ(X2) = ∑N i=1 xi = (4 + 9 + 16) = N 3 3 29 29−27 2 σ2(X) = μ(X2) – μ2(X) = –9= = 3 3 3 3. varianza della popolazione C = 8/3 1 2 1 35 μ(X2) = ∑N i=1 xi = (1 + 9 + 25) = N 3 3 35 35−27 8 σ2(X) = μ(X2) – μ2(X) = –9= = 3 3 3 ▪ ESEMPIO con DISTRIBUZIONE STATISTICA CON FREQUENZE ASSOLUTE Xi* ni Xi2 Xi2 x ni La formula della varianza è la stessa: σ2(X) = μ(X2) – μ2(X) 𝟏 0 1 0 0 Cambia la formula del momento secondo: μ(X2) = ∑𝐊𝐢=𝟏 𝐱i2 ni 𝐍 1 2 1 2 Calcoliamo Xi2 e lo moltiplichiamo per ni e facciamo la somma 1 2 3 4 12 Calcoliamo la media dei quadrati: μ(X2) = ∑Ki=1 xi2 ni = 1/10 x 50 = 5 N 3 4 9 36 Quadrato della media = 22 = 4 50 Varianza = 5-4= 1 ▪ ESEMPIO con DISTRIBUZIONE STATISTICA CON FREQUENZE RELATIVE Xi* ni pi Xi2 Xi2 x pi μ(X) = 2 0 1 0.1 0 0 Calcoliamo xi2 x pi 1 2 0.2 1 0.2 μ(X2) =∑𝐊𝐢=𝟏 𝐱i2 pi = 5 2 3 0.3 4 1.2 σ2(X) = μ(X2) – μ2(X) = 5 – 22 = 1 3 4 0.4 9 3.6 5 ▪ VARIANZA PER UNA DISTRIBUZIONE CONTINUA PER INTERVALLI Per determinare la varianza in una distribuzione continua per intervalli determiniamo il valore centrale delle classi (mi: punto medio classi) Xi* – Xi+1* ni mi 0 – 10 3 5 10 – 20 4 15 20 – 30 3 25 Da questo punto il procedimento è lo stesso ma al posto delle modalità avremo i punti medi delle classi. ▪ Le PROPRIETÀ DELLA VARIANZA sono: Data C una costante otteniamo che: 1. La varianza di una costante è uguale a 0 σ2(c) = 0 2. La varianza di una costante sommata ad una variabile è data dalla varianza della variabile σ2(c + X) = σ2(X) 3. La varianza di una costante che moltiplica una variabile è data dal prodotto tra la costante al quadrato e la varianza della variabile σ2(c X) = c2 σ2(X) 4. La varianza di una somma algebrica di due variabili è data dalla SOMMA tra la varianza della prima variabile e la varianza della seconda variabile. Vero se e solo se X e Y sono statisticamente indipendenti. σ2(X ± Y) = σ2(X) + σ2(Y) 13 LO SCARTO QUADRATICO MEDIO σ(x) lo SCARTO QUADRATICO MEDIO È IL VALORE POSITIVO DELLA RADICE QUADRATA DELLA VARIANZA: √σ2 (X) = + 𝜎; − 𝜎 σ(x) = + √𝛔𝟐 (𝐗) Per ottenere lo scarto quadratico medio riscriviamo tutte le formule della varianza come: 1 ▪ INSIEME NON AGGREGATO: σ(X) = +√ ∑𝑁 𝑖=1(𝑥𝑖 − 𝜇) 2 𝑁 1 ▪ DISTRIBUZIONE STATISTICA CON FREQUENZE ASSOLUTE: σ(X) = +√ ∑𝐾 2 𝑖=1(xi − μ) ni 𝑁 1 ▪ DISTRIBUZIONE STATISTICA CON FREQUENZE RELATIVE: σ(X) = +√ ∑𝐾 2 𝑖=1(xi − μ) pi 𝑁 ▪ FORMULA GENERALE: σ(X) = +√𝜇 (𝑋 2 ) − 𝜇2 (𝑋) Ha la stessa unità di misura della popolazione. IL COEFFICIENTE DI VARIAZIONE CV È dato da: 𝛔(𝐗) CV = |𝛍(𝐗)| ESEMPIO con INSIEME NON AGGREGATO (dati precedenti) A B C μ(X) 3 3 3 2 σ (X) 0 2/3 8/3 σ(X) 0 √2/3 √8/3 CV 0√2/3 √8/3 3 3 3 Calcoliamo σ(X) = + √σ2 (X) σ(X) Calcoliamo CV = |μ(X)| ▪ PARTICOLARITÀ DI CV: è un NUMERO PURO: ci permette di mettere a confronto le dispersioni di popolazioni che hanno variabili (e dunque unità di misura) diverse [es. tra peso e altezza]. Supponendo che la nostra popolazione si riferisca alle altezze (unità di misura = cm) σ(X) 𝑐𝑚 CV = = = NUMERO ADIMENSIONALE |μ(X)| 𝑐𝑚 14 LE MISURE DI CONCENTRAZIONE LA CONCENTRAZIONE SI STUDIA SOLO PER I CARATTERI QUANTITATIVI TRASFERIBILI. I caratteri quantitativi trasferibili sono quei caratteri per cui ha senso pensare che l’intero ammontare del carattere sia detenuto da una unità. Es. Considerando x = # fratelli, è possibile pensare che tutte le rilevazioni tranne una siano pari a 0 -> è un carattere quantitativo trasferibile x1 = 0 x3 = 0 x2 = 0 x4 = 4 ≠ Considerando x = altezza, dal punto di vista fattuale non potrebbe mai avvenire: non è trasferibile, non avrebbe senso calcolarne la concentrazione. x1 = 0 x3 = 0 x2 = 0 x4 = 8m ▪ COME CALCOLARE LA CONCENTRAZIONE ESEMPIO: Carattere oggetto di studio = patrimonio di 10 aziende x1 = 0 x3 = 0 x5 = 0 x7 = 0 x9 = 0 x2 = 1 x4 = 2 x6 = 3 x8 = 4 x10 = 0 (Vogliamo studiare la concentrazione di questo carattere in questa popolazione) ▫ Ordiniamo le osservazioni in maniera non decrescente x(1) = 0 x(3) = 0 x(5) = 0 x(7) = 1 x(9) = 3 x(2) = 0 x(4) = 0 x(6) = 0 x(8) = 2 x(10) = 4 ▫ Inseriamo questi dati in una tabella indicando in prima colonna la posizione (i) e accanto le osservazioni ordinate x(i) i x(i) 1 0 2 0 3 0 4 0 5 0 6 0 7 1 8 2 9 3 10 4 ▫ Determiniamo l’indice Fi, dato dal rapporto tra la posizione e la numerosità. 𝐢 Fi = 𝐍 [F1 = 1/10 = 0.1; F2 = 2/10 = 0.2; F3 = 3/10 = 0.3; F4 = 4/10 = 0.4..] ▫ Determiniamo l’indice Qi da: ∑𝐢𝐣=𝟏 𝐱𝐣 Qi = ∑𝐍 [rapporto tra la sommatoria per j che va da 1 a i di xj (xi che si sommano in ordine di posizione) e la sommatoria per i che va da 1 a N di xi] 𝐢=𝟏 𝐱 𝐢 0 0+0 0 0+0+0 0 0+0+0+0+0+0+1 1 0+0+0+0+0+0+1+2 3 0+0+0+0+0+0+1+2+3 6 [Q1 = ; Q2 = = ; Q3 = = ; … ; Q7 = = = 0.1 ; Q8 = = = 0.3; Q9 = = = 0.6; 10 10 10 10 10 10 10 10 10 10 10 0+0+0+0+0+0+1+2+3+4 10 Q10 = = = 1] 10 10 ▫ Completiamo quindi la tabella: i x(i) Fi Qi 1 0.10 0 2 0.20 0 3 0.30 0 4 0.40 0 5 0.50 0 6 0.60 0 7 0.71 0.1 8 0.82 0.3 9 0.93 0.6 10 1 4 1 Come si legge? Es. in posizione 8: l’80% (Fi) delle aziende meno patrimonializzate detiene il 30% (Qi) del patrimonio totale di questa popolazione. 15 L’INDICE DI CONCENTRAZIONE DI GINI (R) È dato da: ∑𝐍−𝟏 𝐢=𝟏 (𝐅𝐢 −𝐐𝐢 ) R= ∑𝐍−𝟏 𝐢=𝟏 𝐅𝐢 [rapporto tra sommatoria per i che va da 1 ad N-1 (penultima osservazione) di Fi – Qi, e la la sommatoria per i che va da 1 a N-1 delle Fi] ▪ È compreso fra 0 e 1: 0≤R≤1 - R = 0: equidistribuzione (tutti i soggetti detengono il patrimonio nella stessa misura) - R=1: massima concentrazione (tutto il patrimonio è concentrato nelle mani di un unico soggetto) [Più è vicino a 0: bassa concentrazione; più è vicino ad 1: alta concentrazione; se è 0.5: media concentrazione] [NB non dire mai quasi equidistribuzione o quasi massima concentrazione, piuttosto bassissima e altissima concentrazione] ESEMPIO i x(i) Fi Qi Fi – Qi 1 0 0.1 0 0.1 2 0 0.2 0 0.2 3 0 0.3 0 0.3 4 0 0.4 0 0.4 5 0 0.5 0 0.6 6 0 0.6 0 0.6 7 1 0.7 0.1 0.6 8 2 0.8 0.3 0.5 9 3 0.9 0.6 0.3 10 4 1 1 0 Sommiamo le Fi-Qi fino alla penultima (=3,5) e le Fi fino alla penultima (=4.5), ne facciamo il rapporto -> R = 0.78 (alta concentrazione) ∑𝐍−𝟏 𝐢=𝟏 (𝐅𝐢 −𝐐𝐢 ) 0.1+0.2+0.3+0.4+0.5+0.6+0.6+0.5+0.3 3.5 R= ∑𝐍−𝟏 = = = 0.78 𝐢=𝟏 𝐅𝐢 0.1+0.2+0.3+0.4+0.5+0.6+0.7+0.8+0.9 4.5 ▪ RAPPRESENTAZIONE GRAFICA DI R Nel sistema di assi cartesiani sull’asse delle x inseriamo le Fi; sull’asse delle Y inseriamo le Qi. - Partiamo da origine (0;0) - 2 punto (0.1;0) - 3 punto (0.2;0) - 4 punto (0.3;0) -... Abbiamo ottenuto la SPEZZATA DI LORENTZ La bisettrice (da 0;0 a 1;1) rappresenta la RETTA DI EQUIDISTRIBUZIONE: figura che otterremmo se il carattere fosse equidistribuito (R= 0). Unendo il punto (1;1) e il punto (0.9;0) la figura ABC darà la rappresentazione grafica nel caso di massima concentrazione (R=1). 16 ▪ AREA DI CONCENTRAZIONE L’AREA DI CONCENTRAZIONE è la parte di piano compresa tra la retta di equidistribuzione e la spezzata di Lorentz. Per calcolarla: 1. Tracciamo il punto D (1;1) 2. Consideriamo il triangolo rettangolo ADC, che ha per cateti 1 e 1 3. Dividiamo il nostro grafico in tanti trapezi (tre trapezi ed un triangolo) 4. Calcoliamo l’area del triangolo ADC (Area ABC: 1/2 = 0.5) 5. Calcoliamo l’area dei trapezi Area trapezi: (0.7−0.6)0.1 - Area 1 (triangolo rettangolo che ha cateto=0.7-0,6 e altezza=0,1 -> = 0.005) 2 (0.1+0.3)(0.8−0.7) - Area 2 (trapezio rettangolo avente base minore = 0.1, base maggiore= 0.3 e altezza = 0.8-0.7 -> = 0.02) 2 (0.6+0.3)(0.9−0.8) - Area 3 (trapezio avente b=0.3; B= 0.6 e altezza = 0.9-0.8 -> = 0.045) 2 (0.6+1)(1−0.9) - Area 4 (trapezio avente b = 0.6; B = 1 e altezza 1-0.9 -> = 0.08) 2 6. Sottraiamo all’area del triangolo l’area dei trapezi e otteniamo l’area di concentrazione. AREA DI CONCENTRAZIONE = Area ABC - Area 1 - Area 2 - Area 3 - Area 4 = 0.5 – 0.005 – 0-02 – 0.045 – 0.08 = 0.35 (Se avessimo avuto massima concentrazione l’area sarebbe stata 0.45) specificare se abbiamo avuto un alto, basso medio indice di concetrazione di gini specificando il motivo (es. è bassa concentrazione perchè il risultato si avvicina di più a 0) e il risultato dell'area di concentrazione ottenuta. 17 STATISTICA BIVARIATA La STATISTICA BIVARIATA (rientra in statistica multivariata) considera DUE variabili contemporaneamente: X e Y. X Y ESEMPIO di RILEVAZIONE DOPPIA 1 4 0 Caratteri oggetto di studio: X = # componenti della famiglia; Y = # animali conviventi 2 5 1 3 4 2 4 4 0 Analizzeremo: 5 4 1 6 6 2 La TABELLA A DOPPIA ENTRATA 7 4 0 La CONNESSIONE 8 4 1 9 4 3 La CORRELAZIONE LINEARE 10 4 1 La REGRESSIONE LINEARE LA TABELLA A DOPPIA ENTRATA TABELLA A DOPPIA ENTRATA CON FREQUENZE ASSOLUTE TABELLA A DOPPIA ENTRATA CON FREQUENZEProcedimento ASSOLUTE per la costruzione: Y Y*1 Y*2 … Y*j … Y*k 1. Scriviamo le MODALITÀ di X in verticale e le modalità di Y in orizzontale X - X: x*i i = 1....h (h = numero di modalità di X; X*h = modalità più grande di X) X*1 n1 1 n1 2 … n1 j … n1 k n1 - Y: y*j j = 1... k (k = numero di modalità di Y; Y*k = modalità più grande di Y) X*2 n2 1 n2 2 … n2 j … n2 k n2 2. Inseriamo le FREQUENZE CONGIUNTE ASSOLUTE (nij, in cui i = modalità di X e j = …. … … … … … … … modalità di Y) che misurano, in valore assoluto, contemporaneamente quanti soggetti hanno il carattere X e il carattere Y ad un certo livello. X*i ni 1 ni 2 … ni j … ni k ni 3. Otteniamo le FREQUENZE MARGINALI: … … … … … … … … - Dalla somma in orizzontale otteniamo le FREQUENZE MARGINALI del carattere Y (ni ) (a prescindere dal carattere X) X*h nh 1 nh 2 … nh j … nh k nk - Dalla somma in verticale otteniamo le FREQUENZE MARGINALI del carattere X (n j) (a n 1 n 2 … n j … n k N prescindere dal carattere Y) 4. Nell’angolo inseriamo la NUMEROSITÀ DELLA POPOLAZIONE (N) ESEMPIO (dati precedenti: Caratteri oggetto di studio: X = # componenti della famiglia; Y = # animali conviventi) 1. Modalità di X (in verticale): 4, 5, 6; modalità di Y (in orizzontale): 0, 1, 2, 3. 2. Frequenze congiunte assolute: ESEMPIO (dati precedenti: Caratteri oggetto di studio: X = # c - 4 componenti e 0 animali: 3 sogg - 4 componenti e 2 animali: 1 sogg - 5 componenti e 0 animali: 0 sogg - 5 componenti e 2 animali: 0 sogg Y 0 1 2 3 - 6 componenti e 0 animali: 0 sogg - 6 componenti e 2 animali: 1 sogg X - 4 componenti e 1 animale: 3 sogg - 4 componenti e 3 animali: 1 sogg - 5 componenti e 1 animale: 1 sogg - 5 componenti e 3 animali: 0 sogg 4 3 3 1 1 8 - 6 componenti e 1 animale: 0 sogg - 6 componenti e 3 animali: 0 sogg 3. Frequenze marginali del carattere Y: 5 0 1 0 0 1 - Frequenza famiglie con 0 animali = 3 - Frequenza famiglie con 2 animali = 2 - Frequenza famiglie con 1 animale = 4 - Frequenza famiglie con 3 animali = 1 6 0 0 1 0 1 4. Frequenze marginali del carattere X: - Frequenza delle famiglie che hanno 4 componenti = 8 3 4 2 1 10 - Frequenza delle famiglie che hanno 5 componenti = 1 - Frequenza delle famiglie che hanno 5 componenti = 1 5. Numerosità della popolazione: 10 TABELLA A DOPPIA ENTRATA CON FREQUENZE RELATIVE TABELLA A DOPPIA ENTRATA CON FREQUENZE RELATIVE Procedimento per la costruzione: Y Y*1 Y*2 … Y*j … Y*k 6. Scriviamo le MODALITÀ di X in verticale e le modalità di Y in orizzontale X X*1 p1 1 p1 2 … p1 j … p1 k p1 - X: x*i i = 1....h (h = numero di modalità di X; X*h = modalità più grande di X) - Y: y*j j = 1... k (k = numero di modalità di Y; Y*k = modalità più grande di Y) X*2 p2 1 p2 2 … p2 j … p2 k p2 7. Inseriamo le FREQUENZE CONGIUNTE RELATIVE (pij) 𝑓𝑟𝑒𝑞𝑢𝑒𝑛𝑧𝑎 𝑎𝑠𝑠𝑜𝑙𝑢𝑡𝑎 (𝑛𝑖𝑗 ) …. … … … … … … … [frequenza relativa (pij) = ] 𝑛𝑢𝑚𝑒𝑟𝑜𝑠𝑖𝑡à 𝑑𝑒𝑙𝑙𝑎 𝑝𝑜𝑝𝑜𝑙𝑎𝑧𝑖𝑜𝑛𝑒 (𝑁) X*i pi 1 pi 2 … pi j … pi k pi 8. Otteniamo le FREQUENZE MARGINALI: - Dalla somma in orizzontale otteniamo le FREQUENZE MARGINALI del carattere Y (pi ) … … … … … … … … (a prescindere dal carattere X) X*h ph 1 ph 2 … ph j … ph k pk - Dalla somma in verticale otteniamo le FREQUENZE MARGINALI del carattere X (p j) (a p 1 p 2 … p j … p k 1 prescindere dal carattere Y) 9. Nell’angolo inseriamo la SOMMA DELLE FREQUENZE MARGINALI (1) ESEMPIO (dati precedenti: Caratteri oggetto di studio: X = # componenti della famiglia; Y = # animali conviventi) X Y 0 1 2 3 4 0.3 0.3 0.1 0.1 0.8 5 0 0.1 0 0 0.1 6 0 0 0.1 0 0.1 0.3 0.4 0.2 0.1 1 18 LA CONNESSIONE L’INDIPENDENZA STATISTICA X e Y si dicono tra loro STATISTICAMENTE INDIPENDENTI se un carattere non ha influenza sull’altro. [es. caratteri: età degli studenti e km che effettuano per raggiungere la Lum: STATISTICAMENTE INDIPENDENTI ≠ altezza e peso: mediamente all’aumentare dell’altezza ci aspetteremmo che anche il peso aumenti: NON SONO STATISTICAMENTE INDIPENDENTI, ma sono CONNESSI] Due caratteri sono statisticamente indipendenti se LA FREQUENZA RELATIVA CONGIUNTA è UGUALE AL PRODOTTO DELLE FREQUENZE MARGINALI DEL CARATTERE X ED Y, verificato per ogni i che va da 1 a h e per ogni j che va da 1 a k pij = pi × P j (∀ i = 1…h; ∀ j = 1…k). ESEMPIO (dati precedenti: Caratteri oggetto di studio: X = # componenti della famiglia; Y = # animali conviventi) X Y 0 1 2 3 4 0.3 0.3 0.1 0.1 0.8 5 0 0.1 0 0 0.1 i 2 caratteri x e y non statisticamente 6 0 0 0.1 0 0.1 indipendenti. 0.3 0.4 0.2 0.1 1 pij = pi × P j -> 0.3 ≠ 0.3 x 0.8 -> QUESTA UGUAGLIANZA NON SI VERIFICA -> X e Y NON sono statisticamente indipendenti, sono CONNESSI. [NB: quando troviamo uno 0 fra frequenze relative è sintomo che non siano indipendenti -> possiamo prendere qualsiasi ‘trio di valori’) LA CONNESSIONE Tra due caratteri c’è CONNESSIONE quando hanno un legame (non sono indipendenti) [es. di prima peso - altezza] Il GRADO di connessione tra X e Y si misura attraverso l’INDICE QUADRATICO MEDIO DI CONTINGENZA ASSOLUTO ϕ2(X;Y) [ϕ = lettera greca ‘fi’] È dato da: pij = frequenza congiunta relativa ϕ2(X;Y) = ∑𝒉𝒊=𝟏 ∑𝒌𝒋=𝟏 [𝒑𝒊𝒋 −𝒑𝒊∙ 𝒑∙𝒋 ]𝟐 pi o pj = frequenza marginale di riferimento 𝒑𝒊∙ 𝒑∙𝒋 ESEMPIO (datiprecedenti: ESEMPIO (dati precedenti: Caratteri Caratteri oggetto oggetto di studio: di studio: X = #Xcomponenti = # componenti della famiglia; della famiglia; Y = #conviventi) Y = # animali animali conviventi) Y 0 1 2 3 4 0.3 0.3 0.1 0.1 0.8 5 0 0.1 0 0 0.1 6 0 0 0.1 0 0.1 0.3 0.4 0.2 0.1 1 [𝑝 −𝑝 𝑝 ] 2 ϕ2(X;Y) = ∑ℎ𝑖=1 ∑𝑘𝑗=1 𝑖𝑗 𝑖∙ ∙𝑗 𝑝 𝑝 𝑖∙ ∙𝑗 (0.3−0.3×0.8)2 (0.3−0.4×0.8)2 (0.1−0.2×0.8)2 (0.1−0.1×0.8)2 - A4 0 = - A4 1 = - A4 2 = - A4 3 = 0.3×0.8 0.4×0.8 0.2×0.8 0.1×0.8 (0−0.3×0.1)2 (0.1−0.4×0.1)2 (0−0.2×0.1)2 (0−0.1×0.1)2 - A5 0 = - A5 1 = - A5 2 = - A5 3 = 0.3×0.1 0.4×0.1 0.2×0.1 0.1×0.1 (0−0.3×0.1)2 (0−0.4×0.1)2 (0.1−0.2×0.1)2 (0−0.1×0.1)2 - A6 0 = - A6 1 = - A6 2 = - A6 3 = 0.3×0.1 0.4×0.1 0.2×0.1 0.1×0.1 Dalla somma di questi risultati otterremo l’indice = 0.59375 (C’è connessione) Per capire se la connessione è alta, bassa, media ecc utilizziamo l’INDICE QUADRATICO MEDIO DI CONTINGENZA RELATIVO ϕ2, dato dal rapporto tra l’indice quadratico medio di contingenza assoluto e il più piccolo fra (h-1) e (k-1). [RICORDA: h = numero osservazioni di Y; i = numero di osservazioni di X]. 𝝋𝟐 (𝑿𝒀) ϕ2(XY) = valore minore del numero delle modalità - 1 𝐦𝐢𝐧[(𝒉−𝟏)(𝒌−𝟏)] È un indice che varia tra 0 e 1: bassa connessione 0 ≤ ϕ2 ≤ 1 media connessione - ϕ2= 0 -> indipendenza statistica - ϕ2= 1 -> massima connessione alta connessione ESEMPIO (dati precedenti) 𝜑2 (𝑋𝑌) 0.59375 0.59375 ϕ2(XY) = = min[(3−1)(4−1)] tra 2 (3-1) e 3 (4-1) il più piccolo è 2 quindi: = 0.296875 (tra i due caratteri vi è BASSA connessione). min[(ℎ−1)(𝑘−1)] 2 19 LA CORRELAZIONE LINEARE (ρ) La CORRELAZIONE indica la tendenza che hanno due variabili (X e Y) a variare insieme, la relazione è di tipo LINEARE se, rappresentata su assi cartesiane, si avvicina alla forma di una retta. In un sistema di assi cartesiani disponiamo le nostre osservazioni e, volendo interpretare il loro andamento, tracciamo una retta inclinata positivamente che vada ad inserirsi fra i vari punti: ▪ Si indica con la lettera greca ro: ρ (XY) 𝒄𝒐𝒗 (𝑿𝒀) ρ (XY)= 𝝈(𝑿) 𝝈(𝒀) ▫ Numeratore: COVARIANZA, data dalla differenza fra la media congiunta di XY e il prodotto tra la media di X e quella di Y Cov(XY): μ (XY) – μ(X) μ(Y) concordanti ( all'aumentare del carattere x, anche il carattere y aumenta) In cui: discordanti ( all'aumentare del carattere x, il carattere y diminuisce) e viceversa) - μ(XY)= ∑𝒉𝒊=𝟏 ∑𝒌𝒋=𝟏 𝒙∗𝒊∙ 𝒀∗∙𝒊 pij (la MEDIA CONGIUNTA è data dalla sommatoria per i che va da 1 ad h, sommatoria per j che va da 1 a K della iesima modalità del carattere X × jesima modalita del carattereY × frequenza congiunta) ℎ ∗ - μ(X)=∑𝑖=1 𝑥𝑖 pi∙ - μ(Y)= ∑𝑘𝑗=1 𝑌𝑖∗ p∙j La covarianza può essere sia positiva che negativa, indica pendenza della retta. ▪ Se è positiva i caratteri si dicono concordanti: numeratore positivo -> ρ positivo -> retta ha inclinazione positiva. Avremo dunque una CORRELAZIONE LINEARE POSITIVA ▪ Se è negativa si dicono discordanti: ρ negativo -> retta ha inclinazione negativa. Avremo dunque una CORRELAZIONE LINEARE NEGATIVA O INVERSA frequenza marginale frequenza marginale ▫ Denominatore: scarto quadratico medio di X che moltiplica scarto quadratico medio di Y. ▪ La correlazione lineare può inoltre essere: FORTE: se retta è vicina ai punti la correlazione è più forte frequenza marginale verticale DEBOLE: se la retta è più lontana dai punti (es. caso precedente) ▪ ρ è compreso fra -1 e 1: frequenza -1≤ρ≤1 marginale verticale ▫ ρ = -1 -> massima correlazione lineare inversa ▫ ρ = 1 -> massima correlazione lineare diretta ▫ ρ = 0 -> correlazione inesistente alta ( se vicino al -1) Questi sono estremi, nella realtà si ottengono valori intermedi: - davanti correlazione lineare inversa - se si avvicina a -1: forte correlazione lineare inversa [es. -0.75] bassa (se vicino allo 0) - se si avvicina a 0 da sx: bassa correlazione lineare inversa [es. -0.25] alta ( se si avvicina di più all'1) - se si avvicina a 0 da dx: bassa correlazione lineare diretta [es. 0.25] + davanti correlazione lineare diretta - se si avvicina a 1: forte correlazione lineare diretta [es. 0.75] bassa (se si avvicina di piu allo 0) 20 ESEMPIO (datiprecedenti: ESEMPIO (dati precedenti: Caratteri Caratteri oggetto oggetto di studio: di studio: X = #Xcomponenti = # componenti della famiglia; della famiglia; Y = #conviventi) Y = # animali animali conviventi) Y 0 1 2 3 4 0.3 0.3 0.1 0.1 0.8 5 0 0.1 0 0 0.1 6 0 0 0.1 0 0.1 0.3 0.4 0.2 0.1 1 Studiamo la correlazione di questi due caratteri: 𝒄𝒐𝒗(𝑿𝒀) ρ(XY) = 𝝈(𝑿)𝝈(𝒀) ▪ cov(XY) = μ(XY) – μ(X)μ(Y) - μ(X)=∑ℎ𝑖=1 𝑥𝑖∗pi∙ = 4 X 0.8 + 5 X 0.1 + 6 X 0.1 = 3.2 + 0.5 + 0.6 = 4.3 - μ(Y)= ∑𝑘𝑗=1 𝑌𝑖∗ p∙j = 0 X 0.3 + 1 X 0.4 + 2 X 0.2 + 3 X 0.1 = 0 + 0.4 + 0.4 + 0.3 = 1.1 - μ(XY)= ∑ℎ𝑖=1 ∑𝑘𝑗=1 𝑥𝑖∙∗ 𝑌∙𝑖∗pij = A(4 0) = 4 X 0 X 0.3 = 0 A(5 0) = 0 A(6 0) = 0 A(4 1) = 4 X 1 X 0.3 = 1.2 A(5 1) = 5 X 1 X 0.1 = 0.5 A(6 1) = 0 A(4 2) = 4 X 2 X 0.1 = 0.8 A(5 2) = 0 A(6 2) = 6 X 2 X 0.1 = 1.2 A(4 3) = 4 X 3 X 0.1 = 1.2 A(5 3) = 0 A(6 3) = 0 = 1.2 + 0.8 + 1.2 + 0.5 + 1.2 = 4.9 cov(XY) = 4.9 – (4.3 X 1.1) = 0.17 (È un valore positivo quindi caratteri sono concordanti e la correlazione lineare è positiva) ▪ σ(X) = +√𝜇(𝑋 2 )𝜇 2 (𝑋) = √18.9 − 4.32 = + √0.41 = 0.64 - 𝜇(𝑋 2 ) = ∑ℎ𝑖=1(𝑋𝑖∗ )2 𝑝𝑖∙ = 42 X 0.8 + 52 X 0.1 + 62 X 0.1 = 16 X 0.8 + 25 X 0.1 + 36 X 0.1 = 18.9 ▪ σ(Y) = +√𝜇(𝑌 2 )𝜇2 (𝑌) = √2.1 − 1.12 = + √0.89 = 0.94 - 𝜇(𝑌 2 ) = ∑𝑘𝑗=1(𝑌𝑗∗ )2 𝑝∙𝑗 = 02 X 0.3 + 12 X 0.4 + 22 X 0.2 + 32 X 0.1 = 0 + 0.4 + 4 X 0.2 + 9 X 0.1 = 2.1 0.17 ρ(XY) = = - 0.28 (tra i caratteri X e Y vi è una BASSA CORRELAZIONE LINEARE DIRETTA) (0.64) (0.94) 21 LA REGRESSIONE Facciamo riferimento a due elementi: ▫ La FUNZIONE DI REGRESSIONE ▫ La RETTA DI REGRESSIONE LA FUNZIONE DI REGRESSIONE ESEMPIO (datiprecedenti: ESEMPIO (dati precedenti: Caratteri Caratteri oggetto oggetto di studio: di studio: X = #Xcomponenti = # componenti della famiglia; della famiglia; Y = #conviventi) Y = # animali animali conviventi) Y 0 1 2 3 4 0.3 0.3 0.1 0.1 0.8 5 0 0.1 0 0 0.1 6 0 0 0.1 0 0.1 0.3 0.4 0.2 0.1 1 FASE 1: DETERMINARE LE DISTRIBUZIONI SUBORDINATE Distinguiamo due tipologie di distribuzioni a seconda della variabile dipendente: a. X/Y= y*j (Funzioni subordinate di X rispetto a Y= yj) verso il basso b. Y/X=x*i (Funzioni subordinate di Y rispetto a X=xi) verso destra PRENDIAMO IN CONSIDERAZIONE X/Y= yj [LO STESSO PROCEDIMENTO VALE PER Y/X=xi] Abbiamo 4 distribuzioni subordinate: X/Y = 0 -> 4 5 6 4 0.3 0 0 1 0.3 0.3 0.3 X/Y = y*j -> X/Y = 1 -> 4 5 6 4 5 0.3 0.1 0 0.75 0.25 0.4 0.4 0.4 X/Y = 2 -> 4 5 6 4 6 0.1 0 0.1 0.5 0.5 0.2 0.2 0.2 X/Y = 3 -> 4 5 6 4 0.1 0 0 1 0.1 01 0.1 ▫ X/Y=0 (X subordinato ad Y=0) (determiniamo la funzione della X quando il carattere Y è fisso a 0) Le modalità della X sono 4,5,6 Le frequenze sono 0,3 0 e 0. Vanno rapportate al totale delle frequenze (0.3) -> 1, 0, 0 Quindi la distribuzione subordinata sarà semplicemente 4 al 100%: nella nostra popolazione, tra tutte le famiglie che non hanno un animale domestico, il 100% ha 4 componenti. ▫ X/Y = 1 (X subordinato ad Y= 1) (determiniamo la funzione della X quando il carattere Y è fisso a 1) Le modalità della X sono 4,5,6 Le frequenze sono 0,3 0,1 e 0. Vanno rapportate al totale delle frequenze (0.4) -> 0,75 0,25 e 0 La nostra distribuzione subordinata dunque sarà: nella nostra popolazione, tra tutte le famiglie che hanno un solo animale domestico, il 75% ha 4 componenti e il 25% ha 5 componenti. ▫ X/Y = 2 (X subordinato ad Y= 2) (determiniamo la funzione della X quando il carattere Y è fisso a 2) Le modalità della X sono 4,5,6 Le frequenze sono 0,1 0 e 0,1. Vanno rapportate al totale delle frequenze (0.2) -> 0,5 0 e 0,5 La nostra distribuzione subordinata dunque sarà: nella nostra popolazione, tra tutte le famiglie che hanno due animali domestici, il 50% ha 4 componenti e il 50% ha 6 componenti. ▫ X/Y = 3 (X subordinato ad Y= 3) (determiniamo la funzione della X quando il carattere Y è fisso a 3) Le modalità della X sono 4,5,6 Le frequenze sono 0,1 0 e 0. Vanno rapportate al totale delle frequenze (0.1) -> 1, 0 e 0 La nostra distribuzione subordinata dunque sarà: nella nostra popolazione, tra le famiglie che hanno 3 animali domestici, il 100% ha 4 componenti. FASE 2: DETERMINIAMO LA MEDIA PER OGNUNA DELLE DISTRIBUZIONI ▫ μ (X/ Y= 0) = 4 = (4X1) + (5X0) + (6X0) = 4 ▫ μ (X/ Y= 1) = (4 x 0.75) + (5 x 0.25) = 3 + 1.25 = 4.25 ▫ μ (X/ Y= 2) = (4 x 0.5) + (6 x 0.5) = 2 + 3 = 5 ▫ μ (X/ Y= 3) = 4 FASE 3: RAPPRESENTAZIONE GRAFICA DELLA FUNZIONE DI REGRESSIONE Sistema di assi cartesiani con - Sulle ascisse: Y (0, 1, 2 e 3) - Sulle ordinate μ(X/Y=yj) [medie delle distribuzioni] (4, 4.25, 5) Punti: (0;4) (1;4.25) (2;5) (3;4) L’insieme di questi punti da la funzione di regressione (NB: i punti non vanno uniti fra loro) FORMALIZZIAMO (seguendo dicitura formalizzazione tabella a doppia entrata fatta in precedenza): X/Y = y*j X*1 X*2 … X*i … X*h 1. X/Y = yj 𝑝 11 𝑝 21 𝑝 𝑝 … 𝑖1 … ℎ 1 𝑝∙1 𝑝∙1 𝑝∙1 𝑝∙1 2. μ (X/Y) = yi 3. Rappresentazione grafica 22 LA RETTA DI REGRESSIONE supponiamo di avere due caratteri X e Y rappresentati graficamente. La RETTA DI REGRESSIONE È QUELLA RETTA CHE VA AD INSERIRSI ALL’INTERNO DEI PUNTI, INDICANDONE L’ANDAMENTO, COSTRUITA IN MODO TALE CHE LE DISTANZE FRA I PUNTI E LA RETTA SIANO MINORI POSSIBILI (la somma di queste distanze è la più piccola possibile). Questa ha una funzione del tipo Y= a + bx (b= coefficiente angolare, a= termine noto o intercetta sull’asse delle Y) Il nostro fine è determinare la funzione della retta di regressione: retta positiva a = μ(Y) - b μ(X) 𝒄𝒐𝒗(𝑿𝒀) b= 𝝈𝟐 (𝑿) retta negativa DIMOSTRAZIONE: Consideriamo il punto A, con coordinate (Xi; Yi). La proiezione ortogonale di questo punto sulla retta (punto B), avrà come coordinate (Xi; a + bXi) [Facciamo questo procedimento per tutti i punti]. Dal momento che le distanze dai punti al di sopra della retta sono rappresentate dal segno +, quelle al di sotto sono rappresentate dal segno -, e probabilmente si eliminerebbero a vicenda, per eliminare questo problema utilizziamo le DISTANZE QUADRATE. Indichiamo la funzione come la sommatoria per i che va da 1 a N(numero dei punti) della distanza al quadrato (yi - a - bxi)2. ∑𝑵𝒊=𝟏(𝒚𝒊 − 𝒂 − 𝒃𝒙𝒊 ) 𝟐 Siccome voglio considerare le distanze minime, devo MINIMIZZARE questa somma. Per farlo, determiniamo i punti in cui le due derivate si annullano (PUNTI DI MINIMO): poniamo un sistema di due equazioni [NB variabili Y e X non cambiano] (Chiamiamo la funzione L): 𝑑𝐿 =0 (Derivata di L rispetto ad a = 0) 𝑑𝑎 𝑑𝐿 =0 (Derivata di L rispetto a b = 0) 𝑑𝑏 𝑑𝐿 ESPRESSIONE 1: =0 𝑑𝑎 ▪ [derivata di L: è un quadrato, dunque la derivata sarà 2 che moltiplica la derivata della funzione (considerando a come variabile e le altre come costanti, la derivata delle costanti sarà 0 e la derivata di – a sarà – 1). La poniamo = 0] – 2 ∑𝑁𝑖=1(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖 ) = 0 ▪ Risolvo: -2 e 0 si semplificano; distribuisco la sommatoria (NB: la sommatoria di a è N volte a): ∑𝑁 𝑁 𝑖=1 𝑦𝑖 − Na − 𝑏 ∑𝑖=1 𝑥𝑖 = 0 ▪ Sapendo che: 1 ▫ La media di Y è: μ(Y)= ∑N 𝑁 i=1 yi → riscriviamo ∑𝑖=1 𝑦𝑖 come Nμ(Y) N 1 ▫ La media di X è: μ(X)= ∑N 𝑁 i=1 X i → riscriviamo ∑𝑖=1 𝑋𝑖 come Nμ(X) N Avremo: Nμ(Y) – Na – b Nμ(X) = 0 ▪ Mettiamo la N a fattor comune e la semplifichiamo e otteniamo: μ(Y) – a – b μ(X) = 0 ▪ Da cui estrapoliamo a: a = μ(Y) - b μ(X) 23  𝑑𝐿 ESPRESSIONE 2: =0 𝑑𝑏 ▪ [derivata di L: è un quadrato, dunque la derivata sarà 2 che moltiplica la derivata della funzione (considerando b come variabile e le altre come costanti, per cui la derivata delle costanti sarà 0 e la derivata di – bxi sarà – xi). La poniamo = 0] – 2 ∑𝑁𝑖=1(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖 ) 𝑥𝑖 = 0 ▪ Risolvo: -2 e 0 si semplificano; svolgo le moltiplicazioni e distribuisco la sommatoria: ∑𝑁 𝑁 𝑁 2 𝑖=1 𝑦𝑖 𝑥𝑖 − a∑𝑖=1 𝑥𝑖 − 𝑏 ∑𝑖=1 𝑥𝑖 = 0 ▪ Sapendo che: ▫ ∑𝑁𝑖=1 𝑦𝑖 𝑥𝑖 rappresenta N volte la media congiunta XY ▫ ∑𝑁𝑖=1 𝑥𝑖 rappresenta N volte la media di X ▫ ∑𝑁 2 𝑖=1 𝑥𝑖 rappresenta N volte la media dei quadrati di X Avremo: N μ(XY) – N a μ(X) – N b μ(X2) = 0 ▪ Mettiamo N a fattore comune e lo semplifichiamo ottenendo: μ(XY) – a μ(X) – b μ(X2) = 0 ▪ SOSTITUIAMO a trovato dalla funzione 1 nella funzione 2 e otteniamo: μ(XY) – [μ(Y) – b μ(X)] μ(X) – b μ(X2) = 0 ▪ Svolgiamo la moltiplicazione: μ(XY) – μ(X)μ(Y) – b μ2(X) – b μ(X2) = 0 ▪ Sapendo che: ▫ La covarianza XY è μ(XY) – μ(X)μ(Y) → sostituiamo μ(XY) – μ(X)μ(Y) con cov(XY) (e mettiamo b in evidenza per gli altri due fattori) Abbiamo: cov(XY) – b [μ2(X) – μ(X2)] = 0 ▪ Sapendo che: ▫ La varianza è: σ2(X) = μ2(X) – μ(X2) → sostituiamo μ2(X) – μ(X2) con σ2(X) Abbiamo: cov(XY) – b σ2(X) = 0 ▪ Da cui estrapoliamo b: 𝒄𝒐𝒗(𝑿𝒀) b= 𝝈𝟐 (𝑿) NB: La retta che otteniamo attraverso questo procedimento è la migliore possibile in quanto minimizza le distanze quadrate tra i punti reali e quelli teorici sulla retta, MA NON È DETTO CHE LA RETTA SIA SIGNIFICATIVA NEL RIPORTARE LA VARIABILITÀ DEL CARATTERE Y RISPETTO AD X. Per testare l’efficacia della retta di regressione nel riportare la variabilità del carattere Y (variabile dipendente) rispetto ad X (variabile indipendente) utilizziamo l’INDICE DI DETERMINAZIONE R2: R2 = ρ 2 Questo indice varia tra 0 e 1 0.30 = bassa efficacia della retta 0 ≤ R2 ≤ 1 0,80 = alta efficacia della retta - R2 = 1: massima efficacia - R2 = 0: caratteri indipendenti 0,50 media efficienza della retta ESEMPIO (datiprecedenti: ESEMPIO (dati precedenti: Caratteri Caratteri oggetto oggetto di studio: di studio: X = #Xcomponenti = # componenti della famiglia; della famiglia; Y = #conviventi) Y = # animali animali conviventi) Y 0 1 2 3 μ(X) = 4.3 4 0.3 0.3 0.1 0.1 0.8 μ(Y) = 1.1