Chapitre 2 : Modèle de Régression Simple PDF

Chapitre 2 Le modèle de régression simple I. Formulation du modèle de régression simple II. Dérivation des estimateurs par la MCO III. Propriétés des estimateurs MCO IV. Distribution des coefficients estimés et tests de significativité individue...

Chapitre 2 Le modèle de régression simple I. Formulation du modèle de régression simple II. Dérivation des estimateurs par la MCO III. Propriétés des estimateurs MCO IV. Distribution des coefficients estimés et tests de significativité individuelle V. Équation d’analyse de la variance et test de significativité globale  Chapitre 2-I I. Formulation du modèle de régression simple I.1. Définition « L'analyse de régression se préoccupe de l'étude de la dépendance d'une variable, la variable dépendante, par rapport à une ou plusieurs autres variables, les variables explicatives, en vue d'estimer et/ou de prédire la valeur de la première en fonction des valeurs connues ou fixées de(s) la dernière(s) ». GUJARATI Corrélation Vs régression Corrélation Régression Variables X : quantitative X : quantitative Y : quantitative Y : quantitative Aucune différence entre variable Les deux variables sont endogène et variable exogène différentes. Symétrie de la Y est liée à X Y dépend de X liaison X est liée à Y Prédiction Non Oui (selon une équation) Mesure la relation entre X et Y Estime et prédit les valeurs de Y à partir des valeurs de X 2  Chapitre 2-I I. Formulation du modèle de régression simple I.2. Présentation générale du modèle 𝑌 = 𝑎0 + 𝑎1 𝑋 Avec : ▪ 𝑌 : Variable endogène, variable à expliquer ou variable dépendante. ▪ X ∶ Variable exogène, variable à explicative ou variable indépendante. ▪ 𝑎0 et 𝑎1 : sont les coefficients de régression ou les paramètres du modèle. Exemple Un modèle couramment utilisé dans les manuels d’économétrie comme exemple, est celui de la fonction de consommation Keynésienne : 𝐂 = C0 + 𝐜𝐘 ▪ C: la variable consommation, elle est appelée variable à expliquer ou variable endogène. ▪ Y: la variable revenu disponible est appelée variable explicative ou variable exogène. ▪ C0 : la consommation autonome ou incompressible (un paramètre du modèle ) ▪ 𝐜: la propension marginale à consommer (paramètre du modèle) 3  Chapitre 2-I I. Formulation du modèle de régression simple I.2. Présentation générale du modèle ▪ Dans un modèle, les données peuvent êtres en coupe instantanée ou en série temporelle. Par conséquent, deux types de spécification peuvent êtres distingués : a. Les modèles en série temporelles b. Les modèles en coupe instantanée. a) Le modèle en série temporelle b) Le modèle en coupe instantanée Les variables représentent un phénomène Les variables représentent des phénomènes observés à intervalles de temps réguliers par observés au même temps mais concernant exemple la consommation et les revenus plusieurs individus, par exemple la annuels de 1990 à 2019 pour un pays donné consommation et les revenus annuels sont 𝑌𝑡 = a0 + a𝟏 𝑌𝑡 observés sur un échantillon de 20 pays pour l’année 2019. Avec « t », indice de temps allant par exemple 𝑌i = a0 + a𝟏 Y𝑖 de 1990 à 2019 (t =1990……2019) Avec i : indice des individus/Pays allant par exemple de 1 à 20 ( i=1……20) 4  Chapitre 2-I I. Formulation du modèle de régression simple I.3. Rôle du terme aléatoire ▪ Le modèle de régression simple n’est qu’une spécification simple de la réalité : Ne retenir, par exemple, que le revenu pour expliquer la consommation dans la fonction de consommation Keynésienne peut être insuffisant (d’autres variables peuvent expliquer aussi la consommation). ▪ Pour corriger cette insuffisance, il faut ajouter un terme d’erreur noté 𝜺𝒕 au modèle spécifié ci-dessus : 𝑌𝑡 = a0 + a𝟏 𝑋𝑡 + 𝜺𝒕 (modèle spécifié en série temporelle) 𝑌𝑖 = a0 + a𝟏 𝑋𝑖 + 𝜺𝒊 (modèle spécifié en coupe instantanée) ▪ Le terme d’erreur ou le terme aléatoire synthétise l’information qui n’a pas été prise en compte dans le modèle décrivant la relation linéaire entre X et Y. ▪ Le terme d’erreur 𝜀𝑡 décrit essentiellement l’erreur de spécification du modèle, c’est-à-dire, l’omission des autres variables explicatives (autres que X), qui peuvent expliquer Y. ▪ Un modèle bien spécifié, est un modèle dont le terme aléatoire ne représente pas grand-chose dans l’explication de la variable endogène : il est de moyenne nulle et de variance finie (On dit, que c’est un bruit blanc). 5  Chapitre 2-II II. Estimation des paramètres II.1. Dérivation des estimateurs par la MCO ▪ Dans un modèle de régression on cherche à estimer 𝑎0 et 𝑎1. L’estimation de ces coefficients est obtenue an appliquant la méthode des moindres carrés ordinaires (MCO). ▪ En effet, la MCO ou « Ordinary Least Squares OLS en anglais», consiste à ajuster un nuage de points (Yi, Xi) à l’aide d’une droite d’ajustement en minimisant les distances entre chaque valeur observée de la variable endogène et la droite d’ajustement. ▪ Graphiquement, le principe de l’ajustement du nuage des points par la droite d’ajustement peut être illustré comme suit : 45 𝑌෠ = 𝑎ො0 + 𝑎ො0 𝑋 𝑌 40 𝑌෠7 35 𝑌7 30 𝑒7 𝒀𝟐 25 𝒆𝟐 : Variable endogène ajustée 20 𝑌෠2 15 : Variable endogène observée 10 5 0 15 20 25 30 35 𝑋2 𝑋7 𝑋 6  Chapitre 2-II II. Estimation des paramètres II.1. Dérivation des estimateurs par la MCO ▪ La MCO a pour objectif de trouver les valeurs de 𝑎0 et 𝑎1 qui minimise la somme des carrés des écarts entre les valeurs observées de Y et les valeurs prédites avec le modèle de prédiction (qui correspond à la droite d’ajustement). ▪ La dérivation de l’expression des estimateurs des paramètres 𝑎0 et 𝑎1 est obtenue par la résolution analytique de la MCO comme suit : 𝑇 𝑇 𝑀𝑖𝑛 ෍ 𝜀𝑡2 = 𝑀𝑖𝑛 ෍ 𝑌𝑡 − 𝑎0 − 𝑎1 𝑋 2 𝑡=1 𝑡=1 Sur le plan pratique, puisqu’on travaille sur un échantillon l’expression ci-dessus peut être écrite comme suit : 𝑇 𝑇 2 𝑀𝑖𝑛 ෍ 𝑌𝑡 − 𝑌෠𝑡 = 𝑀𝑖𝑛 ෍ 𝑌𝑡 − 𝑎ො 0 − 𝑎ො1 𝑋 2 𝑡=1 𝑡=1 Conditions de premier ordre : ▪ Pour minimiser S, il faut faire appel au calcul des dérivées (une fonction atteint son maximum ou son minimum lorsque sa dérivée première est nulle/ CPO). Rappel: [𝑢 𝑥 𝑛 ]′ = 𝑛. 𝑢 𝑥. 𝑢′ (𝑥)𝑛−1 7  Chapitre 2-II II. Estimation des paramètres II.1. Dérivation des estimateurs par la MCO 𝜕S 𝜕a = 0 ⇔ σ −2 yt − aො 0 − aො 1 xt = 0 0 ⇔ − 2 σ yt − aො 0 − aො 1 xt = 0 ⇔ σ yt − aො 0 − aො 1 xt = 0 ⇔ σ𝐭 𝐲𝐭 − σ𝐭 𝒂 ෝ𝟎 − aො 1 σ𝐭 𝐱 𝐭 = 𝟎 [Equation normale 1] 𝜕𝑆 𝜕a = 0 ⇔ σ𝑡 −2 𝒙𝒕 ( yt − aො 0 − aො 1 xt ) = 0 1 ⇔ − 2 σ𝑡 𝒙𝒕 ( yt − aො 0 − aො 1 xt ) = 0 ⇔ σ𝑡 𝒙𝒕 ( yt − aො 0 − aො 1 xt ) = 0 [Equation normale 2] ⇔ σ𝐭 𝐱 𝐭 𝐲𝐭 − aො 0 σ𝐭 𝐱 𝐭 − aො 1 σ𝐭 𝐱 𝐭𝟐 = 𝟎 Les deux équations normales ci-dessus peuvent êtres regroupées dans un système comme suit : σ𝐭 𝐲𝐭 − σt aො 0 − aො 1 σ𝐭 𝐱 𝐭 = 𝟎 (1) ൝ σ𝐭 𝐱 𝐭 𝐲𝐭 − aො 0 σ𝐭 𝐱 𝐭 − aො 1 σ𝐭 𝐱 𝐭𝟐 = 𝟎 (𝟐) 8  Chapitre 2-II II. Estimation des paramètres II.1. Dérivation des estimateurs par la MCO ▪ A partir de l’équation (1) on obtient : σ𝐭 𝐲𝐭 − σt aො 0 − aො 1 σ𝐭 𝐱 𝐭 = 𝟎 ⇔ σ𝑡 𝑦𝑡 − 𝑛ොa0 − aො 1 σ𝑡 𝑥𝑡 = 0 ⇔ −𝑛 aො 0 = − σ𝑡 𝑦𝑡 + aො 1 σ𝑡 𝑥𝑡 σ𝑡 𝑦𝑡 aො 1 σ𝑡 𝑥𝑡 ⇔ aො 0 = − 𝑛 𝑛 ⇔ aො 0 = 𝑌ത − aො 1 𝑋ത σ 𝑦 σ 𝑥 avec 𝑌ത = 𝑡𝑛 𝑡 et 𝑋ത = 𝑡𝑛 𝑡 ▪ Pour obtenir aො 1 , il faut remplacer dans l’équation normale (2) aො 0 par son expression: σ𝑡 𝑥𝑡 𝑦𝑡 − aො 0 σ𝑡 𝑥𝑡 − aො 1 σ𝑡 𝑥𝑡2 = 0 ⇔ σ𝑡 𝑥𝑡 𝑦𝑡 − σ𝑡 𝑥𝑡 𝑌ത − aො 1 𝑋ത − aො 1 σ𝑡 𝑥𝑡2 = 0 ⇔ σ𝑡 𝑥𝑡 𝑦𝑡 − 𝑌ത σ𝑡 𝑥𝑡 + aො 1 𝑋ത σ𝑡 𝑥𝑡 − aො 1 σ𝑡 𝑥𝑡2 = 0 ⇔ −ොa1 σ𝑡 𝑥𝑡2 + aො 1 𝑋ത σ𝑡 𝑥𝑡 = − σ𝑡 𝑥𝑡 𝑦𝑡 + 𝑌ത σ𝑡 𝑥𝑡 ⇔ −ොa1 σ𝑡 𝑥𝑡2 − 𝑋ത σ𝑡 𝑥𝑡 = − σ𝑡 𝑥𝑡 𝑦𝑡 + 𝑌ത σ𝑡 𝑥𝑡 1 σ𝑡 𝑥𝑡 𝑦𝑡 −𝑌ത σ𝑡 𝑥𝑡 σ𝑡 𝑥𝑡 𝑦𝑡 −𝑛𝑋ത 𝑌ത (σ 𝑥 𝑦 −𝑛𝑋ത 𝑌) 𝑛 𝑡 𝑡 𝑡 ത σ𝑛 ҧ 𝑡 −𝑦) 𝑡 (𝑥𝑡 −𝑥)(𝑦 ത ⇔ aො 1 = σ𝑡 𝑥𝑡2 − 𝑋ത σ𝑡 𝑥𝑡 = σ𝑡 𝑥𝑡2 − 𝑛𝑋ത 2 = 1 = σ𝑛 ҧ 2 (σ 𝑥 2 − 𝑛𝑋ത 2 ) 𝑛 𝑡 𝑡 𝑡 (𝑥𝑡 −𝑥) 9  Chapitre 2-II II. Estimation des paramètres II.1. Dérivation des estimateurs par la MCO ▪ D’après ce qui précède les résultats de la méthode MCO se présentent comme suit : 𝟏 𝐧 𝟏 ഥ𝒀ഥ 𝐜𝐨𝐯(𝐱, 𝐲) 𝒏 σ𝐭 (𝐱 𝐭 − 𝐱ത )(𝐲𝐭 − 𝐲ത) 𝒏 σ𝒕 𝒙𝒕 𝒚𝒕 − 𝑿 ෝ𝟏 = 𝒂 = = 𝐯𝐚𝐫(𝐱) 𝟏 𝐧 𝟏 ഥ𝟐 σ𝐭 (𝐱 𝐭 − 𝐱ത ) 𝟐 σ 𝒙𝟐 − 𝑿 𝒏 𝒏 𝒕 𝒕 𝒂 ഥ−𝒂 ෝ𝟎 = 𝐘 ഥ ෝ𝟏 𝑿 Remarques ▪ Le coefficient aො1 représente la pente de la droite ou encore une propension marginale (l’effet marginal), qui mesure l’impact d’une variation de x (∆x) sur y (∆y) : (∆𝒀𝒕 = aො1 ∆𝑿𝐭 ) ▪ Le coefficient aො 0 représente la constante de la droite d’ajustement. ▪ La spécification 𝑦𝑡 = 𝑎0 + 𝑎1 𝑥𝑡 + 𝜀𝑡 (où 𝑥𝑡 est la cause de 𝑦𝑡 ) est différente de la spécification 𝑥𝑡 = 𝑎0′ + 𝑎1′ 𝑦𝑡 + 𝜀𝑡′ (où 𝒚𝒕 est la cause de 𝒙𝒕 ) : 𝑎1 × 𝑎ො1′ = 𝑟𝑥𝑦 2 avec 𝑟𝑥𝑦 est le coefficient de corrélation empirique entre 𝒙𝒕 et 𝒚𝒕 ▪ La relation entre la pente et le coefficient de corrélation linéaire peut être écrite comme suit : 𝐜𝐨𝐯(𝐱,𝐲) 𝑽𝒂𝒓(𝒀) aො 1 = = 𝑟𝑥𝑦 × 𝐯𝐚𝐫(𝐱) 𝑽𝒂𝒓(𝑿) Avec 𝑽𝒂𝒓(𝒀) : l’écart type de Y et 𝑽𝒂𝒓(𝑿) : l’écart type de X. 10  Chapitre 2-II II. Estimation des paramètres II.1. Dérivation des estimateurs par la MCO Exercice n° 1 -Soient X et Y deux variables économiques observées sur la période allant de 1990 à 1999. -A partir des données du tableau ci-dessous, on vous demande de Régresser Y sur X et de Tracer la droite d’ajustement Interpréter vos résultats Années Variable X Variable Y 1990 30 24 1991 36 27 1992 42 34,5 1993 33 36 1994 48 42 1995 42 43,5 1996 48 39 1997 54 46,5 1998 61,5 48 1999 61,5 51 11  Chapitre 2-II II. Estimation des paramètres II.1. Dérivation des estimateurs par la MCO Exercice n° 2 ▪ À partir des données du tableau ci-dessous, on vous demande de calculer aො 1 𝑒𝑡 aො 0. Années Variable Y Variable X 1990 100 40 1991 200 50 1992 300 50 1993 400 70 1994 500 65 1995 600 65 1996 700 80 12  Chapitre 2-II II. Estimation des paramètres II.1. Dérivation des estimateurs par la MCO Cas particulier : modèle sans terme constant ▪ Pour certaines problématique la théorie économique postule des relations pour lesquelles la constante est nulle (a0 = 0) et par conséquent, ෝa0 = 𝑌ത − aො 1 𝑋ത = 0 (ොa1 étant différent de zéro 𝑌ത = 0 et 𝑋ത = 0). Exemple : La production (Y) d’un produit industriel où le facteur de production (X) est unique (Capital) : Lorsque le facteur de production (X) est nul la production est nulle. ▪ Dans ce cas l’estimation de aො 1 est donnée par la formule suivante : σ𝑡 𝑥𝑡 𝑦𝑡 aො 1 = σ𝑡 𝑥𝑡2 13  Chapitre 2-II II. Estimation des paramètres II.2. Les différentes écritures du modèle : erreur et résidu ▪ Le modèle théorique (modèle non ajusté) : Modèle théorique spécifié par l’économiste avec 𝜺𝒕 l’erreur inconnue : 𝒚𝒕 = 𝒂𝟎 + 𝒂𝟏 𝒙𝒕 + 𝜺𝒕 ▪ Le modèle estimé (modèle ajusté) : Modèle estimé à partir d’un échantillon d’observations : ෝ𝟎 + 𝒂 𝒚𝒕 = 𝒂 ෝ 𝟏 𝒙𝒕 + 𝒆𝒕 = 𝒚 ෝ𝒕 + 𝒆𝒕 Avec 𝒆𝒕 : est le résidu (connu) ▪ L’erreur 𝜺𝒕 est définie dans la spécification du modèle ▪ Le résidu 𝒆𝒕 représente erreurs observées sur les données ▪ Le résidu observé 𝒆𝒕 est donc la différence entre les valeurs observées de la variable à expliquer (𝒚𝒕 ) et les valeurs ajustées (ෝ 𝒚𝒕 ) à l’aide des estimations des coefficients du modèle : ෝ𝒕 = 𝒂 𝒚 ෝ𝟎 + 𝒂 ෝ 𝟏 𝒙𝒕 14  Chapitre 2-II II. Estimation des paramètres II.2. Les différentes écritures du modèle : erreur et résidu Exercice n° 3 -Les résultats obtenus d’une régression de la variable Y sur la variable X se présentent comme suit : 𝒀෡ 𝒕 = 6,589 + 𝟎, 𝟕𝟏𝟒 𝑿𝒕 -Sachant que les observations de Y et X sont contenues dans le tableau ci-dessus on vous demande de déduire le Résidu 𝒆𝒕 Années Variable X Variable Y 1990 30 24 1991 36 27 1992 42 34,5 1993 33 36 1994 48 42 1995 42 43,5 1996 48 39 1997 54 46,5 1998 61,5 48 1999 61,5 51 15  Chapitre 2-II III. Hypothèses et propriétés des estimateurs III.1. Fixation des hypothèses du modèle ▪ Soit le modèle linéaire en série temporelle suivant : 𝑌𝑡 = 𝑎0 + 𝑎1 𝑋𝑡 + 𝜀𝑡. L’étude des propriétés des estimateurs aො 0 et aො 1 requiert la fixation de quelques hypothèses de base. En effet, ces hypothèses permettent de déterminer les propriétés des estimateurs, et de mettre en place les outils de statistique inférentielle (tests d’hypothèses, intervalle de confiance) : -H1: le modèle de régression est linéaire. -H2 : les valeurs de 𝑋𝑡 sont observées sans erreur (𝑋𝑡 non aléatoire). -H3 : 𝐸 𝜀𝑡 = 0, l’espérance mathématique de l’erreur est nulle : c’est-à-dire qu’en moyenne le modèle est bien spécifié et donc l’erreur moyenne est nulle. -H4 : 𝐸 𝜀𝑡2 = 𝜎𝜀2 , la variance de l’erreur est constante (homoscédasticité ≠ hétéroscédasticité) le risque de l’amplitude de l’erreur est le même quelle que soit la période. -H5 : 𝐸 𝜀𝑡 𝜀𝑡′ = 0 si t ≠t’ les erreurs sont non corrélées (ou encore indépendantes) : une erreur à l’instant t n’a pas d’influence sur les erreurs suivantes. -H6 : cov 𝑥𝑡 , 𝜀𝑡 = 0 l’erreur est indépendante de la variable explicative -H7 : L’erreur suit une loi normale 𝜀𝑡 → 𝑁 0, 𝜎𝜀2 16  Chapitre 2-II III. Hypothèses et propriétés des estimateurs III.2. Propriétés des estimateurs -La qualité des estimateurs aො 0 et aො 1 s’apprécie principalement par leur convergence et leur biais. Les estimateurs sont ils sans biais ? Notation : 𝒂𝟏 le paramètre de valeur inconnue (paramètre de la population) ෝ 𝟏 l’estimateur (à partir d’un échantillon) de 𝒂𝟏 𝒂 Définition : Un estimateur est sans biais si la moyenne de sa distribution d’échantillonnage est égale à la valeur𝒂𝟏 du paramètre de la population à estimer. En d’autres termes, un estimateur est sans biais si E 𝒂 ෝ 𝟏 = 𝒂𝟏. -Pour vérifier si 𝒂𝟏 est sans biais il faut démontrer que E 𝒂 ෝ 𝟏 = 𝒂𝟏. D’après ce qui précède on sait que : 𝑦𝑡 = 𝒂𝟎 + 𝒂𝟏 𝑥𝑡 + 𝜀𝑡 [A] 𝑦ത = 𝒂𝟎 + 𝒂𝟏 𝑥ҧ + 𝜀 ҧ [B] [A] - [B] = (𝑦𝑡 − 𝑦) ത = 𝒂𝟏 (𝑥𝑡 − 𝑥)ҧ + (𝜀𝑡 − 𝜀)ҧ -Si on remplace (𝑦𝑡 − 𝑦) ത par son expression dans la formule de l’estimateurෝ 𝒂𝟏 on obtient : 𝑛 σ𝑡 (𝑥𝑡 − 𝑥)(𝑦 𝑛 σ𝑡 (𝑥𝑡 − 𝑥)( 𝑛 σ𝑡 (𝑥𝑡 − 𝑥)( ҧ 𝑡 − 𝑦) ത ҧ 𝒂𝟏 (𝑥𝑡 − 𝑥)ҧ + (𝜀𝑡 − 𝜀)) ҧ ҧ 𝒂𝟏 (𝑥𝑡 − 𝑥)ҧ + (𝜀𝑡 − 𝜀)) ҧ ෝ𝟏 = 𝒂 = = σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 𝒂𝟏 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 𝑥𝑡 − 𝑥ҧ + σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ (𝜀𝑡 − 𝜀)ҧ 𝒂𝟏 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 + σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ (𝜀𝑡 − 𝜀)ҧ ⇔𝒂 ෝ𝟏 = = σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 𝒂𝟏 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛𝑡 𝑥𝑡 − 𝑥ҧ (𝜀𝑡 − 𝜀)ҧ 𝒂𝟏 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛𝑡 𝑥𝑡 − 𝑥ҧ (𝜀𝑡 − 𝜀)ҧ ⇔ 𝒂 ෝ𝟏 = + = + σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛𝑡 𝑥𝑡 − 𝑥ҧ (𝜀𝑡 − 𝜀)ҧ σ𝑛𝑡 𝑥𝑡 − 𝑥ҧ (𝜀𝑡 ) − σ𝑛𝑡 𝑥𝑡 − 𝑥ҧ (𝜀)ҧ σ𝑛𝑡 𝑥𝑡 − 𝑥ҧ (𝜀𝑡 ) ⇔ 𝒂 ෝ 𝟏 = 𝒂𝟏 + = 𝒂𝟏 + = 𝒂𝟏 + σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 σ𝑛 𝑥 ⇔ σ𝑛𝑡 𝑥𝑡 𝜀 ҧ − σ𝑛𝑡 𝑥ҧ 𝜀 ҧ = 𝑛𝑥ҧ 𝜀 ҧ − 𝑛𝑥ҧ 𝜀 ҧ = 0 (Rappel 𝑥ҧ = 𝑡=1 𝑖 ) 𝑛 σ𝑛𝑡 𝑥𝑡 − 𝑥ҧ (𝜀𝑡 − 𝜀)ҧ σ𝑛𝑡 𝑥𝑡 − 𝑥ҧ (𝜀𝑡 ) 17 ෝ 𝟏 = 𝒂𝟏 + 𝒂 = 𝒂𝟏 + [C] σ𝑛(𝑥 − 𝑥)ҧ 2 σ𝑛(𝑥 − 𝑥)ҧ 2  Chapitre 2-II III. Hypothèses et propriétés des estimateurs III.2. Propriétés des estimateurs Les estimateurs sont ils sans biais ? ෝ𝟏 et 𝒂𝟏 , il faut déterminer l’espérance mathématique de 𝛽መ : -Pour déterminer le biais entre 𝒂 σ𝑛𝑡 𝑥𝑡 − 𝑥ҧ 𝐸(𝜀𝑡 ) 𝐸(ෝ𝒂𝟏 ) = 𝐸( 𝒂𝟏 ) + σ𝑛𝑡 (𝑥𝑡 − 𝑥)ҧ 2 -Par conséquent, 𝐸 𝒂 ෝ𝟏 = 𝒂𝟏 (car 𝐸 𝜀𝑡 = 0 (l’hypothèse H3) et 𝒂𝟏 est un estimateur sans biais. ⇒𝐸 𝒂 ෝ 𝟏 = 𝒂𝟏 -De la même façon on démontre que 𝐸(ෝ 𝒂𝟏 ) = 𝐸( 𝒂𝟏 ) : Il faut exprimer 𝒂 ෝ𝟏 en fonction de 𝒂𝟏 et après calculer sont espérance: ෝ𝟎 + 𝒂 𝑦ത = 𝒂 ෝ𝟏 𝑥ҧ 𝑦ത = 𝒂𝟎 + 𝒂𝟏 𝑥ҧ + 𝜀 ҧ ෝ𝟎 + 𝒂 ⇒ 𝒂𝟎 + 𝒂𝟏 𝑥ҧ + 𝜀 ҧ = 𝒂 ෝ𝟏 𝑥ҧ ෝ𝟎 = 𝒂𝟎 + 𝒂𝟏 𝑥ҧ + 𝜀 ҧ − 𝒂 ⇒ 𝒂 ෝ𝟏 𝑥ҧ ෝ𝟎 = 𝒂𝟎 +𝜀 ҧ − (ෝ ⇒ 𝒂 𝒂𝟏 − 𝒂𝟏 )𝑥ҧ -L’espérance mathématique de 𝛼ො est égale à : 𝐸 𝒂ෝ𝟎 = 𝒂𝟎 +𝐸 𝜀 ҧ − 𝐸 𝒂 ෝ𝟏 − 𝒂𝟏 𝑥ҧ = 𝒂𝟎 Car 𝐸 𝒂 ෝ 𝟏 − 𝒂𝟏 = 0 et 𝐸 𝜀 ҧ = 𝐸 σ 𝜀𝑖 = 0 et 𝒂𝟎 est un estimateur sans biais : ⇒ 𝐸 𝒂 ෝ 𝟎 = 𝒂𝟎 -Dès lors, les deux estimateurs 𝒂 ෝ𝟏 de la MCO sont sans biais. ෝ𝟎 𝒆𝒕 𝒂 18  Chapitre 2-II III. Hypothèses et propriétés des estimateurs Les estimateurs sont- ils convergents ? Définition : Un estimateur 𝜃෠ est convergent si sa distribution tend à se concentrer autour de la valeur inconnue à estimer 𝜃 (celle de la population), quand la taille d’échantillon augmente : c’est-à-dire lim 𝑉 𝜃෠ = 0 𝑛→+∞ 𝜎2 Par exemple, la moyenne 𝑋ത est un estimateur convergent car lim 𝑉 𝑋ത = lim =0 𝑛→+∞ 𝑛→+∞ 𝑛 -Dans la cas de la régression la question à laquelle il faut trouver la réponse se présente comme suit : ෝ𝟏 → 𝟎 ??? Avec 𝐕 𝒂 𝐥𝐢𝐦 𝐕 𝒂 ෝ 𝟏 est la variance de 𝒂 ෝ𝟏 𝐧→+∞ Calcul de la variance de 𝒂 ෝ𝟏 2 2 2 σ𝑛𝑡 𝑥𝑡 − 𝑥ҧ 𝜀𝑡 ෝ𝟏 = 𝐸 𝒂 𝑉 𝒂 ෝ 𝟏 − 𝐸 𝑎1 ෝ 𝟏 − 𝑎1 =𝐸 𝒂 =𝐸 σ𝑛𝑡 𝑥𝑡 − 𝑥ҧ 2 2 ෝ𝟏 = 𝐸 𝑉 𝒂 ෍ 𝜔𝑡 𝜀𝑡 = 𝐸 ෍ 𝜔𝑡2 𝜀𝑡2 + 2 ෍ 𝜔𝑡 𝜔𝑡, 𝜀𝑡 𝜀𝑡, 𝑡 𝑡 𝑡 𝑥𝑡 −𝑥ҧ Avec 𝜔𝑡 = σ𝑛 𝑡 𝑥𝑡 −𝑥ҧ 2 2 ෝ𝟏 = 𝐸 𝑉 𝒂 ෍ 𝜔𝑡 𝜀𝑡 = 𝐸 ෍ 𝜔𝑡2 𝜀𝑡2 + 2 ෍ 𝜔𝑡 𝜀𝑡 𝜔𝑡, 𝜀𝑡, = ෍ 𝜔𝑡2 𝐸(𝜀𝑡2 ) + 2 ෍ 𝜔𝑡 𝜔𝑡, 𝐸(𝜀𝑡 𝜀𝑡, ) 𝑡 𝑡 𝑡 𝑡 𝑡 Rappel : Produit de deux sommes 𝑛 2 𝑛 𝑛 𝑛 ෍ 𝑎𝑡 =෍ 𝑎𝑡 𝑎𝑡 , = ෍ 𝑎𝑡2 + 2 ෍ 𝑎𝑡 𝑎𝑡 , 𝑡=1 𝑡≤1, 𝑡 , ≤1 𝑡=1 𝑡≤1, 𝑡 , ≤1 19  Chapitre 2-II III. Hypothèses et propriétés des estimateurs Les estimateurs sont- ils convergents ? Calcul de la variance de 𝒂 ෝ𝟏 2 ෝ𝟏 = 𝐸 𝑉 𝒂 ෍ 𝜔𝑡 𝜀𝑡 = ෍ 𝜔𝑡2 𝐸(𝜀𝑡2 ) + 2 ෍ 𝜔𝑡 𝜔𝑡, 𝐸(𝜀𝑡 𝜀𝑡, ) 𝑡 𝑡 𝑡 -On sait que d’après les hypothèses : H4 : 𝐸 𝜀𝑡2 = 𝜎𝑡2 et H5 : 𝐸 𝜀𝑡 𝜀𝑡′ = 0 si t ≠t’ 2 2 𝜎𝜀2 𝑉 𝒂ෝ 𝟏 = ෍ 𝜔𝑡 𝜀𝑡 = σ𝑡(𝑥 − 𝑥)ҧ 2 𝑡 𝜎𝜀2 ෝ𝟏 𝑉 𝒂 = [D] σ𝑡(𝑥𝑡 − 𝑥)ҧ 2 -Lorsque n→ ∞ alors σ𝑡(𝑥 − 𝑥)ҧ 2 tend vers ∞ , d’où 𝑉 𝒂 ෝ 𝟏 tend vers 0 puisque 𝜎𝜀2 est constant. -Une démonstration analogue pour 𝛼 conduit aux résultats suivant : ෝ𝟎 = 𝐸 𝒂 𝑉 𝒂 𝒂𝟎 ) 2 ) = 𝐸 𝒂 ෝ 𝟎 − 𝐸(ෝ ෝ 𝟎 − 𝑎0 2 (car 𝐸 𝒂 ෝ 𝟎 = 𝑎0 ) 2 1 𝑥ҧ 2 ෝ 𝟎 = 𝜎𝜀 𝑉 𝒂 + [E] 𝑛 σ𝑡 𝑥𝑡 − 𝑥ҧ 2 lim 𝑉 𝛼ො → 0 lorsque 𝑛 → ∞ -Des lors, les deux estimateurs 𝒂 ෝ 𝟏 de la MCO sont convergents. ෝ 𝟎 𝒆𝒕 𝒂 20  Chapitre 2-II III. Hypothèses et propriétés des estimateurs III.2. Propriétés des estimateurs (Résumé) ▪ Dès lors, sous les hypothèses H3, H4, et H5, on démontre que : ෝ𝟎 = 𝑎0 -𝐸 𝒂 ෝ𝟏 = 𝑎1 -𝐸 𝒂 1 𝑥ҧ 2 σ𝑡 𝑥𝑡2 ෝ𝟎 = 𝜎𝜀2 -𝑉 𝒂 +σ 2 = 𝜎𝜀2 𝑛 𝑡 𝑥𝑡 −𝑥ҧ 𝑛 σ𝑡 𝑥𝑡 −𝑥ҧ 2 𝜎𝜀2 ෝ𝟏 = -𝑉 𝒂 σ𝑡(𝑥−𝑥)ҧ 2 ▪ Ainsi, les deux estimateurs aො 0 et aො 1 de la MCO sont sans biais et sont convergents (1er résultat) ▪ Les estimateurs aො 0 et aො 1 sont aussi de variance minimale parmi tous les estimateurs linéaires sans biais (propriété dite de Gauss-Markov) (résultat 2). ▪ Les résultats 1 et 2 confirment que les estimateurs MCO sont les meilleurs estimateurs linéaires sans biais. Ils sont dits aussi BLUE (Best Linear Unbiased Estimator). 21  Chapitre 2-III III. Hypothèses et propriétés des estimateurs III.3. Estimation de la variance de l’erreur ▪ Les variances de aො 0 et aො 1 ne peuvent être déterminée que si 𝜎𝜀2 est connue. Or ce dernier paramètre est inconnu (puisque l’erreur est inconnue). Toutefois, ce paramètre peut être estimé à partir des résultats de l’échantillon. ▪ L’estimateur de la variance de l’erreur (𝜎𝜀2 ) noté (𝜎ො𝜀2 ), peut être déduit à partir du résidu de l’échantillon 𝑒𝑡 comme suit (voir R. Bourbounais 9ème édition) : 𝑛 1 2 𝜎ො𝜀 = ෍ 𝑒𝑡 2 𝑛−2 𝑡=1 ▪ On remplaçant la variance de l’erreur par son estimateur 𝜎ො𝜀2 dans l’expression de la variance de 𝒂 ෝ𝟎 et 𝒂 ෝ𝟏 on obtient : σ𝑡 𝑥𝑡2 1 𝑥ҧ 2 ෝ𝟎 = 𝑉 𝒂 𝜎ො𝑎2ො 0 = 𝜎ො𝜀2 2 = 𝜎ො𝜀2 + 2 𝑛 σ𝑡 𝑥𝑡 − 𝑥ҧ 𝑛 σ𝑡 𝑥𝑡 − 𝑥ҧ 𝜎ො𝜀2 ෝ𝟏 = 𝑉 𝒂 𝜎ො𝑎2ො 0 = σ𝑡(𝑥𝑡 − 𝑥)ҧ 2 22  Chapitre 2-III III. Hypothèses et propriétés des estimateurs III.3. Estimation de la variance de l’erreur Exercice n° 4 -Les résultats d’une régression linéaire simple se présentent comme suit : Années Variable X Variable Y ෡=4,392+0,714X 𝐘 ෡ 𝐞𝐭 𝛆ො 𝐭 = 𝐘 − 𝐘 1990 20 16 18,67 -2,67 1991 24 18 21,53 -3,53 1992 28 23 24,39 -1,39 1993 22 24 20,10 3,90 1994 32 28 27,24 0,76 1995 28 29 24,39 4,61 1996 32 26 27,24 -1,24 1997 36 31 30,10 0,90 1998 41 32 33,67 -1,67 1999 41 34 33,67 0,33 TAF : 1] Calculer l’estimateur de la variance de l’erreur 𝜎ො𝜀2 2] Calculer la variance de aො 0. Déduire l’écart type de aො 0. 3] Calculer la variance de aො 1. Déduire l’écart type de aො 1. 23  Chapitre 2-IV IV. Distribution des estimateurs et tests de significativité individuelle IV.1. Distribution des coefficients ෝ𝒂𝟎 et 𝒂 ෝ𝟏 ▪ Pour construire les tests nécessaires au jugement de la significativité statistique des paramètres de la population (a0 et a1 ), il faut d’abord définir la loi de probabilité des coefficients ෝ 𝒂𝟎 et 𝒂 ෝ𝟏. ▪ Deux cas de figure se présentent : i) loi de probabilité de « aො 0 et aො 1» (Variance de l’erreur connue), ii) Loi de probabilité de « aො 0 et aො 1 » (Variance de l’erreur inconnue) a. Loi de probabilité de « aො 1 et aො 0 » (Variance de l’erreur connue) ▪ Les estimateurs aො 0 et aො 1 sont des variables aléatoires qui suivent les mêmes lois de probabilités de 𝜀𝑡 , puisqu’ils sont fonctions de la variable aléatoire 𝜀𝑡. Dans ce cadre, il est nécessaire de faire une hypothèse supplémentaire sur l’erreur ; H7 : L’erreur suit une loi normale 𝜀𝑡 → 𝑁 0, 𝜎𝜀2 ▪ L’hyppothèse de la normalité des erreurs implique que : 𝜎2 1 𝑥ҧ 2 aො 1 → 𝑁 a1 , σ (𝑥−𝜀 𝑥)ҧ 2 et aො 0 → 𝑁 a0 , 𝜎𝜀2 +σ 2 𝑡 𝑛 𝑡 𝑥𝑡 −𝑥ҧ aො 1 −a1 aො 1 −a1 aො 0 −a0 aො 0 −a0 Z1 = 𝜎aෞ1 = → 𝑁(0,1) et 𝑍2 = 𝜎aෞ0 = → 𝑁(0,1) 𝜎2 1 ഥ2 𝑥 𝜀 𝜎𝜀2 + σ𝑛 𝑥)2 𝑡=1 𝑡 −ഥ (𝑥 𝑥 2 𝑛 σ𝑡 𝑥𝑡 −ഥ 24  Chapitre 2-IV IV. Distribution des estimateurs et tests de significativité individuelle b. Loi de probabilité de « aො 1 et aො 0 » (Variance de l’erreur estimée) ▪ En général, la variance de l’erreur est inconnue, elle est estimée à partir de l’échantillon. C’est-à-dire que la variance de l’erreur 𝜎𝜀2 est estimée par 𝜎ො𝜀2. Dans ce cadre, quelle est la distribution de probabilité des coefficients « aො 1 et aො 0 » ? ▪ De fait, la distribution réellement exploitable pour l'inférence statistique est la loi de Student à (n -2) degrés de liberté (voir R. Bourbounais 9ème édition pages 26 et 27). ▪ En d’autres termes, les ratios empiriques (observées ou calculés) T de Student sont distribués selon une loi de Student à n-2 degrés de liberté. aො 1 − a1 𝑇= → 𝑇𝑛−2 𝜎ො𝑎ො 1 aො 0 − a0 𝑇= → 𝑇𝑛−2 𝜎ො𝑎ො 0 ▪ Dès lors, on dispose de tous les éléments pour analyser les paramètres estimés de la régression, c’est-à-dire pour tester la significativité statistique de la pente et de la constante. 25  Chapitre 2-IV IV. Distribution des estimateurs et tests de significativité individuelle IV.2. Test de significativité individuelle des paramètres et intervalle de confiance ▪ La détermination de la distribution des coefficients estimés (loi de Student) permet de mettre en place des tests statistiques afin d’apporter des réponses à des problèmes tels que : ✓Tests d’hypothèses au risque α Avec, en particulier le test de significativité (mesurer l’impact de X dans l’explication de Y via le modèle) ✓Détermination d’un intervalle de confiance pour les coefficients a0 et a1. Exemple : Test de significativité des coefficients (absence de liaison linéaire entre x et y) 𝐻0 : a0 = 0 𝐻1 : a0 ≠ 0 ET 𝐻0 : a1 = 0 𝐻1 : a1 ≠ 0 26  Chapitre 2-IV IV. Distribution des estimateurs et tests de significativité individuelle a. Test de significativité individuelle Test du paramètre a1 (la pente) Règle de décision pour un seuil de α =0,05 Le test du paramètrea1 consiste à tester les hypothèses - Si −𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 < t 𝑐al < 𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 on accepte H0 : suivantes, à un seuil de α=5 % : La variable 𝒙𝒕 ne contribue pas à l’explication 𝐻0 ∶ a1 = 0 dans l’explication de Y (relation entre X et Y 𝐻1 : a1 ≠ 0 statistiquement non significative) Sous l’hypothèse 𝐻0 ∶ a1 = 0 , on obtient la valeur observée suivante : -Si t 𝑐al > 𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 ou t 𝑐al < −𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 on rejette H0 aො 1 − a1 aො 1 t 𝑐al = = La variable 𝒙𝒕 contribue à l’explication de Y. 𝜎ොaො 1 𝜎ොaො 1 suit une loi de Student à n – 2 degrés de liberté. En d’autres termes, le coefficient théorique et inconnu 𝒂𝟏 est significativement différent de 0 Avec (la relation entre X et Y est statistiquement 𝑡𝑐𝑎𝑙 : désigne la valeur calculée de la statistique de significative) student T à partir de l’échantillon (dite aussi valeur observée). Avec a1 : la valeur hypothétique du paramètre de la population −𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 et 𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 sont les valeurs critiques qui aො 1 : désigne la valeur estimée du paramètre a1 partagent la zone d’acceptation de la zone du rejet 𝜎ොaො 1 : l’écart type estimé du paramètre estimé aො 1 de Ho. Ces deux valeurs sont lues dans la table de la loi de student, en prenant en considération le seuil de signification et le nombre de degré de liberté. 27  Chapitre 2-IV IV. Distribution des estimateurs et tests de significativité individuelle a. Test de significativité individuelle Test du paramètre a0 (constante) Règle de décision pour un seuil de α =0,05 Le test du paramètre a0 consiste à tester les hypothèses - Si −𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 < t 𝑐al < 𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 on accepte H0 : suivantes, à un seuil de 5 % : La constante n’est pas statistiquement 𝐻0 ∶ a0 = 0 significative (ou la constante n’est pas 𝐻1 : a0 ≠ 0 significativement différente de zéro). Sous l’ hypothèse 𝐻0 ∶ a0 = 0, on obtient la valeur observée tcal suivante : -Si t 𝑐al > 𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 ou t 𝑐al < −𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 on rejette H0 aො 0 − a0 aො 0 𝑡𝑐𝑎𝑙 = = La constante est statistiquement significative. 𝜎ොaො 0 𝜎ොaො 0 suit une loi de Student à n – 2 degrés de liberté. En d’autres termes, le coefficient théorique et inconnu 𝒂𝟎 est significativement différent de 0. Avec 𝑡𝑐𝑎𝑙 : désigne la valeur calculée de la statistique de Avec student T à partir de l’échantillon (dite aussi valeur −𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 et 𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 sont les valeurs critiques qui observée). partagent la zone d’acceptation de la zone du rejet a0 : la valeur hypothétique du paramètre de la population de Ho. Ces deux valeurs sont lues dans la table de la aො 0 : désigne la valeur estimée du paramètre a0 loi de student, en prenant en considération le seuil (constante) de signification et le nombre de degré de liberté. 𝜎ොaො 0 : l’écart type du paramètre estimé aො 0 28  Chapitre 2-IV IV. Distribution des estimateurs et tests de significativité individuelle Exercice n° 5 -Les résultats d’une régression linéaire simple se présentent comme suit : 𝑌𝑡 = 4,392+ 0,714 𝑋𝑡 + 𝑒𝑡 (3,97) (0,127) Avec (3,97) l’écart type de aො 0 (0,127) l’écart type de aො 1 Nombre d obesrvations = 10 TAF : 1] Tester la significativité statistique de la constante a0 et de la pente de a1 2] Interpréter vos résultats. 29  Chapitre 2-IV IV. Distribution des estimateurs et tests de significativité individuelle b. Intervalle de confiance Les intervalles de confiance des paramètres a0 et a1 au seuil donné 𝛼 (au niveau de confiance 1-𝛼) sont donnée par : Intervalle de confiance de a1 au niveau 1 − 𝛼 a1 = 𝑎ො1 ± 𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 × 𝜎ො𝑎ො 1 Intervalle de confiance a0 au niveau 1 − 𝛼 a0 = 𝑎ො0 ± 𝑡𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 × 𝜎ො𝑎ො 0 30  Chapitre 2-V V. Équation d’analyse de la variance et tests de significativité globale V.1. Equation d’analyse de la variance ▪ Pour juger la qualité de l’équation estimée de la régression (ෝ 𝒚𝒕 ) à prédire les valeurs observées de 𝒚𝒕 et savoir si cette régression est de bonne, il faut déterminer l’équation d’analyse de la variance (décomposition de la variance). Cette équation est construire à partir des deux relations suivantes : Relation 1: la somme des résidus est nulle. n n ෍ et = ෍(yt − yො t ) = 0 t=1 t=1 Relation 2 : égalité entre la moyenne de la série à expliquer et la moyenne de la série ajustée. σ𝑛𝑡=1 𝑦𝑡 = σ𝑛𝑡=1 𝑦ො𝑡 ⇔ nതy = nyത෠ ⇔ yത = yത෠ ▪ A partir de ces deux relations on construit l’équation d’analyse de la variance. Sachant que yt = yො t + et , on peut obtenir suite à une manipulation mathématique ce qui suit : (yt −ഥ 𝒚) = (ොyt −ഥ 𝒚 ) + et (yt −തy)𝟐 = (ොyt −തy) + et 𝟐 =(ොyt −തy)𝟐 + 𝟐𝐞𝐭 (ොyt −തy) + et 2 ▪ En introduisant la somme (𝚺) la relation dévient : n n n n ෍(yt −തy)2 = ෍(ොyt −തy)2 + 2 ෍ et (ොyt −തy) + ෍ et 2 t=1 t=1 n t=1 𝒏 n Avec : 𝟐 σ𝐧 𝒆𝒕 (ෝ 𝒚𝒕 −ഥ 𝒚) = 𝟎 (car σt=1 et = 0) 31  Chapitre 2-V V. Équation d’analyse de la variance et tests de significativité globale V.1. Equation d’analyse de la variance ▪ Par conséquent, l’équation d’analyse de la variance devient : 𝑛 𝑛 𝑛 2 2 2 ෍(𝑦𝑡 −𝑦) ത = ෍(𝑦ො𝑡 −𝑦) ത + ෍ 𝑒𝑡 𝑡=1 𝑡=1 𝑡=1 SCT = SCE + SCR Avec SCT = σ𝑛𝑡=1(𝑦𝑡 −𝑦) ത 2 : la somme des carrés totaux (SCT) ou la variabilité totale. 𝑆𝐶𝐸 = σ𝑛𝑡=1(𝑦ො𝑡 −𝑦) ത 2 : la somme des carrées expliqués par l’équation estimée de la régression ou la variabilité expliquée (ou ajustée). 𝑆𝐶𝑅 = σ𝑛𝑡=1 𝑒𝑡 2 : La somme des carrées résiduels, non expliqués par l’équation estimée de la régression ou la variabilité des résidus. Remarque : l’équation d’analyse de la variance peut aussi s’écrire sous la forme suivante : comme suit : σ𝑛𝑡=1(𝑦𝑡 −𝑦) ത 2 = σ𝑛𝑡=1(𝑦ො𝑡 −yത෠ )2 + σ𝑛𝑡=1 𝑒𝑡 2 car yത = yത෠ 32  Chapitre 2-V V. Équation d’analyse de la variance et tests de significativité globale Démonstrations -La première relation : σnt=1 et = σnt=1(yt − yො t ) = 0, la somme des résidus est nulle (la droite de la régression passe par le point moyen). On sait d’après ce qui précède que : 𝑦𝑡 = 𝑦ො + 𝑒𝑡 = 𝑎ො0 + 𝑎ො1 𝑥𝑡 + 𝑒𝑡 ⇒ σ𝑛𝑡=1 𝑦𝑡 = σ𝑛𝑡=1 𝑎ො0 + 𝑎ො1 σ𝑛𝑡=1 𝑥𝑡 + σ𝑛𝑡=1 𝑒𝑡 ⇒ σ𝑛𝑡=1 𝑦𝑡 = 𝑛𝑎ො0 + 𝑎ො1 σ𝑛𝑡=1 𝑥𝑡 + σ𝑛𝑡=1 𝑒𝑡 ⇒ σ𝑛𝑡=1 𝑒𝑡 = σ𝑛𝑡=1 𝑦𝑡 − 𝑛𝑎ො 0 − 𝑎ො1 σ𝑛𝑡=1 𝑥𝑡 = 𝑛𝑦ത − 𝑛𝑎ො0 − 𝑛𝑎ො1 𝑥ҧ -On remplace 𝑎ො0 par sa valeur 𝑎ො 0 = 𝑌ത − 𝑎ො1 𝑋ത et on obtient : σ𝑛𝑡=1 𝑒𝑡 = 𝑛𝑦ത − 𝑛 𝑌ത − 𝑎ො1 𝑋ത − 𝑎ො1 𝑥ҧ ⇔ σ𝑛𝑡=1 𝑒𝑡 = 𝑛𝑦ത − 𝑛𝑦ത − 𝑛 𝑎ො1 𝑥ҧ − 𝑛 𝑎ො1 𝑥ҧ = 0 -La deuxième relation : σ𝑛𝑡=1 𝑦𝑡 = σ𝑛𝑡=1 𝑦ො𝑡 : égalité entre la moyenne de la série à expliquer et la moyenne de la série ajustée. -On sait d’après la première relation que : σnt=1 et = 0. Cela implique que : σnt=1 et = σnt=1(yt − yො ) = 0 σnt=1 yt = σnt=1 yො t ⇔ nതy = nyത෠ -Des lors yത = yത෠ (il y a égalité entre la moyenne de la série à expliquer et la moyenne de la série ajustée). 33  Chapitre 2-V V. Équation d’analyse de la variance et tests de significativité globale V.2. Coefficient de détermination ▪ A partir de l’équation d’analyse de la variance on construit un indicateur qui mesure à quel point l’équation estimée de la régression (ෝ 𝒚𝒕 ) prédit les valeurs observées de 𝒚𝒕. Cet indicateur est appelé coefficient de détermination (noté 𝑅2 ). SCE + SCR = SCT ⇒ SCE = SCT − SCR SCE SCR ⇒ R2 = =1− SCT SCT σn t=1(ෝ y)2 yt −ഥ σn t=1 et 2 ⇒ R2 = σn = 1 − σn y)2 t=1(yt −ഥ t=1(yt −ഥ y) 2 σn t=1(ෝ y)2 yt −ഥ 𝑎ො 12 σn x)2 t=1(𝑥t −ത 𝑎ො 12 σn x)2 /𝑛 t=1(𝑥t −ത 𝑎ො 12 𝑉𝑎𝑟(𝑥) R2 = σn = σn = σn = y)2 t=1(yt −ഥ t=1(yt −ഥy)2 t=1(yt −ഥy)2 /𝑛 𝑉𝑎𝑟(𝑦) ▪ Le coefficient de détermination est compris en 0 et 1 : 0 ≤ 𝑅2 ≤ 1 - Lorsque la valeur de 𝑅2 est proche de 1, la régression est excellente (ou encore X explique parfaitement Y). - En revanche, si 𝑅2 est proche de 0, la régression ne sert à rien (ou encore X n’explique par Y). 34  Chapitre 2-V V. Équation d’analyse de la variance et tests de significativité globale Remarques ▪ Dans le cas d’une régression simple, le coefficient de détermination est égal au carré du coefficient de corrélation linéaire simple : 𝑅 2 = 𝑟𝑥𝑦 2 ▪ La relation entre la pente et le coefficient de corrélation linéaire peut être écrite comme suit : 𝐜𝐨𝐯(𝐱, 𝐲) 𝐜𝐨𝐯(𝐱, 𝐲) 𝑽𝒂𝒓(𝒀) 𝑽𝒂𝒓(𝒀) aො 1 = = × = 𝑟𝑥𝑦 × 𝐯𝐚𝐫(𝐱) 𝑽𝒂𝒓(𝑿) 𝑽𝒂𝒓(𝑿) 𝑽𝒂𝒓(𝒀) 𝑽𝒂𝒓(𝑿) 𝑽𝒂𝒓(𝑿) 𝑟𝑥𝑦 = aො 1 × 𝑽𝒂𝒓(𝒀) 𝑽𝒂𝒓(𝑿) 2 𝑟𝑥𝑦 = 𝑎ො12 × = R2 𝑽𝒂𝒓(𝒀) SCE 𝑎ො 12 ×σn x)2 t=1(xt −ത 𝑎ො 12 ×𝑉𝑎𝑟(𝑥) (Car R2 = = σn = ) SCT y)2 t=1(yt −ഥ 𝑉𝑎𝑟(𝑦) Avec 𝑽𝒂𝒓(𝒀) : l’écart type de Y et 𝑽𝒂𝒓(𝑿) : l’écart type de X. 35  Chapitre 2-V V. Équation d’analyse de la variance et tests de significativité globale Exercice n° 6 -Soient les résultats obtenus dans l’exercice précédent : Années Variable X Variable Y ෡=4,392+0,714X 𝐘 ෡ 𝐞𝐭 = 𝐘 − 𝐘 1990 20 16 18,674 -2,674 1991 24 18 21,53 -3,53 1992 28 23 24,386 -1,386 1993 22 24 20,102 3,898 1994 32 28 27,242 0,758 1995 28 29 24,386 4,614 1996 32 26 27,242 -1,242 1997 36 31 30,099 0,901 1998 41 32 33,669 -1,669 1999 41 34 33,669 0,331 TAF : 1] Calculer le coefficient de détermination et interpréter sa valeur. 36  Chapitre 2-V V. Équation d’analyse de la variance et tests de significativité globale V.3. Test de significativité globale a. Fixation des hypothèses et tableau d’analyse de la variance ▪ Le test de significativité globale consiste à tester les hypothèses suivantes : H0 : 𝑆𝐶𝐸 = 0 La relation entre 𝑋 et Y est statistiquement non significative L modèle (ou la régression) est globalement non significatif (non significative) H1 : 𝑆𝐶𝐸 ≠ 0 La relation entre 𝑋 et Y est statistiquement significative Le modèle (ou la régression) est globalement significatif (ou significative) ▪ A partir de l’équation de l’analyse de la variance on construit un tableau d’analyse de la variance qui nous permet de tester la significativité globale du modèle. Source de variation Somme des carrés DDL carrés moyens Régression (variabilité expliquée) 𝑆𝐶𝐸 = σ𝑛𝑡=1(𝑦ො𝑡 −𝑦) ത 2 1 SCE/1 Résidus (variabilité non expliqué par σ𝑛𝑡=1 𝑒𝑡 2 = σ𝑛𝑡=1(𝑦𝑡 − 𝑦ො𝑡 )2 n-2 SCR/n-2 l’équation de la régression) Variation totale 𝑆𝐶𝑇 = σ𝑛𝑡=1(𝑦𝑡 −𝑦) ത 2 n-1 37  Chapitre 2-V V. Équation d’analyse de la variance et tests de significativité globale V.3. Test de significativité globale du modèle b. Statistique du test Le test de significativité globale consiste à comparer la somme des carrés expliqués SCE à la somme des carrés des résidus SCR (chacune de ces sommes étant divisée par son degré de liberté respectif). La statistique qui nous permet de faire cette comparaison est la statistique F calculé à partir de l’échantillon comme suit : 𝑆𝐶𝐸 𝑆𝐶𝐸 σ𝑛𝑡=1(𝑦ො𝑡 −𝑦) ത 2 𝑎ො12 σnt=1(𝑥t −തx)2 𝑅2 𝑑𝑑𝑙𝑆𝐶𝐸 𝐹𝑐𝑎𝑙 = = 1 = 𝑛 1 = 𝑛 1 = 1 𝑆𝐶𝑅 𝑆𝐶𝑅 σ𝑡=1 𝑒𝑡 2 σ𝑡=1 𝑒𝑡 2 1 − 𝑅2 𝑑𝑑𝑙𝑆𝐶𝑅 𝑛−2 𝑛−2 𝑛−2 𝑛−2 𝐹𝑐𝑎𝑙 suit la loi de Fisher à 1 et n − 2 degrés de liberté. Par conséquent, 𝐹𝑐𝑎𝑙 doit être comparée à 𝐹𝑐𝑟𝑖𝑡𝑖𝑞𝑢𝑒 lue dans la table de loi de Fisher, pour conclure quant au rejet ou non de H0. 38  Chapitre 2-V V. Équation d’analyse de la variance et tests de significativité globale V.3. Test de significativité globale du modèle c. Règle de décision ▪ Si 𝐹𝑐𝑎𝑙 > 𝐹critique (1, 𝑛 − 2, α%) on rejette l’hypothèse H0 et on accepte H1 : c'est-à-dire la régression (ou le modèle) est globalement significative (ou la relation entre X et Y est significative) ▪ Si 𝐹𝑐𝑎𝑙 < 𝐹critique (1, 𝑛 − 2, α%)on rejette l’ hypothèse H1 et on accepte H0 : c'est-à-dire que la régression (ou le modèle) n’est pas globalement significative. Remarques : -Dans un modèle de régression simple, le 𝑭𝒄𝒂𝒍 est égal au carré du 𝒕𝒄𝒂𝒍 de student associé à la pente. 𝟐 𝑎ො1 ෝ𝟐𝟏 𝒂 ෝ𝟐𝟏 𝒂 ෝ𝟐𝟏 σ𝒕 𝒙𝒕 − 𝒙 𝒂 ഥ 𝟐 (𝒕𝒄𝒂𝒍 )𝟐 = = 𝟐 = = = 𝑭𝒄𝒂𝒍 ෝ 𝑎ො 1 𝝈 ෝ 𝑎ො 1 𝝈 ෝ 𝟐𝜺 𝝈 𝟏 σ𝒏𝒕=𝟏 𝒆𝒕 𝟐 σ𝒕 𝒙𝒕 − 𝒙ഥ 𝟐 𝒏−𝟐 -Tester la significativité de la régression et tester la significativité de la pente sont équivalents, uniquement pour le cas de la régression simple. 39  Chapitre 2-IV V. Analyse de la variance et coefficient de détermination Exercice n°6 - Les résultats d’une régression linéaire simple se présentent comme suit : Y𝑡 = 4,392+ 0,714 𝑋𝑡 + 𝑒𝑡 (3,97) (0,127) *Avec (3,97) l’écart type de aො 0 (0,127) l’écart type de aො 1 *Nombre d observations = 10 *Le coefficient de détermination 𝑅2 = 0,797 * 𝐹𝑐𝑟𝑖𝑡 = 5,32 TAF : 1] Tester la significativité statistique globale du modèle. 2] Interpréter vos résultats 40 Chapitre 2 : modèle de régression simple Exercices de synthèse (voir première planche des TD ) 41