Séance 6 – Hétéroscédasticité PDF

Séance 6 – Hétéroscédasticité Mathieu Marcoux Université de Montréal 4 novembre 2024  Plan du cours Introduction Définition et conséquences de l’hétéroscédasticité Inférence robuste à l’hétéroscédastici...

Séance 6 – Hétéroscédasticité Mathieu Marcoux Université de Montréal 4 novembre 2024  Plan du cours Introduction Définition et conséquences de l’hétéroscédasticité Inférence robuste à l’hétéroscédasticité Les moindres carrés pondérés (MCP) Les moindres carrés généralisés (MCG) Les moindres carrés quasi généralisés (MCQG) Tests d’hétéroscédasticité Intro Définition Inférence robuste MCP MCG MCQG Tests Homoscédasticité Jusqu’à maintenant, nous avons toujours supposé l’homoscédasticité   H4: Erreurs sphériques. E ε2 X = σ 2 ∀i et E [ εi εj | X] = 0 ∀i ̸= j i Une conséquence importante de l’homoscédasticité est que: V [ yi | X] = V xi′ β + εi X = V [ εi | X] = σ 2   La variance de yi est la même pour toutes les observations Ex: On s’intéresse à la relation entre les dépenses hebdomadaires en nourriture d’un ménage (Yi ) et le revenu hebdomadaire de ce ménage (Xi ) 1 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Représentations graphiques Homoscédasticité: le nuage de points entre yi et un xik devrait se disperser autour de la droite de régression à peu prés de la même façon peu importe xik Hétéroscédasticité: nuage de points avec dispersion irrégulière 2 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Conséquence et solutions Conséquence de l’hétéroscédasticité: le théorème de Gauss-Markov ne tient plus L’estimateur des MCO n’est pas BLUE On peut corriger la variance de β̂ Écarts-types robustes à l’hétéroscédasticité Des versions modifiées de l’estimateur des MCO seront BLUE Moindres carrés pondérés (MCP) Moindres carrés généralisé (MCG) et quasi généralisés (MCQG) 3 / 20  Plan du cours Introduction Définition et conséquences de l’hétéroscédasticité Inférence robuste à l’hétéroscédasticité Les moindres carrés pondérés (MCP) Les moindres carrés généralisés (MCG) Les moindres carrés quasi généralisés (MCQG) Tests d’hétéroscédasticité Intro Définition Inférence robuste MCP MCG MCQG Tests Définition de l’hétéroscédasticité Comme avant, nous supposons que E [ εi εj | X] = 0 ∀i ̸= j   Cependant, E ε2i X = σi2 tel que σi2 ̸= σj2 si i ̸= j H4 ne tient plus Alors, les erreurs sont dites hétéroscédastiques et: σ12   0... 0 0 σ22... 0 = diag σ12 , σ22 ,... , σN2 = Σ   V [ ε| X] = ............ 0 0... σN2 Nous utiliserons la notation V [ ε| X] = Σ ̸= σ 2 IN pour dénoter la matrice de variance-covariance des erreurs hétéroscédastiques 4 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Conséquences de l’hétéroscédasticité   L’estimateur des MCO reste non biaisé, c’est-à-dire E β̂ MCO = β L’hétéroscédasticité n’affecte pas E [ ε| X] = 0 (H3) p L’estimateur des MCO demeure convergent, c’est-à-dire β̂ MCO → β L’hétéroscédasticité n’empêche pas E [xi εi ] = 0 ∀i Cependant, V β̂ MCO X = (X′ X)−1 X′ ΣX (X′ X)−1 ̸= σ 2 (X′ X)−1   Preuve: L’inférence statistique (tests d’hypothèse et intervalles de confiance) basés sur −1 V β̂ MCO X = σ 2 (X′ X) n’est plus valide   Il existe des estimateurs plus efficaces que les MCO 5 / 20  Plan du cours Introduction Définition et conséquences de l’hétéroscédasticité Inférence robuste à l’hétéroscédasticité Les moindres carrés pondérés (MCP) Les moindres carrés généralisés (MCG) Les moindres carrés quasi généralisés (MCQG) Tests d’hétéroscédasticité Intro Définition Inférence robuste MCP MCG MCQG Tests h i Estimation de V β̂ MCO X   L’inférence robuste requiert l’estimation de V β̂ MCO X Dans un des papiers les plus cités en économétrie, White (1980) propose:
−1
−1 V̂W β̂ MCO X = X′ X X′ Σ̂X X′ X   où ε̂21   0... 0 0 ε̂22... 0 = diag ε̂21 , ε̂22 ,... , ε̂2N   Σ̂ = ............  0 0... ε̂2N 6 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Inférence robuste “Robuste”: que les erreurs soient hétéroscédastiques ou homoscédastiques p
−1
−1 V̂W β̂ MCO X → X′ X X′ ΣX X′ X     = V β̂ MCO X Par exemple, on peut montrer que pour tester H0 : βk = βk0 :
β̂k,MCO − βk0 d t β̂k,MCO = q   → Normale (0, 1) V̂W β̂k,MCO X   Important: les bonnes propriétés de V̂W β̂ MCO X sont asymptotiques Nous pouvons seulement dériver des distributions de statistiques de test et des intervalles de confiance asymptotiques Les lois exactes ne sont pas connues, même si les erreurs sont normalement distribuées 7 / 20  Plan du cours Introduction Définition et conséquences de l’hétéroscédasticité Inférence robuste à l’hétéroscédasticité Les moindres carrés pondérés (MCP) Les moindres carrés généralisés (MCG) Les moindres carrés quasi généralisés (MCQG) Tests d’hétéroscédasticité Intro Définition Inférence robuste MCP MCG MCQG Tests Intuition des MCP On veut calculer les MCO sur des données préalablement transformées pour rendre les erreurs homoscédastiques Le modèle transformé satisfait H1 - H4 (Gauss-Markov s’applique) MCP: on connaı̂t la forme de l’hétéroscédasticité Soit le modèle de régression linéaire suivant: yi = xi′ β + εi   où E [ εi | X] = 0 ∀i, E ε2i X = σi2 = σ 2 h (xi ) ∀i et E [ εi εj | X] = 0 ∀i ̸= j En particulier, nous supposons que l’hétéroscédasticité est telle que σ 2 = σ 2 h (xi ) où h (·) est une i 2) fonction réelle positive (par exemple, h (xi ) = exp {xi1 } ou h (xi ) = xi2 Ex: 8 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Transformation des MCP p √ Divisons le modèle par la racine (positive) de h (xi ) dénotée h (xi ) ≡ hi yi x′ β εi √ = √i + √ hi hi hi Cette racine existe puisque h (·) > 0 √ √  √ √ ′ √ Soient: y ∗ = yi / hi , x∗ = xi / hi = xi1 / hi ,... , xiK / hi et ε∗ = εi / hi i i i En notation matricielle: y∗ = X∗ β + ε∗ y∗ = H−1/2 y, X∗ = H−1/2 X et ε∗ = H−1/2 ε √ √   √ √  H = diag [h1 ,... , hN ], H1/2 = diag h1 ,... , hN et H−1/2 = diag 1/ h1 ,... , 1/ hN 9 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Vérification de H1-H4 H1: Linéarité en paramètres. H2: Plein rang. H3: Orthogonalité (exogénéité stricte). H4: Erreurs sphériques. 10 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Le modèle MCP satisfait Gauss-Markov L’estimateur BLUE de β avec erreurs hétéroscédastiques telles que σi2 = σ 2 h (xi ) correspond à l’estimateur des MCO appliqué au modèle transformé Cet estimateur est l’estimateur des MCP:
−1
−1 β̂ MCP = X∗′ X∗ X∗′ y∗ = X′ H−1 X X′ H−1 y √ En pratique, on doit d’abord transformer chaque observation en divisant yi et xi par hi. Ensuite, on estime le modèle transformé par MCO. 11 / 20  Plan du cours Introduction Définition et conséquences de l’hétéroscédasticité Inférence robuste à l’hétéroscédasticité Les moindres carrés pondérés (MCP) Les moindres carrés généralisés (MCG) Les moindres carrés quasi généralisés (MCQG) Tests d’hétéroscédasticité Intro Définition Inférence robuste MCP MCG MCQG Tests Un cas plus général: les MCG L’estimateur des MCP est un cas particulier d’une classe d’estimateurs plus générale, soit les moindres carrés généralisés (MCG) Nous voulons considérer n’importe quelle matrice V [ ε| X] = Σ, pourvu que Σ soit une fonction de X Toute matrice de variance-covariance est symétrique et définie semi-positive L’idée est la même: transformer le modèle pour satisfaire H1-H4 MCP: une forme spécifique d’hétéroscédasticité Permet aussi de traiter E [ εi εj | X] ̸= 0 Nous pouvons toujours trouver une matrice inversible C telle que: Σ−1 = C′ C Peut-être obtenue par la décomposition de Cholesky MCP: H−1 = H−1/2 H−1/2 puisque H−1/2 était diagonale 12 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Transformation des MCG Soient y∗ = Cy, X∗ = CX et ε∗ = Cε: y∗ = X∗ β + ε∗ Alors V [ ε∗ | X] = IN (homoscédasticité des erreurs transformées) Preuve que les éléments de ε∗ sont homoscédastiques et non corrélés L’estimateur des MCO pour le modèle transformé est l’estimateur des MCG:
−1 −1 β̂ MCG = X∗′ X∗ X∗′ y∗ = (CX)′ (CX) (CX)′ (Cy) 
−1
−1 = X′ C′ CX X′ C′ Cy = X′ Σ−1 X X′ Σ−1 y 13 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Propriétés des MCG Notons que, comme nous avions fait pour les MCO:
−1
−1 β̂ MCG = X′ Σ−1 X X′ Σ−1 y = β + X′ Σ−1 X X′ Σ−1 ε   β̂ MCG est sans biais, c’est-à-dire E β̂ MCG X = β, si Σ est une fonction de X Preuve:
−1 V β̂ MCG X = X′ Σ−1 X   Preuve: β̂ MCG est BLUE β̂ MCG est normalement distribué si ε est normalement distribué 14 / 20  Plan du cours Introduction Définition et conséquences de l’hétéroscédasticité Inférence robuste à l’hétéroscédasticité Les moindres carrés pondérés (MCP) Les moindres carrés généralisés (MCG) Les moindres carrés quasi généralisés (MCQG) Tests d’hétéroscédasticité Intro Définition Inférence robuste MCP MCG MCQG Tests Intuition des MCQG MCQG est une version “faisable” des MCG MCG est “infaisable” puisque Σ n’est pas connu par l’économètre MCQG remplace Σ par un estimé Comparaison avec σ 2 dans le cas homoscédastique Pour un estimateur de Σ donné, disons Σ̂, l’estimateur des MCQG est:  −1 −1 −1 β̂ MCQG = X′ Σ̂ X X′ Σ̂ y Impossible de calculer β̂ MCQG et Σ̂ simultanément, sans structure sur Σ 15 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Estimation de Σ On peut d’abord estimer Σ à partir d’un estimateur convergent des résidus du modèle et ensuite calculer β̂ MCQG à partir des données transformées Malgré l’hétéroscédasticité, β̂ MCO est sans biais et convergent Alors ε̂ = y − Xβ̂ MCO est un estimateur sans biais et convergent de ε Les propriétés à échantillon fini de β̂ MCQG ne sont pas connues Raison: β̂ MCQG est une fonction non linéaire de Σ̂ p p p Cependant, puisque ε̂ → ε nous avons Σ̂ → Σ et β̂ MCQG → β̂ MCG De plus, β̂ MCQG et β̂ MCG ont la même loi asymptotique 16 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests MCQG en pratique Un exemple de structure que nous pouvons imposer sur Σ:    E ε2 X = exp z′ γ ∀i, E [ εi εj | X] = 0 ∀i ̸= j i i Z est souvent une transformation de X La procédure à suivre est la suivante: 1) Estimer le modèle par MCO et récupérer ε̂ = y − Xβ̂ MCO   2) Estimer γ par MCO dans la régression ln ε̂2i = z′i γ + µi     Note: ε2 = exp i z′i γ exp {µi } satisfait E ε2i X = exp z′i γ si E [ exp {µi }| X] = 1  3) Transformer les données en utilisant Σ̂ où Σ̂ii = exp z′i γ̂ 4) Calculer β̂ MCQG en appliquant l’estimateur des MCO aux données transformées 17 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Et si on se trompe sur la structure de Σ? Mêmes problèmes que si on calculait les MCO avec hétéroscédasticité L’estimateur des MCQG est convergent, mais inefficace L’inférence sera incorrecte Avantage de l’inférence robuste à l’hétéroscédasticité (White) Il ne faut pas spécifier Σ Alors, pourquoi ne pas simplement toujours utiliser l’estimateur de White? Généralement, cette méthode génère des écarts-types qui sont plus grands qu’un MCQG correctement spécifié Il existe des cas où on connait la structure de Σ 18 / 20 Intro Définition Inférence robuste MCP MCG MCQG Tests Exemple: données aggrégées Supposons que nos données concernent des entreprises provenant de différentes industries. Supposons que les erreurs associées à chacune des entreprises soient iid avec une variance σ 2. Malheureusement, pour chaque industrie, nous observons seulement la moyenne des variables d’intérêt plutôt que les observations associées à chaque entreprise. Par exemple, pour l’industrie j où Nj entreprises ont été utilisées pour construire les données, nous observons: Nj Nj 1 X 1 X Nj , ȳj = yij et x̄j = xij Nj Nj i=1 i=1 −1 PNj Nous nous intéressons au modèle ȳj = x̄j′ β + ε̄j où ε̄j = Nj i=1 εij. 19 / 20  Plan du cours Introduction Définition et conséquences de l’hétéroscédasticité Inférence robuste à l’hétéroscédasticité Les moindres carrés pondérés (MCP) Les moindres carrés généralisés (MCG) Les moindres carrés quasi généralisés (MCQG) Tests d’hétéroscédasticité Intro Définition Inférence robuste MCP MCG MCQG Tests Tests d’hétéroscédasticité Soit le modèle: yi = xi′ β + εi avec E [ εi | X] = 0 Soient H0 : V [ εi | X] = σ 2 et H1 : V [ εi | X] = z′i δ = δ1 + zi2 δ2 + · · · + ziL δL En d’autres mots, nous voulons tester H0 : δ2 = δ3 = · · · = δL = 0 dans le modèle ε2 = z′ δ + νi i i Cependant, puisque ε2 n’est pas observé, nous le remplaçons par ε̂2 i i L − 1 contraintes linéaires testées par un test de Fisher ou un test de Wald Comment choisir les variables à inclure dans zi ? La théorie économique propose parfois des variables assez naturelles White (1980) suggère d’utiliser les carrés x 2 , k = 1,... , K et les produits croisés xik xij , ik k, j = 1,... , K et k ̸= j Cependant, inclure trop de variables n’est pas recommandé: inclure des variables inutiles accroı̂t la variance 20 / 20