Stima del Modello di Regressione Lineare - Lezione III

Stima del Modello di Regressione Lineare

• Consideriamo tre modelli: generalizzato, ad errori eteroschedastici e classico
• Possibili stimatori: GLS (minimi quadrati generalizzati), OLS (minimi quadrati ordinari), MM (metodo dei momenti) e ML (massima verosimiglianza)

Stimatori OLS

• Lo stimatore dei minimi quadrati ordinari (OLS) è il punto β̂ dello spazio dei parametri che minimizza la somma dei quadrati dei residui
• La somma dei quadrati dei residui è Q(β̃) = ∑ε̃²i = ε̃′ε̃
• Lo stimatore OLS è β̂ = (X′X)⁻¹X′y
• Proprietà dello stimatore OLS: • Correttezza: E(β̂|X) = β • Linearità: β̂ = (X′X)⁻¹X′y = Ax y, Ax = (X′X)⁻¹X′ • Varianza: V(β̂|X) = (X′X)⁻¹X′ΣX(X′X)⁻¹

Stimatori GLS

• Lo stimatore dei minimi quadrati generalizzati (GLS) è il punto β̂ dello spazio dei parametri che minimizza la somma ‘generalizzata’ dei quadrati dei residui
• La somma ‘generalizzata’ dei quadrati dei residui è QΣ(β̃) = ε(β̃)′Σ⁻¹ε(β̃)
• Lo stimatore GLS è β̂ GLS = (X′Σ⁻¹X)⁻¹X′Σ⁻¹y
• Proprietà dello stimatore GLS: • Correttezza: E(β̂GLS|X) = β • Varianza: V(β̂GLS|X) = (X′Σ⁻¹X)⁻¹ • Teorema di Aitken: β̂GLS è lo stimatore a minima varianza nella classe degli stimatori lineari e corretti (BLUE)

Teorema di Aitken

• Sotto le ipotesi effettuate, lo stimatore GLS è efficiente (a minima varianza) nella classe degli stimatori lineari e corretti
• Dimostrazione: abbiamo già visto che β̂GLS è lineare e corretto, quindi calcoliamo la varianza di un generico stimatore lineare e corretto β̃ e dimostriamo che V(β̃|X) >= V(β̂GLS|X)### Trasformazione della Regressione
• La regression Lineare y = Xβ + ε può essere trasformata in un'altra regressione che soddisfa le condizioni di Gauss-Markov (G-M).
• Ciò può essere fatto utilizzando una matrice di trasformazione T.

Proprietà della Trasformazione

• La nuova componente stocastica ε̃ soddisfa E(ε̃|X) = 0 e la sua varianza è V(ε̃|X) = T ΣT′.
• La matrice Σ può essere scomposta in Σ = QΛQ′, dove Λ è la matrice degli autovalori e Q è la matrice degli autovettori.

Scelta della Matrice di Trasformazione

• Vogliamo T tale che T ΣT′ = In.
• La matrice di trasformazione T può essere scelta come T = Λ^{-1/2}Q′.
• Ciò porta a V(ε̃|X) = In.

Stima del Coefficiente β

• Lo stimatore BLU (Best Linear Unbiased Estimator) è dato da β̂ = (X̃′X̃)^{-1}X̃′ỹ.
• Lo stimatore può essere riscritto come β̂ = (X′Σ^{-1}X)^{-1}X′Σ^{-1}y.
• Ciò dimostra che lo stimatore BLU è anche lo stimatore GLS (Generalized Least Squares).

Caso di Stima GLS

• Lo stimatore GLS non è sempre calcolabile, ma dipende dalla matrice di varianza-covarianza Σ.
• Ci sono alcuni casi in cui lo stimatore GLS può essere calcolato:
  • Caso 1: Σ = σ²In (Maximum Likelihood classico)
  • Caso 2: ML con eteroschedasticità
  • Caso 3: Dati aggregati
  • Caso 4: Break strutturale nella varianza

Caso 2: ML con Eteroschedasticità

• Esempio: la varianza di εi dipende da una variabile zi
• Lo stimatore GLS è calcolabile e corrisponde allo stimatore dei minimi quadrati ponderati.

Caso 3: Dati Aggregati

• Esempio: dati aggregati di consumo e reddito
• Lo stimatore GLS è calcolabile e corrisponde allo stimatore dei minimi quadrati ponderati.

Caso 4: Break Strutturale nella Varianza

• La varianza di εi cambia in corrispondenza di una particolare osservazione
• Lo stimatore GLS è calcolabile, ma dipende da σA² e σB².
• Possiamo stimare σA² e σB² utilizzando i residui OLS.