Sei sulla pagina 1di 22

MODELLO DI REGRESSIONE

LINEARE
le ipotesi del modello di regressione clas-
sico,
stima con i metodi dei minimi quadrati e
di massima verosimiglianza,
teorema di Gauss-Markov,
verica di ipotesi e test di specicazione e
adattamento nel modello di regressione.
1
MODELLO DI REGRESSIONE
LINEARE
y
t
= x

t
+u
t
y
t
: variabile casuale dipendente
x

t
=
_
1, x
t1
, x
t2
, ..., x
tp
_
: vettore dei regres-
sori (deterministici o stocastici)

=
_

0
,
1,

2
, ...,
p
_
: vettore dei parametri
u
t
: componente stocastica di valore atteso
nullo
FUNZIONE DI REGRESSIONE
E(y
t
|x
t
) = x

2
NOTAZIONE MATRICIALE
y = X +u
X =
_

_
x

1
x

2
x

T
_

_
matrice TxP dei regressori
y =
_

_
y
1
y
2
y
T
_

_
vettore delle variabili risposta
u =
_

_
u
1
u
2
..
u
T
_

_
vettore delle componenti sto-
castiche
3
ASSUNZIONI DEL MODELLO DI
REGRESSIONE LINEARE CLASSICO
A0:la funzione di regressione E( y|X) = X
`e correttamente specicata
A1: u `e un vettore di T variabili casuali
indipendenti
A2: le componenti di u sono variabili casu-
ali di valore atteso nullo e varianza
2
(omoschedastiche)
A3: le componenti di u sono variabili ca-
suali normali
A4: X `e una matrice di costanti note (re-
gressori non stocastici)
A5: le colonne di X sono linearmente in-
dipendenti = XX `e invertibile
4
STIMA di ,
2
Verosimiglianza
Da y
t
= x

t
+ u
t
e per le A1, A2, A3, A4
(A4bis) si ha che le y
t
sono variabili casuali indipendenti normali con
valore atteso

t
= x

t
e varianza
2
.
QUINDI ho la verosimiglianza:
L(,
2
) =
T

t=1
1

2
2
exp
_

1
2
2
(y
t
x

t
)
2
_
e la log verosimiglianza:
L(,
2
) =
T
2
ln(2
2
)
1
2
2

t
(y
t
x

t
)
2
=
=
T
2
ln(2
2
)
1
2
2
(y X)

(y X)
5
se
2
`e noto massimizzare la log verosimiglianza
equivale a minimizzare (CRITERIO DEI MIN-
IMI QUADRATI):
Q() = (y X)

(y X)
RISULTATO FONDAMENTALE
Q() = (y X)

(y X) ha un unico minimo
in
b =
_
X

X
_
1
X

y
`e importante notare che:
y Xb = y X
_
X

X
_
1
X

y =(I
T
M) y
dove M = X
_
X

X
_
1
X

`e una matrice TxT idem-


potente (M = MM). Quindi anche (I
T
M) `e
idempotente.
6
Ne consegue
Q(b) = (y Xb)

(y Xb) =
= y

(I
T
M) y = y

y y

My =
= y

y y

X
_
X

X
_
1
X

y = y

y y

Xb
pi`u semplicemente (ma non per i calcoli)
Q(b) =

t
(y
t
x

t
b)
2
=

t
y
2
t

t
y
t
x

t
b
7
Verosimiglianza concentrata
Sostituendo b a nella log verosimiglianza si
ottiene la log verosimiglianza concentrata:
L(
2
) =
T
2
ln(2
2
)
1
2
2
Q(b)
che ha un massimo in s
2
=
Q(b)
T
.
CONCLUDENDO: gli stimatori M.V. sono
s
2
=
Q(b)
T
b=
_
X

X
_
1
X

y
8
PROPRIETA DEGLI STIMATORI
A0 - A4bisbis garantiscono che
E(b) =
E
_
T
T 1 p
s
2
_
= E
_
Q(b)
T 1 p
_
=
2
9
INFERENZA
Problemi di stima intervallare e verica ipotesi
concernenti singli coecienti di regressione
i
sono risolti a partire dai seguenti risultati (di-
mostrazione omessa) dipendenti in linea di-
retta dalla ipotesi di normalit`a indipendenza `e
identica distribuzione degli errori
10
TESTS DI WALD
1-La variabile casuale
b
i

i
_
s
2
c
ii
`e un variabile casuale pivotale di Student con
T 1 p gradi di libert`a.
2-Sotto lipotesi nulla C = c relativa a v vin-
coli lineari:
W =
1
v
(Cb c)

_
s
2
C
_
X

X
_
1
C

_
1
(Cb c)
`e una variabile casuale di tipo F con v e T1p
gradi di libert`a.
11
UN CASO PARICOLARE
y
t
=
0
+
1
x
t
+u
t
X =
_

_
1 x
1
1 x
2
.. ..
1 x
t
_

_
X

X=
_
n

x
t

x
t

x
2
t
_
;
_
X

X
_
1
=
1
n

x
2
t
(

x
t
)
2
_

x
2
t

x
t

x
t
n
_
X

y =
_

x
t

x
t
y
t
_
_
b
0
b
1
_
=
_
X

X
_
1
X

y =
_

_
y
cov(xy)
V ar(x)
x
cov(xy)
V ar(x)
_

_
12
UNA APPLICAZIONE IMPORTANTE: ef-
fetto di una condizione (on /o) sul valore
atteso di una risposta sperimentale.
y
t
= + +u
t
, i = 1, 2, 3, ....n
1
(on)
y
t
= +u
t
, i = n
1
+1, ......, n
1
+n
2
= n (o)
X =
_

_
1 1
1 1
.. ..
1 1
1 0
1 0
.. ..
1 0
_

_
13
X

X =
_
n
1
+n
2
n
1
n
1
n
1
_
;
_
X

X
_
1
=
1
(n
1
+n
2
) n
1
(n
1
)
2
_
n
1
n
1
n
1
n
1
+n
2
_
=
=
_
_
1
n
2

1
n
2

1
n
2
n
1
1
+n
1
2
_
_
X

y =
_

n
1
y
t

n
1
1
y
t
_
=
_
n
1
M
n
1
+n
2
M
n
2
n
1
M
n
1
_
_
b
0
b
1
_
=
_
X

X
_
1
X

y =
_
M
n
2
(M
n
1
M
n
2
)
_
14
VARIABILI CASUALI PIVOTALI PER
INFERENZA
Stima corretta di
2

2
=

n
1
i=1
(x
i
M
n
1
)
2
+

n2
i=n
1
+1
(x
i
M
n
2
)
2
n
1
+n
2
2
=
=
(n
1
1)S
2
n
1
+(n
2
1)S
2
n
2
n
1
+n
2
2
.
_
T
1
T
2
_
=
_

_
M
n
2

n
1
(M
n
1
M
n
2
)
_

2
_
n
1
1
+n
1
2
_
_

_
15
UN PROBLEMA INFERENZIALE
IMPORTANTE
La variabile casuale pivotale T di student con
n
1
+n
2
2 gdl:
(M
n
1
M
n
2

0
)
_

2
_
n
1
1
+n
1
2
_
`e usata per vericare lipotesi H
0
: =
0
con-
tro alternative unilaterali e bilaterali.
16
PREVISIONE
si vuole prevedere y

= x

+u cio`e la risposta
in corrispondnza di x

. Il migliore previsore `e il
valore atteso E(y

) = x

( minimizza lerrore
quadratico di previsione E
_
(y

g(x

))
2
_
). Sic-
come i parametri non sono noti si usa il previ-
sore puntuale:x

b = x

_
X

X
_
1
X

y.
Errore quadratico di previsione condizion-
ato ai regressori:
E(y

_
X

X
_
1
X

y)
2
=
= E(y

)
2
+E(x

b)
2
=
=
2
+
2
x

_
X

X
_
1
x

Intervallo di previsione a livello 1-:


x

b t
1/2,T1p
(s
2
+s
2
x

_
X

X
_
1
x

)
17
METODO EFFICIENTE PER
PREVISIONE
Supponiamo di dover prevedere
y

= X

+u

le previsioni e gli errori quadratici di previsione


sono ottenuti dalleregressione aumentata:
_
y
0
_
=
_
X 0
X

I
_ _

y

_
+
_
u
u

_
lo stimatore di y

nel modello precedente for-


nisce le previsioni X

b richieste e i corrispon-
denti elementi nella matrice varianze covari-
anze dello stimatore di
_

y

_
le stime degli er-
rori quadratici di previsione (Greene pag.309).
18
Varianza spiegata Varianza Residua Indice
di determinazione Multipla
Somma dei quadrati totale e devianza totale
q
2
T
= y

y
d
2
T
= y

yT y
2
Somma dei quadrati spiegata e devianza spie-
gata
q
2
S
= y

My
d
2
S
= y

MyT y
2
Somma dei quadrati residua e devianza residua
(concetti coincidenti)
q
2
R
= y

(I
T
M) y
d
2
R
= y

(I
T
M) y
19
I

ndice di determinazione multipla centrato, non


centrato e corretto
R
2
centr
=
y

MyT y
2
y

yT y
2
= 1
y

(I M) y
y

yT y
2
R
2
nocentr
=
y

My
y

y
R
2
corretto
= 1
y

(IM)y
Tp
y

yT y
2
T1
= 1
T 1
T p
(1 R
2
centr
)
20
CONFRONTO FRA MODELLI
Sia d
2
R1
la devianza residua del modello con p
regressori e d
2
R0
la devianza residua del mod-
ello con
i
= 0, i = 1, 2, ...., v.
la statistica
d
2
R0
d
2
R1
d
2
R1
T1p
v
`e una F di snedecor
con v e T 1 p gdl.
Confronto con quanto detto prima!!!!!
21