Métodos de Regresión

Ciencias y Técnicas Estadísticas

Soluciones ejercicios: Regresión Lineal Múltiple
Versión 3

Emilio Letón

P
n
1. Demostrar que la suma de cuadrados de los residuos b2i viene dada por
i=1

n
X t t
b2i = btb = y t y 2b X ty + b X tX b
i=1

SOLUCIÓN:

n
X t
Xb Xb
t
b2i = btb = (y yb) (y yb) = y y
i=1
t t t
= yt y yt X b Xb y + Xb X b = yt y yt X b bt X t y + bt X t X b

= yt y bt X t y bt X t y + bt X t X b = yt y t t
2b X t y + b X t X b

2. A partir del criterio mínimo cuadrático determinar que la ecuación normal del modelo de regresión lineal
múltiple viene dada por
X tX b = X ty

SOLUCIÓN:
El criterio mínimo cuadrático busca minbtb, con lo que en primer lugar hay que encontrar los puntos
estacionarios a partir de la ecuación normal, con lo que hay que plantear la ecuación
@ t
0= bb
@b

(a) que lleva, teniendo en cuenta que X t X es simétrica, a que

@ t @ t t
0= bb= yt y 2b X t y + b X t X b = 2X t y + 2 X t X b = 2 X ty X tX b
@ b @b

0 = X ty X tX b

X tX b = X ty

1
3. Demostrar que en las hipótesis de que Y = X + con rg (X) = p + 1, la resolución de la ecuación normal
del modelo de regresión lineal múltiple viene dada por

b = X tX 1
X ty

SOLUCIÓN:
Dado que rg (X) = rg (X t X) = rg (XX t ) se tiene que rg (X t X) = p + 1 y al ser X una matriz de
dimensiones (p + 1)x(p 1) se veri…ca que X t X es de rango completo y admite inversa por lo que
1 1
X tX X tX b = X tX X ty

b = X tX 1
X ty

4. Comprobar que la solución anterior cumple la condición de mínimo.

SOLUCIÓN:
Se trata de probar que la matriz
@2 t
2b b
@b
1
particularizada en b = (X t X) X t y es de…nida positiva.
Para ello se observa que

@2 t @ @ @
2b b = b btb = 2 X ty X tX b = 2X t X
@ b @ @b @b
1
con lo que hay que probar que la matriz 2X t X particularizada en b = (X t X) X t y es de…nida positiva.
Para ello basta probar que (X t X) es de…nida positiva siempre, es decir que dt (X t X) d > 0 para todo
d 6= 0: Sea d 6= 0; si se de…ne c = Xd se tiene que c 6= 0, ya que en el caso de que c = 0 se tendría que
habría una dependencia lineal entre las columnas de X lo que entraría en contradicción con que el rango
de X es completo (p + 1) : Por tanto ct c = dt (X t X) d > 0 (al ser c 6= 0) y (X t X) es de…nida positiva
1
siempre, en particular en b = (X t X) X t y:

5. Demostrar que en las hipótesis de que Y = X + con rg (X) = p + 1, el criterio mínimo cuadrático
garantiza las siguientes propiedades:

(a) X tb = 0.
(b) ybtb = 0.
Pn
(c) bi = 0 y por tanto b = 0.
i=1
Pn P
n P
n
(d) xi1bi = 0, xi2bi = 0, ..., xipbi = 0
i=1 i=1 i=1

(e) yb = y.

SOLUCIÓN:
xxx.

2
 1
6. Particularizar los resultados matriciales de b = (X t X) X t y para p = 1 y comprobar que se obtienen los
resultados del tema anterior de Regresión Lineal Simple.
SOLUCIÓN:
xxx.

7. En el modelo de Regresión Lineal Múltiple con p variables se supone que

yi = 0 + 1 xi1 + ::: + p xip + i

con i v.a.i.i.d según una N (0; ).

(a) Determinar que para cada xi1 ; :::; xip …jos se veri…ca que

1 1 2
f (yi ) = p exp 2
yi 0 1 xi1 ::: p xip
2 2

2
utilizando que si W N ( ; ) se tiene que f (w) = p1 exp 1
2 (w ) .
2 2

(b) Determinar a partir del apartado anterior la función de verosimiltud

2
l 0; 1 ; :::; p; jy1 ; :::yn :

(c) Determinar los estimadores máximo verosímiles b M V y b2M V (sin demostrar la condición de máximo).
1
(d) ¿Por qué b M V coincide con el estimador mínimo cuadrático b = (X t X) X t y?

SOLUCIÓN:

(a) Por ser i N (0; ), para cada xi1 ; :::; xip …jos se tiene, al ser yi = 0 + 1 xi1 + ::: + p xip + i ; que
q
yi N E 0+ 1 xi1 + ::: + p xip + i ; V 0 + 1 xi1 + ::: + p xip + i

p
yi N 0 + 1 xi1 + ::: + p xip + E [ i] ; V [ i]
p
yi N + 2
0 1 xi1 + ::: + p xip + 0;

yi N 0 + 1 xi1 + ::: + p xip ;

2
por lo que f (yi ) = p1 exp 1
yi
2 2 2 0 1 xi1 ::: p xip :
(b) La función de verosimilitud viene dada por
n
Y
2 1 1 2
l 0; 1 ; :::; p; jy1 ; :::yn = p exp 2
yi 0 1 xi1 ::: p xip
i=1
2 2

n
!
1 X
n=2
1 2
= 2
exp 2
yi 0 1 xi1 ::: p xip
2 2 i=1
n=2
1 1 t
= 2
exp 2
(y X ) (y X ) :
2 2

3
 (c) El logaritmo neperiano de la función de verosimilitud viene dado por

2 n n 2 1 t
Lnl ; jy1 ; :::yn = Ln (2 ) Ln 2
(y X ) (y X )
2 2 2
n n 1
= Ln (2 ) Ln 2 yt y 2 t X t y + t
X tX
2 2 2 2
con lo que los puntos críticos son solución del sistema dado por
@ 2
Lnl ; jy1 ; :::yn = 0
@
@ 2
Lnl ; jy1 ; :::yn = 0
@ 2
y al ser X t X simétrica por
1
2
2X t y + 2X t X =0
2
n 1 1 t
2
+ 4 (y X ) (y X )=0
2 2
y, por tanto, al ser rg (X) = p + 1; por

b 1
MV = X tX X ty

1 t
b2M V = (y X ) (y X )
n
(d) Al ser
n=2
2 1 1 t
Lnl ; jy1 ; :::yn = 2
exp 2
(y X ) (y X )
2 2
n=2
1 1
= 2
exp 2
btb
2 2
se tiene que maximizar la exponencial negativa del exponente, equivale a minimizar el exponente.

8. Demostrar que la interpretación geométrica de considerar a yb como la proyección sobre el espacio generado
por los vectores 1; X1 ; :::; Xp conlleva a que X tb = 0.
SOLUCIÓN:
xxx.
1
9. Si se de…ne la matriz “hat” H como H = X (X t X) X t y su complementaria M como M = Id H
demostrar las siguientes propiedades:
1
(a) Los elementos hii de la diagonal de la matriz H veri…can que hii = xti (X t X) xi , siendo xti =
(1; xi1 ; :::; xip ).
(b) H y M tienen de dimensión n por n.
(c) HX = X.
(d) M X = 0.
(e) b = M y.
(f) b = M .

4
(g) H t = H y M t = M (H y M son simétricas).
(h) HH = H y M M = M (H y M son idempotentes).
(i) tr (H) = p + 1 y tr (M ) = n p 1.
(j) rg (H) = p + 1 y rg (M ) = n p 1.
t
(k) btb = t
M = yt M y = yt y b X t y.

(l) t
H = t
btb.

SOLUCIÓN:

(a) La matriz H es la matriz ”hat”, que es la que pone el gorro a la y, es decir yb = Hy. Por otra parte
1 1
yb = X b = X (X t X) X t y. Por tanto, se veri…ca que H = X (X t X) X t :
1
Si se denota por (qij ) = (X t X) , que tiene dimensión (p + 1) x (p + 1) y se realiza el producto
matricial, se tiene que
0 10 10 1
1 x11 ::: x1p q11 q12 ::: q1p+1 1 1 ::: 1
B 1 x21 ::: x2p CB q21 q22 ::: q2p+1 CB x11 x21 ::: xn1 C
B CB CB C
H=B CB CB C
@ :: ::: ::: ::: A@ :: ::: ::: ::: A@ :: ::: ::: ::: A
1 xn1 ::: xnp qp+11 qp+12 ::: qp+1p+1 x1p x2p ::: xnp
0 10 1
xt1 q1 xt1 q2 ::: xt1 qp+1 1 1 ::: 1
B xt2 q1 xt2 q2 ::: xt2 qp+1 CB x11 x21 ::: xn1 C
B CB C
=B CB C
@ :: ::: ::: ::: A@ :: ::: ::: ::: A
xtn q1 xtn q2 ::: xtn qp+1 x1p x2p ::: xnp

Por lo que
1
hii = xti q1 xti q2 ::: xti qp+1 xi = xti q1 q2 ::: qp+1 xi = xti X t X xi

1
(b) Como (X t X) es de dimensión (p + 1) x (p + 1) y X de dimensión (n) x (p + 1), se tiene que H es
de dimensión nxn y, al ser M = Id H, se tiene que M también es de dimensión nxn
(c) HX = X.
(d) M X = 0.
(e) b = M y.
(f) b = M .
(g) H y M son simétricas ya que H t = H y M t = M :
t h i h i
1 t 1 t t 1
H t = X X tX Xt = Xt X tX Xt = X X tX Xt

1
= X X tX Xt = H
t
M t = (I H) = I t Ht = I H=M

5
 (h) H y M son idempotentes ya que HH = H y M M = M :
1 1 1 1
HH = X X t X Xt X X tX X t = X X tX X tX X tX Xt

1
= X X tX Xt = H
M M = (I H) (I H) = I H H + HH = I H H +H =I H=M

(i) Al veri…carse que tr (ABC) = tr (CAB) = tr (BCA) ; se tiene que

1 1
tr (H) = tr X X t X X t = tr X tX X t X = tr (Ip+1 ) = p + 1

tr (M ) = tr (In H) = tr (In ) tr (H) = n p 1

(j) Al ser H y M simétricas e idempotentes se tiene que su rango es igual a su traza.

(k) btb = t
M = yt M y = yt y b t X t y.

b= y yb = y Hy = (I H) y = M y

b= y yb = M y = M (X + ) = M X + M = (I H) X + M
= (X HX) + M = (X X) + M = 0 + M = M

Por lo que
t
btb = (M ) M = t
MM = t
M
t t t t
b b = (M y) M y = y M M y = y M y
t
y t M y = y t (I H) y = y t y y t Hy = y t y yt X b = yt y yt X b = yt y bt X t y

(l) t
H = t
btb.
1
10. Si se de…ne la matriz de ortogonalización C como C = (X t X) X t demostrar las siguientes propiedades:

(a) b = Cy.
(b) CX = Id.
1
(c) CC t = (X t X) = (qij ).
(d) b = +C .

SOLUCIÓN:

(a) xxx.
1
(b) CX = (X t X) X t X = Id.
(c) Se tiene que

1 1 t 1 t 1 t
CC t = X t X Xt X tX Xt = X tX Xt Xt X tX

1 t 1 1 1
= X tX Xt X X tX = X tX X t X X tX

1 1 1
= X tX X tX X tX = X tX

6
 1
(d) b = (X t X) X t y = Cy = C (X + ) = CX + C = +C .

11. Demostrar que en las hipótesis de que Y = X + con rg (X) = p + 1 y v.a. con E [ ] = 0, se tiene que
b es centrado para .

SOLUCIÓN:
xxx.
2
12. Demostrar quehenilas hipótesis de que Y = X + con rg (X) = p + 1 y v.a. con E [ ] = 0 y V [ ] = Id
1
se tiene que V b = 2 (X t X) .

SOLUCIÓN:
xxx.
h i
1
13. Particularizar los resultados matriciales de V b = 2 (X t X) para p = 1 y comprobar que se obtienen
los resultados del tema anterior de Regresión Lineal Simple.
SOLUCIÓN:
xxx.

14. Demostrar que CM = 0.

SOLUCIÓN:
xxx.

15. Enunciar y demostrar el Teorema de Gauss-Markov.

SOLUCIÓN:
xxx.
2
16. Demostrar que en las hipótesis de que Y = X + con rg (X) = p + 1 y v.a.N 0; Id se tiene que
b N ; 2 (X t X) 1 .

SOLUCIÓN:
xxx.

17. Demostrar que en las hipótesis de que Y = X + con rg (X) = p + 1 y v.a. con E [ ] = 0, se tiene que
E [b] = 0.
SOLUCIÓN:
xxx.
2
18. Demostrar que en las hipótesis de que Y = X + con rg (X) = p + 1 y v.a. con E [ ] = 0 y V [ ] = Id
se tiene que:

(a) E bbt = 2
M.
t 2
(b) E b b = tr (M ).
2
(c) V [b] = M.
2
(d) V [bi ] = (1 hii ) siendo hii = Diag (H).

7
 SOLUCIÓN:
xxx
2
19. Demostrar que en las hipótesis de que Y = X + con rg (X) = p + 1 y v.a.N 0; Id se tiene que
1 t 2
2b b n p 1:

SOLUCIÓN:
xxx
1 t
20. ¿Qué hipótesis son las mínimas necesarias para demostrar que sbb2 = n p 1b b es centrado para 2
?

21. Demostrar que b y b son independientes.

p
22. Deducir que el IC (1 ) % ( i ) viene dado por b i tn bb
p 1; =2 s qii .

2 sb2
(n p 1)b sb2
(n p 1)b
23. Deducir que el IC (1 )% viene dado por 2 ; 2 .
n p 1; =2 n p 1;1 =2

24. Demostrar que SCT = SCE + SCR.

25. Ejercicios Peña (2002) Temas 7,8,9,11,13.