Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Modelos
Lineales
Modelos Rango completo
Modelos Lineales
2
1
1 2 = 1
2 2 = 1
1 2 2 2
con lo que podemos notar que al adicionar variables el coeficiente de
determinacin no se reduce sin embargo es importantante saber que adicionar
muchas variables no siempre ser lo mas adecuado ya que dependiendo d ela
relacin que exista en entre las variables esta pueden no adicionar valor y suele
ser mas costoso
2. Sea x1, x2, , xn una muestra aleatoria con media . Considere el modelo lineal
yi= + (xi - ) + i, i=1,n y los supuestos del MLC. Mostrar que el MELI de y
no estn correlacionados.
Sol:
3. Suponga que xi, yi y zi, i=1,n, son 3n observaciones independientes con
varianza comn igual a 2 y expectativas iguales a E(x i)=1, E(yi)= 2 y E(zi)=
1-2, i=1,n. Encontrar el MELI de 1, 2 y calcular la suma de cuadrados
residual.
Sol:
Sea la muestra aleatoria: x1, x2,, xn con densidad de probabilidad conjunta
depende del parmetro desconocido .
Como se estableci entonces = =1 xn (i) donde las constantes
deben ser determinadas.
Modelos Lineales
Sea = (1 ) y = (1 ) entonces: = =1 xn = x
Adems por ser insesgado ( ) = ( ) = ( ) = (ii)
( ) = ( )( ) = [ (x ( ))(x ( )) ] = ( ).
= 2 1
Por otro lado la ecuacin:
=
1=0
1 = 2 1
Finalmente: =
1
1
1
1
x.
El MELI de 1 es 1 =
1 =
1
1
2
1n[
0
2
1 [
0
, done s=1
0
]
2
0
]
2
[ ..2 ]
Modelos Lineales
El MELI de 2 es 2 =
1
1
Donde s=1 .
2 =
2
1n[
0
2
1 [
0
0
]
2
0
]
2
[ ..2 ]
= .
Nos piden la suma residual. Entonces creo que debemos plantear un modelo
con las variables implicadas en el problema.
Sea los vectores
1
2
X= .
.
[ ]
1
1
2
2
Y= .
,Z= .
.
.
.
[ ]
[ ]
Sea = - + / E( )= 0.
Si le tomamos esperanza cumple la condicin E(zi)= 1-2.
Entonces planteamos el modelo.
1
Z = [|] [ ] + .
1
Sea = , =[|] .
= +
Se sabe que:
= , donde es idempotente.
Ahora la suma de cuadrados residual.
Modelos Lineales
|| = ( ) 1 ( ) = 2n
=1
=1
Sea = (1 ) y = (1 ) entonces : = 1
=0 xn =
adems por ser insesgado ( ) = ( ) = ( ) = (2) y ( ) =
Modelos Lineales
b(, ) = ( 1)
= 2 = 0
= 2 1 .
Por otro lado la ecuacin:
=
1=0
1 = 2 1
1
Finalmente: = 1
1
Por lo tanto el MELI es = 1
1 2
)
2
0
1 2
Entonces s=1n
=
(1n)(
1 2
(1n)(
)(1
0
)(1n)
=1 xi
2
=1
=1 xi
=1
2
1
.
.
2
(, )
= . , . como una v. a, tambin = [ ], = (
)
(, )
.
.
[ ] [ ]
= ( ())( ())
= [
11
] (, ) =
Modelos Lineales
= [
(, )
]=[
] = [
(, )
Con este resultado comprobamos que con 1 = 11 es la nica manera de que exista el
modelo de regresin y adems 1 = 11
Sabiendo que xNp (,), y= cov (y) y la varianza del trmino de perturbacin del
mencionado modelos es 2 que ese es el supuesto
Sea el modelo:
Modelos Lineales
Y=X +.
Tenemos a la matriz de datos X.
11
X=[
1
12 . .
X1
1
];
X2
1
2
.
=
.
.
[ ]
, = 1
Xn
Ahora denominamos a la Matriz Xc. donde sus componentes son las desviaciones respecto
a la media muestral
11 1
Xc = [
1 1
12 2
2 2
1 2 .
1 2 . . . . ..
1
.
] = Xnxp .
1
[
.
.
= X 1n
Finalmente:
Tenemos al
1
Xc = X 1n = X - 1n 1 = (In
)X
Entonces la matriz que transforma matriz de datos en desviaciones con respect a la media
es
M0 =(In
Modelos Lineales
(IV)
Haciendo la equivalencia entre la expresin (III) (IV) tenemos que la forma matricial del
SCE es igual a x M0 X , siendo M0 la matriz de centralidad.
10. Sea el vector aleatorio (y, x1, , xp) cuya matriz de covarianzas es:
2 u '
V
u
donde es una matriz definida positiva de orden p. Calcule la lnea de regresin
y el coeficiente de correlacin mltiple entre y y las variables explicativas.
Sol:
11. Sea el vector aleatorio (y, x1, , xp) cuya matriz de covarianzas es:
2 u '
V
u
donde es una matriz definida positiva de orden p. Demuestre que el coeficiente
de correlacin mltiple entre y y x1, x2, , xp es: u-1u/2.
Sol:
Para demostrar debemos tener en cuenta los siguientes teoremas
2
( )
= 1
Entonces, max
0
= max
0
()( )
= max
0
1 1
2 2 2 2
1 1
2 2
Modelos Lineales
1
max
2 2
= 1 .. (i)
1
( 2 2 ) = min{ (2 ) , ( 2 )}
Tomando la Tr.
1
(2 2 ) = ( 1 ) = 1 = 1 . (ii)
Ahora de (i) y (ii)
1
max
2 2
= 1
= max
0
( ((, ))
()( )
2
( )
1
= max 2 =
0
2
Por tanto queda demostrado que el coeficiente de correlacin mltiple o correlacin
mxima queda como:
2
(
=
1 2 )
1
2
12. Sea el modelo lineal general de trmino constante sobre p-1 variables
explicativas. Considere un conjunto alternativo de variables explicativas Z=XP
tal que P es una matriz no singular. Probar que los residuos obtenidos con
ambas variables explicativas son los mismos.
Sol:
Modelos Lineales
Sea el Modelo
Y=X +.
Y = 0 + 1X1 + 2X2 +................. + p+1Xp+1 +
Expresando matricialmente.
1
2
11
.
. =[
1
.
.
[ ]
1
0
2
12 . . 1 1
.
] .
+ .
.
.
.
.
[1 ]
[ ]
x = (I - x(xx)-1x)Y
.. (ii)
Anlogamente tenemos para Z
z = (I - z(zz)-1z)Y
(iii)
z = ( I XP(PXXP)-1PX)Y
= (I X(PP-1)XX(P-1P)X)Y
= (I - X(XX)-1X)Y
= (Mx)Y = x
Para este caso particular no es relevante la presencia del termino constante, Asi con todo lo
expuesto podemos decir que :
Los Residuos obtenidos por ambos represores ( Z=XP X ) son los mismos .
Modelos Lineales
z = x.
Sol:
Y=XB + .
Y = 0 + 1X1 + 2X2 +................. + p+1Xp+1
1
2
11
.
. =[
1
.
.
[ ]
1
0
2
1
12 . . 1
.
] .
+ .
.
+2
.
.
.
[+1 ]
[ ]
Sabemos que:
Modelos Lineales
Tenemos :
z = ( I XP(PXXP)-1PX)Y
= (I X(PP-1)XX(P-1P)X)Y
= (I - X(XX)-1X)Y
= (Mx)Y = x
Como z = x
z. z = x. x ( )
Debemos Demostrar R2x = R2z . En este problema es importante la presencia del trmino
constante.
R2 x =
R2z =
2
)
x.x
(
=
1
=
1
2
=1-
=1-
z. z
2
R2x = R2z con esto podemos decir que cuando se un conjunto alternativo de
regresores el ajuste del modelo se mantiene.
Prueba.
a)
Hiptesis
ynx1 (, 2 I) , Ran(X) = K+1
()()
= (0 , 1 ) , = ( )1 , 2 =
.
Modelos Lineales
Tesis:
+1 (, 2 (X X)1 )
Sol:
P.H
Decimos que es el estimador de mnimos cuadrados que es igual a ( )1 .
Entonces definimos una matriz A k+1xn = ( )1 un matriz de constantes
El = Ay, Ahora por por una transformacin lineal de y (una variable aleatoria
normal), entonces se distribuye como una normal.
Sabiendo que es una normal. Calculamos los parmetros de la variable aleatoria.
Ahora sabemos que ( ) es una matriz no singular.
1
1
E () = E(Ay) = ( ) (()) = ( ) = = .
1
1
1
1
Var()=Var(Ay)= A var(y) A = ( ) (2 I) (( ) ) = 2 ( ) ( )( )
= 2 ( )
Luego despus de calcular los parmetros.
+1 (, 2 (X X)1 )
b)
Hiptesis:
ynx1 (, 2 I) , Ran(X) = K+1 ,
()()
= (0 , 1 ) , = ( )1 , 2 =
Tesis:
2 /2 se distribuye como 2 ( 1).
Sol:
Por H.p
Tenemos 2 =
()()
,.. (i)
Modelos Lineales
2
=
2
2
Ahora nosotros sabemos que
De aqu
2 = 1 , es estimador insesgado de 2
2
2
M
2
M
2
X2(n-k-1)
2
Finalmente
2
2 X2(n-k-1).
Modelos Lineales
c)
Hiptesis
ynx1 (, 2 I) , Ran(X) = K+1
1
() ()
= (0 , 1 ) , = ( ) , 2 =
Tesis
2 son independientes.
Prueba.
Tenemos que :
=M , adems M es una matriz idempotente, simtrica igual a (I X(XX)-1X)
Donde tr(M) = n-k-1 . Demostrado en el tem b).
Adicionalmente sabemos que H = X(XX)-1X donde esta matriz tambin es simtrica
e idempotente.
Ahora utilizamos la siguiente expresin en donde est presente el
1
2 ( )( )
Por h.p
1
1
= ( ) = ( ) ( + )
1
= ( ) .
1
2
1
2
1
2
(( ) )(( ) )
1
( ( ) )(( ) )
1
, H=( ) .
1
( ( ) ( ) ) = 2 ( ) = 2 ()
( ) X2(k+1)
Modelos Lineales
= 2 X2(n-k-1) ,
Y con estas dos formas cuadrticas cada una distribuida una X2.
Realizamos esta equivalencia.
M = (M)(M)
H = (H)(H).
M H son independientes.
] = [ ]
Z= [
H
Nos centramos ahora en la matriz de covarianza de Z.
0
] , por propiedades de la normal cov(xi,xj) = 0 ij , podemos
0
Modelos Lineales
(M ) (H ) son independientes
M H son independientes.
Finalmente
Como las formas cuadrticas estn en funcin de las variables aleatorias 2
Y como estas son independientes.
Los estimadores 2 son Independientes.
15. Si (1) se distribuye como (, 2 I), donde X es nx(k+1) de rango k+1<n,
demostrar que la = . Hallar su esperanza.
Sol:
Hip: (1)~2 (, 2 I) , X es nx(k+1) de rango k+1<n
Tesis: =
Dado (1)~2 (, 2 I)
Y = X +
Modelo estimado : Y = X +
= (y y)(y y)
= y y y y . y y = y y
= y y y y
= y y () ( Y = X + )=y y- xx
E( ) = ( Y X ) ( Y X )=y-x(xx)xy=(I- x(xx)x)y
idempotente y de rango n-k-1
E() = E[(My)(My)] = ( )
E() = traz(2 M) + ( X)M(X)= 2 (n k 1)
Modelos Lineales
Sol:
Dado el modelo sin intercepto de rango completo. O sea no hay termino
independiente en el modelo.
La matriz de datos X
11
X=[
1
12 . . 1
] = [ |() ] = [1 |2 ].
Y = X + = [1 |2 ] [ 1 ] +
2
Y = X11 + 2 2 +
Ahora por cuestiones del problema necesitamos calcular cov (1 ). En el modelo
completo.
+
Y=
Y = X11 + 2 2 +
.. (i)
, Donde Y* = Mx2Y
1 = (1 M2 1 )1 1 M2
Ahora calculando:
La cov (1 ) = (1 M2 1 )1 1 M2 )var (y) (1 M2 1 )1 1 M2 )
= (1 M2 1 )1 1 M2 ) 2 M2 M 2 1 (1 M2 1 )1
= 2 (1 M2 1 )1 (1M2 1 )(1 M2 1 )1
= 2 (1 M2 1 )1.I
Cov (
) = 2 (1 M2 1 )1 .
Modelos Lineales
) = 2 ( 1 1 )
Y la cov (
Ya hemos calculado las covarianza del parmetro del modelo reducido y del modelo
completo.
Para justificar lo expuesto en el problema, vamos hacer una diferencia de
covarianzas.
1
= 2 ( 1 ( M2 )1 )1
Ahora la matriz 1 ( M2 )1 es definida positiva. Esto implica que
1 ( M2 )1 > 0.
Finalmente
2 ( 1 ( M2 )1 )1 > 0
Modelos Lineales
Sol:
Dado el modelo 1 = (+1) +1 + 1 .se tiene :
( ) = 0 +1 1 +2 2 + + +i
( ) = 0 + 1 1 + + + +1 (1 1 ) + +1 ( ) +i
Hacemos = 1 1 + + + 0
( ) = +1 (1 1 ) + +1 ( ) + i
1
1 1 1
( ) = (
1 1 1
) ( ) + 1
(1)
= (1 ) ( ) + 1
(1)
Modelo estimado
= (1 ) ( ) = (1 )
(1)
SCE==1( )2=(1)
( ver problema numero 20)
=
=
=1( )( )
1
= =( )
)
=1( )(
1
= =
(1)
= ( )1
(1)
= ( )1 entonces
Modelos Lineales
SCE= ( )1
Demostrar:
1
2
.
y= .
.
.
[ ]
1
1
.
x= .
.
.
[1
1
2
.
.
.
.
]
= [ 0]
1
Demostrar:
Var (0 ) =
( )
Var (1 ) =
2
( )2
Sol:
Para demostrar los tems hacemos los siguientes clculos previos
XX = [
]
2
, Xy = [ ] ,
; cov (0 , 1 ) = (
.
)2
Modelos Lineales
(XX)-1
1
2 ( )2
2
[
] .. (i)
] = 2 ()-1
Cov ( ) = cov ([ 0 ]) = [
1
(0 , 1 ) (1 )
Reemplazando (i) en
Cov ( )= 2 ()-1 =
2 ( )
2[
2
]
2 2
( )2
( )
] = [
2
2
2
( )2
( )2
2
( )2
( )
=[
( )
( )
( )
]=[
(0 ) (0 , 1 )
]
(0 , 1 ) (1 )
( )
Var (1 ) =
2
( )2
; cov (0 , 1 ) = (
)2
2
19. Respecto al coeficiente de correlacin mltiple (
:
1 2 )
Modelos Lineales
= [
2
1
se puede formar
1
]; Esto para el vector aleatorio [ ]
1
Por propiedad si = [
11
21
12
] entonces = 22 11 12 1
22 21
22
= (1
2
) Pero sabemos que (
=
1 2 )
Remplazando
2 ||
2
= (1 (
)
1 2 )
= 1 2
||
.()
Modelos Lineales
2 , =
(B)1
Como B es no singular
2 2
1 1
( )
2
U1
2
2
= ,
20. Sea:
(+1)
1 11
1 12
=(
:
:
1 1
1
2
)
1
2
=( : )
0
)
= (
(1)(1)
= ( )2 (1)
=1
Donde:
11 1
12 1
= (
:
11
1
2
)
Modelos Lineales
Sol:
= 0 + 1 1 + 2 2 + + +
= 0 + 1 1 1 1 + 2 2 2 2 + + +
= 1 (1 1 ) + 2 (2 2 ) + + ( ) + + 1 1 + + + 0
Hacemos = 1 1 + + + 0
Ahora = + 1 (1 1 ) + 2 (2 2 ) + + ( ) +
1
.
1
.
. =[
1
.
[ ]
= (
1
.
.
1 .
.
] . + .
.
.
[ ] [ ]
)( ) +
(1)
1
1
) = [ ]
] (1 ) (
(1)
11
1
1
] [ ] = [ ]
1
(1)
11
01
01
][
]=[
]
(1)
11
01
01
] [ ] = [
] Entonces 1 1 = , por ello =
(1)
Modelos Lineales
(+1) = (1 1 ), y
0
) entonces :
= (
(1)(1)
2 = ((0)
(1)) [ ] 2
(0)
1 + (1) 1 reemplazado lo hallado en(*)y Resolviendo a expresin se
demuestra
(1)
(
) = (1)