Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Introduo
O modelo linear de regresso mltipla da forma:
Y = 0 + 1X1 + 2 X 2 + + p X p +
sendo classificado como modelo de primeira ordem com (p) variveis independentes.
onde: Y a varivel de estudo (dependente, explicada, resposta ou endgena);
0 o coeficiente linear do modelo, isto , o valor de E(Y) para X = 0; e
j o coeficiente angular da ja. varivel, ou seja, a variao no componente
determinstico do modelo, E(Y), para 1 unidade de variao na medida de Xj;
Xj a ja. varivel independente, explicativa ou exgena; e
E (Y ) = 0 + 1 X 1 + 2 X 2 + + p X p o componente determinstico do modelo;
a parte probabilstica do modelo (erro aleatrio) com mdia 0 e varincia
constante 2 .
Utilizando a notao matricial, podemos expressar essa relao por meio de:
Y = X. + ,
Observao: Se p=1, o modelo se identifica ao modelo de regresso linear simples.
Para se obter estimativas para os parmetros k , so realizadas n observaes da varivel
Y, ou sejam Yi , i = 1,2,...,n, conforme o esquema seguinte:
A varivel X k ser identificada por Xik e indicar o valor de X k correspondente
observao Yi , i = 1,2,..,n e k = 1,2,...,p. De um modo geral as n observaes sero
denotadas pelas n equaes abaixo:
Yi = 0 + 1 X i ,1 + 2 X i , 2 + + p X i , p + i
.......................................................................
.......................................................................
Yn = 0 + 1 X n ,1 + 2 X n , 2 + + p X n , p +
1 X 21
Y2
X =
Y=
1 X
Y
n1
n nX 1
X 1p
X 2p
X np
nX ( p + 1)
0
1
1
=
= 2 .
p ( p + 1) X 1
n nX 1
De modo que:
Y1 1 X 11
Y2 1 X 21
=
Y 1 X
n1
n
X 1p
X 2p
X np
0 1
1 2
+
p n
Alm disso,
1 1 1 2
2 1 2 2
E( ) = E
n 1 n 2
1 n
2 n
n n
ou
Var( 1 ) Cov( 1 2 )
Cov( ) Var( )
2 1
2
E( ) =
Cov( n 1 ) Cov( n 2 )
Cov( 1 n )
Cov( 2 n )
Var( n )
2
Como E ( ) = I n para todo i = 1,2,...,n, a matriz acima se transforma em
0
E( ) =
0
0
0
0
0 2
0 0
0
2
= In
0
2
A soma dos quadrados dos erros pode ser escrita matricialmente, como segue
SQErros =
( )
i= 1
= ( Y X
) ' (Y
ou
SQErros = Y 'Y ' X 'Y Y ' X + ' X ' X = Y 'Y ' X 'Y ' X 'Y + ' X ' X
escalar
Logo,
SQErros = Y 'Y 2 ' X 'Y + ' X ' X .
Derivando S em relao a ,
SQ Erros
= 2 X ' Y + 2 X ' X
X Y = X X
1
= ( X X ) X Y
Calculando a mdia
E( ) = + ( X X ) X E( )
1
( )
ou E =
Assim, o vetor de estimadores de mnimos quadrados composto por estimadores no
tendenciosos dos parmetros k , k = 0,1,2,...,p.
( )
Var( k ) = E k k ,
'
= E
)(
) ( )
para k = 0,1,2,...,p-1.
( )
( )( )
( )( ) ( )
2
)(
1
2
) (
)(
1 1
( )( )
( )( )
0
p p
1
= + ( X X ) X
1
= ( X X ) X
Var( ) = E
) ( ) = E ( XX )
1
X X ( X X )
Var( ) = ( X X ) X E( )X ( X X )
Var( ) = 2 I n ( X X ) (X X) ( X X )
Estimador da varincia
1
e = X + X ( X X ) X (X + )
1
e = X + X + ( X X ) X
e = X + X X ( X X ) X
1
e isto significa que o vetor de resduos uma combinao linear dos erros .
1
Seja H = X ( X ' X ) X ' , H uma matriz quadrada de ordem n .
Ento:
SQRe s = Y ' [ I H ]Y
Podemos escrever:
e = Y Y = Y HY = ( I H )Y
Repare que a matriz H exerce um papel importante na anlise dos resduos na busca de
outliers e valores influentes
A matriz H uma matriz simtrica, pois: H = X ( X ' X ) X ' = H ' = X ( X ' X ) X '
e idempotente,
1
][
] = X(X X )
'
X 'X X 'X
X ' = X X 'X
X' = H
e = In X X ' X X '
e = A .
A simtrica e idempotente, conforme verificaremos a seguir:
A simtrica pois:
A = I n X ( X X ) X
1
A = In X ( X X ) X = I n X ( X X ) X = A
1
A idempotente pois:
1
1
A A = I n X ( X X ) X I n X ( X X ) X
A 2 = I n X ( X X ) X X ( X X ) X + X ( X X ) X .X ( X X ) X
1
A 2 = I n 2X ( X X ) X + X ( X X ) X
1
A 2 = I n X ( X X ) X
1
X'
1 2 1
2
2
2
E[ 1 2]
= E 1 + 3 1 2 + 2 1 2 + 4 2 = 5
3
4
Utilizando os resultados acima calculemos a esperana das soma dos quadrados dos
resduos
( )
{[
( )
E e 'e =
]}
[tr( I ) tr[ X ( X X ) X ]
X X ] = [ n tr [ I ]]
X' =
[n tr[( X X )
'
( )
E e'e =
'
'
'
[ n p]
Desta maneira a mdia da soma dos quadrados dos resduos igual varincia dos erros,
multiplicada pela diferena entre o nmero de observaes e o nmero de parmetros a
serem estimados no modelo de regresso linear mltipla.
Logo um estimador no tendencioso para a varincia do modelo, :
1
E (e 'e) = 2
n p
e'e
=
E
n p
n
2
2 = =
i= 1
ei2
n p