Sei sulla pagina 1di 8

REGRESSAO MULTIPLA - complementao

Introduo
O modelo linear de regresso mltipla da forma:
Y = 0 + 1X1 + 2 X 2 + + p X p +

sendo classificado como modelo de primeira ordem com (p) variveis independentes.
onde: Y a varivel de estudo (dependente, explicada, resposta ou endgena);
0 o coeficiente linear do modelo, isto , o valor de E(Y) para X = 0; e
j o coeficiente angular da ja. varivel, ou seja, a variao no componente
determinstico do modelo, E(Y), para 1 unidade de variao na medida de Xj;
Xj a ja. varivel independente, explicativa ou exgena; e
E (Y ) = 0 + 1 X 1 + 2 X 2 + + p X p o componente determinstico do modelo;
a parte probabilstica do modelo (erro aleatrio) com mdia 0 e varincia
constante 2 .
Utilizando a notao matricial, podemos expressar essa relao por meio de:
Y = X. + ,
Observao: Se p=1, o modelo se identifica ao modelo de regresso linear simples.
Para se obter estimativas para os parmetros k , so realizadas n observaes da varivel
Y, ou sejam Yi , i = 1,2,...,n, conforme o esquema seguinte:
A varivel X k ser identificada por Xik e indicar o valor de X k correspondente
observao Yi , i = 1,2,..,n e k = 1,2,...,p. De um modo geral as n observaes sero
denotadas pelas n equaes abaixo:
Yi = 0 + 1 X i ,1 + 2 X i , 2 + + p X i , p + i

Para i = 1,2,...,n , obtemos as n equaes seguintes:


Y1 = 0 + 1 X 1,1 + 2 X 1, 2 + + p X 1, p + 1
Y2 = 0 + 1 X 2,1 + 2 X 2, 2 + + p X 2, p +

.......................................................................
.......................................................................
Yn = 0 + 1 X n ,1 + 2 X n , 2 + + p X n , p +

Apresentao matricial do modelo


Uma forma simples e muito til para representar o modelo de regresso linear mltipla
atravs da representao matricial das equaes acima. Para isto consideremos as
definies dos seguintes vetores e matrizes:
1 X 11
Y1


1 X 21
Y2
X =
Y=


1 X
Y
n1

n nX 1

X 1p

X 2p

X np

nX ( p + 1)

0
1


1

=
= 2 .




p ( p + 1) X 1
n nX 1

De modo que:
Y1 1 X 11

Y2 1 X 21
=


Y 1 X
n1
n

X 1p

X 2p

X np

0 1


1 2
+



p n

A representao matricial das equaes se torna:


Y = X +

As hipteses bsicas para construir o modelo de regresso linear mltipla so:


um vetor de parmetros desconhecidos.
X uma matriz de valores fixados.
um vetor aleatrio com distribuio normal tal que:
2
E() = 0 e E ( ) = I n .
Com respeito ltima hiptese, temos que E ( i ) = 0 para todo i =1,2,...,n, e, portanto
1 E ( 1 ) 0
E 0
2 ( 2) r
E . = . = . = 0


. . .
n E ( n ) 0

Alm disso,

1 1 1 2

2 1 2 2
E( ) = E


n 1 n 2

1 n
2 n


n n

ou
Var( 1 ) Cov( 1 2 )
Cov( ) Var( )
2 1
2

E( ) =

Cov( n 1 ) Cov( n 2 )

Cov( 1 n )
Cov( 2 n )

Var( n )

2
Como E ( ) = I n para todo i = 1,2,...,n, a matriz acima se transforma em

0
E( ) =

0
0

0
0

0 2
0 0

0
2
= In

0
2

Os termos da diagonal principal mostram que os erros satisfazem a condio de


homocedasticidade, e aqueles fora da diagonal mostram que os erros so no
correlacionados e portanto independentes, pois tm distribuio normal.

Estimadores de mnimos quadrados do vetor de parmetros


Analogamente ao processo de estimao estudado em regresso linear simples, o critrio
dos mnimos quadrados consiste em minimizar soma dos quadrados dos erros.
Em termos matriciais, escrevemos:
Y = X +
e
E ( Y ) = E ( X + ) = X + E ( ) = X
De maneira que,
= Y X

A soma dos quadrados dos erros pode ser escrita matricialmente, como segue

SQErros =

( )
i= 1

= ( Y X

) ' (Y

ou
SQErros = Y 'Y ' X 'Y Y ' X + ' X ' X = Y 'Y ' X 'Y ' X 'Y + ' X ' X

escalar

Logo,
SQErros = Y 'Y 2 ' X 'Y + ' X ' X .

Derivando S em relao a ,
SQ Erros
= 2 X ' Y + 2 X ' X

Igualando-se a zero, obtemos


SQ Erros
= 2 X ' Y + 2 X ' X

X Y = X X
1
= ( X X ) X Y

A reta de mnimos quadrados ajustada dada pelas equaes na forma matricial,


= X
Y

Clculo da mdia do estimador


Substituindo-se Y = X + no estimador de , temos
1
= ( X X ) X [ X + ]
1
1
= ( X X ) X X + ( X X ) X
1
= + ( X X ) X

Calculando a mdia

E( ) = + ( X X ) X E( )
1

( )

ou E =
Assim, o vetor de estimadores de mnimos quadrados composto por estimadores no
tendenciosos dos parmetros k , k = 0,1,2,...,p.

Clculo da varincia do estimador

( )

Como E k = k para k = 0,1,2,...,p, ento a varincia de k calculada por


2

Var( k ) = E k k ,

Por outro lado E

'

= E

)(

) ( )

para k = 0,1,2,...,p-1.

define a seguinte matriz de covarincia.

( )
( )( )
( )( ) ( )
2

)(

1
2

) (

)(

1 1

( )( )
( )( )
0

p p

Esta matriz contm as varincias dos estimadores em sua diagonal principal e as


covarincias entre os mesmos estimadores nas demais clulas.
Por outro lado,

1
= + ( X X ) X
1
= ( X X ) X

Ento a varincia de calculada por

Var( ) = E

) ( ) = E ( XX )

1
X X ( X X )

Var( ) = ( X X ) X E( )X ( X X )

Var( ) = 2 I n ( X X ) (X X) ( X X )

Finalmente, obtemos a varincia do estimador


Var( ) = 2 ( X X )

Estimador da varincia

, i = 1,2,...,n. Sob a forma matricial


Denotemos o resduo da regresso por ei = Yi Y
i
escrevemos
e = Y X

Substituindo-se Y e por seus respectivos valores, o vetor de resduos ento:


1
e = X + X ( X X ) X Y

1
e = X + X ( X X ) X (X + )

1
e = X + X + ( X X ) X

e = X + X X ( X X ) X
1

Finalmente o vetor de resduos escrito sob a forma,


1
e = I n X ( X X ) X

e isto significa que o vetor de resduos uma combinao linear dos erros .
1
Seja H = X ( X ' X ) X ' , H uma matriz quadrada de ordem n .

Ento:

SQRe s = Y ' [ I H ]Y

A matriz H chamada de matriz chapu ou de matriz de projeo pois ela transforma Y


em Y .
HY = X ( X ' X ) X 'Y = X
1

Podemos escrever:
e = Y Y = Y HY = ( I H )Y

Repare que a matriz H exerce um papel importante na anlise dos resduos na busca de
outliers e valores influentes
A matriz H uma matriz simtrica, pois: H = X ( X ' X ) X ' = H ' = X ( X ' X ) X '
e idempotente,
1

][

H H = X(X'X) X ' X(X'X)


1

] = X(X X )
'

X 'X X 'X

X ' = X X 'X

X' = H

Por outro lado, seja a matriz A = I n X ( X ' X ) X ' da relao


1

e = In X X ' X X '
e = A .
A simtrica e idempotente, conforme verificaremos a seguir:
A simtrica pois:

A = I n X ( X X ) X
1

A = In X ( X X ) X = I n X ( X X ) X = A
1

A idempotente pois:
1
1
A A = I n X ( X X ) X I n X ( X X ) X

A 2 = I n X ( X X ) X X ( X X ) X + X ( X X ) X .X ( X X ) X
1

A 2 = I n 2X ( X X ) X + X ( X X ) X
1

A 2 = I n X ( X X ) X
1

Ento, a soma dos quadrados dos resduos obtida por


e ' e = ' A ' A
e ' e = ' A

e 'e = ' I n X X ' X

X'

Agora abriremos um parnteses para exibir alguns resultados matrizes importantes


para finalizar a demonstrao:
1. Se M uma matriz quadrada de dimenso n e se para i = 1,2,...,n , E( i ) = 0 e Var( i )
= 2 In , ento
E [ M ] = 2 tr(M) .
Exemplo:

1 2 1
2
2
2
E[ 1 2]
= E 1 + 3 1 2 + 2 1 2 + 4 2 = 5
3
4

2. Se M uma matriz quadrada, tr(M) = tr( M ).


3. Dadas as matrizes quadradas A e B, se AB e BA existem, tr(AB)=tr(BA).
4. Dadas as matrizes quadradas A, B e C, se os produtos entre elas existem, ento
tr(ABC)=tr(BCA)=tr(CAB).
5. Dadas duas matrizes quadradas A e B, tr(A-B) = tr(A)-tr(B)


Utilizando os resultados acima calculemos a esperana das soma dos quadrados dos
resduos

( )

{[

E e 'e = E ' I n X X ' X

( )

E e 'e =

]}

[tr( I ) tr[ X ( X X ) X ]
X X ] = [ n tr [ I ]]

X' =

[n tr[( X X )
'

( )

E e'e =

'

'

'

[ n p]

Desta maneira a mdia da soma dos quadrados dos resduos igual varincia dos erros,
multiplicada pela diferena entre o nmero de observaes e o nmero de parmetros a
serem estimados no modelo de regresso linear mltipla.
Logo um estimador no tendencioso para a varincia do modelo, :
1
E (e 'e) = 2
n p
e'e
=
E
n p
n

2
2 = =

i= 1

ei2

n p

Potrebbero piacerti anche