The Modelo de Regressão Simples

y = 0 + 1x + u

1
Alguma Terminologia
No modelo linear de regressão simples, em que y
= 0 + 1x + u.
Tipicamente y expressa a variável dependente,
variável explicada, variável resposta, variável
previsão, variável left-hand side, ou “regressada”
Tipicamente x é designada de variável
independente, variável explicativa, variável de
controlo, regressor, “covariância”

2
Uma Hipótese Simples
A média do valor de u, o termo erro, da
população é 0. Isto é,
E(u) = 0
Não é uma hipótese restritiva, uma vez que
podemos sempre utilizar 0 para normalizar
E(u) a 0

3
Média Condicional Zero
Necessitamos de assumir uma hipótese crucial
sobre a forma como u e x estão relacionados
Pretendemos que seja um caso em que o
conhecimento de algo sobre x não nos proporciona
qualquer informação sobre u, isto é, estão
completamente não relacionadas. Analiticamente,
E(u|x) = E(u) = 0, o que implica que
E(y|x) = 0 + 1x

4
E(y|x) é uma função linear de x, em que para qualquer x,
a distribuição de y está centrada à volta de E(y|x)
y
f(y)

. E(y|x) =  +  x
0 1
.

x1 x2
5
Mínimos Quadrados Ordinários (MQO) -
Ordinary Least Squares (OLS)

A ideia base da regressão é estimar os

parâmetros da população a partir da amostra
Considere-se {(xi,yi): i=1, …,n}a expressar
uma amostra aleatória de dimensão n
extraída da população
Para cada observação da amostra tem-se
yi = 0 + 1xi + ui

6
Linha de regressão da população, pontos da
amostra e termos erros associados
y E(y|x) = 0 + 1x
y4 .{
u4

y3 .} u3
y2 u2 {.

y1 .} u1

x1 x2 x3 x4 x
7
Derivação dos Estimadores OLS
Para derivação dos estimadores OLS
necessitamos de ter em conta a hipótese
fundamental de que E(u|x) = E(u) = 0 também
implica
Cov(x,u) = E(xu) = 0

Porquê? Lembre-se que, dos conceitos básicos de

probabilidades, Cov(X,Y) = E(XY) – E(X)E(Y)

8
Derivação dos OLS (continuação)

Podemos escrever duas restrições em

termos de x, y, 0 e  , com u = y – 0 – 1x
E(y – 0 – 1x) = 0
E[x(y – 0 – 1x)] = 0
Estas são chamadas restrições momento –
conduz ao Métodos dos Momentos (MM)

9
Derivação dos OLS pelo MM
A estimação pelo MM implica a imposição
das restrições momento da população às
restrições momento da amostra
O que é que isto significa? Relembrando
que para E(X), a média da distribuição da
população, o estimador da amostra de E(X)
é simplesmente a média aritmética da
amostra
10
Derivação dos OLS pelo MM (Cont.)

Pretendem-se valores para os parâmetros que

assegurem que as versões da amostra para as
restrições momento são são verdadeiras
As versões da amostra são as seguintes:
n
n 1
 y
i 1
i 
 ˆ 0  ˆ 1 x i  0
n
n 1
  
x i y i  ˆ 0  ˆ 1 x i  0
i 1
11
Derivação dos OLS (MM)
Dada a definição de média da amostra, e
propriedades da soma, podemos escrever as
condições anteriores do seguinte modo:

y  ˆ0  ˆ1 x ,
or
ˆ0  y  ˆ1 x
12
Derivação dos OLS (MM)
n

 i i
x y  
y  1 
ˆ x  ˆ x  0
 1 i 
i 1
n n
  ˆ
 i i
x y  y   1  xi  xi  x 
i 1 i 1
n n
ˆ 2
 xi  x  yi  y   1  xi  x 
i 1 i 1

13
Deste modo o declive estimado pelos
OLS é

 x  x  y
i i  y
ˆ1  i 1
n

 x  x 
2
i
i 1
n
desde que   xi  x   0
2

i 1

14
Síntese sobre a estimativa declive OLS

A estimativa declive é a covariância entre x e y da

amostra y dividida pela variância de x da amostra
Se x e y estão positivamente correlacionados, o
declive é positivo
Se x e y estão negativamente correlacionados, o
declive é negativo
Apenas necessitamos que x e y variem na nossa
amostra

15
Mais sobre os OLS
Intuitivamente, os OLS representam um
ajustamento da linha através dos pontos da
amostra tal que a soma dos quadrados dos erros
seja o mais pequena possível, daí a designação de
mínimos quadrados
O resíduo, û, é uma estimativa do termo erro, u, e
é a diferença entre a linha ajustada (função
regressão da amostra - FRA) e os pontos da
amostra

16
Linha de regressão da amostra, pontos da amostra
e inerentes termos erros estimados
y
y4 .
û4 {
yˆ  ˆ0  ˆ1 x
y3 .} û3
y2 û2 {.

} û1
y1 .
x1 x2 x3 x4 x
17
Método Alternativo de derivação dos OLS

Dada a intuitiva ideia de ajustamento da linha,

podemos formalizar o problema de minimização
Isto é, pretendemos determinar o valor dos
parâmetros que minimizem o seguinte:

n n

 uˆi 
2

  yi  ˆ0  ˆ1 xi 2

i 1 i 1

18
Método alternativo (cont.)
Se utilizarmos o cálculo para a resolução do problema de
minimização para os dois parâmetros, obtêm-se as
condições de primeira ordem, que são idênticas às obtidas
anteriormente, multiplicando por n

  y  ˆ
i 0 
 ˆ1 xi  0
i 1
n

  
xi y i  ˆ 0  ˆ1 x i  0
i 1
19
Propriedades Algébricas dos OLS
A soma dos resíduos OLS é zero
Deste modo, a média dos resíduos OLS
também é zero
A covariância entre os regressores e os
resíduos OLS é zero
A linha de regressão OLS vai sempre ao
longo da média da amostra

20
Propriedades Algébricas (justificação)

n  uˆ i

 uˆ
i 1
i  0 logo, i 1

n
0
n

 x uˆ
i 1
i i 0

y  ˆ0  ˆ1 x

21
Mais terminologia
Podemos entender que cada observação é composta
por uma parte explicada e por outra não explicada,
yi  yˆ i  uˆi então define - se o seguinte :
  y  y  é o total da soma dos quadrados (TSS)
i
2

2
  yˆ  y  é a explicada soma dos quadrados (ESS)
i
2
 uˆ é a soma dos quadrados dos resíduos (RSS)
i

então TSS  ESS  RSS

22
Prova de que TSS = ESS + RSS
2
  y  y     y  yˆ    yˆ  y 
2
i i i i
2
  uˆ   yˆ  y 
i i

  uˆ  2 uˆ  yˆ  y     yˆ  y 
2 2
i i i i

 SSR  2 uˆ  yˆ  y   SSE
i i

e sabemos que  uˆ  yˆ  y   0 i i

23
Bondade de Ajustamento
O que devemos pensar acerca de “quanto bem” a
linha de regressão se ajusta aos dados da amostra?

Podemos calcular a fracção do total da soma dos

quadrados (TSS) que é explicado pelo modelo, ou
seja, o R- quadrado da regressão

R2 = ESS/TSS = 1 – RSS/TSS

24
Centricidade – Não enviesamento
dos OLS
Assume que o modelo da população é linear nos
parâmetros, y = 0 + 1x + u
Assume que podemos utilizar uma amostra
aleatória de dimensão n, {(xi, yi): i=1, 2, …, n}, a
partir do modelo da população. Despe modo,
podemos escrever o modelo da amostra por
yi = 0 + 1xi + ui
Assumindo E(u|x) = 0, então E(ui|xi) = 0
Assumindo que existe variação em xi

25
Centricidade dos OLS (cont)
De modo a tornar claro o não enviesamento, necessitamos
de reescrever o nosso estimador em termos de parâmetro
da população
Começa-se com uma simples reescrita da fórmula, como

ˆ1   x  x y
i i
, em que
2
s x

s    xi  x 
2 2
x

26
Centricidade dos OLS (cont)

 x  x y  x  x    x
i i i 0 1 i  ui  
 x  x    x  x  x
i 0 i 1 i

   x  x u 
i i

  x  x     x  x x
0 i 1 i i

   x  x u
i i

27
Centricidade dos OLS (cont)

 x  x   0,
i

 x  x x   x  x 
2
i i i

ou seja , o numerador pode ser reescrito por

1s x2    xi  x ui , e deste modo
 x  x u
ˆ1  1  i i

s x2

28
Centricidade dos OLS (cont)

assumindo d i  xi  x , resulta

ˆ  1 
 i  1   2  d i ui , então
 sx 

 ˆ
E 1  1  
 1 
2  d i E ui   1
 sx 

29
Centricidade - Síntese
As estimativas OLS de 1 e 0 são cêntricas
A verificação da centricidade depende de 4
hipóteses – se uma delas falhar, então o estimador
OLS não é necessariamente cêntrico
Relembrar que a centricidade é a descrição do
estimador – em certa amostra podemos estar
“próximos” ou “afastados” do verdadeiro
parâmetro

30
Variância dos Estimadores OLS
Agora sabemos que a distribuição do nosso
estimador se centra à volta do verdadeiro
parâmetro
Desejamos saber quão dispersa é esta
distribuição
É muito mais fácil pensar acerca da
variância sob a hipótese adicional, ou seja
Assumir Var(u|x) = 2 (Homocedasticidade)

31
Variância OLS (cont)
Var(u|x) = E(u2|x)-[E(u|x)]2
E(u|x) = 0, então 2 = E(u2|x) = E(u2) = Var(u)
Assim, 2 é também a variância não
condicionada, chamada variância do erro
, é raiz quadrada da variância do erro, sendo
designada de desvio padrão do erro
Podemos dizer: E(y|x)=0 + 1x e Var(y|x) = 2

32
Caso Homocedástico
y
f(y|x)

. E(y|x) =  +  x
0 1
.

x1 x2
33
 Caso Heterocedástico
f(y|x)

.
. E(y|x) = 0 + 1x

.
x1 x2 x3 x
34
Variância OLS (cont)
 
ˆ    1 
Var  1  Var  1   2  d iui 
 
  sx  
2 2
 1   1 
2  Var  d i u i     i Var ui 
2
 2 d
 sx   sx 
2 2
 1  2 2  1 
2 2
 2
 sx 
 d     s x2 
i  i
d
2
 1  2 2
 2
2  sx 
ˆ
2  Var  1  
 sx  sx
35
Variância OLS: Síntese
Quanto maior for a variância do erro, 2, maior a
variância do coeficiente parcial da regressão
A uma maior variabilidade de xi, corresponde
uma menor variância do coeficiente parcial da
regressão
Consequentemente, a um aumento da dimensão
da amostra corresponde um decréscimo da
variação do coeficiente parcial da regressão
O problema é que a variância do erro é
desconhecida

36
Estimação da variância do erro
Desconhecemos a variância do erro,2,
porque não observamos os erros, ui

O que observamos são os resíduos, ûi

Podemos utilizar os resíduos para uma

estimativa da variância dos erros

37
Estimativa da Variância do erro (cont)

uˆi  yi  ˆ0  ˆ1 xi

  0  1 xi  ui   ˆ0  ˆ1 xi
 0 0  
 u  ˆ    ˆ   x
i 1 1  i
2
então, o estimador cêntrico de  é
1
i  SSR / n  2 
2 2
ˆ 
n  2  ˆ
u

38
Estimativa da Variância (cont)
2
ˆ  ˆ  Erro padrão da regressão
relembrando que sd ˆ   sx
se substituirmos ˆ por  então temos
o erro padrão de ˆ ,1
1
  
se ˆ1  ˆ /   xi  x 
2
 2

39