Prof: Graciela Profeta

Universidade Federal Fluminense

Campos, aulas 21 e 23 de maio de 2013
Tpico 2:
I- Introduo
Na modelagem matemtica, as hipteses levantadas sobre
determinado fenmeno so apresentadas em termos de famlias
paramtricas de distribuies de probabilidade: modelos.
Aps o modelo ser especificado (parmetros, dados coletados,
forma funcional), possvel avaliar sua qualidade de ajuste,
considerando o valor estimado e sua capacidade de se ajustar aos
dados coletados;
Esse procedimento chamado de estimativa de parmetros e se
subdividem em dois mtodos gerais:
Mnimos quadrados (MQO, por exemplo):
Mxima Verossimilhana (MLE) Ou (MV).
Tpico 2:
I- Introduo
Mnimos quadrados (MQOs):
Ligados aos conceitos estatsticos: regresso linear,
soma do erros quadrados, etc.
No requer nenhuma ou mnima premissa sobre a
distribuio.
til para a obteno de uma medida descritiva com
o objetivo de sintetizar os dados observados.
Tpico 2:
Mxima Verossimilhana (MLE) Ou (MV).
Menos conhecido do que os MQOs, considerada uma abordagem padro
para estimao de parmetros e inferncia em estatsticas.
As estimativas de MV (MLE) apresentam muitas propriedades timas
(somente para grandes amostras), como:
Consistncia - valor verdadeiro do parmetro que gerou os dados
assintoticamente recuperados;
Eficincia - parmetro estimado assintoticamente com a menor varincia
possvel.
Todavia, o MV exige um maior esforo computacional, pelo fato de envolver
solues numricas de sistemas de equaes, frequentemente, no lineares e
implcitas.
Tpico 2:
I- Introduo
O que significa verossimilhana?
Estaticamente, a abordagem da Verossimilhana se apia
em dois conceitos bsicos:
Lei da Verossimilhana: de aceitao geral.
Princpio de Verossimilhana: de aceitao mais restrita.
Semelhante verdade!
Tpico 2:
I- Introduo
Lei da Verossimilhana:
Supondo que desejamos comparar duas hipteses:
Hiptese A: X = x, seria observado com probabilidade pA(x)
Hiptese B: X = x, seria observado com probabilidade pB(x)
Lei de Verossimilhana:
A observao X = x favorece a hiptese A sobre a hiptese B se e somente se:
Razo de Verossimilhana (fora da evidncia):
A fora de evidncia em favor da hiptese A sobre a hiptese B.
) (
) (
x p
x p
B
A
) ( ) ( x p x p
B A
>
Tpico 2:
I- Introduo
Princpio de Verossimilhana: de aceitao mais restrita.
Estabelece que a Funo de
Verossimilhana inclui TODA evidncia contida nos
dados a respeito de uma dada hiptese.
Esta hiptese pode ser um modelo, ou o valor de
parmetro de um modelo.
Tpico 2:
Exemplo:
Considere que cada uma das faces de um tetraedro
regular foram pintadas de branco ou de azul;
Ao lanar o tetraedro, o resultado considerado sucesso
se a face que ficar em contato com a mesa for azul.
Suponha que o tetraedro foi lanado 4 vezes, sem que
soubssemos se o nmero de faces azuis do tetraedro era
0,1, 2, 3 ou 4.
Tpico 2:
Exemplo:
Soubemos que nas 4 tentativas foi obtido sucesso apenas
uma vez.
Qual a estimativa de mxima verossimilhana para o
nmero de faces azuis no tetraedro utilizado?
Para ajudar a responder tal questo. Elaboramos a Tabela
1 (a seguir), em que apresentamos a probabilidade de
obter apenas um sucesso em 4 tentativas, para cada um
dos casos possveis.
Tpico 2:
Exemplo:
Nmero de
faces azuis
Prob (p) de obter sucesso
em uma tentativa
Prob de obter apenas um
sucesso em 4 tentativas =
4p(1-p)
3
0 0 0
1 =0.25 27/64 =0,42
2 =0.5 = 16/64=0,25
3 =0.75 3/64=0.05
4 1 0
Valor de p que maximiza
a prob. de se obter um
sucesso em 4 tentativas
Tpico 2:
2- Princpio bsico do mtodo maximizao da funo de
verossimilhana
Como no possvel trabalhar com toda a populao, necessrio definir
amostras e estas devem ser representativas. Ou seja, deve ser aleatria ou
distribuda de forma idntica e independente (IID)
Independente: a ocorrncia de X1 no depende de x2-
Distribuio idntica: mesma mdia, mesma varincia e mesma forma.
Portanto, se temos uma amostra contendo n observaes (x
1
, x
2
, ...x
n
) possvel
pensar em uma distribuio de probabilidade conjunta para esses valores,
dada por:
A distribuio conjunta nos fornece uma probabilidade associada ocorrncia
conjunta de todos os valores individuais observados da amostra.
(1) ) ,..., , Pr( ) ,..., , (
2 2 1 1 2 1 n n n
x X x X x X x x x f = = = =
Tpico 2:
2- Princpio bsico do mtodo maximizao da funo de
verossimilhana
Considerando um conceito estatstico bsico: Se duas variveis
aleatrias so independentes, ento a distribuio conjunta das
duas dada pelo produto das distribuies individuais. Para o caso
de n variveis, temos:
Observe que na FDPC, conhecemos os parmetros teta e a partir
deles podemos encontrar as probabilidades das variveis (xs).
Essa ainda no a funo de verossimilhana
(2) fdpc ) , ( ..... ) , ( ) , ( ) ; ,... , (
2 2 1 1 2 1
= u u u u
n n n
x f x f x f x x x f
Os tetas so os mesmos
Tpico 2:
2- Princpio bsico do mtodo maximizao da funo de
verossimilhana
evidente que se cada uma das n funes de probabilidade forem
diferentes, ento teremos uma dificuldade operacional grande para
calcular a probabilidade conjunta dos valores da amostra.
Mas se assumirmos que so iguais, ento podemos ignorar
os subscritos das funes em (2) e reescrev-la da
seguinte forma:
(3) ) , ( ) ,... , (
n
1 i
2 1 [
=
= u
i n
x f x x x f
(2) fdpc ) , ( ..... ) , ( ) , ( ) ; ,... , (
2 2 1 1 2 1
= u u u u
n n n
x f x f x f x x x f
Tpico 2:
2- Princpio bsico do mtodo maximizao da funo de
verossimilhana
Funo de verossimilhana
Geralmente, em estudos economtricos na rea de economia,
buscamos encontrar informaes a respeito de uma populao com
base nos dados de uma amostra dessa populao.
Neste sentido, o mtodo da MV consiste basicamente em
maximizar uma funo dos parmetros da distribuio, conhecida
como funo de verossimilhana.
O equacionamento para a condio de mximo resulta em um
sistema de igual nmero de equaes e incgnitas, cujas solues
produzem os estimadores de mxima verossimilhana.
Tpico 2:
2- Princpio bsico do mtodo maximizao da funo de
verossimilhana
Funo de verossimilhana
O princpio da estimao por mxima verossimilhana o seguinte:
Se soubermos qual a distribuio de probabilidade da
populao, os valores dos parmetros a serem estimados sero
aqueles que maximizaro a chance (a probabilidade, a
verossimilhana) de que os valores obtidos na amostra, sigam
de fato a distribuio em questo.
Tpico 2:
2- Princpio bsico do mtodo maximizao da funo de
verossimilhana
Funo de verossimilhana
Considere que y
1
, y
2
, y
3
, ... , y
N
representem observaes de uma
amostra aleatria simples (AAS) retirada de uma populao de uma
varivel aleatria distribuda conforme a Densidade
de k parmetros.:
A funo densidade conjunta da AAS, dada por :
) ,... , ; (
2 1 k Y
y f u u u
) ( )... ( ) ( ) ,... , (
2 1 2 1 ,... ,
2 1
N Y Y Y n y y y
y f y f y f y y y f
n
=
Tpico 2:
Funo de verossimilhana
Definio 1.1 (Funo de Verossimilhana).
Suponha que os y so uma realizao de um vetor aleatrio Y com funo de
probabilidade ou densidade probabilidade . A funo de verossimilhana
para , dado os valores observados y a funo .
Formalmente, a funo de verossimilhana e dada por:
A funo de verossimilhana dada pela expresso da distribuio conjunta de
todas as variveis aleatrias envolvidas no modelo. Porm, vista como funo
dos parmetros, uma vez que os dados so quantidades fixas.
) 4 ( ) ,..., , ; ( ) ; ,..., , (
1
2 1 2 1 [
=
=
N
i
k i Y i k
y f y L u u u u u u
) , ( u Y f
u ) , ( Y L u
Parmetros a
serem estimados
Fixos, pois so observados
Tpico 2:
2- Princpio bsico do mtodo maximizao da funo de
verossimilhana
Funo de verossimilhana
Portanto, Os valores que maximizam (4) so aqueles que tambm
maximizam a probabilidade de que aquela AAS especfica,
constituda por Y1, Y2, Y3, ... , YN, tenha sido sorteada da populao,
tal como definida pela densidade prescrita.
Em qualquer contexto de estimao, o mtodo de MV procura
determinar o que maximiza L.
Para tanto, o mtodo parte de valores conhecidos de Y para obter
esses .
j
u
u
u
Tpico 2:
3- Estimao dos parmetros do modelo de regresso
De posse da amostra e aps ter determinado a funo de
probabilidade para o conjunto de dados, hora de fazer
inferncias estatsticas sobre a populao;
Dado que os diferentes valores de parmetros diferem das
diferentes distribuies de probabilidade, estamos
interessados em encontrar o valor do parmetro que
corresponde a uma dada distribuio de probabilidade
desejada.
O princpio da mxima verossimilhana (MV), afirma que a
distribuio de probabilidade desejada a que faz com que os
dados observados ''aconteam o que significa que se devemos
encontrar o valor do vetor de parmetros que maximiza a
funo de verossimilhana L.
Tpico 2:
3- Estimao dos parmetros do modelo de regresso
A estimativa de MV obtida atravs da maximizao da
funo log-probabilidade, .
Assumindo que a funo log-verossimilhana,
diferencivel, ento esta deve satisfazer a seguinte
equao diferencial parcial conhecida como a equao de
probabilidade:
) , ( ln Y L u
) , ( ln Y L u
MV de Estimador 5) ( 0
j
^
u
u
=
c
cL
Tpico 2:
3- Estimao dos parmetros do modelo de regresso
Exemplo:
Considere o seguinte modelo linear de regresso:
Para aplicarmos o mtodo MV, necessrio primeiramente
especificar uma funo de distribuio para os dados da amostra.
Especificamos a seguinte funo de distribuio normal para o erro
(6) ) , 0 ( ~ ,
2
o c c | N X Y
i i i i
+ =
(7)
2
1
) (
2
2
2
2
|
|
.
|

\
|

=
o
c
to
c
i
e f
i
Pq vimos que o erro se
distribua normalmente
Tpico 2:
3- Estimao dos parmetros do modelo de regresso
Exemplo:
Agora podemos definir uma distribuio para Yi, j que conhecemos
a distribuio do erro
A partir da distribuio de para Yi, podemos escrever uma funo de
distribuio para Yi, como:
Yi para o distribui ) , ( ~
2
o |
i i
X N Y
(8)
2
1
) (
2
2
2
) (
2
|
|
.
|

\
|

=
o
|
to
i i
X Y
i
e Y f
aleatrio
Fixo
Tpico 2:
3- Estimao dos parmetros do modelo de regresso
Exemplo:
Aps definir as funes de distribuio, podemos escrever a funo
log-verossimilhaa que dever ser maximizada com o objetivo de
obter a estimativa de MV.
( )
(9)
2
1
) ( ) , ; , (
2
2
2
2
1
2
|
|
.
|

\
|

|
|
.
|

\
|
= =
[
o
|
to
o |
i i
X Y
n
n
i
i i i
e Y f X Y L
incgnitas
Tpico 2:
3- Estimao dos parmetros do modelo de regresso
Exemplo: Maximizando a funo de verossimilhana (exerccios):
2
2
2
2 2
2 2
e a relao com Maximizar
(11)
2
) (
) ln(
2
) 2 ln(
2
) , ; , (
(10) ) , ; , ( ) , ; , ( ln
o |
o
|
o t o |
o | o |
l
X Y
n n
X Y l
X Y l X Y L
i i
i i
i i i i

( )
) (9'
2
1
) ( ) , ; , (
2
2
2
2
1
2
|
|
.
|

\
|

|
|
.
|

\
|
= =
[
o
|
to
o |
i i
X Y
n
n
i
i i i
e Y f X Y L
Prop.
de
log.
e x e r c c i o s
Tpico 2:
3- Estimao dos parmetros do modelo de regresso
Exemplo:
Aps resolver o problema de maximizao, os estimadores obtidos
sero:
MQO de ao igual
2
^
=

i
i i
X
X Y
|
Estimador de MV para a varincia
do erro

1


n
SQResduos

^
2
^
2
2
^
^
2

= =
=
|
.
|

\
|

=

n
SQR
n
X Y
MQO MV
i i
o o
|
o
Estimador de MV para beta
Para pequenas amostras, o
estimador da varincia de MV
tendencioso
Tpico 2:
4- Propriedades dos estimadores de mxima verossimilhana
As propriedades mais importantes dos estimadores MV referem-se a
grandes amostras (so vlidas apenas para grandes amostras), ou
seja, so propriedades assintticas. So elas:
medida que o tamanho da amostra aumenta muito (ninfinito) a
varincia do estimador de MV tende a zero.
0 ) lim(
^
= u p
Tpico 2:
4- Propriedades dos estimadores de mxima verossimilhana
Essa propriedade diz que tem distribuio assinttica normal com
mdia e varincia dada pela matriz inversa de .
A matriz conhecida como matriz de informao, que
obtida das derivadas parciais de l em relao a teta.
)) ( , ( ~
1
^
u u u

I N
a
^
u
u ) (u I
) (u I
Tpico 2:
4- Propriedades dos estimadores de mxima verossimilhana
O estimador de MV tem distribuio normal assinttica e varincia
mnima entre as classes dos estimadores consistentes.
O termo varincia assinttica diz respeito varincia de uma
distribuio limite por isso a varincia assinttica de .
) , 0 (
2
^
o u u N n
d

|
.
|

\
|

2
^
) ( o u n
Tpico 2:
4- Propriedades dos estimadores de mxima verossimilhana
u u =
|
.
|

\
|
^
E
Temos dois
estimadores
diferentes para
teta e ambos so
no tendenciosos
Tpico 2:
5- Aplicao prtica: MQO X MV
Perodo 1987m05 a 2008m04
criar um objeto,
para inserir a
programao