Cap tulo 2 Propriedades dos Estimadores

Na inferncia estat e stica clssica no existe um critrio unico para escolha de a a e estimadores em um dado problema, mas sim um conjunto de critrios que podem e ser utilizados para seleo e comparao. Estes critrios ou propriedades so ca ca e a descritos a seguir. Denio 2.1 Seja uma amostra aleatria X1 , . . . , Xn tomada de uma disca o tribuio parametrizada por . O erro quadrtico mdio de um estimador de ca a e denido como e EQM () = E( )2 . Podemos reescrever esta ultima expresso como a EQM () = E[( E()) + (E() )]2 = E[ E()]2 + [E() ]2 = V ar() + [E() ]2 . onde o termo E() chamado vcio ou vis do estimador e denotado por B(). e e Assim, o erro quadrtico mdio denido como a varincia do estimador a e e a mais o quadrado do seu vis. Um caso particular ocorre quando B() = 0, ou e equivalentemente E() = , i.e. o v do estimador nulo. Neste caso diz-se cio e um estimador no viesado (ENV) para e da Denio 2.1 segue que que e a ca = V ar(). A interpretao clssica desta denio que, aps observar EQM () ca a ca e o todas as poss veis amostras de tamanho n desta distribuio a mdia dos valores ca e ser . calculados de a = ento o estimador dito ser viesado ou viciado. No entanto e Se E() a pode ocorrer que a esperana do estimador se aproxima do verdadeiro valor de c ` medida que aumenta o tamanho da amostra, i.e. limn E() = . Neste caso, a e dito ser uma estimador assintoticamente no viesado para . a Exemplo 2.1 : Sejam as variveis aleatrias X1 , . . . , Xn independentes e identia o 14

15 camente distribuidas com E(Xi ) = e V ar(Xi ) = 2 . Ento, a 1 (i) E(X) = n

n

i=1

1 E(Xi ) = n
n

=
i=1 n

1 (i) V ar(X) = 2 n

i=1

1 V ar(Xi ) = 2 n

2 =
i=1

2 . n

Portanto a mdia amostral X um ENV da mdia populacional e sua varincia e e e a 2 dada por /n diminui com o tamanho da amostra. Exemplo 2.2 : (continuao) Suponha agora que o seguinte estimador 2 = ca n 2 2 (1/n) i=1 (Xi X) proposto para . Ento e a 1 E( ) = E n
2 n

(Xi X)2 .
i=1

Mas a soma dos quadrados em torno da mdia amostral pode ser reescrita como e
n n

(Xi X)
i=1

=
i=1 n

[(Xi ) (X )]2
n

=
i=1 n

(Xi ) 2(X )
2 i=1

(Xi ) + n(X )2

=
i=1

(Xi )2 n(X )2 .

Assim, a esperana do estimador dada por c e 1 E( ) = n

2 n

E(Xi )2 nE(X )2 = 2
i=1

2 = n

n1 n

e conclui-se que 2 no um ENV para 2 . Porm, a e e lim n1 n 2 = 2

e portanto 2 assintoticamente no viesado para 2 . e a No exemplo acima note que nenhuma distribuio de probabilidades foi ca a a atribuida aos Xi s. Assim, as propriedades obtidas so vlidas qualquer que seja a distribuio dos dados. Alm disso, ca fcil obter um ENV para 2 notando-se ca e a que n n E 2 = E( 2 ) = 2 . n1 n1

16

CAP ITULO 2. PROPRIEDADES DOS ESTIMADORES

Portanto, o estimador 1 S = n1
2 n

(Xi X)2
i=1

um ENV para a varincia populacional 2 . e a Em geral o processo de estimao consiste em escolher o estimador que apreca senta o menor erro quadrtico mdio. No caso de estimadores no viesados isto a e a equivale a escolher aquele com a menor varincia. a Exemplo 2.3 : (continuao) Seja o estimador = X1 para a mdia populaca e cional . Como E() = E(X1 ) = segue que = X1 tambm um ENV para e e . Portanto EQM (X) = 2 < EQM () = 2 , n para n > 1 e

e assim o estimador X deve ser escolhido. O simples fato de um estimador ser no viesado no signica que ele seja bom, a a mas se a sua varincia for pequena ento necessariamente sua distribuio estar a a ca a estar prximo de . concentrada em torno da mdia e com alta probabilidade e a o Exemplo 2.4 : Seja X1 , . . . , Xn uma amostra aleatria da distribuio de Poiso ca son com parmetro . Como E(Xi ) = V ar(Xi ) = segue dos resultados nos a Exemplos 2.1 e 2.2 que X e S 2 so ENV para . Alm disso, a e = X + (1 )S 2 tambm um ENV para j que e e a E() = E(X) + (1 )E(S 2 ) = + (1 ) = .

Exemplo 2.5 : Seja X1 , . . . , Xn uma amostra aleatria da distribuio N (, 2 ) o ca n 2 2 e seja o estimador T = c i=1 (Xi X) . Nesta classe de estimadores vamos obter o de menor erro quadrtico mdio. Como a e
n i=1 (Xi 2

X)2

2 n1

ento a E(T 2 ) = c(n 1) 2 e V ar(T 2 ) = c2 2(n 1) 4

17 e portanto EQM (T 2 ) = 2c2 (n 1) 4 + [c(n 1) 2 2 ]2 . Para obter o valor de c tal que T 2 tem o menor erro quadrtico mdio vamos a e derivar a expresso acima em relao a c e igualar a zero, i.e. a ca d EQM (T 2 ) = 4c(n 1) 4 + 2[c(n 1) 2 2 ](n 1) 2 = 0 dc ou equivalentemente 4c(n 1) 4 = 2(n 1) 2 [c(n 1) 2 2 ] e nalmente 1 . n+1 No dif mostrar que a segunda derivada em relao a c maior do que zero a e cil ca e para n > 1 de modo que o estimador c=
2 T0

1 = n+1

(Xi X)2
i=1

tem o menor EQM nesta classe de estimadores, para todos os poss veis valores 2 de e . Vimos ento que o erro quadrtico mdio a ferramenta usualmente utilizada a a e e 1 melhor do que 2 se para comparar estimadores. Dizemos que e EQM (1 ) EQM (2 ) com substituido por < para ao menos um valor de . Neste caso o estimador 2 dito ser inadmiss e vel. Um estimador dito ser timo (ou admiss e o vel) para se e no existir nenhum outro estimador melhor do que ele. Assim, um estimador a timo para se o EQM ( ) EQM () com substituido por < para ao menos um valor de . No Exemplo 2.5 o 2 eo estimador T0 timo naquela classe de estimadores. No caso de estimadores no viesados a comparao feita em termos de a ca e for um ENV para e varincias. Em particular, se a V ar( ) V ar(),

com substituido por < para ao menos um valor de ento dito ser no a e a

18

CAP ITULO 2. PROPRIEDADES DOS ESTIMADORES

viesado de varincia uniformemente m a nima (UMVU). A seguir sero apresentaa dos conceitos que possibilitaro a obteno de estimadores no viesados timos. a ca a o

2.1

Estimadores baseados em estatisticas sucientes

O teorema a seguir, conhecido como teorema de Rao-Blackwell mostra que e poss melhorar estimadores no viesados via estat vel a sticas sucientes. Teorema 2.1 (Rao-Blackwell) Para uma amostra aleatria X1 , . . . , Xn sejam o T (X1 , . . . , Xn ) uma estatstica suciente para e S(X1 , . . . , Xn ) um estimador no viesado de que no seja funo de T . Ento a a ca a = E[S(X)|T (X)] um ENV de com V ar() V ar[S(X)]. e Basicamente, o teorema de Rao-Balckwell nos diz que sempre poss mele vel horar um estimador no viesado condicionando em uma estat a stica suciente. A pergunta que se faz aqui como obter a menor reduo poss na varincia e e ca vel a para isto precisamos do conceito de estat stica completa. Denio 2.2 Uma estatstica T (X1 , . . . , Xn ) dita ser completa em relao ` ca e ca a famlia p(x|) se a unica funo real g denida no dom ca nio de T tal que E[g(T )] = 0, a funo nula, i.e. g(T ) = 0. e ca Teorema 2.2 (Lehmann-Sche) Se T uma estat e e stica suciente e completa e o unico ENV para baseado em T e tem varincia S um ENV para ento e e a a uniformemente m nima (UMVU).

2.2

Ecincia e

Um resultado importante que ser visto a seguir que, na classe de estimadores a e no viesados para um parmetro existe um limite inferior para sua varincia. a a a Veremos que isto est associado ao conceito de ecincia do estimador. a e Teorema 2.3 Sejam X1 , . . . , Xn uma amostra aleatria de p(x|) e T (X) um o estimador no viesado de . Sob condies de regularidade, a co V ar[T (X)] 1 . I()

 2.3. CONSISTENCIA

19

Este resultado conhecido como desigualdade de Cramer-Rao e nos diz ento e a que a varincia m a nima de um ENV para dada pelo inverso da informao de e ca Fisher. Denio 2.3 Um estimador de dito ser eciente se for no viesado e sua ca e a varincia atingir o limite inferior da desigualdede de Cramer-Rao para todos os a possveis valores de . Com esta denio podemos calcular a ecincia do estimador como a razo ca e a entre o limite inferior da desigualdade e sua varincia, i.e. para um estimador a de 1/I() ecincia() = e 1. V ar() Vale notar que a varincia de um estimador UMVU no necessariamente a a atinge o limite inferior de Cramer-Rao e sua ecincia pode ser menor do que e 1. Porm o contrrio sempre verdade, i.e. estimadores ecientes so necessarie a e a amente UMVU. O Teorema 2.3 pode ser generalizado para o caso de T (X) ser um ENV para uma funo h(), i.e. E[T (X)] = h(). Neste caso, a desigualdade de Cramerca Rao dada por e [h ()]2 V ar[T (X)] I() sendo h () = dh()/d. Esta forma geral da desigualdade pode ser usada para calcular o limite inferior da varincia de um estimador viesado. Seja um estimador de com vis b() = a e . Portanto um ENV para b() + . Fazendo h() = b() + segue e E() ento que a [b () + 1]2 V ar[] . I()

2.3

Consistncia e

E bem intuitivo pensar que a informao a respeito de um parmetro contida ca a em uma amostra aumenta conforme o tamanho da amostra aumenta. Assim, e razovel esperar que bons estimadores assumam valores cada vez mais prximos a o do verdadeiro valor do parmetro. A seguir sero discutidas propriedades tericas a a o dos estimadores quando o tamanho amostral torna-se cada vez maior. Denio 2.4 Seja X1 , . . . , Xn uma amostra aleatria de p(x|) e T (X) um ca o estimador de h(). Variando o tamanho amostral n obtm-se uma sequncia de e e estimadores Tn (X) de h(). Esta sequncia dita ser (fracamente) consistente e e para h() se Tn (X) h(), em probabilidade quando n .

20

CAP ITULO 2. PROPRIEDADES DOS ESTIMADORES

Na prtica tem-se uma unica amostra de tamanho n e a denio simplia ca e cada dizendo-se que o estimador ou no consistente, ao invs de uma sequncia e a e e consistente. A convergncia da Denio 2.4 em probabilidade e pode ser reee ca e scrita como P (|Tn (X) h()| > ) 0, > 0, quando n . Este resultado tambm usualmente denotado por plim Tn (X) = h(). e e E importante tambm enfatizar a diferena de interpretao entre os conceitos e c ca de consistncia e vis. Basicamente, consistncia refere-se a um unico experimento e e e com um nmero innitamente grande de replicaes enquanto vis refere-se a um u co e nmero innitamente grande de experimentos, cada um deles com um nmero u u nito de replicaes. Ou seja, um estimador consistente pode ser viesado no co entanto ele ser sempre assintoticamente no viesado. a a Finalmente, segue da desigualdade de Chebychev que uma condio suciente ca para um ENV ser consistente que sua varincia tenda a zero quando n . e a Assim, as condies gerais para a consistncia de um estimador T (X) de h() co e so a lim E[T (X)] = h() e lim V ar[T (X)] = 0.
n n

Exemplo 2.6 : Sejam as variveis aleatrias X1 , . . . , Xn independentes e idena o ticamente distribuidas com E(Xi ) = e V ar(Xi ) = 2 . Vimos no Exemplo 2.1 que E(X) = e V ar(X) = 2 /n, portanto X um estimador consistente para a e mdia populacional . Alm disso, e e E( 2 ) = n1 n 2 2 , quando n .

e a varincia de 2 obtida usando o fato de que a e Y = e V ar(Y ) = 2(n 1). Assim, V ar( 2 ) = V ar 2 Y n = 4 2 4 (n 1) V ar(Y ) = 0, quando n n2 n2
n i=1 (Xi 2

X)2

2 n1

e segue que 2 um estimador consistente para 2 . e

2.4. PROBLEMAS

21

2.4

Problemas

1. Para uma amostra aleatria X1 , . . . , Xn tomada de uma distribuio parao ca 2 2 metrizada por mostre que E( ) = V ar() + [E() ] 2. Um varivel aleatria X tem distribuio desconhecida mas sabe-se que a o ca todos os momentos E(X k ), k = 1, 2, . . . so nitos. Para uma amostra a aleatria X1 , . . . , Xn desta distribuio mostre que o k-simo momento o ca e n k k amostral e e i=1 Xi /n um ENV para E(X ). Mostre tambm que este estimador consistente. e 3. Nas condies do exerc 2 encontre um estimador no viesado de [E(X)]2 . co cio a 2 2 (Sugesto: [E(X)] = E(X ) V ar(X)) a 4. Uma droga ser administrada em 2 tipos diferentes A e B de animais. Sabea se que a resposta mdia a mesma nos dois tipos de animais mas seu valor e e desconhecido e deve ser estimado. Alm disso, a varincia da resposta e e a 4 vezes maior em animais do tipo A. Sejam X1 , . . . , Xm e Y1 , . . . , Yn e amostras aleatrias independentes de respostas dos animais dos tipos A e o B respectivamente. (a) Mostre que = X + (1 )Y um ENV para . e (b) Para valores xos de m e n obtenha o valor de que gera um ENV de varincia m a nima. 5. Seja X1 , . . . , Xn uma amostra aleatria da distribuio de Poisson com mo ca e n dia > 0 e Y = i=1 Xi . (a) Determine a constante c tal que exp(cY ) seja um ENV para exp(). (b) Obtenha o limite inferior para a varincia deste estimador. a (c) Discuta a ecincia deste estimador. e o ca 6. Seja X1 , . . . , Xn uma amostra aleatria da distribuio de Bernoulli com parmetro > 0. Mostre que a varincia de qualquer estimador no viesado a a a 2 3 de (1 ) deve ser pelo menos 4(1 ) /n. 7. Descreva as seguintes propriedades fundamentais dos estimadores: consistncia, no-tendenciosidade (ou no-vis) e ecincia. e a a e e 8. Sejam X1 , . . . , Xn variveis aleatrias independentes com Xi Exp(1/). a o Mostre que a mdia amostral um estimador eciente para . e e 9. Sejam X1 , . . . , Xn variveis aleatrias independentes com Xi N (, 2 ), a o 2 sendo conhecido e desconhecido. Verique se T (X) = n (Xi )2 /n i=1 um estimador eciente para 2 . (Dica: E(X )4 = 3( 2 )2 ). e

22

CAP ITULO 2. PROPRIEDADES DOS ESTIMADORES

10. Seja X1 , . . . , Xn uma amostra aleatria da distribuio N (, 2 ). Mostre o ca n n e a que a estat stica T = i=1 ai Xi com i=1 ai = 1 no viciada. Obtenha valores de ai para os quais T seja consistente.