6.

Teoria da estimação e estimação paramétrica pontual;

Teoria da estimativa, ou teoria da estimação como ramo da estatística e do

processamento de sinais (teoria de controle), se preocupa com a estimativa (estimação)
de valores, parâmetros ou estados, baseando-se em dados com um comportamento
aleatório.
Os parâmetros ou estados descrevem uma configuração "física fundamental",
como uma função de densidade ou mesmo um sistema dinâmico, de tal forma que o
valor dos parâmetros afeta a distribuição (função) gerada pelos dados medidos. Um
estimador tenta aproximar os parâmetros desconhecidos usando as medidas, como
exemplo em estatística temos média ou variância, em sistemas dinâmicos temos filtro de
Kalman. Em estatística o problema surge da impossibilidade de ter acesso à população
cujos parâmetros desejamos. Ao passo que em sistemas dinâmicos temos o problema de
medir alguns estados, somente a entrada e saída pode ser medida e controlada. Um
conceito bastante importante em estatística é o conceito de estimadores
viesados (tendencioso) e não viesados: por exemplo, a média amostral é um bom
estimador para a média da população, ao passo que a variância não.
Na teoria da estimação, assume-se os dados medidos como sendo aleatórios, na
verdade composto de ruídos e uma parte determinística, com distribuição de
probabilidade dependendo dos parâmetros de interesse. Como exemplo, na teoria da
comunicação elétrica, as medições que possuem informação a respeito dos parâmetros
de interesse são frequentemente associados com um ruído. Sem aleatoriedade ou ruído o
problema seria determinístico, sem a necessidade de estimação.

2. ESTIMAÇÃO PARAMÉTRICA PONTUAL

2.1. Introdução:

População: X 𝑓(𝑥|𝜃): f.d.p. (ou f.p.) de X

𝜃: Parâmetro desconhecido

O nosso interesse é estimar o valor de 𝜃 !!!

Definição 9 (Estimador para 𝜃: 𝜃̂) : Qualquer estatística que assuma valores em Θ é um

estimador para 𝜃.

Definição 10 (Estimador para 𝑔(𝜃)): Qualquer estatística que assuma valores apenas no
conjunto dos possíveis valores de 𝑔(𝜃) é um estimador para 𝑔(𝜃).

como avaliar os possíveis estimadores ?

2.2. Erro Quadrático Médio:

Definição 11 (EQM): O erro quadrático médio (EQM) de um estimador 𝜃̂ do parâmetro

𝜃 é dado por
 2
𝐸𝑄𝑀(𝜃̂) = 𝐸 ((𝜃̂ − 𝜃) )

Pode-se mostrar que 𝐸𝑄𝑀(𝜃̂) = 𝑉𝑎𝑟(𝜃̂) + 𝐵 2 (𝜃̂), com 𝐵(𝜃̂) = 𝐸(𝜃̂) − 𝜃.

Observações:

(i) 𝐵(𝜃̂) é denominado o vício do estimador 𝜃̂;

(ii) Dizemos que um estimador 𝜃̂ é não viciado para 𝜃 se 𝐸(𝜃̂) = 𝜃, para todo 𝜃 ∈ Θ,
ou seja, se 𝐵(𝜃̂) = 0, para todo 𝜃 ∈ Θ.

(iii) Se lim 𝐵(𝜃̂) = 0, para todo 𝜃 ∈ Θ, dizemos que 𝜃̂ é assintoticamente não viciado
𝑛→∞
para 𝜃.

(iv) Se 𝜃̂ é um estimador não viciado para 𝜃, temos que 𝐸𝑄𝑀(𝜃̂) = 𝑉𝑎𝑟(𝜃̂).

Exemplo 1: Seja (𝑋1 , … , 𝑋𝑛 ) uma a.a. de uma população X, com 𝐸(𝑋) = 𝜇 e 𝑉𝑎𝑟(𝑋) =
𝜎 2.

𝜎2
Temos que 𝐸(𝑋̅) = 𝜇 e 𝑉𝑎𝑟(𝑋̅) = . Portanto,
𝑛

𝑋̅ é um estimador não viciado para 𝜇

(𝑛−1)𝜎2
Com relação á variância, temos que 𝐸(𝜎̂ 2 ) = e 𝐸(𝑆 2 ) = 𝜎 2 . Portanto,
𝑛

𝜎̂ 2 é um estimador viciado para 𝜎 2 , mas é assintoticamente não viciado e 𝑆 2 é um

estimador não viciado para 𝜎 2 .

Comparação de estimadores

1) 𝜃̂1 é melhor que 𝜃̂2 se 𝐸𝑄𝑀(𝜃̂1 ) ≤ 𝐸𝑄𝑀(𝜃̂2 ) para todo 𝜃, com “≤”
substituindo por “<” pelo menos para um valor de 𝜃. Nesse caso, 𝜃̂2 é dito ser
inadmissível.
2) Se existir um estimador 𝜃̂ ∗ tal que para todo estimador 𝜃̂ de 𝜃, com 𝜃̂ ≠ 𝜃̂ ∗ , o
𝐸𝑄𝑀(𝜃̂ ∗ ) ≤ 𝐸𝑄𝑀(𝜃̂) para todo 𝜃, com ”≤” substituído por ”<” para pelo
menos um valor de 𝜃, então 𝜃̂ ∗ é dito ser ótimo para 𝜃.
3) Além disso, se em ”2)” os estimadores são não viciados, então 𝜃̂ ∗ é dito ser o
estimador não viciado de variância uniformemente mínima (ENVVUM), pois
teremos
𝑉𝑎𝑟(𝜃̂ ∗ ) ≤ 𝑉𝑎𝑟(𝜃̂)

para todo 𝜃, com ”≤” substituído por ”<” para pelo menos um valor de 𝜃.
2.3. Estimadores Consistentes

Definição 12 (Consistência): Uma sequência {𝜃̂𝑛 , 𝑛 = 1,2, … } de estimadores de um

parâmetro 𝜃 é consistente se, para todo 𝜖 > 0,

𝑃(|𝜃̂𝑛 − 𝜃| > 𝜖) → 0 quando 𝑛 → ∞.

Ou, equivalentemente, {𝜃̂𝑛 , 𝑛 = 1,2, … } é uma sequência consistente de estimadores de

𝜃 se

(i) lim 𝐸(𝜃̂𝑛 ) = 𝜃;

𝑛→∞

(ii) lim 𝑉𝑎𝑟(𝜃̂𝑛 ) = 0.

𝑛→∞

EXEMPLO 4:

𝑋̅𝑛 : estimador consistente da média populacional 𝜇

𝑝̂𝑛 : estimador consistente da proporção populacional 𝜃

𝐸(𝑋̅𝑛 ) = 𝜇 𝑉𝑎𝑟(𝑋̅𝑛 ) = 𝜎 2 ⁄𝑛

𝜃(1 − 𝜃)
𝐸(𝑝̂𝑛 ) = 𝜃 𝑉𝑎𝑟(𝑝̂𝑛 ) =
𝑛
Tabela 1: Estimadores para média, proporção e variância

Parâmetro Estimador Propriedades

𝜇: média 𝑋̅ Não viciado e consistente
𝜃: proporção 𝑝̂ Não viciado e consistente
𝜎 2 : variância 𝑆2 Não viciado e consistente
𝜎 2 : variância 𝜎̂ 2 Viciado e consistente

2.4. Estimadores Eficientes e Estatísticas Suficientes

2.4.1. Estimadores Eficientes

𝜃̂: deve ser não viciado e ter variância pequena

Definição 13 (Eficiência): A eficiência de um estimador 𝜃̂, não viciado para 𝜃, é

definida pelo quociente

𝐿𝐼(𝜃)
𝑒(𝜃̂ ) =
𝑉𝑎𝑟(𝜃̂)

com 𝐿𝐼(𝜃) representando o limite inferior da variância dos estimadores não viciados de
𝜃.

Observações:
(i) 𝜃̂ é dito ser um estimador eficiente se 𝑒(𝜃̂) = 1, ou seja, se 𝐿𝐼(𝜃) = 𝑉𝑎𝑟(𝜃̂);

(ii) Pode-se mostrar que, sob certas condições de regularidade,

2 −1
𝜕𝑙𝑜𝑔𝑓(𝑋|𝜃)
𝐿𝐼(𝜃) = {𝑛𝐸 [ ] } ;
𝜕𝜃

(iii) Condições de regularidade:

- o suporte 𝐴(𝑥) = {𝑥: 𝑓(𝑥|𝜃) > 0} não depende de 𝜃;

- é possível trocar as ordens das operações de derivação e de integração;

𝜕𝑙𝑜𝑔𝑓(𝑋 |𝜃 )
Definição 14 (Escore): A quantidade é chamada função escore.
𝜕𝜃

Definição 15 (Informação de Fisher): A quantidade