Lezione 24 - 30/4/21

Nella scorsa lezione abbiamo visto l'errore quadratico medio.

Oggi vedremo la teoria degli

Stimatori corretti uniformemente a varianza minima

Definizione efficienza relativa
Siano dati due stimatori T 1 e T 2 corretti per il parametro �. Il rapporto:
VarT 2
VarT 1
viene detto efficienza relativa di T 2 rispetto a T 1 .
Inoltre definiamo "più efficiente" lo stimatore di varianza minore.
Definizione stimatore efficiente (stimatore corretto uniformemente a varianza minima)
Uno stimatore T corretto per il parametro � viene detto "efficiente" oppure
"uniformemente a
varianza minima" se ha varianza minore o uguale ad ogni altro stimatore corretto di �.
Cioé in altre parole:
∀T' stimatore corretto di � , VarT ⩽ VarT' , ∀� ∈ �
Quindi nella classe degli stimatori corretti per il nostro parametro è quello che ha varianza
minima.
Teorema teorema di cramer-rao
Dato un campione casuale di taglia n, estratto da una popolazione X caratterizzata da un
parametro � e con densità f(x; �)
Sia T = g(X 1 , … , X n ) stimatore corretto di �.
Se
∂
1 log f(x; �) ∃ ∀x , ∀�
∂�
∂ ∂
2 ∫f(x; �) dx =∫ f(x; �) dx
∂� ∂�
n
∂
∫ … ∫g(x1 , … , xn )∏ f(xi ; �) dx1 ⋅…⋅ dxn =
∂� i=1
3 n
∂
= ∫ … ∫g(x 1 , … , x n ) ∏ f(xi ; �) dx1 ⋅…⋅ dxn
∂� i=1
2
∂
4 E log f(X; �) finito ∀� ∈ �
∂�
⏠⏣⏣⏣⏣⏣
E ⏡⏣⏣⏣⏣⏣
h(X) ⏢
Allora:
 1
a VarT ⩾ 2
∂
nE ∂�
log f(X; �)

Questo è detto "limite minimo di cramer-rao"

Quindi se riusciamo ad individura uno stimatore T che abbia questa varianza allora
sappiamo di avere trovato uno stimatore efficiente.
b l'uguaglianza sussiste solo se ∃ una funzione �(�) tale che:
n
∂
T = � + �(�)∑ log f(Xj ; �) (1)
j=1 ∂�

Dimostrazione solo del caso assolutamente continuo del punto a

Fisso due VV.AA.
X = T-�
n
∂
Y= log ∏ f(Xi ; �)
∂� i=1
Uso la disuguaglianza di Cauchy-Schwartz
E(XY) 2 ⩽ EX 2 EY 2
Sostituisco:
2 2
n n
∂ ∂
E (T - �) log ∏ f(Xi ; �) ⩽ E(T - �) 2 E log ∏ f(Xi ; �) (2)
∂� i=1 ∂� i=1

Studio prima la parte destra della disuguaglianza:

n
∂
E (T - �) log ∏ f(Xi ; �) = (3)
∂� i=1
n n
∂ ∂
=E T ∑ log f(Xi ; �) - �∑ E log f(Xi ; �) (4)
∂� i=1 i=i ∂�
in (4) guardiamo prima la parte rossa.
n
∂
E T log ∏ f(Xi ; �) =
∂� i=1
⏠⏣⏣⏣⏣ ⏡⏣⏣⏣⏣
h(X1 ,…,X n)
⏢
n
∂
= ∫ … ∫g(x 1 , … x n ) log ∏ f(x i ; �) ⋅ f (X1 ,…,Xn ) (x 1 , … , x n ) dx 1 … dx n =
∂� i=1
n n
∂
= ∫ … ∫g(x1 , … xn ) log ∏ f(x i ; �) ⋅ ∏ f(x i ; �) dx 1 … dx n =
∂� i=1 i=1
 +∞ n
1 ∂
= ∫ … ∫g(x 1 , … x n ) n
∏ f(xi ; �) ⋅ ∏ f(xi ; �) dx1 … dxn =
∏ f(x i ; �) ∂� i=1 i=1

i=1
+∞ Hp
∂
= ∫ … ∫g(x 1 , … x n ) ∏ f(xi ; �) dx1 … dxn ⏥
=
∂� i=1
+∞
∂
= ∫ … ∫g(x1 , … xn )∏ f(xi ; �) dx1 … dxn =
∂� i=1
∂ ∂
= ET = �=1
∂� ∂�
In (4) guardiamo la parte blu:
n n
∂ ∂
∑E log f(Xi ; �) = ∑ ∫ log f(x i ; �) ⋅ f(x i ; �) dx i =
i=i ∂� i=1 ∂�
densità log
n ⏜⏟⏟⏟⏟
1
⏝∂⏟⏟⏟⏟
⏞ n
∂
= ∑∫ f(x i ; �) ⋅ f(x i ; �) dx i = ∑ ∫ f(x i ; �) dx i =
i=1 f(x i ; �) ∂� i=1 ∂�
n n
∂ ∂
=∑ ∫f(xi ; �) dxi = ∑ 1=0
i=1 ∂� i=1 ∂�
Perciò (3) diventa:
n
∂
E (T - �) log ∏ f(Xi ; �) = 1-0
∂� i=1

Riassumendo la nostra disuguaglianza diventa:

1
VarT ⩾
2
n
∂
E ∂�
log ∏ f(Xi ; �)
i=1

Trasformo il denominatore:
2 2
n n
∂ ∂
E log ∏ f(Xi ; �) =E ∑ log f(Xi ; �)
∂� i=1 i=1 ∂�

Quindi sto facendo il quadrato della somma:

n
∂ ∂
E ∑ log f(Xj ; �) ⋅ ∑ log f(Xk ; �) =
j=1 ∂� k ∂�
∂ ∂
=E ∑∑ log f(Xj ; �) log f(Xk ; �) =
j k ∂� ∂�
 ∂ ∂
= ∑∑E log f(Xj ; �) log f(Xk ; �) (5)
j k ∂� ∂�
Come è fatto questo valore atteso?
Qui stiamo valutando sostanzialmente il momento secondo di questo prodotto, ci
dobbiamo
chiedere cosa possa succedere quando j = k e quando j ≠ k
Se j ≠ k

∂ ∂ ∂ ∂
E log f(Xj ; �) log f(Xk ; �) = E log f(Xj ; �) E log f(Xk ; �) = 0
∂� ∂� ∂� ∂�
⏠⏣⏣⏣⏣⏣
=⏡⏣⏣⏣⏣⏣
0 ⏢
in quanto già calcolato
questa è la parte azzurra della
equazione azzurra sopra

Quindi il contributo per j ≠ k è nullo e quindi mi interessano solo i termini in cui k = j

Se k = j, otteniamo:
2
∂
E log(Xj ; �)
∂�
Continuiamo da (5)
n 2 n 2
∂ ∂
= ∑E log f(Xj ; �) = ∑E log f X ;� =
j=1 ∂� j=1 ∂� ⏦
genitrice
Non c'è più nulla che dipende da j.
2
∂
= nE log f(X ; �) QED ⊠
∂�

Il teorema di Cramer-Rao ci dice che la varianza non può essere inferiore a questa
quantità:
quando trovo uno stimatore che raggiunge il limite minimo di Cramer-Rao allora è fatto in
questo modo (1)
Proposizione
Se ∃ uno stimatore corretto per il parametro � che ha una varianza che raggiunge il limite
inferiore di Cramer-Rao allora è uno stimatore di massima verosimiglianza.
Dimostrazione
Partiamo dal secondo punto dell'enunciato di Cramer-Rao (1) l'uguaglianza sussiste se ∃
� = �(�) tale che:
n
∂
T - � = �(�)∑ log f(Xj ; �)
j=1 ∂�
⟺
 n
∂
T - � = �(�) log ∏ f(Xj ; �)
∂� i=1
⏠⏣⏣⏣
L⏡⏣⏣⏣
(�) ⏢
⟺
∂ T-�
log L(�) =
∂� �(�)
Immaginiamo di derivare lo stimatore di massima verosimiglianza:
∂ T-�
log L(�) = 0 =
∂� �(�)
⟺
T-� = 0
Cioè

� ML = T

Adesso vorremmo capire se aumentando il valore della classe del campione casuale il
valore degli stimatori migliorano..
Chiaramente se lanci 100 volte la moneta o 10.000 volte la moneta migliorerà molto le
inferenze.
ANche se non è sempre vero che le inferenze migliorano.