Proprietdeglistimatoridimassimaverosimiglianza

G. Soffritti

Interrogativiaperti: 1)leSMVsonoaccurate? 2) il procedimento di SMV costituisce una valida strategiaperaffrontareproblemidistima? studio delle propriet teoriche degli stimatori di massimaverosimiglianza 0 = valore (non noto) del parametro per il modello statisticochehageneratoilcampioneosservatoy =stimadimassimaverosimiglianzaottenutaday Valutarelaccuratezzadi confrontare e0: 0sepiccolaalloralastimaaccurata. Questoprocedimentopercorribile?NO! Procedimento alternativo per misurare laccuratezza dellaSMV(epiingeneraletuttiglistimatori): associare a una misura della sua attendibilit come stimadi0.

1modopervalutarelattendibilitdellastima: confrontarel( )conivaloridil()inunintornodi Sel()sufficientementeregolare,alloraperk=1 l() =l( )+l( )( )+l( )( )2+

=l( )+l( )( )2+

dovel( )el( )sonocostantirispettoa. l()l( )=l( )( )20 ilcomportamentodil()inunintornodi dipendeda )<0 l( l( )>0 misura la curvatura locale della logverosimiglianza nel punto ; misuralarapiditdicadutadil()amanoamanocheci siallontanada misuralapreferenzarelativadi rispettoaglialtrivalori delparametro IO( )=l( ) informazioneosservatadiFisher Perk>1: IO( )=H( )
2

Proprietdeglistimatoridimassimaverosimiglianza

G. Soffritti

n 2 0 )=H( )= Nelmodellogaussiano:IO( 0 n 2 4 tantomaggiore (lapreferenzarelativadaattribuirea quantopinelevatoequantopi 2 piccolo)

1aspettativa: ladistribuzionediprobabilitdiT(Y)0dovrebbeessere centratainunvalorevicinoa0. perogni (1) E(T(Y))= T(y )f (y , )dy =

S

IO( ) una matrice quadrata, simmetrica, definita positiva. 2modopervalutarelattendibilitdellastima: y = (y1, , yn) campione casuale semplice di n osservazionidiY Y = (Y1, , Yn) vettore di n variabili casuali campionarie I.I.D. =T(Y)unvettoredikvariabilicasuali Qualvaloreattesodi ? ? Quallavarianzadi Qualladistribuzionediprobabilitdi ? 0? Qualladistribuzionediprobabilitdi studio delle propriet teoriche del metodo della massima verosimiglianzanellotticadelcampionamentoripetuto. studiodellecaratteristichedelladistribuzionediprobabilit delvettore 0nellotticadelcampionamentoripetuto.

(ammessochetalevaloreattesoesista) la condizione (1) soddisfatta T(Y) non distorto in media (corretto); il valore campionario T(y) stima non distortainmediadi. la condizione (1) non soddisfatta T(Y) distorto in media In tal caso, qual lo scostamento tra il valore atteso di T(Y)e? E(T(Y)) distorsionedellostimatore.

Proprietdeglistimatoridimassimaverosimiglianza

G. Soffritti

2aspettativa:(perstimatoridistortiinmedia) lim E(T(Y))=

n

loSMVdi2tendeasottostimareilparametro.

(2)

lim E( 2 )= lim (n1)/n2=2

n

lacondizione(2)soddisfattaT(Y)asintoticamentenon distorto in media; il valore campionario T(y) stima asintoticamentenondistortainmediadi. Modellogaussiano

(stimatoreasintoticamentenondistortoinmedia) 1 2 n s2 = 2 = Yi Y n 1 n 1 i

Lostimatoredelparametro=(, 2) =(m1, 2 )

2 2 = (m2 m1 ) =

1 1 Yi2 Y 2 = n Yi Y n i i

)2 .

E(m1)=

(nondistortoinmediaper)

n 2 /2~2(n1)

Quindi
E(n 2 /2)=nE( 2 )/2=n1

Stimatoredi2dettovarianzacampionariacorretta. In questo esempio abbiamo potuto stabilire che lo stimatoredimassimaverosimiglianzadi2distorto; abbiamo determinato lentit della sua distorsione e un nuovostimatorenondistorto. Cinonsemprepossibile. Per derivare risultati generali la cui validit prescinda dallo specificomodellostatisticooccorrechelaL()rispettialcune condizionidiregolarit: a. ilmodellostatisticoidentificabile b. lo spazio parametrico un intervallo aperto dellospazioeuclideoRk c. glielementidellaclasseparametricahannotuttilo stessosupporto

E( 2 )=2(n1)/n=2(11/n)=22/n distortoinmediaperilparametro2.
2

Ladistorsioneparia: E( 2 )2=(22/n)2=2/n(distorsionenegativa)

Proprietdeglistimatoridimassimaverosimiglianza

G. Soffritti

d. per la funzione f si pu scambiare due volte loperatorediintegraleinyconquellodiderivata rispettoa; perk=1: d.1. d.2.
S

d f (y , )dy = d f (y , )dy
d d

d 2 f (y , )dy = d 2 f (y , )dy
d d
S

S 2

perk>1: d.1. d.2.

S

f (y , )dy = f (y , )dy
S
2

2 f (y , )dy = f (y , )dy S S

Sevalgonoquestecondizioni citroviamonelcontestodi unproblemaregolaredistima.

Perricavarealcunirisultatigeneralinecessariostudiare la funzione punteggio di Fisher (gradiente della funzionedilogverosimiglianza): per l(, y ) =u(,y)=u() Esempio riguardante il modello gaussiano con varianza nota,paria1. Studiodellecaratteristichedellafunzioneu(,y) 1)E[u()] =E[ l(, y ) ] =E[ log f (y , ) ] = log f (y ,)f (y , )dy = S
1 f (y ,)f (y ,)dy = f (y , ) S = f (y ,)dy S = 2)V(u())= sek=1=E(u()2)=E{[ 1=0 (vettorenullosek>1) l(, y ) ]2}

Proprietdeglistimatoridimassimaverosimiglianza

G. Soffritti

sek>1=E[u()u()]=E{

l(, y ) l(, y ) }

Sidimostrache(sivedaAzzalini): 2 2}=E{ sek=1E{[ l(, y ) ] l( , y ) } 2 2 l(, y ) } sek>1E{ l(, y ) l(, y ) }=E{ '

n 2 IA() =E n( m1 + ) 4

n n m2 2m1 + 2 2 4 6

n( m1 + )

PoichE(m1)=, E(m2)=2 = 2 + 2

=E{H () }

n / 2 IA() = 0

n / 2 4 0

Linformazione attesa di Fisher sul parametro di un modellostatistico IA()=V[u()]

Perk>1 IA()unamatricekkdefinitapositiva:

n / 2 0 )= IO( 4 n / 2 0 QualladifferenzaconcettualetraIA()eIO( )?

aIA()a=aE[u()u()]a=E[au()u()a]=E[ (u()' a )2 ]>0

Nelmodellogaussiano:

n 2 H()= n( m1 + ) 4

n n m2 2m1 + 2 2 4 6

n( m1 + )

10

Proprietdeglistimatoridimassimaverosimiglianza

G. Soffritti

ProprietdellinformazioneattesadiFisher 1)Additivitpervariabiliindipendenti Y1,Y2 IA1()=Var[u(, y1)]linformazioneattesasucontenuta iny1, IA2()=Var[u(,y2)]quellacontenutainy2. Se Y1e Y2sonoindipendenti,alloralinformazioneattesa sucontenutainy=(y1,y2): IA()=IA1()+IA2(). Infatti IA() =Var[u(,y)]=Var[u(,y1,y2)]
=Var[u(,y1)]+Var[u(,y2)] Conseguenza Se Y = (Y1,, Yn) un campione casuale semplice, ogni v.c. campionaria Yi ha uninformazione attesa su costante: IAi()=i() peri=1,,n

Teorema(disuguaglianzadiRaoCramer) Nellambitodiun problemaregolaredistima,con k=1,sia T(Y)unostimatoretalecheilsuovaloreatteso E(T(Y))= T (y ) f (y , )dy =a()

S

a' ()2 (1) Allora Var[T(Y)] IA() se0<IA()<. La(1)dettadisuguaglianzadiRaoCramer. a' ()2 dettolimiteinferiorediRaoCramer. IA()

esistaesiaderivabile,conderivataparia: d d a()= T (y ) f (y , )dy = T (y ) d f (y , )dy . d S S

IA()=ni().

11

12

Proprietdeglistimatoridimassimaverosimiglianza

G. Soffritti

Dimostrazione d a() = T (y ) f (y , )dy d S

= T (y )
S

Casinotevoli

1)T(Y)nondistortoinmediaper

a()=a()=1Var[T(Y)]

d f (y , )dy d

1 . IA()

d log f (y , ) f (y , )dy = T (y ) d S d = ET (Y ) log f (y , ) d d = ET (Y ) l( ) d = E{T (Y )u( )} = Cov{T (Y ), u( )} Cov{T (Y ), u( )} Var(T(Y))Var(u());

2

1 IA() IA()puquindiessereinterpretatacome

SeVar[T(Y)]=

unamisuradellaprecisionemassimadellastima attesa di nel caso in cui si disponga di uno stimatore non distorto.

Attenzione! Il teorema non garantisce n lesistenza di uno stimatore che raggiunga il limite inferiore di RaoCramer, n lunicit(qualoraesista).

a()2Var(T(Y))Var(u()) risolvendo la disuguaglianza rispetto a Var(T(Y)) e ricordando che Var(u())= IA() si ottiene il risultato del teorema.

2)Perk>1ladisuguaglianzadiventa: (limitatamente al caso di uno stimatore non distorto in media,assumendoinoltrecheIA()siadefinitapositiva)

Var(T(Y))IA()1,

IA()1=inversadellamatricediinformazioneattesa ladisuguaglianzavainterpretatanelsensoche (Var(T(Y))IA()1)unamatricesemidefinitapositiva.

3)Y=campionecasualesempliceVar(T(Y))(ni())1.

13

14

Proprietdeglistimatoridimassimaverosimiglianza

G. Soffritti

Inbasealteoremaglistimatorisonovalutatirispettoalla varianza; se si tratta di stimatori non distorti in media, essidovrebberoesserevalutatirispettoa E (T (Y ) )2 errorequadraticomediodiT(Y) Sipudimostrareche: E (T (Y ) )2 =Var(T(Y))+{E(T(Y))}2

( (

) )

Esempio:ModellostatisticoYN(,1) 1 n l()= (y i )2 2 i =1 u()=l()= (y i ) = y i n

i =1 i =1 n n

Efficienza SiaT(Y)unostimatorenondistortoinmediaper. Var(T(Y))IA()1 Var(T(Y))IA()IA()1IA()=I (Var(T(Y))IA())1I (Var(T(Y))IA())1 efficienzadiT(y) Sek=1lefficienzadiT(Y)unoscalaretra0e1.

u()=l()=n IA()=E[u()]=E(n)=n
1 LimiteinferiorediRaoCramer: Var(T(Y)) n 1 =m1 E( )= Var( )= . n

possiamo evitare di proseguire la ricerca di stimatori alternativipoichnonneesistonodimigliori (discorsovalidoingeneralepurchcitroviamoinunproblema regolaredistima)

15 16

Proprietdeglistimatoridimassimaverosimiglianza

G. Soffritti

ProprietgeneralidelleSMV *dinaturaasintotica(validepern) Nellapraticapernfinito! StudiamoleproprietasintotichedegliSMV perchderivarerisultatigeneralidelleproprietdegli SMV per numerosit campionaria finita estremamente difficile; nella speranza che le propriet valide per n forniscano buone approssimazioni di quanto succede quando n finito (in particolare quando n pari alla numerositdelcampionecheabbiamoosservato). In molte situazioni le approssimazioni asintotiche sono buoneanchepernumerositpiuttostopiccole(n>30)

Proprietasintoticheauspicabiliperunostimatore: 1) consistenzadebole 2) consistenzaforte 3) correttezzaasintotica 4) efficienzaasintotica E auspicabile inoltre poter conoscere anche la distribuzionediprobabilitasintoticadellostimatore. Stime(debolmenteefortemente)consistenti 0 = valore (non noto) del parametro per il modello statistico che ha generato il campione osservato y (di numerositn) Tn(y)=stimadi y Sn Tn(Y)=stimatoredi Tn(Y)sidicedebolmenteconsistenteper se Tn(Y) 0 qualunquesiailvaloredi0nellospaziodeiparametri. Ilvaloret=Tn(y)dettostima(debolmente)consistente.
p

17

18

Proprietdeglistimatoridimassimaverosimiglianza

G. Soffritti

In pratica, se Tn(Y) debolmente consistente, allora al cresceredin:

1) la distribuzione di probabilit dello stimatore tende a concentrarelamassaunitariadi probabilitsulvalore 0 (distribuzionelimitediprobabilitdegenere); 2) la probabilit di commettere un errore di stima convergea0. Tn(Y)sidicefortementeconsistenteper se Tn(Y) 0 Poich la convergenza quasi certa implica quella in probabilit,sihachelaconsistenzaforteimplicaquella debole. Poich la convergenza in media quadratica implica la convergenzainprobabilit,sihache:
n q .c .

Esempio:modellostatisticoYN(,1) Sn=Rn.

LaSMVlamediaaritmeticacampionaria: =m1;
0
q .c .

(perlaleggefortedeigrandinumeri)

(purchcomprenda0)

fortementeconsistenteperilparametro debolmenteconsistenteperilparametro

Piingenerale,sipudimostrareche(sivedaAzzalini), sottoleseguenticondizioni: ilmodellostatisticoidentificabile; lefunzioni(didensit)diprobabilitf(.,)specificate dalmodellostatisticohannotuttelostessosupporto; lencomponentidelvettorediv.c.campionariesono I.I.D.; 0; leSMVsonofortementeconsistenti. In generale, trattandosi di una propriet asintotica, la consistenzadelleSMVhasensosoloquandoilnumerodi parametridigranlungainferiorean.

lim E (Tn (Y ) 0 )2 =0Tn(Y) 0.

SeE[Tn(Y)]eVar[Tn(Y)]0 alloraTn(Y)debolmenteconsistenteperilparametro.

19

20

Proprietdeglistimatoridimassimaverosimiglianza

G. Soffritti

LadistribuzioneasintoticadelleSMV

Casoparticolare:k=1.

Il risultato valido anche per k > 1 con unopportuna generalizzazione delle condizioni descritte (si veda Azzalini).

Sidimostrache,sottoleseguenticondizioni: a. siamoinunproblemaregolaredistima; b. le n v.c. campionarie (Y1, , Yn) sono I.I.D., con (densitdi)probabilitmarginalef(y,); c. linformazione attesa di Fisher su per ogni singola osservazione campionaria Yi, i(), positivaefinita; d. consistente; e. esisteunafunzioneM(y,)taleche 3 log f (y , ) <M(y,) 3 (la funzione M deve inoltre essere integrabile, e deve avere integrale limitato rispetto alla distribuzionediprobabilitf:E[M(Y,)]<M0<);
d d

Operativamentequestorisultatositraducenellaseguente distribuzione approssimata di , per n finito, purch sufficientementeelevato: N(0,(ni(0))1). Perconcludere,leSMVsono: moltoflessibili hannonotevolipotenzialitdiapplicazione buoneproprietformali. Perquestimotivivienepreferitosianelleanalisirealiche nellateoriastatistica.

n ( 0) N(0,i(0)1),ovvero N(0,(ni(0))1).

QuindiloSMV: 1) hadistribuzioneasintoticanormale; 2) asintoticamentenondistortoinmedia; 3) asintoticamenteottimo(pienamenteefficiente).

21

22