Sei sulla pagina 1di 51

STATISTICHE CAMPIONARIE E LORO DISTRIBUZIONE

Indichiamo una statistica campionaria come una funzione

g(X 1 , …., X n )

dei risultati di un’estrazione di un campione di n unità, che può essere considerato una determinazione di una v.c. n-pla con componenti (X 1 , …., X n )

oppure

t(X 1 , …., X n )

MEDIA CAMPIONARIA ( X )

Caso A n-pla estratta in modo bernoulliano da popolazione di forma ignota con media µ e varianza σ 2 . (X 1 , …., X n sono n v.c. IID)

n

X

i

La statistica

Di

X =

i =

1

è detta media campionaria.

n

tale statistica conosciamo che:

E(X )= µ

( X è uno stimatore di µ non distorto)

2 σ ( ) Var X =
2
σ
(
)
Var X
=

n

( X è uno stimatore di µ consistente-coerente)

Caso B n-pla estratta in modo bernoulliano da popolazione normale (µ, σ 2 ) (X 1 , …., X n sono n v.c. NIID) Della media campionaria sappiamo, dal teorema circa la combinazione lineare di variabili NIID, che:

 

2

n

   (è uno stimatore di µ non distorto e consistente-coerente)

X ~

N

µ ,

σ

2 n    (è uno stimatore di µ non distorto e consistente-coerente)  X

1

Ma qual è la distribuzione di X quando non siamo nel caso di normalità (quando siamo nel Caso A)? Dobbiamo distinguere due casi.

Caso A1 La distribuzione di ogni X i è nota, ma non normale

A partire dalla distribuzione di X possiamo costruire quella di X . Nel caso di campione bernoulliano la distribuzione potrà essere definita dalla produttoria della funzione di densità corrispondenti alle singole estrazioni).

Tuttavia per il teorema del limite centrale sappiamo che:

lim p

n →∞

  X − µ   σ   n
X −
µ
σ
n

z



=

1 z ∫ 2 π −∞
1
z
2
π
−∞

e

z

2

2

dz

ovvero che:

asintoticamente

X ~

N

µ

,

2

e

σ che

n

X

µ

σ

n
n

~ N(0,1)

Inoltre se X è dicotomo, con frequenze relative p e q, tale popolazione è bernoulliana, con

distribuzione

( ) =

p x

x

p q

n

x

e

:

asintoticamente

R

n

~ N

p,

pq

n

e

R

n

p

pq n
pq
n

~ N(0,1)

Caso A2 La forma della distribuzione di X i non è nota.

Possiamo considerare solo le proprietà asintotiche di X (utilizzando il teorema del limite centrale o di Laplace, o a seconda che tali v.c. siano, rispettivamente, IID o solo indipendenti)

VARIANZA CAMPIONARIA

Caso A n v.c. IID (campione bernoulliano da una popolazione di forma ignota)

(S 2 )

(

x

i

X

)

2

Definiamo la statistica

campionaria. Si può osservare che:

S

2

=

n

varianza campionaria, e il suo numeratore devianza

(

E S

2

)

(

Var S

=

2

)

n

1

σ

2

 

(

2

n

(

n

1

)

2

n

3

=

 

 

3

µ

4

1

 

n

 

n

S

è stimatore distorto di

σ

4

σ

2

)

2

 

2

( x

i

X

)

2

 

è la varianza campionaria distorta

S

S

S

=

 
 

n

2

x

1 X

)

2

 

è la varianza campionaria non distorta (corretta)

 

n

1

2

=

 

n

(

E S

2

)

=

n 1

n

(

E S

2

)

=

n

n 1

σ

2

= σ

2

 
   

n

1

n

1

n

Per dimostrare che

(

E S

2

)

= σ

2

possiamo esprimere

S

2

in un diverso modo:

S

2

=

(

x

i

X

)

2

=

(

x

i

µ

X

+

)

µ

2

=

 

n

1

n

1

 

=

[(

x

i

)

µ

(

X

)]

µ

2

=

n

1

(

x

i

)

µ

2

= +

n

(

X

2

µ

)

2

(

x

i

)(

µ

X

µ

)

=

n

1

n

1

   

n

1

 

(

x

)

µ

2

i n

= +

(

X

)

µ

2

2

(

X

)(

µ

nX

µ

n

)

=

n

1

n

1

   

n

1

(

x

i X

µ

n

)

2

(

= +

)

µ

2

2

n X

(

µ

)

2

=

 

n

1

n

1

   

n

1

 
 

(

)

µ

2

 
   

x i n

= −

 

(

X

µ

) 2

 
 

n

1

n

1

(

E S

2

)

µ ) 2  ∑ ( x −   n   i 
µ )
2
∑ (
x
n
i
(
)
2
=
E
E
X
µ
n
− 1
n
1
1
2
2
=
)
E x
(
µ
)
µ
i
n
− 1
1
n 2
2
=
∑ σ
σ
=
i
x
n −
1
n
− 1
2
1
n
σ
2
= −
n
σ
=
n −
1
n
1
n
n
1
2
=
σ
1 −
=
n
1
n
n
n −
1
2
2
=
σ
= σ
n −
1
n

3

=

=

Caso B n v.c. NIID (campione bernoulliano da una popolazione X normale)

TEOREMA:

σ

2 2

 

2

e cioè la Devianza campionaria

2

2

~ χ

n-1

~ σ χ

n1

Dimostrazione

nS

2

=

(

X

i

i

=

=

i

i

(

(

X

X

X

)

i

i

2

=

i

[(

X

i

)

µ

)

2

+

(

n X

+

(

n X

)

)

µ µ

)

2

µ µ

2

2

(

X

)]

µ

2

=

(

2 X

)

µ

i

(

X

i

)

µ

14243

(

2 n X

)

µ

2

nX

=

µ

n

nS

2

σ 2

=

Poiché

) X µ ) 2 ∑ ( ( 2 = − − n X −
)
X
µ )
2
∑ (
(
2
=
n X
µ
i
2
2
 X
µ
X −
µ
i
 
σ
σ
n
2
χ
2 χ
n
1
X
e
S
2 sono indipendenti

=

2     2 nS X − µ   anche e sono
2
2
nS
X −
µ
anche
e
sono indipendenti e quindi
2
σ
σ
n
(
µ )
X −
2 
2
it
 ∑
(
X i )
µ
2
nS
2 
σ
it
it
2
2
E
e
σ
=
E
e
σ
E
e
n
 
 
 
2
nS
n
it
1
(
1
2
it
)
2
(
)
e
σ
2
=
E
1
2
it
2

E

e

it

nS

2

σ

2

=

e quindi :

nS

2

2

χ

n-1

σ

2

~

c.v.d.

(

1

2

it

)

n

2

(

1

2

it

)

1

2

=

(

1

2 it

)

(

n 1

2

)

4

Ancora su Media Campionaria

Caso B1 n-pla estratta in modo bernoulloniano da popolazione normale con varianza incognita

Mentre se conosco σ 2

2  X ~ N  µ , σ      n
2
X ~
N
µ
, σ
 
 
n 
se ci basiamoS 2 , possiamo considerare che:
X −
µ
σ
← N 0,1
(
)
n 
=
~ t
n-1
2
nS
2
χ
n − 1
2
σ
(
n −
1)
n
− 1
X
µ
σ
n
− 1
X −
µ
=
=
=
σ
S
n
S
n
n
− 1

=

X − µ ~ t S n-1 n
X − µ
~ t
S n-1
n

(v.c media campionaria studentizzata)

Pertanto mentre se conosco la varianza considero la v.c. media campionaria standardizzata, se non conosco la varianza utilizzo la v.c. media campionaria studentizzata.

Altri casi n-pla estratta in modo bernoulloniano da popolazione di forma ignota con varianza incognita

Poichè per n → ∞

per grandi campioni si può assumere la distribuzione normale.

t N(0,1)

DIFFERENZA TRA MEDIE

Siano X 1 e X 2 due v.c. normali indipendenti

X

X

1

2

(

2

)

~ N µ ,σ ~ N µ ,σ

(

1

2

1

2

2

)

Avendo estratto due campioni bernoulliani, rispettivamente di numerosità n 1 e n 2

qual è la distribuzione di

X

1

X

2

?

Caso A: σ 1 2 e σ 2 2 note

Poiché

X

1

- X

2

X

1

X

2

~ N

µ

1

è una C.L., la distribuzione è ancora normale

µ

2

2

σ

1

, n

1

+

2

2

σ

n

2

e quindi:

5

X

2

)

(

µ

1

µ

2

) ~ N(0,1)

 
2 σ 2 σ 1 2 + n n 1 2
2
σ
2 σ
1
2
+
n
n
1
2

Caso B: varianze ignote ma uguali σ 1 2 = σ 2 2 = σ 2

 

(

X

1

X

2

)

(

µ

1

 

µ

2

)

 
2 2 σ σ + n n 1 2
2
2
σ
σ
+
n
n
1
2
 

=

 

(

N 0,1

)

t

   

n

+

n

2

 
2 2 n S + n S 1 1 2 2 2 σ ( n
2
2
n S
+
n
S
1
1
2
2
2
σ
(
n
+
n
2)
1
2
 

2  χ n + n − 2 1 2  n + n −
2
χ
n
+
n
2
1
2
n
+
n
− 2
1
2
 

1

2

 

=

(

X

1

X

2

)

(

µ

1

µ

2

)

~

t

 
2 2 n S + n S  1 1 1 1 2 2 
2
2
n S
+
n S
1
1
1
1
2
2
+
n
+
n
2
n
n
1
2
1
2

 

n

1

+n

2

2

 

se n 1 e n 2 e → ∞

 

è N(0, 1)

 

Siano X 1 e X 2 due v.c. Bernoulliane indipendenti ( con parametri p 1 e p 2 ). Si estraggano due campioni di n 1 e n 2 unità. Cosa può dirsi sulla distribuzione di Rn 1 – R n 2 ?

Per il teorema di De Moivre, per n 1 e n 2 e → ∞ :

teorema di De Moivre , per n 1 e n 2 e → ∞ : R

R n

1

- R

n

2

~

N p

 

1

p

2

,

p

1

(1

p

1

)

+

p 2

(1

p

n 1 n

2

 p   1 − p 2 , p 1 (1 − p 1 )
 p   1 − p 2 , p 1 (1 − p 1 )
 p   1 − p 2 , p 1 (1 − p 1 )
 p   1 − p 2 , p 1 (1 − p 1 )
 p   1 − p 2 , p 1 (1 − p 1 )

2

)

RAPPORTO TRA VARIANZE

Date due v.c. normali indipendenti

X

X

1

2

(

~ N µ ,σ ~ N µ ,σ

(

1

2

1

2

2

2

)

)

Essendo:

n 1 e n 2 la numerosità dei due campioni; S 1 2 e S 2 2 le due varianze campionarie.

Allora:

6

2 n S 2 S ← 1 1 1 n 1 − 1 2 2
2
n
S
2
S
1
1
1
n
1 − 1
2
2
(
n
1)
σ
σ
1
1
1
=
~ F
(n
2
2
1;
1)
n 2
n
S
S
1
2
2
2
2
χ
2
2
σ
(
n
1)
σ
2
2
2
n
1
2

2

χ n 1

1

n

2

1

Caso particolare: se σ 1 2 = σ 2 2 = σ 2 la F diviene:

n 1 S

2

1

n 1 1

1

S

2

 

=

~ F (

 

1)

 

S

2 S

2

2

n

1

1,

n

2

n

2

2

n

2

1

7

FUNZIONE DI VEROSIMIGLIANZA L(X |θ )

E’ la densità congiunta di (X 1 , … del parametro θ.

Si indica con L((X 1 , …

,

X n ) nel punto (x 1 , …

,

x n ), considerata come funzione

,

X n θ) la probabilità di estrarre una certa n-pla campionaria.

Se le n v.c. (X 1 , …

, X n ) sono IID:

(

L X

L

(

X

|θ

|θ

)

)

= p

= F

(

(

X

X

1

1

|θ

|θ

)

)

p

f

(

(

X

X

2

2

|θ

|θ

)

)

p

f

(

(

X

X

n

n

|θ )

|θ )

(nel casi di v.c. discrete)

(nel di v.c. continue)

Due esempi:

n v.c. N(µ, σ 2 ) indipendenti

 

n

(

X

i

µ )

2

(

µ σ

1

,

2

)

= (

2

πσ

2

)

2

e

-

2

σ

2

L X |

n v.c. di Bernoulli indipendenti

∑ X n − ∑ X L X | p ( ) i i =
X
n
− ∑
X
L X | p
(
)
i
i
= p
q

8

STIMA PARAMETRICA PUNTUALE

I metodi che saranno presentati risultano i seguenti

Metodo dei minimi quadrati (Metodo LSE, K. F. Gauss)

Metodo dei momenti (K. Pearson)

Metodo BLUE (Best Linear Unbiased Estimators, Stime lineari non distorte con varianza minima)

Metodo della massima verosimiglianza (R.A.Fisher)

Metodo χχχχ 2 o χχχχ 2 modificato

Metodi bayesiani

Una classificazione dei metodi può essere fatta secondo:

il diverso grado di informazioni richieste;

le caratteristiche stime.

Livello di informazioni richieste dai metodi di stima

I.

Il metodo dei minimi quadrati e gli stimatori BLU presuppongono solo la conoscenza del campione

II.

Il metodo dei momenti, le stime di massima verosimiglianza e i metodi

del χ 2 presuppongono la conoscenza oltre che del campione anche della

forma della funzione di densità descritta dalle v.c. X 1 , X 2, … ,

X n

III. I metodi di stima bayesiani. presuppongono anche la conoscenza a priori di una sorta di funzione di densità dei parametri da stimare. Tali

metodi si fondano dunque sui dati campionari e sull’assunzione di ipotesi sulla forma delle v.c. X e dei parametri da stimare.

Caratteristiche delle stime

I metodi saranno presentati sottolineando le loro caratteristiche in termini di:

Non distorsione (Correttezza)

Coerenza (Consistenza)

Efficienza (relativa e assoluta)

Sufficienza

Completezza

Invarianza

Prima di presentare i metodi verranno definite tali caratteristiche (le più importanti).

La problematica della stima

Dalla ricerca della tecnica di campionamento più opportuna o “migliore”, alla ricerca di una “buona” stima o della “migliore” stima Quali sono i criteri cui deve soddisfare una stima perché sia considerata una “buona” o la “migliore” stima di un parametro?

Abbiamo già visto che nel caso di universo finito e di grandi campioni possiamo basarci su alcuni importanti fondamenti teorici: al crescere di n e

9

sotto determinate condizioni X

tende in probabilità a µ e si distribuisce come

(

p

 

σ

2

 

c.

N

(

µ

,

) , R n tende in probabilità a p e si distribuisce come una v.c.

 

n

,

p

(1

p

)

) , che, che S 2 tende a distribuirsi come una v.c. χ 2 .

 

n

una v

N

Tuttavia, nel caso di universo infinito o di piccoli campioni con n prefissato, devo studiare la v. c. descritta dalla stima sull’universo dei campioni e studiare le caratteristiche di tale v. c. L’obiettivo è proprio quello di individuare il modo migliore di effettuare la stima, ovvero il migliore stimatore.

Allo scopo di stimare un parametro θ della popolazione si seleziona in modo bernoulliano un campione di n unità.

Si definisce funzione di verosimiglianza L(X|θ) la funzione di densità della v.c. multipla X 1 , X 2 , … , X t descritta dal campione:

n L(X|θ) = f(X 1 , X 2 , … , X n |θ) =
n
L(X|θ) =
f(X 1 ,
X 2 ,
,
X n |θ) =
f(X
i | θ )
(per l’indipendenza delle
i
= 1
v.c.estrazione)

(L sta per Likelihood, verosimiglianza). La funzione dipende dal parametro (o dai parametri) θ.

Ad ogni campione x 1 , x 2 , … , x n corrisponde una certa probabilità di essere estratto, che si indica come verosimiglianza del campione, e che dipende dal parametro θ :

n

L(x 1 , x 2 , … , x n |θ) = f(x 1 , x 2 , … , x n |θ) = f(x

i

=

1

i | θ )

Per stimare θ utilizziamo uno stimatore T (estimator), definito come una determinata funzione delle v.c. elementari estrazione X 1 , X 2 , … , X n :

T =

… , X n )

g(X 1 , X 2 ,

Il valore t assunto da T in corrispondenza di un determinato campione x 1 , x 2 , … , x n è detta stima:

t = g(x 1 , x 2 , … , x n )

La funzione di densità della v.c.stimatore dipende, tramite il campione, dal parametro θ:

f(T|θ)

10

Essendo T una funzione del campione, tale che per ogni campione corrisponde un unico valore di t, la densità di probabilità dello stimatore corrisponde alla densità del campione dunque alla verosimiglianza:

f(T|θ) = L(X|θ)

Ogni metodi di stima può essere quindi presentato come un certo stimatore che presenta determinate caratteristiche,ad esempio in termini di valore atteso, varianza, tipo di distribuzione,ecc.

11

CARATTERISTICHE DEGLI STIMATORI

NON DISTORSIONE

Uno stimatore di un parametro si dice non distorto quando il valore atteeso dei possibili valori che la v.c. stimatore può assumere al variare del campione, coincide con il parametro della popolazione

E(T )

=

+∞

−∞

t

f

(

t |

θ)

dt

= θ

Pertanto la stima T di θ si dice non distorta (o corretta) se il valore atteso dello stimatore coincide con θ .

) se il valore atteso dello stimatore coincide con θ . E ( T ) =

E(T

) = θ

Come già visto pˆ e X sono stime non distorte (essendo pˆ =R n )

Tale caratteristica delle stime garantisce che la funzione T, prescelta come metodo di stima, non introduca alcun elemento sistematico di errore. ovvero:

in media il metodo adottato non comporta né una sovra-stima, né una sotto- stima del parametro θ .

Se invece E(T ) = θ +

e il valore B(θ = E(T )θ

B(θ )

la stima è distorta (B: Bias del parametro) è detta “distorsione della stima

Se B(θ ) > 0 la v.c. T sottostima θ Se B(θ ) < 0 la v.c. T sovrastima θ

Se la stima è distorta, la variabilità della stima deve essere misurata non con la varianza, ma con l’errore quadratico medio (MSE):

MSE(T )

=

=

=

(

E T

θ

)

[

E T

E T

(

2

T

σ

+ B(

θ

)

2

)

2

=

]

2

[

E T

+

B(

θ

)

(

E T

)+

(

E T

)

]

θ

2

=

2

+

2B(

θ

)

[

E T

E T

(

)

]

14243

0

=

A volte è possibile correggere una stima distorta, in modo da eliminarne la distorsione

Esempio:

Sia E(T ) = aθ + b

ponendo

T

1

=

T

b

a

12

si

distorta.

ha

(

E T 1

)

=

(

E T

)

b

a

θ

+

b

b

=

a

a

=

θ

13

e quindi la stima

1

T risulterà non

CONSISTENZA

Uno stimatore T si dice consistente (in realtà consistency significa coerente), se al tendere di n all’infinito, converge in probabilità al parametro da stimare:

lim p [| T − θ |< ε ]= 1 con ε n →∞ piccolo
lim
p
[|
T
θ
|<
ε
]= 1
con
ε
n →∞
piccolo a piacere

Come

stabiliscono che la “proporzione campionaria” pˆ e la “media campionaria” X sono stime consistenti.

già

visto,

il

teorema

di

Bernoulli

e

la

legge

dei

grandi

numeri

Condizione affinché uno stimatore sia consistente

Se la stima è non distorta la consistenza è garantita dalla condizione:

lim

n →∞

2

T

σ

=

0

Dalla disuguaglianza di Tchebicheff sappiamo che:

p

[

T

θ

|

<

ε

]

1

[(

T

θ

)

2

]

E

ε

2

Quindi affinché

(consistenza in media quadratica).

lim

n →∞

p

[|

T

θ

|<

ε

]= 1

deve

essere

[(

lim E T

n →∞

θ

)

2

]

= 0

Se la stima è distorta, ossia E(T ) θ , affinché lo stimatore T sia consistente si deve verificare contemporaneamente:

lim

n

→∞

2

T

σ

=

0

e

lim B(

n →∞

θ

) = 0

Se la stima è non distorta ossia E(T ) = θ , affinché lo stimatore T sia consistente si deve verificare soltanto che:

lim

n →∞

2

T

σ

=

0

EFFICIENZA

Efficienza relativa

Si basa sul confronto tra la variabilità di diverse stime. Siano T 1 e T 2 due stimatori. Lo stimatore T 1 si dice più efficiente dello stimatore T 2 se presenta minore variabilità e quindi se MSE(T 1 )<MSE(T 2 ). Il confronto si può effettuare sulla base del rapporto, in cui convenzionalmente si mette al numeratore lo stimatore più efficiente.

(

e T

1

/

T

2

)

=

(

MSE T

1

)

(

MSE T

2

)

14

con

(

E T

1

)

θ

2

(

E T

2

θ

) 2

 < 1 ⇒ T è stimatore più efficiente di [( 1 ) 2 ]
<
1 ⇒ T
è
stimatore più
efficiente
di
[(
1
)
2
]
2
2
E
T
θ
σ
+
d
(
)
T
T
1
e T
/ T
=
=
1
1
1
2
[(
]
2
2
2
E
T
θ
)
σ
+
d
= 1
⇒ gli stimatori hanno la stessa
2
T
T
2
2

T

2

efficienza

Se

(

E T

1

) =

(

e T

1

/

T

2

)

=

(

E T

2

2

σ

T

2

2

σ

T

2

) = θ

sono entrambe stime non distorte, allora

Efficienza assoluta (Best estimator) Presuppone un confronto tra la variabilità di una stima e la variabilità minima che una stima può assumere, se esiste.

Teorema di Fréchet-Rao-Cramer (FRC): stabilisce un limite minimo alla

limite

stabilito dal FRC, allora T è stima efficiente in assoluto (stimatore pienamente efficiente).

varianza di una stima. Pertanto se esiste una stima T, tale che

2

σ

T

=

DISUGUAGLIANZA DI FRECHET-RAO-CRAMER (o disuguaglianza di FRC)

Si consideri la v.c. n-pla

X

1

, X

2

L

,

, X

n descritta da una campione di n unità.

Sia

supponendo che L(X | θ ) sia derivabile almeno due volte, la disuguaglianza di FRC è la seguente::

(

L X

1

,

X

2

,

L X

,

n

| θ )

la sua funzione di verosimiglianza,

 

2

[

1 + d '

 

(

θ

)

]

2

σ

T

E

log

(

L X

 

|

θ

)

2

 

θ

 

dove d '(θ ) è la derivata prima della distorsione d rispetto a θ

Se

diventa:

E(T ) = θ , il numeratore è 1 e l’estremo inferiore di la disuguaglianza

 

2

1

σ

T

E

log L X |

(

θ

)

2

 

θ

15

Dimostrazione

E T ( ) = ∫ T L X ( | θ ) d x
E T
(
)
=
∫ T
L X
(
| θ
)
d x
=
θ
+
d
(
θ
)
~
n
R
d
è
in
{
generale
spazio
campionario
una f
(θ )

deriviamo rispetto a θ

 

moltiplichiamo e dividiamo perL X

(

θ

)

(

E T

θ

)

=

R

n

TL

'

(

X

|

θ

)

d x

~

=

R

n

T

64474448

'

L

L

(

X

(

X |

|

)

θ

)

θ

(

L X

|

)

θ

 

d x

~

=

1

+

d

'(

θ

)

(

E T

)

=

T

 

log

 

(

L X

|

θ

)

(

L X

|

θ

)

d x

~

=

1

+

d

'(

θ

)

 

θ

 

θ

 

R

n

 

infatti

 

log

(

L X

|

θ

)

=

1

L

'

(

X

|

)

θ

 

θ

(

L X |

θ

)

(

E T

)

= E

T

log

(

L X

|

θ

)

=

1

+ d

'(

θ

)

 

θ

 

θ

 

[è il valore atteso del prodotto tra le due v.c. T e

(

log L X |

θ

)

θ

]

Il valore atteso della seconda v.c.

E

log

(

L X

|

θ

)

θ

= 0

valore

atteso

E T

log

(

L X

| θ

)

θ

  =

E

del

[

T

(

E T

)]

prodotto

(

log L X |

θ

)

θ

delle

[vedi (*)] e quindi il

due

v.c.

Infatti

E

[

T

(

E T

)]

log

(

L X

|

θ

)

θ

= E

T

log

(

L X

|

θ

)

θ

E

14444244443

)

log

(

L X

|

)

θ

E T

(

θ

E

(

T

)

E

144424443

log

L

X

|

θ

(

θ

)

0

(*) Dimostrazione che

E

log

(

L X

|

θ

)

θ

= 0 .

16

= E

T

log

(

L X

|

θ

)

θ

Poiché

L X

(

R

n

|

θ

)

d x = 1

~

rispetto a θ

R

n

R