Elementi di

Teoria dellInferenza

INFERENZA STATISTICA

Inferenza statistica
Teoria della stima
Test delle ipotesi
Modello di regressione

Procedimento deduttivo
Indagini statistiche e inferenza
Indagine
statistica

Generale

Censimento
Campionamento

Linferenza statistica utilizza le informazioni ottenute studiando un

campione di individui per giungere alla migliore conoscenza possibile della popolazione cui essi appartengono

Particolare
Esempio
I triangoli rettangoli hanno un
angolo di 90
A un triangolo rettangolo
A ha un angolo di 90

Calcolo
delle
probabilit

Inferenza

???
???

Elementi di Teoria dellInferenza

I ragazzi iscritti alluniversit

studiano
Esempio
Antonio iscritto alluniversit
Antonio studia
Slide 2

Procedimento induttivo
Particolare

Motivi del campionamento

Costo di ispezione
Tempestivit
Rilevazione distruttiva
precisione

Generale
Si effettua un esperimento
Si generalizzano le conclusioni
Esempio
Esame universitario
Poche
domande

Livello di
preparazione

Nel procedimento induttivo vi

sempre possibilit di

ERRORE
Campionamento
Target population: popolazione
su cui si vuole indagare
Sampled population: popolazione da cui si estrae il campione
Viene descritta mediante una variabile casuale
Campione: un sottoinsieme della
popolazione
Come devono essere scelte le unit appartenenti al campione?

Campionamento
X ~ f x; popolazione
X1, X2,,Xn Campione

a f

N.B.
X i ~ f x;

a f

Con
rimessa

Senza
rimessa

Xi i.i.d

Xi dipendenti

Spazio campionario
x1, x2,,xn Campione osservato

Campione casuale
Elementi di Teoria dellInferenza

Slide 3

Stimatori
X ~ f x;
x1, x2,,xn ???

a f

Stimatore
= t X 1 , X 2 ,, X n

Stima
= t x1 , x2 , , xn

Variabile
casuale

La media campionaria
X ~ f x;
Var X = 2 <

a f

a f

af

= E X = ???

t X 1 , X 2 , , X n

1 n
= Xi = X n
n i =1

b g

Var
X
=
b g n

Eb X g e Varb X g non dipendono

E Xn =

a f
X ~ N d , i X ~ N d , ni
n

da f x;

Teorema del limite centrale

Proporzione campionaria

a f

X ~ B 1, p

p=???

a f

p=E X

1 n
P = Xi
n i =1

ch
p a1 pf
Var c P h =
n

E P =p

Stima puntuale
Come si sceglie tra stimatori alternativi?

Propriet degli stimatori

Come si costruiscono gli stimatori
Metodi di costruzione
degli stimatori

Teorema di De Moivre-Laplace
Elementi di Teoria dellInferenza

Slide 4

Propriet degli stimatori

n finito
sufficienza
correttezza (non distorsione)
efficienza

Sufficienza
Lo stimatore opera una sintesi delle informazioni campionarie

a X , X , , X f
1

n (propriet asintotiche)

consistenza
normalit

In media
quadratica

= t X 1 , X 2 , , X n

sufficienza
correttezza (non distorsione)
efficienza

In probabilit

Uno stimatore si dice sufficiente

(per un parametro) se operando tale sintesi non disperde informazioni rilevanti rispetto al parametro.

robustezza
Correttezza (non distorsione)
X ~ f x;
= t X 1 , X 2 , , X n

a f

a
E d i =

af

Esempi

Media campionaria
E Xn =

b g

Proporzione campionaria
E P =p

ch

di

=E

af

Distorsione
E

di

di

di di

d = E

Elementi di Teoria dellInferenza

Varianza campionaria
1 n
2
Sn2 = X i X n
n i =1
n 1 2
E Sn2 =
2
n

d i

n
1
Xi X n
=
n 1 i =1
E Sn2 = 2

Sn2

d i

Slide 5

Come si sceglie tra pi stimatori?

=
n=3
1
1
1
T1 = X 1 + X 2 + X 3
3
3
3
2
1
1
T2 = X 1 + X 2 + X 3
3
6
6
E T1 = E T2 =

af a f

Var aT f =
< Var aT f =
3
2
f at f
f at f
2

Efficienza
Lefficienza relativa riguarda la
variabilit (o concentrazione della
distribuzione) dello stimatore intorno al valore vero del parametro.
f T2 t
f T1 t

di

e di di j
= E { E di + d a f} =
= E RS + E di +
T
+2 E di d a f + d a f } =
= E RS E di UV +
T
W
2 d a f E E di + E d a f =
= E E + E
2

LMd
N

N.B.

di

i OPQ = Vardi + d a f
2

LMd
N

Funzione
Rischio

Rapporto di efficienza
=
Lefficienza generalmente un
concetto relativo
2
E T1
e T2 T1 =
2
E T2

a
a

i OPQ = Vardi
2

Elementi di Teoria dellInferenza

f
f

a f
eaT T f > 1 T
eaT T f = 1 indifferente
eaT T f < 1 T
Nota
E aT f = E aT f =
Var aT f
eaT T f =
Var aT f
2

E = E

Errore quadratico medio

Errore quadratico medio

Errore di Costo
Errore di stima
stima

T2

di

E =

T1

af

af

Slide 6

limite di Cramer-Rao

Propriet asintotiche
n = 1 1 = t1 X 1
n = 2 2 = t2 X 1 , X 2
n = 3 3 = t3 X 1 , X 2 , X 3

a f
a f
a
f

Stimatori
Stimatori
corretti

di
Var di L. C. R.
: E =

di
Var di = L. C. R
E =

Se sono soddisfatte
alcune condizioni
di regolarit

il migliore nella
classe degli stimatori
non distorti

Come si comporta n quando

n + ?

af

L.C.R. dipende da f X x

N.B.

Efficienza asintotica

Correttezza asintotica

1 ,

2 ,

3 , , n ,

d i d i d i

d i

E 1 , E 2 , E 3 , , E n ,

1 ,

d i d i d i

d i

E 1 , E 2 , E 3 ,, E n ,

d i d i d i

d i
Var d i
lim
=1
n

L. C. R.

d i
d i

Elementi di Teoria dellInferenza

d i

Var 1 ,Var 2 ,Var 3 , ,Var n ,

3 , , n ,

lim E n =

d i

Esempio:
1 n
2
Sn = X i X n
n i =1
n 1 2
E Sn2 =

n
lim E Sn2 = 2

2 ,

lim E n =

n = tn X 1 , X 2 , X 3 , , X n

Slide 7

Consistenza in probabilit

lim P n < = 1

n +

Legge debole dei grandi numeri

X ~ f x;
Var X = 2 <
lim P X n < = 1
n +

n=200
n=50
n=20
n=10

Consistenza in media quadratica

LMd
N

lim E n

i OPQ = 0
2

a f
b

a f
g

dimostrazione

b g

b g

E X n = , Var X n =

n
Disuguaglianza di Chebyshev
Var X n
1
P Xn < 1
2

b g b

2
1
P Xn < 1
n 2
n + 1 P X n < 1
Consistenza in media
Quadratica per X n

n
b g

Var b X g =
0
n

E Xn =

d i
lim Var d i = 0
lim E n =

per n +

n=200
n=50

n=200
n=50
n=20
n=10

n=20
n=10

Elementi di Teoria dellInferenza

Slide 8

Relazione tra le forme di consistenza

Normalit asintotica
n

d i

Var n

Consistenza in
media quadratica

a f

~ N 0,1

Esempi
Media campionaria
X n n
T.L.C.
~ N 0,1
n

a f

Consistenza in
probabilit

Proporzione campionaria
n
P p
T.L.C.
~ N 0,1
p 1 p n

Numerosit campionaria
Xn
n=???

Numerosit campionaria P
P
n=???

b
g
X
F
I
PG
<
H n n JK = 1Z~2 N a0,1f
F < Z IJ = 1 2
PG
H n nK

P Xn < = 1 2

1-2

n0 =

= z1

z1

n0 =

z12 2

nn0

Elementi di Teoria dellInferenza

F
G
PG
GH

F
G
PG
GG
H

P p

a f<

p 1 p
n

p+

I
JJ = 1 2

p a1 pf J
JK
n

a f <Z

p 1 p
n

P P p < = 1 2

a f

a f

p (1 p )
n

= z1

I
JJ = 1 2

p a1 pf J
K
n

n0 =

z12 p (1 p )

a f

1
1 z12
max p 1 p = n > 2
p
4
4
Slide 9

Propriet X n
Non distorsione
Efficienza
Var b X n g = 2 n = L.C.R.
Consistenza in media quadratica

Propriet P
Non distorsione
p a1 pf
Efficienza Varc Ph = n = L.C. R.
Consistenza in media quadratica

Consistenza in probabilit
(legge debole dei grandi numeri)

(legge debole dei grandi numeri Bernoulli)

Normalit asintotica

Consistenza in probabilit
Normalit asintotica

(teorema del limite centrale)

(teorema De Moivre-Laplace)

Teoria della robustezza

Modello approssimato
Code pi pesanti
Minoranze dei dati da un modello diverso
Errori nei dati
Errori grossolani
Errore locale

Costruzione stimatori
Metodo dei momenti
Metodo della massima verosimiglianza
Metodo dei minimi quadrati

lo stimatore affidabile anche per

piccole differenze tra modello
reale e modello teorico?

Elementi di Teoria dellInferenza

Slide 10

Il metodo dei momenti

X ~ f x; ; = 1 , 2 , , l

a f

a
f
= g a , , , f

1 = g1 1 , 2 , , l
1)

l = gl 1 , 2 , , l

2)

3)

1 n
1 n 2
1 = xi , 2 = xi , ,
n i =1
n i =1
1 n l
l = xi
n i =1

a
a

f
f

Metodo dei momenti

Propriet
Semplicit
Versione parametrica e non parametrica
consistenza

Inconvenienti
Soluzioni multiple

1 = g1 1 , 2 , , l
2 = g2 1 , 2 , , l
l = gl 1 , 2 , , l

(Pearson 1894)

Massima verosimiglianza
p=P( )=???

Funzione di verosimiglianza
X ~ f x;
X i ~ f x;
X 1 , X 2 ,, X n
indipendenti

a f

a f

x1 , x2 , , xn
p=P( )=1/3

p=P( )=2/3

a f a f a f

f x1; , f x2 ; ,, f xn ;

La stima di massima verosimiglianza il valore del parametro

che rende massima la probabilit
(densit di probabilit) congiunta
del campione osservato.
Elementi di Teoria dellInferenza

a f af

f x1 , x2 , , xn ; = f xi ; = L
i =1

Slide 11

Stimatori di massima verosimiglianza

di bg

: L L

(grafico caso uniparametrico)

di

L ( )

Propriet M.L.E.

Sufficienza (generalmente)
Efficienza
Se esiste uno stimatore non distorto ed efficiente questo coincide
con lo stimatore di massima verosimiglinza

a f
l a f = log La ; x , x , , x f
= max l a f = max La f
f

L ; x1 , x2 , , xn = f xi ;
i =1

M.L.E.
Propriet M.L.E.
Consistenza (quasi certa)

P lim n = = 1
n +

efficienza
normalit

Invarianza M.L.E.

= M.L.E.

af

??? = M.L.E.

=g

di

M.L.E. = = g

esempio
X ~ N , 2

B.A.N.

i
f

1 n
2
S = xi x = M.L.E. 2
n i =1
2

S 2 M.L.E.
Elementi di Teoria dellInferenza

Slide 12

Intervallo casuale

a f

Intervallo di confidenza

= ???

X ~ f x;

a
f
~ t a x , x ,, x f

~ t X 1 , X 2 ,, X n
1

Quanto dista la stima dal valore

vero del parametro?
Intervallo casuale I
Intervallo che verosimilmente
contiene il valore fissato ma incognito del parametro

P I = 1
Livello di
confidenza
-----------------------------------------un intervallo confidenza la realizzazione di un intervallo casuale. Per l1 x , l2 x non si pu pi
parlare di probabilit!

af af

a f a f
a f a
a f a

I = L1 X , L2 X
L1 X = t1 X 1 , X 2 ,, X n
L2 X = t2 X 1 , X 2 ,, X n

f
f

I un intervallo casuale
Obiettivo:
P L1 X L2 X = 1

a f

a f

Un intervallo casuale un intervallo che contiene il valore vero

del parametro con probabilit prefissata.
dopo lestrazione del campione
si ottiene:
l1 x = t1 x1 , x2 ,, xn
l2 x = t2 x1 , x2 ,, xn
l1 x , l2 x un intervallo di confidenza.
Costruzione degli Intervalli di
confidenza

af a
af a
af af

f
f

Livello di confidenza 1-
Quantit Pivot
Distribuzione della quantit pivot
Estremi dellintervallo

af af

l1 x , l2 x appartiene ad una famiglia di intervalli dei quali una

percentuale (1-)100 contiene il
valore vero del parametro.
Elementi di Teoria dellInferenza

Slide 13

Quantit Pivot
una funzione del campione e dei
parametri la cui distribuzione
completamente nota (non dipende
dai valori dei parametri).

Esempio:
X ~ N , 2

X n ~ N , 2 n

Xn
~ N 0,1
n

a f

X ~ N , 2

2 nota

Xn
~ N 0,1
n
Affermazione di probabilit
X
P z 2 < n
z1 2 = 1
n

a f

Pivot

FG
H

IJ
K

1-

/2

/2

z 2 z1 2

Non dipende
dai parametri!

Pivot

Intervallo di confidenza per

Estremi dellintervallo

P X n z1 2
X n z 2
= 1
n
n

L2

L1
Estremi intervallo di confidenza
X
P z 2 < n
z1 2 = 1
n

FG
H

d
= Pd z

IJ
K

P z 2
2

n X n z1 2
n X n z1 2

= P X n z1 2

n X n z 2

=1-
L1 X = X n z1 2

n
a f
L a X f = X z n
l a xf = x z
n
l a xf = x z n
2

n =

Variabile casuale 2

a f

n Xn =

Z1 , Z2 ,, Zn
1) Z ~ N 0,1
2) indipendenti

n =

K = Zi2 ~ n2
i =1

Gradi di libert

f(x)
n=1,2

1 2

Elementi di Teoria dellInferenza

f(x)

n>2

a f
a f

E K =n
Var K = 2 n

Slide 14

Variabile casuale tn
1) Z ~ N 0,1
2) Y ~ 2
3) indipendenti

a f

gradi di

Z
~ t
Y

libert

Alcuni risultati per v.c. Normali

1
X n = in=1 X i
n
X ~ N , 2
2
in=1 X i X n
2
=
n 1

Nota: 2 = Sn2

f(t)

Teorema 1
0

Var ( t ) < + > 2

+ tv N ( 0,1)
Quantit pivot per
X ~ N , 2
Xn
N 0,1
n
Indipendenti
2
2

n 1
n 1
2

i
a f

Xn
~ tn 1
n

2 in=1 X i X n
n 1 2 =

a f

~ 2n 1

Teorema 2
X n e 2 sono indipendenti
Intervallo di confidenza per

X ~ N , 2

Xn
tn 1
n

FG
H

P t 2

Pivot
gradi di
libert (n-1)

IJ
K

Xn
t
= 1
n 1 2

P Xn t
X n t
= 1
1
n
n

2
2

n-1 gradi di libert

L1

Elementi di Teoria dellInferenza

L2

Slide 15

Cosa succede se X non Normale

Xn
~ N 0,1
n

a f

Pivot asintotico

F
PG X
H

a f

X n z

I=
n JK

Intervallo asintotico
Intervallo di confidenza per 2

Quantit pivot:

2 in=1 X i X n
n 1 2 =

a f

i =1 ( X i X n )
n

2 =

a f

X ~ B 1, p

ch

E P =p

1 n
P = Xi
n i =1

= 1 + 0 1 n

X ~ N , 2

Intervallo di confidenza per p

n-1 gradi
di libert

F
G
PG z
GG
H

ch

Var P =

P p

c h

P 1 P
n

I
JJ = 1 + 0 1 n
a f
JJ
K

P 1 P
P 1 P

p P z
P Pz
1

n
n
2
2

= 1 + 0 (1 n )

~ n2 1

n 1
2

2
P ( n 1) 2 2 = 1
1

2
2
1-

/2

/2

2 2

12 2

( n 1) 2
n 1) 2
(
2

P
= 1
2
2

1 2
2

L1

L2

Elementi di Teoria dellInferenza

a f

p 1 p
n

Slide 16

) =

Il processo giudiziario

Innocente

colpevole

Processo

Decisione

H0
H1

Assoluzione Condanna
Errore
OK
I Tipo
Errore
OK
II Tipo

Ipotesi statistiche
Unipotesi statistica una affermazione che specifica parzialmente o completamente la distribuzione di una variabile aleatoria

Valore dei parametri

Forma funzionale
Ipotesi nulla
H0

Ipotesi
alternativa
H1

Vera fino a
prova contraria

C evidenza a
sufficienza per
accettarla?

Elementi di Teoria dellInferenza

Test delle ipotesi

Il test delle ipotesi una regola di
decisione mediante la quale si decide se respingere o non respingere unipotesi statistica sulla base di
dati campionari e considerazioni
probabilistiche.

ipotesi statistiche
Statistica/variabile test
regola di decisione
campione
decisione

Ipotesi semplici e composite

X ~ f x;

a f

Ipotesi semplice
H: =0
Ipotesi composita
H: 0
Unidirezionale Bidirezionale
H: 0
H: 0
H: 0

Slide 17

Statistica test
La statistica test una funzione
delle osservazioni campionarie la
cui distribuzione nota sotto
lipotesi nulla.
Tn = t X 1 , X 2 ,, X n

H0

af

Tn ~ f t nota

Regola di decisione
La regola di decisione definisce
una partizione dello spazio campionario e quindi dello spazio dei
valori (supporto) che pu assumere la statistica test, in:

Regione di
accettazione
R.A.

Esempio:
X ~ N ,1
H0: =0

a f

Regione
critica
R.C.
Tn

H0
1 n
Tn = X n = X i ~ N 0 ,1 n
n i =1

X n 0 H0
~ N ( 0,1)
Z=
1n
Decisione
Definita la regola di decisione
lesito del test (se respinge o non
respinge lipotesi nulla) dipende
dai risultati campionari. La decisione un giudizio di coerenza fra
levidenza campionaria e le ipotesi
statistiche.

Procedimento
inferenziale
Possibilit di
errore
Elementi di Teoria dellInferenza

Non respingo
H0

Respingo
H0

Gli errori nel test di ipotesi

H0
H1

Non respingo Respingo

Errore
OK (1-)
I Tipo ()
Errore
OK (=1-)
II Tipo ()

=P(errore I Tipo)=

=P(TnR.C.H0)
=P(errore II Tipo)
=P(TnR.A.H1)
=1-= P(TnR.C.H1)
=Potenza del test
Slide 18

Tra e vi una relazione inversa!!!

R.A.

R.C.
Tn

H0

H1

Procedimento per il test delle

ipotesi
Quale errore pi grave?
si fissa livello di significativit o dimensione del test
fra tutte le regioni critiche di
dimensione si sceglie quella
che minimizza

1
Per ridurre sia che bisogna
aumentare n
Procedimento pratico
si definiscono le ipotesi
si fissa
si sceglie la statistica test
sul supporto della statistica test
si sceglie una regione critica di
dimensione in modo da minimizzare

Test sulla media X ~ N , 2

H0: =0
=0.05

H1: =1

1 n
Xi
n i =1
scelta regione critica
statistica test X n =

b g

f X x H0

b g

f X x H1

c 1

Regola di decisione
xn c non respingo H0
xn > c respingo H0

Elementi di Teoria dellInferenza

Slide 19

Test sulla media X ~ N , 2

H0: =0

H1: =1

1>0

Regola di decisione
R.A. xn c non respingo H0
R.C. xn > c respingo H0

=P( X n R.C.H0: =0)=

=P( X n >cH0: =0)

Determinazione del valore critico ( noto)

H0: =0
H1: >0
R.C. xn > c
c: P( X n >cH0: =0)=
sotto H0

X 0

> z1 = 0 =
P ( Z > z1 ) = P n
n

c dipende solo dalla distribuzione

di X n sotto H0.

H0: =0

X n 0

fZ ( z )

R.C. xn > c = 0 + z1

Elementi di Teoria dellInferenza

Z1-

Test bilaterali

R.A. xn c = 0 + z1

i
H : =
H :
f bx H g f bx H g f bx H g

~ N ( 0,1)

X ~ N , 2

H0

c = 0 + z1

n = 0 =

H1: >0

P X n > 0 + z1

La regola di decisione valida anche per le ipotesi

H1: >0
H0: =0
Regola di decisione ( noto)

X n 0
~ N ( 0,1)
n

/2

1 c1

/2

c2 1

R.A.
R.C.
R.C.
c1: P( X n <c1H0: =0)=/2
c2: P( X n >c2H0: =0)=/2
Test non distorto
Slide 20

Regola di decisione ( noto)

H0: =0
H1: 0
R.A. c1 xn c2 non respingo H0
xn < c1
respingo H0
R.C.
xn > c2

RS
T

X n 0
~ N ( 0,1)
n
c1: P( X n <c1H0: =0)=/2
c2: P( X n >c2H0: =0)=/2
Sotto H0

X 0
P z 2 n
z1 2 = 0 = 1
n

Regola di decisione ( noto)

X ~ N , 2

H0: =0

H1: 0

R.A.:
c1 xn c2

R.C.:

xn < c1

xn > c2

c1 = 0 z1 2
c2 = 0 + z1 2

Sotto H0

P 0 + z 2

n X n 0 + z1 2

c2

c1
c1 = 0 + z 2

n = 1

c2 = 0 + z1 2

= 0 z1 2

N.B
Z N ( 0,1)
z 2 = z1 2

Elementi di Teoria dellInferenza

Slide 21

Test unilaterale ( incognita)

Regola di decisione ( incognita)

H0: =0
H1: >0
R.C. xn > c
c: P( X n >cH0: =0)=
n-1 gradi
X 0
~ t di libert
sotto H0 n
n

H0: =0

H1: >0

R.A. xn c = 0 + t1
R.C. xn > c = 0 + t1

X 0

P ( t > t1 2 ) = P n
> t1 2 = 0 =
n

P X n > 0 + t1 2

n = 0 =

c
Test bilaterale ( incognita)
X ~ N , 2

Regola di decisione ( incognita)

R.A. c1 xn c2 non respingo
H0
xn < c1
R.C.
respingo H0
xn > c2

c1 = 0 t1 2
n

RS
T

H0: =0
H1: 0
R.A. c1 xn c2
c1: P( X n <c1H0: =0)=/2
c2: P( X n >c2H0: =0)=/2

c2 = 0 + t1 2

X 0
P t 2 n
t1 2 = 0 = 1
n

Sotto H0

X n 0 + t1 2
P 0 + t 2
= 1
n
n

c1
c1 = 0 + t 2

c2

c2 = 0 + t1 2

= 0 t1 2

N.B
t 2 = t1 2

la v.a. t ha n-1 gradi di libert

Elementi di Teoria dellInferenza

Slide 22

Test delle ipotesi per la media

Cosa succede se X non Normale?
Teorema del limite centrale

Statistica test
X n 0 H0
~ N 0,1
n

a f

La distribuzione della statistica

test sotto H0 nota solo asintoticamente

P Errore I = + R

Test delle ipotesi p

X ~ B 1, p
Statistica test:
1 n
P = Xi
n i =1
E P = p

P p
p (1 p ) n
Sotto H0: p=p0
P p0

3) H0: =0
R.A.:

0 + z 2

H1: 0
xn 0 + z1 2

1) H0: pp0
R.A.:
p p0 + z1

2) H0: pp0
R.A.:

~ N ( 0,1)

p0 (1 p0 ) n

H1: <0
2) H0: 0
R.A.:
xn 0 + z n

Regola di decisione

a f

( )
Var ( P ) = p (1 p )

Regola di decisione
1) H0: 0
H1: >0
R.A.:
xn 0 + z1 n

Quantit
pivot

p p0 + z

H1: p>p0

p0 1 p0
n
H1: p<p0

p0 1 p0
n
H1: pp0

3) H0: p=p
R.A.:
p (1 p0 )
p (1 p0 )
p0 + z 2 0
p p0 + z1 2 0
n

~ N ( 0,1)

Elementi di Teoria dellInferenza

Slide 23

Test di ipotesi su 2 X ~ N ( , 2 )

X ~ N ( , 2 )
Statistica test:
n
2
X

X
(
)

n
n-1 gradi
2 = i =1 i
n 1
di libert
Quantit pivot:
n
2
2
X

X
(
)

( n 1) 2 = i =1 i2 n ~ n21

2
P ( n 1) 2 2 = 1
1

2
2
1-

/2

Test di ipotesi su 2 X ~ N ( , 2 )
Regola di decisione

1) H0: 2 = 02 H1: 2 02
R.A.:

2 2 2
n 1

12 2 2
n 1

2) H0: 2 = 02 H1: 2 > 02

12 2
2
R.A.:
n 1
3) H0: 2 = 02 H1: 2 < 02
2 2
2
R.A.:
n 1

/2

2 2

12 2

2
2
2 2 2

1 2
2

P
= 1

n
1
n
1

c2
c1

Regola di decisione
R.A.: c1 2 c2
2 2 2
c1 =
n 1
12 2 2
c2 =
n 1

Elementi di Teoria dellInferenza

Slide 24

Test sulladattamento
ni frequenze assolute osservate
X ni ci
ci frequenze assolute teoriche
n
x1 1 c1
H0:
x2 n2 c2

f a

P X = xi = Po X = xi ;

= 1,2,,l noto

xk nk ck

Statistica
test

( ni ci )

i =1

ci

f2

k 1

X ni ci
x1 n1 c1
x2 n2 c2

H0:

f a

P X = xi = Po X = xi ;

= 1,2,,l

xk nk ck

2 H
0

~ k21

R.C.:

2o > 12

Statistica
test

( ni ci )

i =1

ci

o2 =

H0
Test sullindipendenza

x1
x2

n11 n12 n1h

n21 n22 n2 h

n1
n2

xk

nk 1 nk 2 nkh
n1 n2 nh

nk

f c

= P X = xi P Y = y j
P X = xi = ni n ;
P Y = y j = n j n

a
c

f
h

cij = n ( ni n ) ( n j n ) = ( ni n j ) n

Elementi di Teoria dellInferenza

o2 =
i =1 j =1

~ k2l 1

(n

ij

cij )
cij

ni n j

k
h ij
n

~ (2k 1)( h 1)
=
ni n j
i =1 j =1
n
2

H0: X ed Y indipendenti

2 H
0

Statistica test

y1 y2 yh

P X = xi Y = y j =

R.C.: o > 1
2

ci = n Po X = xi

Regione critica

stimato

ci = n Po ( X = xi )
2
o

Test sulladattamento

R.C.:
2o > 12

Il test sullindipendenza :

Non parametrico
Asintotico
Applicabile sia a caratteri
quantitativi che qualitativi
Slide 25

Specificazione del modello di regressione lineare semplice

Modello: schema rappresentativo
della realt
interpretative
Finalit previsive
simulazione
semplice 2 variabili
regressione legame in media
Y = 0 + 1 x +
Altri esempi
di modelli
lineari nei
parametri

Modello di regressione lineare

semplice
Omissione di variabili
Errore Errore di misura
Cattiva specificazione
del modello

Causa effetto?

Y = 0 + 1 x +
Y = 0 + 1 x +
Y = 0 + 1 x2 +

Ipotesi classiche del modello

Relativamente alla popolazione
posso scrivere:
Yi = 0 + 1 xi + i
Relativamente al campione osservato:
yi = 0 + 1 xi + ei
Ipotesi classiche del modello di
regressione:
1) yi = 0 + 1 xi + i i = 1, n
2) E i = 0 i = 1, n
3) Var i = 2 i = 1, n
4) Cov i , j = 0 i j i , j = 1, n
5) x una variabile deterministica ed osservata per almeno 2
valori distinti

a f
a f
c h

Elementi di Teoria dellInferenza

Discussione ipotesi modello di

regressione lineare semplice

af
af
c h

E Yi = 0 + 1 xi i = 1, n
Var Yi = 2 i = 1, n
Omoschedasticit
Cov Yi , Yj = 0 i j i , j = 1, n
y

af af

E Y = f x = 0 + 1 x

y4
y3
y2
y1
x1

x2

x3

x4

x
Se x una variabile aleatoria?
E Y x = 0 + 1 x

b g

Slide 26

Somma dei quadrati degli scarti

Stimatori dei minimi quadrati

La somma dei quadrati degli scarti

si esprime come:

gli stimatori dei minimi quadrati

di 0 e 1 si ricavano imponendo
che risulti minima la funzione
G( 0 , 1 ):

f a f = y y a , f
= y a + x f
n

G 0 , 1 = ei

i =1

i =1

i =1

yi 0 , 1 = 0 + 1 xi

ei = yi yi 0 , 1

yi 0 , 1

(xi,yi)

yi

ei

yi

0 , 1 R 2

in=1 ei = 0

Retta di regressione

yi

i a

0 , 1: G 0 , 1 < G 0 , 1

ei = yi yi

yi = 0 + 1 xi
(xi,yi)

ei
La retta di regressione unica e passa
sempre per il punto
di coordinate x , y

a f

xi
x
Equazioni normali
Derivando G( 0 , 1 ) rispetto ad
0 , e 1 ed uguagliando a 0 i risultati si ricavano le equazioni
normali:

a
ay
n

f
x f x = 0

yi 0 1 xi = 0

i =1
n

i =1

Nota:

n
G 0 , 1
= 2 yi 0 1 xi xi
1
i =1

Elementi di Teoria dellInferenza

fa

0 = y 1 x

n
G 0 , 1
= 2 yi 0 1 xi
0
i =1

xi
x
Stimatori dei minimi quadrati
Risolvendo il sistema di equazioni
si ricavano
S xy
in=1 xi x yi y
=
1 =
2
S x2
in=1 xi x

dove:
1
1
x = in=1 xi ; y = in=1 yi ;
n
n
1
S xy = in=1 xi x yi y ;
n
1
2
S x2 = in=1 xi x
n

a
a

fa
f

Slide 27

Propriet degli stimatori dei minimi quadrati

Non distorti
Migliori stimatori lineari non
distorti
x2
2 1
Var 0 =
+ n
n i =1 xi x 2
1
Var 1 = 2 n
2
i =1 xi x
x
Cov 0 , 1 = 2 n
2
i =1 xi x
Stima di 2 ,Var 0 e Var 1

F
GH

c h
c h
c h

c h

2 = S2 =

I
f JK

c h

Ipotesi

F
I
1
x
= Var c h = S G +
H n a x x f JK
2

S2
0

c h

S2 = Var 1 = S2
1

S2 =

Verifica del modello stimato

Se oltre alle ipotesi del modello
classico risulta:
Analisi dei
residui: ei
i ~ N 0, 2

d i

1
2
in=1 ei =
n2

1
in=1 yi yi
n2

Teorema di Gauss Markov

Sotto le ipotesi classiche del modello di regressione lineare semplice gli stimatori dei minimi quadrati sono lineari non distorti ed i
pi efficienti (minima varianza)
tra quelli lineari e non distorti per
0 e 1.

n
i =1

R.A.
g.l.
H 0 : 0 = b0 0 b0
t1 2 n-2
1.
H1: 0 b0 S
0

2.

in=1 xi x

n
S y2 12 S x2
n2

H 0 : 1 = b1 1 b1
H1: 1 b1

t1 2 n-2

Nota:
Se i ~ N 0, 2

d i
e si distribuiscono normalmente, an 2f S si distribui0

2n2

(n-2 g.l.)
sce come una
0 e S2 sono indipendenti
1 e S2 sono indipendenti

Elementi di Teoria dellInferenza

Slide 28

Misure di accostamento

a f
=
a y yf
n

R2

yi y

i =1
n
i =1

rxy2 = 2xy =

2
S xy

S x2 S y2

2
S xy
S x2 S y2

Intervallo di previsione

= rxy2

Previsione del livello medio

Previsione del valore singolo
Previsione del livello medio:
E Yj = 0 + 1 x j

c h

d i

Se i ~ N 0, 2 si pu effettuare
anche un test per R2.
Si dimostra che nel caso della regressione lineare semplice il test
su R2 (H 0: = 0, H1: 0) e il
test su 1 ( H 0: 1 = 0, H1: 1 0 )
coincidono.
R2 = 1 1 > 0

R 2 = 1 1 < 0

d i

i ~ N 0, 2

c h

per E Yj formuliamo il seguente

intervallo di confidenza;
0 + 1 x j t

R2 =

0
0

1
( x j x ) = Var + x +
S2 1 + + n
( 0 1 j j)
n ( xi x )2
i =1

Elementi di Teoria dellInferenza

xj x
1
S 1 + + n
n i =1 xi x

1 = 0

Osservazioni 1
Le t di Student hanno n-2 gradi libert (sono i g.l. di S2 )
2
1
xj x )
(
2
0 + 1 x j )
= Var (
S + n
n ( xi x )2
i =1

Previsione del valore singolo:

Yj = 0 + 1 x j + j
per Yj formuliamo il seguente intervallo di confidenza;
0 + 1 x j t

R2 = 0 1 = 0

xj x
1
S
+ n
n i =1 xi x

Osservazioni 2

d i E (Y ) e Y

Se i ~ N 0, 2

sono

variabili casuali Normali.

d i

Se i ~ N 0, 2

gli stimatori di

Massima Verosimiglianza di 0 e
1 coincidono con quelli dei minimi quadrati.

Slide 29