Modelli grafici gaussiani

Giovanni Marchetti, DISIA, Firenze

2017-04-11

1 / 30
 Introduzione

Un modello parametrico fondamentale, il modello

Gaussiano multivariato.
Propriet di chiusura
Modelli grafici gaussiani ricorsivi

2 / 30
 Normale multivariata

Definizione. Il vettore aleatorio X = (X1 , . . . , Xd )0 Rd ha

distribuzione normale multivariata se ha funzione di densit
1
pX (x) = (2)d/2 (det K) 2 exp{ 12 (x )0 K(x )}, x Rd

dove Rd e K una matrice d d definita positiva.

= E(X) il vettore delle medie, K = 1 linversa della

matrice di covarianza (la matrice di concentrazione)
Si denota con X Nd (, )

3 / 30
 Rappresentazione

Come trasformazione lineare di variabili normali standard

Proposizione. Se Z = (Z1 , . . . , Zd )0 un vettore di v.a. iid

Zi N (0, 1), Rd , Rdd definita positiva con
scomposizione di Cholesky = R0 R

X = + R0 Z Nd (, )

4 / 30
Dimostrazione. La densit di Z
 
pZ (z) = (2)d/2 exp 12 z 0 z

La densit di Y = R0 Z pY (y) = pZ (z)/ det(R0 ) e

 
pY (y) = (2)d/2 exp 21 y(R0 R)1 y / det(R0 )

dove (R0 R)1 = 1 e 1/ det(R0 ) = det(1 )1/2 .

Quindi X = Y + ha densit pX (x) normale multivariata
Nd (, ).

5 / 30
 Valore atteso e matrice di covarianza

Proposizione. Se X normale multivariata, E(X) = ,

V (X) = = K 1
Dimostrazione.

E(X) = E( + R0 Z) = .
V (X) = V ( + R0 Z) = R0 V (Z)R = R0 IR = .

6 / 30
 Combinazioni lineari

Corollario. Se X N ogni combinazione lineare a0 X N .

Dimostrazione. X = + R0 Z. Quindi
d
a0 X = a0 ( + R0 Z) = a0 + a0 R0 Z = cost +
X
j Zj
j=1

e sappiamo che trasformazioni lineari di variabili a. normali sono

normali.

7 / 30
 Forme quadratiche

Corollario. Se X Nd (0, ) allora X 0 1 X 2d .

Dimostrazione. Posto X = R0 Z e V (X) = R0 R

X 0 1 X = Z 0 R(R0 R)1 R0 Z = Z 0 Z

cio 2d .
Pd 2
j=1 Zj

8 / 30
 Normale doppia standard

Definizione. Due variabili (X, Y ) hanno distribuzione normale

doppia standard se (X, Y ) N2 (, ) e
! !
0 1
= , =
0 1

dove 1 < < 1 il coefficiente di correlazione tra X e Y .

9 / 30
 3
2
0.04
0.08

1
0.12
0.15 0.1
4

0.18
0.10

0
0.16
0.05 2

1
0.1
0.00 0.06
0

2
2 0.02

y
0

3
x 2
2
3 2 1 0 1 2 3

Normale doppia standard con = 0.6.

10 / 30
 Propriet della normale doppia

Le distribuzioni marginali sono normali standard

Le distribuzioni condizionate sono normali

Y | x N (x, (1 2 ))

il valore atteso condizionato di Y | x

funzione lineare di x e
la varianza condizionata costante e non dipende da x.

11 / 30
3
2 Esempio

0.06

0.1
0.14
1

0.18
0.2

0.2
6
0

0.
24
0.22

0.16
1

0.12
0.08
2

0.04

0.02
3

3 2 1 0 1 2 3

Normale doppia con = 0.8 e retta di regressione

12 / 30
 Distribuzioni marginali e condizionate
La classe delle normali multivariate chiusa rispetto alle operazioni
di marginalizzazione e condizionamento.
Proposizione. Se X = (X a , X b ) Nd (, ) con
! !
a aa ab
, =
b bb

X a N (a , aa )
X b | (X a = xa ) N (E(X b | xa ), V (X b | xa )) con

E(X b | xa ) = b + ba 1
aa (xa a )
V (X b | xa ) = bb ba 1
aa ab .

13 / 30
 Ricorda: scomposizioni triangolari a blocchi

Se B = ba 1
aa e bb.a = bb ba aa ab
1

! ! !
I aa 0 aa 0 I aa B 0
=
B I bb 0 bb.a 0 I bb

e ! ! !
I aa B 0 1 0 I aa 0
1 = aa
0 I bb 0 1
bb.a B I bb

14 / 30
Dimostrazione. Senza perdita di generalit poniamo = 0. La
densit

p(x) = (2)d/2 det(1 )1/2 exp{ 21 x0 1 x}

Scomponiamo la forma quadratica:

!0 ! !
0 1 xa 1
aa 0 xa
x x=
xb Bxa 0 1
bb.a xb Bxa
0 1
= x0a 1
aa xa + (xb Bxa ) bb.a (xb Bxa )

Scomponiamo il determinante
1
det 1 = det 1
aa det bb.a

15 / 30
Quindi

p(x) = (2)|a|/2 (2)|b|/2 det(1

aa )
1/2
det(1
bb.a )
1/2

1
exp{ 21 x0a aa xa } exp{ 12 (xb Bxa )0 1
bb.a (xb Bxa )}
= N (xa ; 0, aa )N (xb ; Bxa , bb.a )

La densit congiunta di X il prodotto di due densit che hanno la

forma di gaussiane multivariate.
La densit marginale di X a proprio N (xa ; 0, aa ).
La densit condizionata di X b | X a proprio N (xb ; Bxa , bb.a )

16 / 30
 Esempio: dati di Pearson e Lee
180
170
Altezza della figlia

160
150
140

140 150 160 170 180

Altezza della madre

17 / 30
 Parametri

! !
158.63 35.78 19.39
= , = , = 0.49.
161.93 43.61

E(Y | X) = 161 + 19.39/35.78(x 158.63) = 76 + 0.542x

V (Y | X) = 43.61 19.392 /35.78 = 33.1

18 / 30
 180
170
Altezza della figlia

160
150
140

140 150 160 170 180

Altezza della madre

19 / 30
 Indipendenza

Corollario. Se (X a , X b ) Nd (, ) allora

Xa
X b ab = 0.

Dimostrazione. Se ab = 0,
1 1
x1 x = x0a 1
aa xa +xb bb xb , det(1 ) = det(1
aa ) det(bb )

Perci la densit si fattorizza p(xa , xb ) = p(xa )p(xb ) e X a X b .

20 / 30
 Indipendenza condizionata

Corollario. Se (X1 , X2 , X b ) Nd (, ) e K = 1 , allora

X1 X2 | X b 12 = 0 12.rest = 0

Dimostrazione. (X1 , X2 ) | X b = xb N2 (a|b (xb ), aa.b ).

Perci X1 X2 | X b implica che lelemento 12.b = 12 / nella
matrice di covarianza parziale aa.b sia zero, cio 12 = 0.
Viceversa, se 12 = 0 allora le distribuzioni condizionate
(X1 , X2 ) | X b = xb si fattorizzano in

p(x1 , x2 | xb ) = p(x1 | xb )p(x2 | xb )

per ogni xb e quindi X1

X2 | X b .

21 / 30
 Normale ed regressioni ricorsive

Si dice che un vettore aleatorio gaussiano X generato da un

sistema di regressioni ricorsive se

X1 = 1
X2 = 21 X1 + 2
X3 = 31 X1 + 32 X2 + 3
..
.
Xd = d1 X1 + d2 X2 + + d,1,...,d1 Xd1 + d

dove (1 , . . . , d ) N (0, D 2 ), D 2 = diag(11 , . . . , dd ).

22 / 30
 Scomposizione triangolare
Proposizione. X Nd (0, ) con 1 = (I )0 D 2 (I )
dove
0 0 0 0

21 0 0 0
0 0

= 31
32
.. .. .. .. ..
. . . . .

d1 d2 d,d1 0
Dimostrazione. Abbiamo

X = X + ,  N (0, D 2 )

Perci (I )X =  = LX = .
Quindi LL0 = D 2 e allora = L1 D 2 (L0 )1 .
Infine 1 = L0 D 2 L.
23 / 30
 Esempio

100 500 1000
= 500 2525 5050

1000 5050 10101

Scomposizione triangolare

1 0 0 100 0 0
L = 5 1 0 , D 2 = 0 25 0

0 2 1 0 0 1

24 / 30
 Codice R

Data produce L e D 2 tali che 1 = L0 D 2 L

tridec = function(S){
R = chol(S)
D = diag(diag(R))
dimnames(D) = dimnames(S)
L = D %*% solve(t(R))
list(L = L, D2 = diag(D)^2)
}

25 / 30
 Interpretazione

1 0 0 100 0 0
2
L = 5 1 0 , D = 0 25 0

0 2 1 0 0 1

X1 = 1 , V (1 ) = 100
X2 = 5X1 + 2 V (2 ) = 25
X3 = 2X2 + 3 V (3 ) = 1

Grafo di indipendenza

5 2
X1 X2 X3

31.2 = 0 31.2 = 0 3
1|2

26 / 30
 Modelli grafici Gaussiani ricorsivi

Definizione. Si dice che X = (X1 , . . . , Xd ) generato da un

modello grafico Gaussiano ricorsivo se esiste un DAG G = (V, E)
con V = {1, . . . , d} tale che
X
Xi = ij Xj + i , i N (0, ii )
jpa(i)

dove pa(i) linsieme dei genitori del nodo i.

27 / 30
 Esempio

1 2 3 4 5
1
1 . . . . .
. &
2 21 . . . .
2 3 4 =
3 31 . . . .
& .
4 . . . . .
5
5 . . 53 54 .

X1 = 1
X2 = 21 X1 + 2
X3 = 31 X1 + 3
X4 = 4
X5 = 53 X3 + 54 X4 + 5

28 / 30
 Conseguenze

1
. &
2 3 4 3 d-sep 4 | , 3 d-conn 4 | 5
& .
5

3 4 34 = 0, 3
4 | 5 34.5 = 0
Abbiamo
34 = C(31 X1 + 3 , 4 )
= 31 C(1 , 4 ) + C(3 , 4 ) = 0
Mentre
1
34.5 = 34 35 55 54
1
= 35 55 54
= 53 54 33 44 /55 6= 0 = 3 6 4 | 5
29 / 30
 Conseguenze (segue)

1
. &
2 d-conn 3 | , 2 d-sep 3 | 1 2 3 4
& .
5

Invece,
23 = C(21 X1 + 2 , 31 X1 + 3 )
= 21 31 11 6= 0 = 2 6
3
mentre,
23.1 = C(2 , 3 ) = 0 = 2
3|1

30 / 30