Entropia congiunta

Def. Date due v.c. X e Y con d.d.p. congiunta p(x, y),

deniamo entropia congiunta la quantit :
H (X, Y ) =
xX y Y

1 1 = E lg p (x, y ) lg p (x, y ) p (x, y )

. p.1/21

Entropia condizionata
Def. Date due v.c. X e Y con d.d.p. congiunta p(x, y),
deniamo entropia condizionata la quantit :
H (Y |X ) =
xX

p (x) H (Y |X = x) p (x)
xX y Y

= =
xX y Y

1 p (y |x) lg p (y |x)

1 p (x) p (y |x) lg p (y |x) 1 1 p (x, y ) lg = E lg p (y |x) p(y |x)

=
xX y Y

. p.2/21

Regola della catena

Teorema H (X, Y ) = H (X ) + H (Y |X ) Dim.
H (X, Y ) =
x,y

1 p (x, y ) lg = p (x, y )

x,y

1 p (x, y ) lg p (y |x) p(x)

=
x,y

1 1 p (x, y ) lg + lg p (x) p (y |x) 1 + p (x, y ) lg p (x) 1 p (x, y ) lg p (y |x)

=
x,y

x,y

=
x y

1 + H (Y |X ) p (x, y ) lg p (x)

=
x

1 p (x) lg + H (Y |X ) = H (X ) + H (Y |X ) p (x)
. p.3/21

Consideriamo la sequente dimostrazione alternativa:

1 H (X, Y ) = E lg p (X, Y ) 1 1 + lg = E lg p (X ) p (Y |X ) 1 1 = E lg + E lg p (X ) p (Y |X ) = H (X ) + H (Y |X )

. p.4/21

Corollario
H (X, Y |Z ) = H (X |Z ) + H (Y |X, Z )

Dim. (lasciata come esercizio)

Nota: In generale non vero che H (X |Y ) = H (Y |X ).

. p.5/21

Entropia relativa
Def. Date due d.d.p. p(x) e q(x), lentropia relativa (o
distanza Kullback Leibler) D (p||q ) di p(x) e q (x) denita come p (x ) D (p||q ) = p (x) lg q (x)
xX

In generale D (p||q ) = D (q ||p) Propriet: D (p||q ) 0 con luguaglianza sse p = q (si dimostra con la dis. di Jensen)

. p.6/21

Mutua Informazione
Def. Date due v.c. X e Y con probabilit congiunta p(x, y),
la mutua informazione denita come lentropia relativa tra p(x, y ) e p(x)p(y ):
I (X ; Y ) = D (p(x, y )||p(x)p(y )) =
xX y Y

p (x, y ) p (x, y ) lg p (x) p (y )

= I (Y ; X )

La mutua informazione rappresenta linformazione che una certa variabile contiene circa unaltra variabile.
. p.7/21

Propriet della mutua informazione

I (X ; Y ) 0 luguaglianza vale sse X e Y sono indipendenti

Dim.
I (X ; Y ) = D (p (x, y ) p (x) p (y )) 0.

Luguaglianza vale sse p(x, y ) = p(x)p(y ) ovvero sse X e Y sono indipendenti.

I (X ; Y ) = I (Y ; X )

. p.8/21

Teorema
1. I (X ; Y ) = H (X ) H (X |Y ) = H (Y ) H (Y |X ) = I (Y ; X ) 2. I (X ; Y ) = H (X ) + H (Y ) H (X, Y ) 3. I (X ; Y ) = I (Y ; X ) 4. I (X ; X ) = H (X )

. p.9/21

Dim.
1.
p (X, Y ) p (Y ) p (X |Y ) I (X ; Y ) = E lg = E lg p (X ) p (Y ) p (X ) p (Y ) p (X |Y ) 1 = E lg = E lg p (X |Y ) + lg p (X ) p (X ) 1 1 = E lg E lg p (X ) p (X |Y ) = H (X ) H (X |Y )

In modo simile si pu dimostrare

I (X ; Y ) = H (Y ) H (Y |X ) = I (Y ; X )

che dimostra il punto 3.

. p.10/21

2. Per la 1
I (X ; Y ) = H (Y ) H (Y |X )

Per la regola della catena

H (X, Y ) = H (X ) + H (Y |X ) H (Y |X ) = H (X, Y ) H (X )

Quindi
I (X ; Y ) = H (Y ) (H (X, Y ) H (X )) = H (X ) + H (Y ) H (X, Y )

4. Per la 1
I (X ; X ) = H (X ) H (X |X ) = H (X )
. p.11/21

Esercizio
Esercizio Dimostrare H (X |Y ) H (X ) con luguaglianza
sse X e Y sono indipendenti.

. p.12/21

Esempio
Y \X 1 2 3 4 1
1 8 1 16 1 16 1 4

1
1 16 1 8 1 16

3
1 32 1 32 1 16

4
1 32 1 32 1 16

. p.13/21

Determiniamo le d.d.p. marginali. Sommando le probabilit in ciascuna colonna:

X= 1 2 3 4
1 2 1 4 1 8 1 8

Sommando le probabilit in ciascuna riga:

Y = 1 2 3 4
1 4 1 4 1 4 1 4

. p.14/21

H (X |Y ) =
i=1

p (y = i) H (X |Y = i) 1 1 1 1 , , , 2 4 8 8 1 1 1 1 , , , 4 4 4 4 1 + H 4 1 1 1 1 , , , 2 4 8 8

1 = H 4 1 + H 4 1 = 4 1 = 4

1 + H (1, 0, 0, 0) 4

1 1 1 1 1 + 2 + 2 3 2 + lg 4 + 0 2 4 8 4 4 1 7 11 1 1 3 1 1 + + 2+ = + = 2 2 4 2 2 4 2 8
. p.15/21

13 H (Y |X ) = 8 11 27 H (X, Y ) = H (Y ) + H (X |Y ) = 2 + = 8 8 3 7 11 = I (X ; Y ) = H (X ) H (X |Y ) = 4 8 8 3 13 = = H (Y ) H (Y |X ) = 2 8 8

. p.16/21

Estensione delle Regola della Caten

Teorema Siano X1 , . . . , Xn n v.c. con d.d.p. p(X1, . . . , Xn )
n

H (X1 , ..., Xn ) =
i=1

H (Xi |Xi1 ...X1 )

Dim.
H (X1 , X2 ) = H (X1 ) + H (X2 |X1 )

H (X1 , X2 , X3 ) = H (X1 ) + H (X2 X3 |X1 ) = H (X1 ) + H (X2 |X1 ) + H (X3 |X2 X1 )

. p.17/21

Iterando
H (X1 , ..., Xn ) = H (Xn |X1 , ..., Xn1 ) + H (X1 , ..., Xn1 ) = ... = H (Xn |Xn1 . . . X1 ) + H (Xn1 |Xn2 . . . X1 ) + . . . + H (X2 |X1 ) + H (X1 )
n

=
i=1

H (Xi |Xi1 , ..., X1 )

. p.18/21

Teorema
n

H (X1 , , Xn )
i=1

H (Xi ),

luguaglianza vale sse X1 , . . . , Xn sono indipendenti.

Dim.
n n

H (X1 , . . . , Xn ) =
i=1

H (Xi |X1 , ..., Xi1 )

i=1

H (X i )

Lultima disuguaglianza vale con il segno di = sse X1 , . . . , Xn sono indipendenti.

. p.19/21

Esercizio
Esercizio Dimostrare che, data la funzione f , risulta
H (X ) H (f (X ))

Suggerimento: considerare H (X, f (X ))

. p.20/21