(F1X) Teoria dellInformazione e della Trasmissione

13 Teorema di Codifica Congiunta Sorgente-Canale

Docente: Nicol`
o Cesa-Bianchi

versione 14 aprile 2014

In questa lezione combiniamo il primo e secondo teorema di Shannon per dimostrare il teorema
di codifica congiunta sorgente-canale. Questo teorema dimostra che la codifica a due stadi, dove
prima comprimiamo la sorgente e poi creiamo un codice canale per trasmettere i simboli compressi,
`e ottima. Questo non `e scontato, infatti il codice sorgente ignora il canale, mentre il codice canale
ignora la sorgente. Invece, il teorema dimostra che non c`e modo di avere una codifica pi`
u efficiente
anche mettendo insieme sorgente e canale.
I due teoremi di Shannon mostrano che:
1. possiamo comprimere senza perdita di informazione ad un tasso arbitrariamente vicino allentropia per simbolo sorgente,
2. possiamo trasmettere con probabilit`a di errore arbitrariamente piccola ad un tasso arbitrariamente vicino alla capacit`
a per uso del canale.
Entropia e capacit`
a forniscono condizioni necessarie e sufficienti: non possiamo comprimere ad un
tasso superiore allentropia e trasmettere ad un tasso superiore alla capacit`a. Ora dimostriamo che
possiamo trasmettere un simbolo sorgente per uso del canale con errore medio tendente a zero se e
solo se lentropia della sorgente `e minore della capacit`a del canale.
Intuitivamente, questo avviene grazie alla propriet`a AEP: se consideriamo una sorgente hV, p(v)i
di entropia H, sappiamo che il numero di sequenze di n simboli sorgente sulle quali si concentra
la probabilit`
a `e circa 2nH . Questo numero coincide col numero di messaggi che vogliamo vengano
decodificati correttamente con alta probabilit`a, in quanto per AEP i rimanenti messaggi hanno
una probabilit`
a molto bassa di essere estratti dalla sorgente. Se usiamo il canale n volte per
trasmettere uno di questi 2nH messaggi, abbiamo un tasso di trasmissione pari ad H. Il secondo
teorema di Shannon, garantisce allora una probabilit`a di errore di decodifica asintoticamente nulla
quando H < C.
Teorema 1 Data una sorgente hV, p(v)i di entropia H e dato un canale hX , Y, p(y | x)i di capacit`
a
C, si considerino codici sorgente-canale della forma
v n xn (v n ) y n vbn (y n )
dove xn : V n X n `e la funzione di codifica sorgente-canale e vbn : Y n V n `e la funzione di
(n)
decodifica. Sia pe = P Vb n 6= V n ) la probabilit`
a di errore di decodifica per un blocco casuale di n
simboli V n V n dove
n
Y
P(V n = v n ) = p(v n ) =
p(vi ) .
i=1

Allora,
1

(n)

1. Se H < C allora esiste una sequenza di codici sorgente-canale tale che pe 0 per n .
Tali codici sono costruiti concatenando un codice sorgente (indipendente dal canale) con un
codice canale (indipendente dalla sorgente).
(n)

2. Se per una data sequenza di codici pe

0 quando n allora H C.

Dimostrazione. Assumiamo H < C e costruiamo un codice sorgente-canale con le propriet`

a
(n)
n
desiderate. Per ogni > 0 e n fissati consideriamo linsieme A di sequenze tipiche in V .
(n)
(n)
(n)
Costruiamo il codice sorgente C : A {0, 1} assegnando ad ogni v n A una distinta


(n)
(n)
parola di codice di lunghezza log2 |A | . Mappiamo poi le restanti sequenze v n 6 A in una
(n)

stessa parola di codice arbitraria diversa dalle precedenti. Dato che la probabilit`a di A tende a
uno per n , il codice codifica soltanto le sequenze che hanno probabilit`a asintoticamente non
zero di essere estratte dalla sorgente.
Ora applichiamo una codifica canale asintoticamente ottima allinsieme
o
n
M(n) = C(n) (v n ) : v n V n
dei messaggi (parole del codice sorgente). Riassumendo, una sequenza V n di simboli sorgente `e
(n)
codificata dal codice sorgente con il messaggio binario C (V n ), quindi ricodificata dal codice canale
n
con la sequenza X che in uscita dal canale diventa la sequenza Y n . La funzione di decodifica riceve
Y n in uscita dal canale, applica la funzione di decodifica del codice canale ricavando un messaggio
corrispondente ad una parola del codice sorgente, infine decodifica il messaggio utilizzando il codice
sorgente e ricavando la sequenza decodificata Vb n di simboli sorgente. La probabilit`a di errore di
decodifica `e controllata nel modo seguente
b n 6 V n)
p(n)
e =P V =








= P Vb n 6= V n | V n A(n) P A(n) + P Vb n 6= V n | V n 6 A(n)
P V n \ A(n)

P Vb n 6= V n | V n A(n) + P V n \ A(n) .

Dato che abbiamo usato un codice canale asintoticamente ottimo, per ogni > 0 fissato esiste n
tale che per ogni n n , si ha che
 (n) 
log2 M 
<C
n

P Vb n 6= V n | V n A(n)
.

implica

 (n) 
Dato che M  2n(H+) + 1 per avere
 (n) 
log2 M 
<C
n
`e sufficiente che H ++ n1 < C. Inoltre, di nuovo per n abbastanza grande rispetto a , abbiamo che
(n)

(n)
P V n \ A
. Quindi concludiamo che H + < C implica pe 2. Infine, per larbitrariet`
a
nella scelta di , otteniamo che H < C implica lim p(n)
=
0.
e
n

Concludiamo la dimostrazione provando che se esiste una sequenza di codici sorgente-canale tale
(n)
che limn pe = 0 allora devessere H < C. Per prima cosa notiamo che H = n1 H(V n ) dato che
p(v n ) = p(v1 ) p(vn ). Poi, dato che Vb n `e indipendente da V n dato Y n , possiamo applicare
la data processing inequality alla terna V n , Y n , Vb n . Infine, dato che Y n `e indipendente da V n
dato X n , possiamo applicare ancora la data processing inequality alla terna V n , X n , Y n . Possiamo
allora scrivere
1
H(V n )
n

1


1
H V n | Vb n + I V n , Vb n
n
n

1


1
(n)
1 + pe n log2 |V| + I V n , Vb n
(per la disuguaglianza di Fano)
n
n

1


1
n
n
1 + p(n)
(per la data processing inequality)
e n log2 |V| + I V , Y
n
n

1


1
n
n
1 + p(n)
(per la data processing inequality)
e n log2 |V| + I X , Y
n
n
1
+ p(n)
a massimizza linformazione mutua).
e log2 |V| + C (dato che la capacit`
n

H=
=

(n)

Perci`o, se pe

0 devessere H C, il che conclude la dimostrazione.