8 - IL CANALE BIANCO GAUSSIANO (AWGN)

Processi aleatori

E' importante distinguere tra i segnali cosiddetti certi e quelli aleatori. Un esempio di
segnale certo pu essere una cosinusoide di cui sia nota sia l'ampiezza che la fase,
mentre un segnale aleatorio (casuale) non noto con esattezza prima che questo venga
prodotto (ad esempio il rumore di un ruscello, o le notizie presenti in un telegiornale).

Anche nel caso in cui il segnale non noto a priori, e dunque impossibile calcolarne la
trasformata di Fourier in forma chiusa, si pu ugualmente giungere ad una
rappresentazione che caratterizzi le realizzazioni del processo nei termini della
distribuzione (statistica) in frequenza della potenza di segnale. Ci possibile
considerando la funzione di autocorrelazione, che esprime il grado di interdipendenza
statistica tra i valori assunti in istanti diversi dalle realizzazioni del processo, e che
costituisce un elemento unificante ai fini della stima spettrale dei segnali.
Consideriamo un processo casuale x(t): lautocorrelazione vale
Rx ( ) E[ x * (t ) x(t )] e per =0

Rx (0) E[| x(t ) | 2 ]

Se Rx()=0, x(t) e x(t+) si dicono incorrelati.

Dato un processo casuale a media nulla, si avr quindi (essendo Var (X)=E[X2]-E[X] 2 )

Rx (0) E[| x(t ) | 2 ] x .

2

Valor medio e autocorrelazione di un processo casuale hanno valore rispettivamente

T / 2

1
x(t )dt
T T
T / 2

x lim

T / 2

1
Rx ( ) lim
x * (t ) x(t )dt
T T
T / 2

La densit spettrale di potenza di un processo casuale x(t) definita come la trasformata

di Fourier dellautocorrelazione Rx():

Sx(f) viene chiamata densit spettrale di potenza perch lautocorrelazione in =0

rappresenta la potenza del processo

T / 2

1
x 2 (t )dt Px
T T
T / 2

Rx (0) lim

e lautocorrelazione in =0 uguale allintegrale della sua trasformata:

Rx (0)

( f )df Px

La densit spettrale di potenza per un processo casuale x(t) rappresenta quindi come
distribuita statisticamente la potenza alle varie frequenze.

Rumore bianco

Chiamiamo AWGN (Additive White Gaussian Noise channel) il canale di trasmissione

teorico in cui il rumore ha densit spettrale S(f) costante e pari ad N0 watt/Hz, unit di
misura che proviene dal rapporto fra potenza e unit di banda di frequenza:

S(f)=N0 f .

Dunque il suo spettro piatto (nella realt questo vale almeno in un vasto range di
frequenze):

(in figura si considera solo lo spettro positivo)

Il nome bianco dipende dal fatto che in ottica il bianco la sovrapposizione di tutte le
frequenze della luce visibile.
Dal punto di vista statistico, il rumore bianco caratterizzato dall'avere valori istantanei del
tutto privi di correlazione.
Nell' ambito dell' elettronica e delle telecomunicazioni il canale AWGN rappresentativo
del fenomeno del rumore termico per il quale gli elettroni di un conduttore sono in continua
agitazione anche in assenza di forze esterne. Questo equivalente ad avere sul
conduttore un segnale di fondo incognito.
Tale segnale costituisce un rumore di disturbo per i segnali elettrici utili. L' agitazione
termica non deterministica, perci il segnale descritto come una variabile aleatoria con
distribuzione gaussiana, valor medio nullo e varianza che corrisponde alla potenza del
disturbo. Si chiama additivo in quanto si somma sempre ai segnali utili.
La funzione densit di probabilit f(z), espressa in probabilit per unit di ampiezza, dp/dz)
che il rumore sia compreso fra z e z+dz espressa dalla funzione di distribuzione
gaussiana

f ( z)

1
2

exp(

z2
)
2 2

dove z una variabile continua avente valor medio 0 e varianza 2 che come discende
dalla teoria dei processi aleatori descritta nel paragrafo precedente - rappresenta la
potenza di rumore PN. La distribuzione ha la consueta forma a campana.

Consideriamo un canale gaussiano dove la variabile casuale il rumore z, con media 0 e

varianza PN, ingresso il segnale X e uscita il segnale Y, devono essere legati dalla
relazione

Y=X+Z.
X costituito dalle forma donda che rappresentano i simboli della sequenza di ingresso.
Se si indica con xi la forma donda che rappresenta li-esimo simbolo di una sequenza di n
simboli, avremo che per n abbastanza grande la potenza massima P del segnale di
ingresso, espressa in energia per unit di tempo (watt) limita superiormente la media della
potenza delle singole forma donda:

1 n 2
xi P
n i 1

Consideriamo blocchi di lunghezza n di ingresso x, uscita y e rumore z, avremo

y=x+z

e quindi

1 n 2 1 n
z i ( yi xi ) 2 PN

n i 1
n i 1

ossia

(8.1)

||y-x||2nPN

Questa relazione esprime il concetto che molto probabilmente, quanto pi grande n la

n-pla di uscita y sar dislocata nella sfera ad n dimensioni di centro x e raggio (nP N)1/2.
Ma ingresso e rumore sono statisticamente indipendenti, per cui la potenza di uscita non
dovr superare la somma di quella di ingresso e di quella di rumore:

1 n 2
yi P PN
n i 1

ossia
||y||2n(P+PN).

(8.2)

Lipersfera di raggio R cos definita centrata nellorigine dello spazio delle uscite visto
che con elevata probabilit ogni uscita gace al suo interno.
Analogamente al ragionamento fatto per il secondo teorema di Shannon, ci dobbiamo
chiedere:
quante n-ple x sono trasmissibili in modo che le loro ipersfere di uscita definite dalla (8.1)
non siano mai sovrapposte, ovvero siano tali che ogni uscita y appartenga ad una ed una
sola ipersfera (8.1) in modo da individuare uno ed un solo ingresso x in cui possa essere
univocamente decodificata ?
In altre parole, quante ipersfere (8.1) entrano senza sovrapporsi nellipersfera (8.2) ?

Come per il secondo teorema di Shannon, la risposta che il numero cercato il rapporto
fra (8.2) le (8.1).
Il volume di unipersfera in n dimensioni dato da

4
Vn=KnRn , Kn costante indipendente dal raggio Rn (per n= 3, K ).
3

r nPN
R n( P PN )

Nel caso pi generale, il numero massimo di messaggi o n-ple x che possono essere
trasmessi in modo affidabile, cio in modo da associare ogni uscita ad uno ed un solo
ingresso, :

K n( P PN )
M n
K n (nPN ) n / 2

n/2

(1 P / PN ) n / 2 .

Si ottiene che la massima velocit consentita, ovvero la capacit del canale AWGN

1
1
log M log(1 P / PN ) .
n
2

(8.3)

Ricordiamo ora il teorema del campionamento:

Dati due segnali ingresso e rumore limitati in banda nellintervallo (-W,W), essi possono
essere rappresentati con almeno 2W campioni per unit di tempo. Se il rumore un
processo gaussiano bianco, ha densit spettrale N0/2 (si considera solo la parte positiva
dello spettro), con varianza 2 pari alla potenza del segnale

Nella condizione di limitazione ad una banda W del rumore bianco gaussiano, si pu

ottenere un canale discreto campionando alla frequenza di Nyquist, e la potenza del
rumore per campione sar

PN

N0
df N 0W .
2

Sostituendo nella (8.3) otteniamo

1
P
log 1

2
N 0W

bit/campione trasmesso.

Trasmettendo 2W campioni al secondo, si giunge a

P
C* W log 1
bit/sec
N 0W

formula di Shannon per la capacit del canale AWGN.

Dunque i fattori che determinano la capacit del canale AWGN sono la larghezza di banda
W, la densit spettrale di rumore N0 e la potenza del segnale P.
Tuttavia la potenza argomento del logaritmo e quindi lincremento di potenza produce
solo au lento aumento della capacit.
Invece laumento della larghezza di banda produce due effetti:
-

aumento del tasso di informazione (quindi del numero di campioni al secondo)

ingresso di maggior rumore nel sistema.

Infatti facendo tendere W allinfinito si ottiene:

lim C* log e

P
P
1.44
N0
N0

avendo applicato la regola di De LHospital.

(8.4)

Dunque si vede che anche un illimitato incremento della larghezza di banda non produce
un illimitato incremento della capacit del canale rumoroso.

Se dividiamo per W e introduciamo la nozione di

bit rate spettrale r

R*
W

(8.4a)

dove R* il tasso di informazione/bit rate corrispondente a C*, si ottiene

r log(1

P
)
N 0W

(8.5)

Se poniamo

Eb

da cui anche r log(1

P
R*

energia per bit

rEb
)
N0

per una trasmissione affidabile (R*<C*) si vede che, dalla 8.4,

1.44

P
R* R *
R * N0

da cui

Eb
0.693
N0

Famosa disuguaglianza che limita la trasmissione affidabile. Si possono prevedere due

casi estremi:

r<<1 (caso a banda limitata data la definizione di r)

r>>1 (caso a potenza limitata, dalla (8.5)).

Esistono altre due limitazioni notevoli, note in generale: una relativa allentropia di
sorgente

H(S)<C
laltra relativa alla funzione di distorsione

R(D)<C.

PULSE CODE MODULATION

La Pulse Code Modulation (PCM) una tecnica basilare per la codifica in forma digitale
dei segnali analogici. E una tecnica importante in quanto consente la trasmissione in
forma digitale di segnali analogici.

Abbiamo visto che la rappresentazione numerica (o digitale) di un segnale analogico

richiede la sua discretizzazione sia nel tempo che in ampiezza:
La discretizzazione nel tempo operata dal campionamento.
La discretizzazione in ampiezza operata tramite unoperazione chiamata
quantizzazione
La PCM in grado di convertire forme donda analogiche in segnali digitali attraverso la
catena delle tre seguenti operazioni:
Campionamento
Quantizzazione
Codifica.

In pratica la codifica PCM operata in trasmissione una conversione analogicodigitale

(ADC).
Per poter ricostruire a destinazione il segnale analogico originario, dovr quindi seguire in
ricezione una decodifica che realizzi la conversione digitale-analogica (DAC).
Per prima cosa, il segnale analogico x(t) viene limitato in banda e campionato a frequenza
fc = 1/Tc, ottenendo una sequenza di campioni x(kTc).

Lampiezza di questi campioni distribuita su un intervallo continuo.

Il quantizzatore arrotonda appunto il valore di ampiezza di un dato campione, x(kTc), al
valore pi vicino fra quelli contenuti in un insieme finito di Q valori discreti. I Q valori
discreti sono chiamati livelli.
Loperazione di quantizzazione viene svolta per tutti i campioni x(kTc) generando la
sequenza di campioni quantizzati xq(kTc).
I

campioni

xq(kTc) sono

discreti

nel

tempo

(campionamento) e

in

ampiezza

(quantizzazione).
Ovviamente, in generale, x(kTc) xq(kTc).
Infatti solo per caso uno dei Q livelli discreti sar perfettamente uguale al valore del
campione che si vuole quantizzare.
Tuttavia, xq(kTc) livello discreto (fra i Q livelli disponibili) pi vicino a x(kTc) . Si pu
scrivere allora che:
xq (kTc ) = x(kTc )+ k
dove k chiamato errore di quantizzazione.
Chiamato il passo di quantizzazione e supponendo che i livelli di quantizzazione siano
equispaziati fra loro proprio di , allora evidente che:
| k | / 2

Spesso sono preferibili livelli di quantizzazione non equispaziati. Qui ci Limitiamo al caso
equispaziato.
Lerrore di quantizzazione commesso nellassegnare un campione al livello pi vicino non
pu essere recuperato o compensato in ricezione, e caratterizzer irreversibilmente il
segnale.
Minore , minore sar lerrore di quantizzazione. Tuttavia, diminuendo (e mantenendo
uguale lintervallo di ampiezze coperto dai livelli di quantizzazione) aumenta il numero di
livelli Q.

CODIFICA M-aria

La codifica loperazione volta a esprimere il livello individuato da un campione tramite un

numero in base M.
Esempio:
il k-esimo campione (3.142 V) viene assegnato alli-esimo livello (3.100 V) dal
quantizzatore.
In corrispondenza di ci, il codificatore pone in uscita il numero che contraddistingue il
livello individuato, cio i.
Tale numero sar espresso in base M, usando n cifre. Esempio: il livello numero 17 pu
essere espresso con 2 cifre in base decimale (M = 10, n= 2) e con 5 cifre in base binaria
come 10001 (M = 2, n = 5).
Quindi, per ogni campione, il codificatore pone in uscita n cifre le quali sono in grado di
esprimere il livello individuato fra i Q livelli possibili.
La legge che lega il numero di possibili livelli Q, la base del codice M e il numero di cifre
per livello n, la seguente:
Q =Mn
n=logM (Q)
(se Q non una potenza di M (ossia Q Mk

con k intero), n il pi piccolo intero

maggiore di logM(Q))
Il caso pi comune la codifica binaria in cui le 2 possibili cifre [0, 1] sono dette bit e per il
quale
Q=2n, n=log2(Q)
Nella pratica, il codificatore seguito da un blocco che mette in sequenza (in serie) le n
cifre poste in uscita dal codificatore in parallelo.

Queste n cifre sono relative ad un

campione. I campioni si susseguono ad intervalli di Tc secondi. Quindi, per la trasmissione

di ogni cifra si avr a disposizione un tempo pari a Tc / n (tempo di cifra).
Indichiamo con r il numero di cifre al secondo in uscita dal convertitore parallelo-seriale.
Se viene trasmessa una cifra ogni Tc / n, allora: r = n/Tc = n fc .

La grandezza r viene chiamata symbol rate e si misura in cifre/sec o, pi in generale, in

simboli/sec.

[cifre ]
[cifre ]
[camp]
n
fc
[sec]
[camp]
[sec]

Nel caso binario, r detta bit rate (misurata in bit/sec) e il tempo di cifra viene chiamato
tempo di bit.
Volendo diminuire lerrore di quantizzazione, si deve aumentare il numero di livelli (Q) con
un conseguente aumento del numero di cifre per campione (n) e della symbol rate (r).

NECESSITA DI CODIFICA DI CANALE

Abbiamo visto le limitazioni esistenti per la trasmissione affidabile, che per non
comportano ancora lanalisi della probabilit di errore nel canale rumoroso (che noi
consideriamo essere lo AWGN).
Nel caso PCM si pu dimostrare che la probabilit derrore per bit Pb, con riferimento alla
funzione densit di probabilit ponendo in essa =1, vale

Pb

2 Eb
z2
2 exp( )dz
N0
2
x

(8.6)

Il che implica la seguente osservazione: per diminuire la probabilit derrore, ossia in

definitiva il valore dellintegrale, si deve aumentare lestremo di integrazione inferiore,
ovvero lenergia del segnale.
Questo incremento pu essere effettuato in due modi:
-

aumentando la potenza del trasmettitore

aumentando la durata del bit

come si deduce dalle formule ricavate nei primi paragrafi del capitolo.

Nel primo caso si incontrano i limiti fisici del trasmettitore, nel secondo si diminuisce la bit
rate.
La prima idea fu quindi quella di far tendere a zero la bit rate (come nel caso dei codici a
ripetizione). Ma la conoscenza del lavoro di Shannon ha portato ad ottenere risultati pi
interessanti attraeverso opportune codifiche di canale.
Se generalizziamo la (8.6) a sequenze di k bit, con un numero M di messaggi pari a 2k, si
trova che la probabilit di errore per la sequenza limitata da

Pe MQ 2d HM

Eb
N0

(8.7)

dove

Q 2 exp(
x

z2
)dz
2

La (8.7) molto importante perch sottolinea che per diminuire la probabilit di errore,
aumentare la distanza minima fra le sequenze equivale ad aumentare lenergia per bit
trasmesso.
Dunque ladozione della codifica di canale necessaria proprio perch consente di
aumentare la distanza minima fra le sequenze e di diminuire cos la probabilit di errore.
Si osserva per anche che la diminuzione della probabilit derrore si pu ottenere anche
con luso di M segnali ortogonali, ossia tali per cui il prodotto fra due segnali distinti si
annulli. Questo pu avvenire solo aumentando la larghezza di banda in modo
esponenziale.

Ci si chiede allora se esista un modo per trasmettere i segnali su canale rumoroso in

accordo con il secondo teorema di Shannon (R*=C*-) ma evitando la crescita
esponenziale della larghezza di banda.

La risposta affermativa: possibile studiare una codifica di canale incentrata sul criterio
seguito per la dimostrazione del secondo teorema di Shannon, ossia codificando i 2k

messaggi, invece che su 2k k-ple, in 2k n-ple opportunamente scelte fra le 2n n-ple

possibili, n>k.
Questa scelta permette di aumentare la distanza di Hamming minima, quindi come si
visto di diminuire la probabilit di errore.
Ad esempio se per trasmettere 22=4 messaggi si usano le coppie binarie, la distanza
minima di Hamming 1.
Se invece i quattro messaggi vengono codificati in quattro terne binarie, possibile
sceglierle in modo che la distanza di Hamming minima sia 2: ad es. 000,110,101,011.
Questo corrisponde, come visto a suo tempo, ad introdurre (n-k) digit di ridondanza ovvero
a diminuire la bit rate relativa R=k/n al fine di diminuire la probabilit di errore.
Ovviamente pi R vicina ad 1 pi difficile aumentare la distanza minima.
Si introduce allora la grandezza guadagno asintotico di codifica G

G d HM R
La distanza minima sempre1, mentre la bit rate tale per cui R<1: quindi G pu
risultare maggiore, minore o uguale ad 1.
In ogni caso, si pu dire che dati certi valori di k e di n, il codice ottimo quello che
fornisce la dHM maggiore.
Studiamo ora il legame fra codifica ed incremento di banda W. In assenza di codifica, ad
ogni impulso trasmesso corrisponde un bit, quindi la durata temporale di un bit

Tb

1
dove R* la bit rate in bit/sec.
R*

Una volta introdotta la codifica, nel tempo in cui vengono trasmessi k bit senza codifica ora
vengono trasmessi n bit, quindi in tempo dedicato ad un bit si ridotto del fattore k/n=R.
Questo corrisponde (v. 8.4a ) ad un allargamento della banda occupata pari ad n/k:

Wcod
n 1

Wnoncod k R

Ossia ora la banda cresce linearmente e non esponenzialmente come nel caso dei segnali
ortogonali.

Si dimostra anche che nel caso AWGN possibile trovare codici che al crescere di n, e
quindi di k, permettono una probabilit di errore che tende a zero a fronte di un mdesto
incremento della banda.

La ricerca di codici ottimi durata decenni ed ha portato allo sviluppo di due classi di
codici: i codici blocco (senza memoria) e i codici convoluzionali (con memoria).

Nei codici a blocco i k bit di informazione sono legati solo ad un blocco di n digit, nei
secondi i k bit influenza fino ad m blocchi consecutivi, ciascuno di n digit (m la memoria
del codice convoluzionale).

Abbiamo visto nei paragrafi dedicati alla codifica di sorgente che i messaggi venivano
associati a sequenze costituite dai simboli dellalfabeto di codice, dette parole di codice.
Analogamente per la codifica di canale: ciascuna delle 2k k-ple di informazione viene
trasformata in una delle 2n n-ple (nk), dove k=n corrisponde allassenza di codifica.