Sei sulla pagina 1di 25

Luca Mari, Strumentazione Elettronica di Misura

Elementi di teoria dellinformazione e della trasmissione


Versione 21.5.04

Elementi di teoria dellinformazione e della trasmissione

Luca Mari, Strumentazione Elettronica di Misura

La centralit dellinformazione e del suo trattamento


Distribuzione % delle persone impiegate per tipologia di attivit lavorativa negli Stati Uniti
Agriculture and extractive Manufacturing, commerce, industry Other services 1880 50 36 12 1920 28 53 10 1955 14 37 1975 4 29 2000 (stima) 2 22
(*)

Informatiion,, knowlledge,, educatiion Informat on know edge educat on

2 2

9 9

29 29
20

50 50
17

66 66
10

Fonte: Enciclopedia Britannica, ed.2002

E inoltre stimato che circa l80% dellattuale prodotto interno lordo degli Stati Uniti sia correlato al trattamento di informazione E la transizione verso una societ post-industriale segnata da un cambiamento della risorsa fondamentale:

non pi la terra, o lenergia, o il capitale, ma linformazione

Evidentemente non si fa riferimento solo al settore di mercato dei cosiddetti mass media: iin qualle senso sii iintende,, iin questo caso,, iill termiine iinformaziione ? n qua e senso s ntende n questo caso term ne nformaz one ?

Elementi di teoria dellinformazione e della trasmissione

Luca Mari, Strumentazione Elettronica di Misura

Informazione e supporto fisico


Sistemi fisici diversi:

10 10
possono portare la stessa informazione e, daltra parte, uno stesso sistema fisico: pu portare informazioni differenti

10

Linformazione scritta su un supporto fisico: il supporto necessario per il trattamento dellinformazione linformazione non coincide con il suo supporto
Nota: la relazione tra software e hardware un esempio peculiare della relazione tra informazione e supporto
Elementi di teoria dellinformazione e della trasmissione 3

Luca Mari, Strumentazione Elettronica di Misura

Le relazioni operative tra informazione e supporti fisici

Unentit di informazione (simbolo) viene scritta su un supporto fisico modificandone lo stato e viene letta da un supporto fisico attraverso losservazione del suo stato:
simbolo simbolo

scrittura

lettura

stato di un sistema fisico

Questa operazione di scrittura viene effettuata mediante un attuatore Questa operazione di lettura viene effettuata mediante un sensore Il trattamento dellinformazione si realizza attraverso la trasformazione del supporto fisico su cui essa scritta:
simbolo

trattamento

simbolo

scrittura
stato di un sistema fisico

lettura trasformazione
stato di un sistema fisico
4

Elementi di teoria dellinformazione e della trasmissione

Luca Mari, Strumentazione Elettronica di Misura

Tipi di informazione (una classificazione semiotica)


Si tratta di informazione allorch ci si chiede se un certo sistema fisico in grado, in base agli stati osservabili che pu assumere, di costituire il supporto su cui pu essere scritta informazione: iinformaziione siintattiica nformaz one s ntatt ca Si tratta di informazione allorch ci si chiede quale significato sia da attribuire al simbolo corrispondente a un certo stato osservato: iinformaziione semantiica nformaz one semant ca Si tratta di informazione allorch ci si chiede quale valore / utilit sia da attribuire al simbolo corrispondente a un certo stato osservato: iinformaziione pragmatiica nformaz one pragmat ca
Nota: esiste un terminologia alternativa: dato: entit di informazione sintattica informazione: dato interpretato

Elementi di teoria dellinformazione e della trasmissione

Luca Mari, Strumentazione Elettronica di Misura

Livelli di interpretazione
Un esempio:

V
1

2 3 4

t [punto punto punto] [linea linea linea] [punto punto punto] sos correte a salvarci

La relazione tra un livello e il successivo definita mediante una regola di lettura (in certi casi e in certi contesti chiamata codice ) che fornisce uninterpretazione per le entit del livello precedente Ill nostro iinteresse per lle rellaziionii tra statii dii siistemii fiisiicii e siimbollii,, I nostro nteresse per e re az on tra stat d s stem f s c e s mbo e quiindii per iill lliivellllo siintattiico (tecniico) delllliinformaziione e qu nd per ve o s ntatt co (tecn co) de nformaz one

Elementi di teoria dellinformazione e della trasmissione

Luca Mari, Strumentazione Elettronica di Misura

Verso il concetto di informazione (sintattica)

Cosa fa s che un siistema fiisiico possa portare iinformaziione,, Cosa fa s che un s stema f s co possa portare nformaz one ciio siia adatto come supporto? c o s a adatto come supporto?

se si sa che rotto, non occorre guardarlo se si conosce in anticipo lo stato, non occorre guardarlo

Dunque: il supporto deve poter assumere almeno due stati osservabili (condizione oggettiva: informazione come variet) lo stato attuale non deve essere noto in anticipo (condizione soggettiva: informazione come incremento di certezza)
Nota: la seconda condizione sussume la prima

Come defiiniire lla quantiit dii iinformaziione portata? Come def n re a quant t d nformaz one portata?
Elementi di teoria dellinformazione e della trasmissione 7

Luca Mari, Strumentazione Elettronica di Misura

Due esempi

Un semaforo il supporto fisico per le entit di informazione (simboli): stop, attenzione, avanti Si pu / come minimizzare luso di lampadine nei semafori? Per esempio: stop avanti attenzione

Per identificare 3 simboli (pi che) sufficiente un supporto costituito da una successione ordinata di 2 sottosupporti bistabili

Un esempio inverso: con una mano, pensata come costituita da cinque sottosupporti bistabili, quanti simboli possono essere identificati? 25, cio 32
Elementi di teoria dellinformazione e della trasmissione 8

Luca Mari, Strumentazione Elettronica di Misura

La prima formalizzazione

Premessa (ovvia): linsieme degli stati distinguibili di un supporto fisico costituito da k


sottosupporti bistabili costituito da 2k elementi

Ipotesi : ogni stato viene associato a un diverso simbolo e ogni simbolo viene associato a un
diverso stato (cio la relazione di lettura / scrittura tra stati e simboli 1-1)

Conseguenza : per identificare un simbolo scelto da un insieme di 2k elementi sufficiente usare un sistema fisico costituito da k sottosistemi bistabili Inversamente (seconda conseguenza): se si deve identificare un simbolo da un insieme di k elementi, il supporto fisico dovr essere costituito da non meno di log2(k) sottosupporti
bistabili Scegliamo i sistemi bistabili come strumento per giungere a definire lluniit dii miisura delllla un t d m sura de a quantiit dii iinformaziione: quant t d nformaz one un sistema a due stati (che strutturalmente il pi semplice sistema in grado di fungere da supporto per informazione) pu portare 1 unit di informazione (perch 1=log2(2)) In generale, un sistema a k stati in grado di portare log2(k) unit di informazione

Elementi di teoria dellinformazione e della trasmissione

Luca Mari, Strumentazione Elettronica di Misura

Ricordiamo il caso del semaforo: essendo costituito da 3 sottosupporti bistabili potrebbe essere utilizzato per identificare 23 = 8 simboli diversi, e invece identifica solo 3 simboli diversi: in conseguenza, ognuno dei suoi stati porta meno di 3 bit di informazione Se chiamiamo biit dii memoriia, bitm, i (sotto)sistemi bistabili e biit dii iinformaziione, biti, lunit di b t d nformaz one b t d memor a misura dellinformazione, ne segue che: un biitm pu portare anche meno dii un biitii un b tm pu portare anche meno d un b t Per esempio, queste due figure sono entrambe memorizzate su file (=sistemi fisici) di 100x100x8 bitm, ma la quantit di informazione che portano certamente diversa:

Bitm e biti: efficienza nelluso dei supporti

e quindi dovrebbe essere possibile ridurre la quantit di supporto senza perdere informazione, mediante unoperazione chiamata compressiione compress one Un supporto usato in modo non efficiente, e quindi comprimibile, si dice riidondante r dondante quall iill lliimiite alllla possiibiilliit dii compriimere un supporto qua m te a a poss b t d compr mere un supporto senza perdere lliinformaziione che esso porta? senza perdere nformaz one che esso porta?
Elementi di teoria dellinformazione e della trasmissione 10

Luca Mari, Strumentazione Elettronica di Misura

Un problema

Con una classe di 100 studenti, si deve comunicare un voto: A, B, C o D e per la comunicazione si possono usare solo dispositivi bistabili, cio bitm. Per esempio: A A B C D In questo modo, per comunicare i 100 voti si usano 200 bitm: possiamo comprimere? Supponiamo che la distribuzione dei voti sia non uniforme, ma: A: 1/2 B: 1/4 C: 1/8 D: 1/8 e supponiamo di ri-codificare i voti cos: A B C D Per cui, per esempio: B A D C A

Nota: la regola corretta, nel senso che consente di ricostruire univocamente i voti a partire dalla successione

Con questa distribuzione e questa codifica quanti bitm occorrono per comunicare i 100 voti?
Elementi di teoria dellinformazione e della trasmissione 11

Luca Mari, Strumentazione Elettronica di Misura

Lipotesi fondamentale
Impiegando la regola di codifica: A B C D

quanti bitm occorrono per comunicare 100 voti distribuiti secondo 1/2, 1/4, 1/8, 1/8 ? Data questa distribuzione, supponiamo che ci siano 50 A, 25 B e altri 25 tra C e D I 50 A richiedono complessivamente 50 bitm, i 25 B 50 bitm e i 25 C e D 75 bitm = 175 bitm O anche: ogni voto richiede in media 11/2 + 21/4 + 31/8 + 31/8 = 1,75 bitm E quindi: 1,75 bitm 100 voti = 175 bitm Siamo passati da 200 bitm a 175 bitm: la ricodifica porta a una compressione del supporto (avremmo potuto fare meglio, cio ottenere una compressione ancora maggiore?) Il risultato fondamentale : quanto meno frequente / probabiille un siimbollo,, quanto meno frequente / probab e un s mbo o tanto maggiiore lla quantiit dii iinformaziione che llosservaziione dii talle siimbollo porta tanto magg ore a quant t d nformaz one che osservaz one d ta e s mbo o porta

Elementi di teoria dellinformazione e della trasmissione

12

Luca Mari, Strumentazione Elettronica di Misura

Un modello discreto
simboli sorgente utilizzatore

dove il sistema - sorgente potrebbe essere, per esempio: un semaforo un calcolatore che crea un file un telefono che trasmette Sia S = {si} linsieme dei possibili stati (e quindi dei simboli) emessi dalla sorgente Dunque: allaumentare del numero #S di elementi in S, aumenta la quantit di non-certezza di ogni simbolo e corrispondentemente aumenta QInf(s), la quantit di informazione portata da ogni simbolo s Pi in generale: se si riduce la probabilit P(s) di s, aumenta QInf(s)

Elementi di teoria dellinformazione e della trasmissione

13

Luca Mari, Strumentazione Elettronica di Misura

Quantit di informazione

Dato lo schema probabilistico: s sn 1 S= P(s1) P(sn) (ovviamente con i P(si)=1) e dato linsieme S* delle successioni di elementi di S, cerchiamo una funzione: QInf: S* [0, ) tale che: QInf(s) = (P(s)), con decrescente al crescere di P(s) e inoltre: QInf(si sj) = QInf(si) + QInf(sj) se le occorrenze si e sj sono statisticamente indipendenti La definizione di quantiit dii iinformaziione proposta da C. Shannon nel 1948: quant t d nformaz one 1 ) = log2(P(s)) biti QInf(s) = log2( P(s) (la base 2 del logaritmo ha il solo scopo di qualificare il bit come unit di misura) Nota: in caso di equiprobabilit degli elementi si, P(si) = 1/n, QInf(si) = log2(n) biti

Elementi di teoria dellinformazione e della trasmissione

14

Luca Mari, Strumentazione Elettronica di Misura

Entropia

QInf una funzione che si applica a singoli stati / simboli Per ottenere un indicatore della capacit di un intero sistema di portare informazione, mediamo QInf sullinsieme degli elementi dello schema probabilistico S: H(S) = <QInf(si )> = i P(si)QInf(si)= i P(si)log2(P(si)) biti/simbolo H(S) detta funzione entropiia dellinsieme dei simboli / di sorgente, e rappresenta dunque la entrop a quantit media di informazione portata dai simboli della sorgente Per esempio, dato un insieme di 2 simboli (dunque P(s2) = 1 P(s1)), landamento dellentropia in funzione di P(s1) :
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0
0. 4 0. 2 0. 6 0. 8 0 1

massima incertezza / informazione media incertezza / informazione nulla

Elementi di teoria dellinformazione e della trasmissione

15

Luca Mari, Strumentazione Elettronica di Misura

Quantit di informazione ed entropia

Dal fatto che H(S) = <QInf(si )> immediato ottenere alcune conclusioni generali circa le relazioni tra quantit di informazione QInf ed entropia H sono entrambe funzioni non negative limite inferiore: QInf(si ) = 0 biti se P(si) = 1; H(S) = 0 biti/simbolo nel (lo stesso) caso di una distribuzione del tipo 1, 0, 0, limite superiore: mentre QInf non limitata superiormente, dato che al diminuire di P(si) aumenta QInf(si), maxS(H(S)) = log2(n) biti/simbolo per uno schema S tale che #S = n: una sorgente porta lla quantiit mediia massiima dii iinformaziione iin caso dii equiiprobabiilliit una sorgente porta a quant t med a mass ma d nformaz one n caso d equ probab t In conseguenza, un sistema ottimizzato nel suo uso come supporto per informazione proprio nel caso in cui i suoi stati sono equiprobabili

Elementi di teoria dellinformazione e della trasmissione

16

Luca Mari, Strumentazione Elettronica di Misura

La relazione tra biti e bitm

Per esempio: S = {s1, s2, s3, s4} codificati mediante bitm come {00, 01, 10, 11} Ogni simbolo si, che richiede dunque 2 bitm di memoria, porta 2 biti di informazione? Se i simboli sono equiprobabili, s: infatti in tal caso QInf(si) = log2(P(si)) = log2(4) = 2 biti) Ma supponiamo, invece, che: P(s1)=1/2, P(s2)=1/4, P(s3)=1/8, P(s4)=1/8 Mantenendo la codifica precedente, per esempio s1 richiede ancora 2 bitm ma porta 1 biti... ... cos che un file di 100 simboli richiederebbe 200 bitm ma porterebbe, in media: log2(2)/2 + log2(4)/4 + log2(8)/8 + log2(8)/8 = 1,75 biti/simbolo che dunque lentropia per lo schema probabilistico indicato

Elementi di teoria dellinformazione e della trasmissione

17

Luca Mari, Strumentazione Elettronica di Misura

La codifica

Tra sorgente e utilizzatore si introduce un codificatore, con il compito di convertire i simboli di sorgente (scelti dallo schema S) in (successioni di) simboli di codice, per esempio bitm
simboli di sorgente sorgente codificatore simboli di codice utilizzatore

Nellesempio precedente, dunque: dati lalfabeto di sorgente S = {s1, s2, s3, s4} e lalfabeto di codice C = {0, 1} il codificatore cod potrebbe realizzare la funzione (codifica a lunghezza costante): cod(s2)=01 cod(s3)=10 cod(s4)=11 cod(s1)=00 oppure (codifica a lunghezza variabile): cod(s2)=10 cod(s3)=110 cod(s1)=0 cod(s4)=111

Elementi di teoria dellinformazione e della trasmissione

18

Luca Mari, Strumentazione Elettronica di Misura

cio se P(s2 | s1) P(s2) Evidentemente: QInf(s1 s2) < QInf(s1) + QInf(s2)

e se i simboli non sono statisticamente indipendenti ?


fino alla situazione estrema in cui QInf(s1 s2) = QInf(s1) quando cio la presenza di s1 sufficiente per assicurare la successiva presenza di s2 (lesempio delle lingue naturali: in italiano, dopo una q, la probabilit di avere una lettera diversa dalla u molto bassa; dunque la probabilit della successione qu molto minore della somma delle probabilit di q e u) Anche in questi casi si in presenza di ridondanza, che pu essere eliminata introducendo un opportuno codificatore:
simboli sorgente (con ridondanza) codificatore (senza ridondanza) simboli utilizzatore

che dunque attua una compressione del supporto

Elementi di teoria dellinformazione e della trasmissione

19

Luca Mari, Strumentazione Elettronica di Misura

Risultato fondamentale: primo teorema di Shannon


Ill lliimiite iinferiiore alllla compriimiibiilliit llosslless I m te nfer ore a a compr m b t oss ess dato dallllentropiia delllla sorgente dato da entrop a de a sorgente e la compressione si attua, in generale, mediante la tecnica della codifica a lunghezza variabile, cio mediante un codificatore che associa ai simboli di sorgente successioni di simboli di codice di lunghezza non costante La forma generale di questo risultato nota come priimo teorema dii Shannon: pr mo teorema d Shannon dati: un simbolo di sorgente si e la corrispondente successione cod(si) di simboli di codice, di lunghezza ni se < ni > = i P(si) ni il valor medio dei ni e #C il numero di simboli di codice diversi utilizzabili (2 nel caso dei bitm) allora: < ni > log2(#C) H(S)

Elementi di teoria dellinformazione e della trasmissione

20

Luca Mari, Strumentazione Elettronica di Misura

Primo teorema di Shannon e codifica

Per esempio: abbiamo gi calcolato che lentropia dello schema P(s1)=1/2, P(s2)=1/4, P(s3)=1/8, P(s4)=1/8 vale H(S) = 1,75 biti/simbolo: assumendo la regola di codifica cod(s1)=00, cod(s2)=01, cod(s3)=10, cod(s4)=11 < ni > = i P(si) ni = (1/2 + 1/4 + 1/8 + 1/8) 2 = 2 e quindi (2 1,75) siamo al di sopra del limite di Shannon assumendo la regola di codifica cod(s1)=0, cod(s2)=10, cod(s3)=110, cod(s4)=111 < ni > = i P(si) ni = 1/2 1 + 1/4 2 + 1/8 3 + 1/8 3 = 1,75 e quindi (1,75 1,75) siamo esattamente al limite di Shannon: Il primo teorema di Shannon ci garantisce che questa seconda codifica la migliore possibile: non possibile comprimere ulteriormente il supporto senza perdita di informazione Un altro esempio: #S = 8; P(s1)=25/32, P(si)=1/32, i=2,...,8 Con codifica a lunghezza fissa, ogni simbolo richiede 3 bitm e dunque un file di 100 simboli richiede 300 bitm, mentre H(S)=1,37 biti/simbolo, un valore ben superiore che suggerisce la possibilit di modificare la regola di codifica per ottenere una compressione del supporto Una codifica alternativa: cod(s1)=0, cod(s2)=1000, cod(s3)=1001, , cod(s8)=1110 In questo caso un file di 100 simboli richiederebbe in media 166 bitm, non ancora al limite di Shannon, ma assai meglio di prima

Elementi di teoria dellinformazione e della trasmissione

21

Luca Mari, Strumentazione Elettronica di Misura

Problema / esempio
Dato lo schema: S=

0.3 0.3 0.1 0.1 0.05 0.05 0.05 0.05 calcolare lentropia e identificare una codifica efficiente (cio vicina allentropia)

s1

s2

s3

s4

s5

s6

s7

s8

Entropia = 2,57 biti/simbolo Una codifica possibile: s1: 00 s2: 01 s3: 100 s5: 1100 s6: 1101 s7: 1110 corrispondente a 2,6 bitm/simbolo

s4: 101 s8: 1111

Elementi di teoria dellinformazione e della trasmissione

22

Luca Mari, Strumentazione Elettronica di Misura

Problema / esempio

Consideriamo immagini digitali di 100 100 pixel, il colore di ognuno dei quali scelto in scala dei grigi (dunque con codici tra 0, nero, e 255, bianco) nel range {0, 99} Tali immagini sono interpretabili come (i prodotti di) sorgenti, che emettono ognuna 10000 simboli; memorizzando unimmagine con queste caratteristiche in un file in formato raw, cio con codifica a lunghezza costante (8 bit per pixel), si ottiene un file di 10000 bytes Qual lentropia di queste immagini? e quindi: quale dimensione potrebbe avere il corrispondente file zip (che prodotto da una compressione lossless)? Caso 1: immagine a composizione completamente casuale Lentropia in questo caso facilmente calcolabile: H(S) = log2(100) 6,64 bit/simbolo e quindi 6,64 10000 / 8 8300 bytes Caso 2: immagine a strisce (i 100 pixel della riga i sono di colore i : forte dipendenza statistica) Le dimensioni del file zip generato sono di circa 350 bytes Caso 3: immagine monocromatica (tutti i 10000 pixel sono di colore 0: completa dipendenza statistica) Le dimensioni del file zip generato sono di circa 150 bytes
Elementi di teoria dellinformazione e della trasmissione 23

Luca Mari, Strumentazione Elettronica di Misura

Riconsideriamo i limiti dellentropia, cio di quantit di informazione media, per sorgenti caratterizzate da uno schema probabilistico a n simboli: lentropia minima, pari a 0 bit/simbolo, si ottiene nel caso di sorgenti deterministiche, cio totalmente non-casuali lentropia minima, pari a log2(n) bit/simbolo, si ottiene nel caso di sorgenti a distribuzione uniforme, cio totalmente casuali Si manifesta una corrispondenza tra i concetti di quantit di informazione e di casualit: quanto pii una sorgente casualle tanto maggiiore lla quantiit dii iinformaziione che essa porta quanto p una sorgente casua e tanto magg ore a quant t d nformaz one che essa porta Questo risultato si esprime anche in termini di contenuto dii iinformaziione allgoriitmiica contenuto d nformaz one a gor tm ca (chiamato anche casualliit allgoriitmiica o compllessiit allgoriitmiica) per una sorgente, definito casua t a gor tm ca comp ess t a gor tm ca come la lunghezza del pi breve programma in grado di fornire in output lo stesso messaggio prodotto dalla sorgente: a entropia minima, cio per messaggi del tipo s1s1s1, il programma : o scrivi s1 e ricomincia a entropia massima, cio per messaggi totalmente casuali, il programma invece costituito dallelenco completo delle istruzioni di scrittura, una per simbolo: o scrivi il primo simbolo o scrivi il secondo simbolo o
Elementi di teoria dellinformazione e della trasmissione 24

Qualche nota su informazione, casualit, complessit

Luca Mari, Strumentazione Elettronica di Misura

Qualche nota su informazione, casualit, complessit /2


Dunque, ancora in accordo al primo teorema di Shannon: quanto pii un messaggiio casualle,, tanto meno compriimiibiille quanto p un messagg o casua e tanto meno compr m b e

Allestremo, un messaggio totalmente casuale non presenta alcuna regolarit che possa essere utilizzata per comprimerlo e ridurre cos la lunghezza del programma necessario per stamparlo Naturalmente esistono stringhe che sembrano casuali ma non lo sono: Se si scrive la data di una serie di eclissi consecutive e la si esprime in codice binario, si ricava una fila di 0 e 1 che sembra casuale. [...] Ma mediante le leggi di Newton possiamo prevedere le date delle eclissi, e ogni altra caratteristica delle orbite planetarie. Le leggi di Newton sono semplici formule matematiche che, messe per iscritto, riempiono a malapena una cartolina; quindi linformazione su tutte quelle eclissi, e in realt sulla posizione della Terra e della Luna in ogni giorno dellanno, implicita in un breve algoritmo. Il sistema Terra-SoleLuna quindi relativamente povero di informazione, perch presenta numerose e profonde regolarit.

(P.Davies, Da dove viene la vita, 2000)

Poich il passaggio da fatti a leggi tipico dellattivit scientifica corrisponde allidentificazione di regolarit, possiamo interpretare lattivit scientifica, e in generale lattivit di modellistica, come la ricerca di conoscenza che consenta di comprimere linformazione che ci giunge dai sistemi osservati
Elementi di teoria dellinformazione e della trasmissione 25

Luca Mari, Strumentazione Elettronica di Misura

Qualche nota su informazione, casualit, complessit /3

Evidentemente il contenuto di informazione algoritmica o casualit algoritmica, pur essendo a volte chiamato complessit algoritmica, non corrisponde a ci che intendiamo comunemente con la parola complessit. Per definire la complessit effettiva ci occorre qualcosa di completamente diverso da una quantit che consegue il suo massimo in stringhe casuali.
(M.Gell-Mann, Il quark e il giaguaro, 1996)

Compllessiit effettiiva: lunghezza del pi breve programma in grado di fornire in output le Comp ess t effett va componenti di regolarit presenti nel messaggio prodotto dalla sorgente la complessit effettiva piccola sia quando il contenuto di informazione algoritmica piccolo (lordine tale da rendere le regolarit esprimibili con un programma breve) sia quando esso elevato (non c alcuna regolarit da descrivere) dunque la complessit effettiva grande solo per sorgenti intermedie, n completamente ordinate n completamente disordinate
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0

zona interessante, di massima complessit effettiva

0. 2

0. 8

0. 4

0. 6

Elementi di teoria dellinformazione e della trasmissione

26

Luca Mari, Strumentazione Elettronica di Misura

Un modello di sistema di comunicazione


sorgente codificatore canale decodificatore destinatario

(si tratta evidentemente di un modello semplificato, dato che rappresenta solo una comunicazione unidirezionale e point-to-point) La sorgente emette simboli di sorgente, che un codificatore trasforma in simboli di canale e invia a un canale, in cui i simboli possono venire modificati a causa della presenza di rumore; in uscita dal canale un decodificatore ritrasforma i simboli di canale e invia il risultato al destinatario I problemi generali posti in questo contesto sono: date le caratteristiche statistiche della sorgente, come realizzare la codifica in modo da ottimizzare (in termini di numero di simboli) il segnale inviato al canale? date le caratteristiche statistiche del canale, come realizzare la codifica in modo da ottenere un accettabile probabilit che i simboli che giungono al destinatario siano identici a quelli emessi dalla sorgente?
Nota: attraverso il canale i simboli si modificano, non si perdono
Elementi di teoria dellinformazione e della trasmissione 27

Luca Mari, Strumentazione Elettronica di Misura

Introduzione alla teoria della trasmissione

Rappresentiamo linformazione che la sorgente emette come un sottoinsieme S (informazione di sorgente):

S di uno spazio di informazione potenziale e associamo lentropia H(S) alla dimensione del sottoinsieme (dunque, date due sorgenti e , rappresentiamo con: S S il fatto che H(S)>H(S)) Anche linformazione che riceve il destinatario rappresentabile allinterno dello stesso spazio, come un sottoinsieme D (informazione di destinatario) di dimensioni proporzionali allentropia H(D) dello schema corrispondente allinformazione che il destinatario ottiene dalla sorgente

Elementi di teoria dellinformazione e della trasmissione

28

Luca Mari, Strumentazione Elettronica di Misura

Introduzione alla teoria della trasmissione /2

Utilizziamo la topologia dello spazio per visualizzare la corrispondenza tra informazione inviata e informazione ricevuta In particolare con la coincidenza dei sottoinsiemi S e D: S=D rappresentiamo la situazione ideale in cui linformazione ricevuta dal destinatario uguale allinformazione inviata dalla sorgente (e quindi in particolare H(D)=H(S)) Rappresentiamo anche il canale come un sottoinsieme C (informazione di canale), corrispondente allinformazione inviata dalla sorgente che attraverso il canale effettivamente giunge al destinatario Anche al canale dunque associabile unentropia H(C), che rappresenta la quantit di informazione media utile che transita nel canale Anche il sottoinsieme C avr dimensioni proporzionali allentropia H(C)

Elementi di teoria dellinformazione e della trasmissione

29

Luca Mari, Strumentazione Elettronica di Misura

Introduzione alla teoria della trasmissione /3


Dunque in condizioni ideali il diagramma precedente diventa: S=C=D (tutta linformazione inviata dalla sorgente transita correttamente attraverso il canale e giunge al destinatario) Opposta a questa la situazione pessima in cui linformazione in uscita dal canale completamente non correlata con linformazione che la sorgente fornisce in ingresso al canale stesso; in tal caso il canale si comporta dunque come una nuova sorgente, che invia al destinatario una quantit di informazione pari a H(S); quindi vale ancora che H(D)=H(S) ma SD= (a causa della suddetta mancanza di correlazione tra S e D), e quindi C= (non c informazione di canale): S Analizziamo infine la situazione intermedia: S D in cui il fatto che i sottoinsiemi S e D abbiano intersezione non nulla ma non siano coincidenti genera tre nuovi sottoinsiemi: SD, S(SD), D(SD)
Elementi di teoria dellinformazione e della trasmissione 30

Luca Mari, Strumentazione Elettronica di Misura

Introduzione alla teoria della trasmissione /4


Il sottoinsieme SD rappresenta linformazione inviata da S e che giunge correttamente a D; dunque C=SD: laumentare della dimensione del sottoinsieme SD, e quindi di H(C), corrisponde dunque al miglioramento del canale Mediante il sottoinsieme S(SD), di dimensione H(S)H(C), rappresentata linformazione inviata dalla sorgente ma che non giunge al destinatario tale informazione chiamata equiivocaziione, E=S(SD), e dunque H(E)=H(S)H(C) equ vocaz one Mediante il sottoinsieme D(SD), di dimensione H(D)H(C), rappresentata linformazione ricevuta dal destinatario ma che non era stata inviata dalla sorgente tale informazione chiamata rumore, R=D(SD), e dunque H(R)=H(D)H(C) rumore

Nota: H(C) = H(S) H(E) (entropia di canale = entropia di sorgente equivocazione) H(C) = H(D) H(R) (entropia di canale = entropia di destinatario rumore) Se non c rumore (H(R)=0), entropia di canale = entropia di destinatario (H(C)=H(D)): la quantit di informazione media che giunge al destinatario quella trasportata dal canale
Elementi di teoria dellinformazione e della trasmissione 31

Luca Mari, Strumentazione Elettronica di Misura

Un esempio

S = {luned, marted, mercoled, gioved, venerd, sabato, domenica, mai} e i P(si) = 1/8; dunque H(S) = 3 bit Il signor S sceglie un si e per comunicare questa scelta al signor D affida linformazione al signor C, che fa da tramite verso il signor D CASO 1: se C fedele, D=C=S S=C=D CASO 2: supponiamo che, durante il trasporto, il foglio su cui si scritto si cancelli parzialmente, e che D riceva solo ed: questa informazione consente a D solo di discriminare tra 4 simboli su 8; dunque H(D) = 1 bit: C ha introdotto unequivocazione E pari a 2 bit (mentre non ha introdotto rumore): S D

CASO 3: supponiamo che, durante il trasporto, C introduca insieme con si anche un ulteriore simbolo scelto dallinsieme {s, no}; in questo modo H(D) = 4 bit: C ha introdotto un rumore R pari a 1 bit (mentre non ha introdotto equivocazione): D S
Elementi di teoria dellinformazione e della trasmissione 32

Luca Mari, Strumentazione Elettronica di Misura

La descrizione statistica del canale

Le considerazioni precedenti si formalizzano quantitativamente secondo un modello statistico, in cui il canale viene modellizzato come un sistema che per ogni simbolo si che riceve in input produce in output un simbolo dj con una probabilit P(dj|si) (la probabilit di osservare dj in uscita dal canale, dato si in ingresso al canale stesso) Un canale binario ideale allora rappresentabile cos:
s1 s2
1 1 P(dj | si)

d1 d2

s1 s2

d1
1 0

d2
0 1

Lesempio di un canale con equivocazione ma senza rumore:


s1 s2 s3 s4
0,5 0,5 0,5 0,5

d1

d2

0,5 0 0,5 0 0 0,5 0 0,5 Nellipotesi che lo schema di sorgente sia uniforme, e quindi H(S) = 2 bit/simbolo, per simmetria chiaro che anche lo schema di destinatario rimane uniforme, con H(D) = 1 bit/simbolo e equivocazione pari a 1 bit/simbolo
33

P(dj | si)

s1 s2 s3 s4

d1

d2

Elementi di teoria dellinformazione e della trasmissione

Luca Mari, Strumentazione Elettronica di Misura

Un esempio
s1 s2 s3 s4
0,75 1 1 1 0,25

d1 d2 d3 d4

P(dj | si)

s1 s2 s3 s4

d1

0,75 0 0 0

d2

0,25 1 0 0

d3
0 0 1 0

d4
0 0 0 1

Una formalizzazione di questo genere assume che sia dato (e quindi noto) il simbolo inviato dalla sorgente e mette in evidenza la corrispondente distribuzione condizionale, cio legge la matrice per righe Nelluso concreto di un sistema di trasmissione si pu immaginare che ci si trovi nella situazione inversa: dato il simbolo osservato in uscita dal canale, dunque al destinatario, ci si chiede con quale probabilit esso corrisponda ai possibili simboli di sorgente Poich, in accordo alla regola di Bayes: P(si |dj) = P(dj |si) P(sj) / P(di): P(dj | si) d1 d2 d3 nel caso di schema di sorgente uniforme:
s1 s2 s3 s4
1 0 0 0 0,2 0,8 0 0 0 0 1 0

d4
0 0 0 1

Elementi di teoria dellinformazione e della trasmissione

34

Luca Mari, Strumentazione Elettronica di Misura

Equivocazione

Dalla probabilit P(si |dj) possiamo calcolare log2(P(si | dj)) = QInf(si | dj), corrispondente alla quantit di informazione che si otterrebbe osservando il simbolo si in ingresso al canale dopo aver osservato il simbolo dj in uscita: nell caso dii canalle iidealle, osservare si conoscendo dj non porta alcuna informazione: ne caso d cana e dea e QInf(P(si | dj) = 0 bit nell caso dii canalle pessiimo, la conoscenza di dj non porta alcuna informazione su si e ne caso d cana e pess mo quindi osservare si conoscendo dj porta comunque la stessa informazione che porta osservare si a priori: QInf(si | dj) = QInf(si ) Il valor medio di QInf(si | dj), H(S|D) = <<QInf(si | dj)>j>i = P(dj)
j

P(si | dj) log2(P(si | dj))


i

proprio llequiivocaziione (che in precedenza avevamo indicato come H(E)) e rappresenta equ vocaz one dunque la quantit media di informazione che si otterrebbe osservando i simboli in ingresso al canale dopo che si sono osservati i simboli in uscita: se H(S|D)=0 bit/simbolo, una volta osservato in uscita un simbolo dj non c pi alcun dubbio su quale fosse il simbolo in ingresso: il canale non introduce equivocazione se H(S|D)=H(S), i simboli in uscita dal canale sono statisticamente indipendenti dai simboli in ingresso e il canale si comporta come se fosse una nuova sorgente: losservazione di un certo simbolo in uscita non porta alcuna informazione su quale fosse il simbolo in ingresso, il canale massimamente equivoco e quindi inutile
Elementi di teoria dellinformazione e della trasmissione 35

Luca Mari, Strumentazione Elettronica di Misura

Un esempio
Codificatore Decodificatore Codificatore Decodificatore

s1

2 2 rispetto a e ipotizzando P(s1) = P(s2) = 0,5 in entrambi i casi Quale dei due canali si comporta meglio (= ha unequivocazione minore)?

s2

9/10 1/10 1/10 9/10

d1

s1

d2

9/10 1/10 1/10 9/10

d1 d3 d

P(d1)=P(d2)=0,5 P(s1|d1)=0,9; P(s2|d1)=0,1 Se facciamo i conti su H(S|D): 0,47 bit/simbolo

P(d1)=P(d2)=9/20, P(d3)=2/20 P(s1|d1)=1; P(s2|d1)=0; P(s3|d1)=0 P(s1|d3)=0,5; P(s2|d3)=0,5 0,1 bit/simbolo

Quando non si sicuri e si stima in 1/10 il margine di errore, meglio rispondere non lo so piuttosto che tirare a caso

Elementi di teoria dellinformazione e della trasmissione

36

Luca Mari, Strumentazione Elettronica di Misura

Capacit di canale

Abbiamo mostrato in precedenza che: H(C) = H(S) H(S|D) Cio che entropia di canale = entropia di sorgente equivocazione La differenza tra informazione media allingresso del canale (entropia di sorgente) e informazione media persa lungo il canale (equivocazione) un iindiice delllla capaciit dell canalle un nd ce de a capac t de cana e dii trasferiire iinformaziione d trasfer re nformaz one Il problema della grandezza H(C) che essa dipende dalle caratteristiche non solo del canale ma anche della sorgente (cio in effetti H(C) = H(S,C)) Una grandezza specificamente caratteristica del canale, chiamata capaciit dii canalle, si ottiene capac t d cana e massimizzando tra le possibili sorgenti: K(C) = maxS[H(S) - H(S|D)] biit/siimbollo K(C) = maxS[H(S) - H(S|D)] b t/s mbo o Il fatto fondamentale che in un sistema di comunicazione lentropia della sorgente H(S) e la capacit del canale K(C) sono grandezze dimensionalmente omogenee, e quindi possono essere confrontate e dal confronto tra lentropia di sorgente e la capacit di canale si verifica se sorgente e canale sono correttamente accoppiati
Elementi di teoria dellinformazione e della trasmissione 37

Luca Mari, Strumentazione Elettronica di Misura

Entropia di sorgente e capacit di canale si misurano in bit/simbolo, e quindi valutano caratteriistiiche statiiche del sistema di comunicazione caratter st che stat che Molto spesso si invece interessati alle caratteriistiiche diinamiiche del sistema, cio al tasso di caratter st che d nam che emissione e di trasmissione di informazione nel tempo, grandezze che si misurano in bit/s In questo caso: si ipotizza che la sorgente abbia una velocit di emissione dei simboli, v(S) simboli/s, e si valuta il fllusso dii iinformaziione dii sorgente: f usso d nformaz one d sorgente F(S) = H(S) v(S) bit/s si ipotizza che il canale abbia una velocit di trasmissione dei simboli, v(C) simboli/s, e si valuta la capaciit dii canalle: (sfortunatamente omonima alla grandezza gi introdotta) capac t d cana e K(C) = K(C) v(C) bit/s Nuovamente, dal confronto tra il flusso di informazione di sorgente e la capacit di canale si verifica se sorgente e canale sono correttamente accoppiati

Flusso di informazione e capacit di canale /2

Elementi di teoria dellinformazione e della trasmissione

38

Luca Mari, Strumentazione Elettronica di Misura

Il problema della trasmissione

Dato un canale, esiste un (qual il) limite superiore alla quantit di informazione trasmissibile in un intervallo di tempo? Data una velocit di emissione di informazione da parte della sorgente, possibile, per un dato canale, ridurre la probabilit di errore a un qualsiasi valore desiderato? Il secondo teorema di Shannon: lla probabiilliit dii errore pu essere riidotta arbiitrariiamente a probab t d errore pu essere r dotta arb trar amente con unappropriiata codiifiica delllliinformaziione iin partenza,, con un appropr ata cod f ca de nformaz one n partenza purch lla capaciit dii canalle siia superiiore allllentropiia dii sorgente purch a capac t d cana e s a super ore a entrop a d sorgente (nota: ridotta arbitrariamente, non annullata !)

Elementi di teoria dellinformazione e della trasmissione

39

Luca Mari, Strumentazione Elettronica di Misura

La codifica di canale
simboli sorgente (con ridondanza) codificatore di sorgente simboli codificatore di canale simboli

al canale
(con ridondanza)

(senza ridondanza)

rimuove la ridondanza inutile

introduce della ridondanza utile,

per esempio nella forma di bit di parit


In base al tipo di ridondanza introdotta in codifica di canale, pu essere possibile riconoscere la presenza di errori oppure anche correggere gli errori riconosciuti

Elementi di teoria dellinformazione e della trasmissione

40

Luca Mari, Strumentazione Elettronica di Misura

Il modello di sistema di comunicazione che abbiamo discusso finora dii tiipo diiscreto, essendo d t po d screto basato sullidea che la sorgente emette simboli, che vengono trasferiti dal canale In molti casi, daltra parte, i sistemi di comunicazione trasferiscono informazione mediiante med ante segnallii, cio modulando opportunamente i valori di una grandezza fisica segna Un segnale dunque lo strumento che porta i simboli che costituiscono linformazione Ma per passare da un segnale che a priori si pu immaginare abbia un andamento continuo sia nel tempo sia nelle ampiezze (limitato solo dalla soglia di risoluzione dei dispositivi impiegati per scriverlo e leggerlo) a una successione di simboli occorre operare una diigiitalliizzaziione operare una d g ta zzaz one del segnale stesso Attraverso tale operazione, si connette un modello basato su grandezze fisiche (tensioni, frequenze, ) con un modello di tipo simbolico

Da simboli a segnali

Elementi di teoria dellinformazione e della trasmissione

41

Luca Mari, Strumentazione Elettronica di Misura

Larghezza di banda

Ricordiamo: ogni canale reale si comporta come un filtro (passabasso o passabanda): in grado di trasferire senza distorsione (= con un comportamento lineare) solo le componenti armoniche del segnale in ingresso comprese tra una frequenza minima f1 (spesso =0) e una frequenza massima f2 Il valore W(C) = f2f1 si chiama larghezza di banda del canale (e si misura in hertz, naturalmente) Lattenuazione delle armoniche al di fuori dellintervallo [f1, f2] non lineare: se il segnale ha un contenuto armonico significativo fuori da [f1, f2], in uscita dal canale risulter distorto Per esempio:
1.5 1.0 0.5 0.0 -0.5 -1.0 -1.5 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0

1.5 1.0 0.5 0.0 -0.5 -1.0 -1.5 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0

segnale originario

segnale in uscita da un canale con una banda tale da trasferire solo le prime due armoniche
42

Elementi di teoria dellinformazione e della trasmissione

Luca Mari, Strumentazione Elettronica di Misura

Canali: il link tra discreto e continuo /1

Un canale reale C: a larghezza di banda W(C) limitata ad ampiezza massima del segnale s limitata e ad ampiezza del rumore n non nulla e di capacit K(C) = n1 bit/simbolo x n2 simboli/s pu essere caratterizzato nel continuo assumendo che i simboli siano livelli discreti di segnale, in quanto distinguibili: in ampiiezza , perch sufficientemente separati dagli altri livelli amp ezza nel tempo, perch mantenuti per un intervallo sufficientemente lungo tempo Dati questi parametri, il numero di livelli distinguibili in ampiezza (e quindi di simboli) : s+n s =1+

oppure anche, in termini di rapporto di potenze segnale / rumore: S (1 + ) 1/2 N Adottando una codifica a lunghezza costante, il canale in grado di portare al massimo: 1 S n1 = 2 log2(1 + N ) bit/simbolo

Elementi di teoria dellinformazione e della trasmissione

43

Luca Mari, Strumentazione Elettronica di Misura

Canali: il link tra discreto e continuo /2


La velocit di trasmissione

1 = n2 simboli/s Interpretando allinverso il teorema del campionamento, su un canale con larghezza di banda W(C) possono essere portati fino a 2 W(C) simboli/s Dunque: 1 n2 = = 2 W(C) simboli/s e quindi, finalmente: S K(C) = n1 n2 = W(C) log2(1 + ) bit/s N ... fondamentale risultato a cui giunse C. Shannon nel 1948

Concettualmente la sua importanza deriva, in particolare, dal fatto che stabilisce una rellaziione una re az one tra una grandezza iinformaziionalle,, lla capaciit dii canalle,, e due grandezze fiisiiche,, lla llarghezza tra una grandezza nformaz ona e a capac t d cana e e due grandezze f s che a arghezza dii banda e iill rapporto segnalle/rumore d banda e rapporto segna e/rumore

Elementi di teoria dellinformazione e della trasmissione

44

Luca Mari, Strumentazione Elettronica di Misura

Un esempio

di applicazione di:

S ) N Nel caso di telefono + modem (uso discreto di un canale continuo): K(C) = W(C) log2(1 + Dei valori tipici: K(C) = 30 kbit/s W(C) = 3 kHz

S S ) = 10 e quindi 1000 = 30dB, un valore notevolmente alto N N per le condizioni tipiche del sistema telefonico Dunque: log2(1 +

Elementi di teoria dellinformazione e della trasmissione

45

Luca Mari, Strumentazione Elettronica di Misura

Ancora sulluso dei canali: multiplexing


sorgente1 sorgente2 codif1 canale codif2 decodif

Quando il canale ha una capacit sufficiente, pu essere condiviso da pi sorgenti:


destinatario

La condivisione del canale (multiplexing) viene realizzata con scansione: in tempo (time division mux, TDM) in frequenza (frequency division mux, FDM) Nel caso TDM, il tempo disponibile viene suddiviso tra le sorgenti, che si alternano nellaccesso al canale (analogamente alla tecnica del multitasking, che consente a pi processi di condividere uno stesso processore) Nel caso FDM, la larghezza di banda disponibile viene suddivisa tra le sorgenti, ognuna delle quali riceve una parte dello spettro su cui poter trasmettere

Elementi di teoria dellinformazione e della trasmissione

46

Luca Mari, Strumentazione Elettronica di Misura

FDM

Concettualmente: ogni sorgente ha uno spettro in [0, fmax] (banda base)


P(f) sorgente 1 P(f) sorgente 2

fmax

fmax

Ognuna usa una portante, cio un segnale sinusoidale ad alta frequenza, per spostare il suo spettro in una zona assegnata dello spettro, intorno alla frequenza della portante Sempre concettualmente:
P(f)

portante 1

portante 2

La modulazione sposta lo spettro del segnale dalla banda base alla zona dello spettro intorno alla portante assegnata

Elementi di teoria dellinformazione e della trasmissione

47

Luca Mari, Strumentazione Elettronica di Misura

Per esempio: modulazione di ampiezza /1


Prendiamo, per esempio, un segnale tale che fmax=10 Hz

segnale

200

400

600

800

1000

8 10 12 14 16 18 20

spettro

Se lo moltiplichiamo per una sinusoide (portante) di frequenza fp=100 Hz, si modifica lampiezza della portante in funzione dellampiezza del segnale di partenza (modulante):

0 200 400 600 800 1000 60 80 100 120 140 spettro segnale modulato Lo spettro del segnale modulante viene duplicato intorno a fp (il segnale modulato occupa perci una banda [fp fmax, fp + fmax] = [90, 110] Hz, doppia rispetto al segnale modulante)

Elementi di teoria dellinformazione e della trasmissione

48

Luca Mari, Strumentazione Elettronica di Misura

Modulazione di ampiezza /2

Per demodulare, se moltiplichiamo il segnale modulato per la stessa portante otteniamo il segnale originario, con sovrapposta una copia del segnale modulato intorno a 2fp:

segnale demodulato

200

400

600

800

1000

50

100

150

200

250

300

spettro

Filtrando passabasso, con frequenza di taglio per esempio uguale a fp, si eliminano le armoniche ad alta frequenza e si riottiene il segnale di partenza

Elementi di teoria dellinformazione e della trasmissione

49