7) Entropia e probabilit

7. 1 La quantit di dati
Vogliamo trasmettere informazioni messaggi con l'aiuto di cartellini, fig 7.1. Ogni cartellino riporta
un segno scelto tra z segni possibili, concordati fra trasmettitore e ricevitore, per esempio una delle
lettere dellalfabeto. Siamo alla ricerca di una misura della quantit di dati che viene trasmessa
attraverso un cartellino. Per semplicit, consideriamo prima il caso di due soli segni, come una
croce e un cerchio. Il numero di caratteri cos z = 2. Con un cartellino possibile scegliere di
trasmettere un messaggio fra due possibili. Con due cartellini (spediti in modo ordinato) si pu
scegliere tra 2 2 = 4 messaggi, e con n cartellini tra 2n messaggi.
Si potrebbe prendere il numero N = 2n come una misura
della quantit di dati trasferibili attraverso N cartellini. La
misura cos definita avrebbe lo svantaggio di non avere le
caratteristiche di quantit estensiva.
Si pu vederlo in questo esempio:
Inviamo per primi 3 cartellini. Per 3 cartellini
Na = 2 3 = 8 messaggi possibili
Inviamo ora altri 2 cartellini. Per 2 cartellini si hanno solo
N b = 22 = 4 messaggi possibili
Se inviamo cinque cartellini insieme
N c = 25 = 32 messaggi possibili
E 'quindi
Nc > Na + Nb.

Fig. 7.1 Tra mittente e destinatario fluisce una corrente

di dati

Una misura migliore della quantit di dati quindi il logaritmo del numero N di messaggi possibili.
Definiamo provvisoriamente la quantit di dati H:
H = f ln N
con N = numero di messaggi possibili.
Attraverso la costante f si determina l'unit di H. Per N = 2, che il caso in cui si pu scegliere tra
due opzioni sar H = 1 bit, ovvero
1 bit = f ln 2

1bit
ln 2

Con n schede quindi trasferiamo una quantit di dati pari a:

H=

1bit
ln 2n = n bit
ln 2

Poich ln N/ ln 2 = lg2N possiamo anche scrivere:

H = lg2 N
Se il numero di caratteri z grande, la quantit di dati per ogni cartellino grande,
e con questo la quantit di dati per carattere.
Con z = 32 per un cartellino N = 32, vale a dire H = lg2 32 = 5 bit.
Supponendo che vi siano 2000 ideogrammi cinesi, la quantit di dati trasportata da un carattere :
H = lg2 2000 bit 11 bit
Ora mostriamo che l'espressione f lnN non sempre una buona espressione della quantit di dati.
Consideriamo tre esempi, in cui viene selezionato uno tra due possibili messaggi. Cos usiamo, due
caratteri , Z = 2, e, visto che ogni volta viene trasmesso un carattere risulta H = 1 bit, Fig. 7.2.

(a) Il mittente tira un dado e vuol comunicare al

destinatario se uscito un numero pari o dispari
(B) Il mittente tira un dado e vuol comunicare al
destinatario se uscito un sei.
(C) Il mittente tira un dado e vuol comunicare al
destinatario se uscito un sette.
La formula f lnN d ogni volta lo stesso risultato,
vale a dire 1 bit. Un ragionevole risultato che ci
saremmo aspettati per la misura della quantit di dati
sarebbe stato:
H3 < H2 < H1
infatti H3 = 0, perch il destinatario del messaggio sa
gi, ancor prima della trasmissione, che non pu
essere uscito un sette; la quantit di dati che riceve
pari a zero.
Una misura che soddisfa questo requisito, stata
introdotta da Claude Shannon:
Fig. 7.2. Anche se utilizzate in ogni caso, due caratteri, la
quantit di dati nel corso dei tre esempi (a), (b) e (c) non
uguale.

H f pi ln pi
i

La somma si estende a tutte le possibili informazioni. pi la probabilit associata allinformazione i

che viene inviata.
Nel caso in cui tutte le informazioni abbiano la stessa probabilit si ha:
p1 = p2 = p3 = ... = pi = ... = 1/N,
e H si riconduce alla vecchia espressione f lnN introdotta sopra.
Nell'esempio si ha
1) p (pari) = 0.5
2) p (sei) = 1/6
3) p (da 1 a 6) = 1

p(dispari) = 0.5
p(non sei) = 5/6
p(sette) = 0

H = 1 bit
H = 0,65 bit
H = 0 bit

L'esempio utilizzato mostra due importanti propriet della misura della quantit di dati di Shannon:
1) se una informazione ha probabilit 1 e tutte le altre zero, la quantit di informazione H = 0.
Z

H f pi ln pi f ( Z 1) lim p ln p f 1 ln 1 0,
i 1

( p ln p ) lim
dove lim
p 0
p 0

p 0

ln p
... 0
1/ p

(regola di De lHospital)

2) Per un dato insieme di simboli Z, H massima se:

p1 = p2 = p3 = ... = pZ .
Per provare a calcolare il valore estremo di
sotto il vincolo:
(la somma delle
probabilit uguale a uno).
La figura 7.3 mostra H (p1) per il caso in cui Z = 2:
Fig. 7.3. La quantit di dati nel caso di trasmissione
con due simboli in funzione delle probabilit dei
simboli

H = - f [p1 ln p1 + (1 - p1) ln (l - p1)]

Qui si incontra un problema che tipico anche per la termodinamica statistica.
Si pu facilmente calcolare H per la trasmissione di informazioni senza senso come: nel lancio di
dadi uscito un numero pari o dispari, poich conosciamo la distribuzione in frequenza delle
informazioni. Di solito non facile specificare le probabilit necessarie.
Come possiamo conoscere in generale le probabilit per un certo numero nel lancio dei dadi?
Ci sono due fonti:
La prima possibilit, determinarle sperimentalmente. Noi tiriamo i dadi molte volte, e osserviamo
la frequenza con cui compaiono i vari numeri.
La seconda possibilit di essere in grado di specificare a priori le probabilit . Dalla simmetria
del cubo e dalla casualit totale del processo di lancio concludiamo che tutte le facce hanno la stessa
probabilit.

7. 2. Generalizzazione del concetto di stato - L'Ensemble di Gibbs

Al punto 4.1 si spiega: in un certo stato ogni variabile ha un certo valore. Questa nozione di stato
non pu descrivere molte situazioni reali, vale a dire tutte quelle in cui i valori delle variabili non
sono noti. Consideriamo un esempio che, anche se a prima vista pu sembrare ridicolo, pu
spiegare facilmente questo concetto. In una scatola opaca si trova una pastiglia magnetica piatta, il
cui momento magnetico m0 perpendicolare al piano del disco, come in fig. 7.4. La scatola scossa
e messa sul tavolo. Ora ci interroghiamo sullo stato del magnete in cui la variet degli stati
considerati viene valutata solo attraverso i valori del momento magnetico.
In base alle precedenti considerazioni sulla definizione di stato dovremmo affermare quanto segue:
Non lo conosciamo.
Saremmo alla fine della nostra saggezza.
Il nostro senso comune ci dice, comunque, qualcosa sui
magneti, che molto di pi di niente, vale a dire:
1) O m = (0, 0, m0) o m = (0, 0, - m0), ma sicuramente
non m = (0,5 m0, 0, 0), ecc.
2) Siccome noi abbiamo preso come ipotesi che il magnete
simmetrico e che n la scatola n il tavolo sono
magnetici, la probabilit di p( ), che il momento
magnetico sia rivolto verso l'alto, pari a 0,5, e la
Fig. 7.4. Nonostante non si sappia nulla circa
probabilit che il momento magnetico sia rivolto verso il
lorientazione del magnete il suo stato non del
basso, p( ), 0.5:
tutto sconosciuto.
p( ) = p( ) = 0.5
Noi possiamo anche dare la distribuzione di probabilit del momento magnetico. In realt in questo
modo generalizziamo il concetto di stato:
in un certo stato, ad ogni variabile associata una certa distribuzione di probabilit.
Con laiuto della fisica statistica si sar in grado di specificare lo stato cos definito di molti sistemi:
lenergia e la velocit delle molecole in un contenitore; lenergia degli elettroni di un
semiconduttore, limpulso dei fotoni di una radiazione di cavit, il momento magnetico delle
particelle di un materiale paramagnetico.
Limportante compito della meccanica statistica di calcolare distribuzioni di probabilit. Questa
sembra una magia, perch non possiamo calcolare distribuzioni di probabilit quando nel calcolo
non inseriamo le probabilit; tuttavia quello che si fa in meccanica statistica, come abbiamo fatto
nellesempio del magnete piatto. E sempre cos: le probabilit di tutti gli stati [descrivendoli in
modo accurato] sono uguali le une alle altre. Quelle che diamo in questo modo sono le

probabilit a priori. La giustificazione

fondamentale di questo ragionamento per
leguaglianza delle probabilit la seguente:
non abbiamo alcuna ragione profonda per dire
che sono diverse. Molti fisici provano disagio
per questo modo di procedere. Cercano, almeno
in linea di principio, di fondare
sperimentalmente queste probabilit. A questo
scopo necessario il concetto di ensemble di
Gibbs.
Fig. 7.6. Da una distribuzione di probabilit discreta
La situazione da descrivere consiste in un
si possono ottenere diverse grandezze.
grandissimo numero di esemplari.
Questo linsieme di Gibbs (per brevit insieme, totalit o collettivit). Si misurano i valori delle
grandezze interessanti da un punto di vista sperimentale e per ogni loro possibile valore si ottiene
una distribuzione di frequenze. Si dice che questa
uguale alla distribuzione di probabilit che
cerchiamo. Tutte le affermazioni che facciamo sul
sistema le facciamo sullensemble. Si pu anche
affermare che: lensemble il sistema. Con laiuto
del concetto di ensemble possiamo descrivere lo
stato a parole senza dare i valori delle probabilit. E
data la preparazione del sistema (come viene
preparato il sistema dal punto di vista sperimentale)

Fig. 7.5. (A) Nel contenitore di destra si trova con una

certa probabilit di idrogeno puro, e con una diversa
probabilit di ossigeno puro. (B) al tempo t0, il gas
penetrato dalla parte sinistra verso il lato destro del
contenitore.

di H. Tornate verso l'ascensore, ecc.

7. 3 L'entropia di una distribuzione

Esempi
1) Una mole di H in contenitore a contatto termico
con una riserva di calore alla temperatura T
2) Con laiuto di un preparato radioattivo si pilota
lapertura di una tra due valvole: se entro un secondo
si verifica un decadimento, fluisce nel contenitore
una mole di ossigeno; se non si verifica, una mole di
H, fig. 7.5a.
3) Lo stato al tempo t = t0 , fig 7.5b: a sinistra si
trova aria con T =, p = Allistante t0 = 10-8 s la
parete di separazione viene tolta.
4) in un contenitore vengono messe una dopo laltra
105 molecole scelte con la procedura seguente: uscire
dal laboratorio e andare verso lascensore,
controllare quanti uomini e quante donne vanno via.
Se vedi un uomo metti nel contenitore una molecola
di ossigeno mentre se vedi una donna una molecola

La figura 7.6 mostra la distribuzione di probabilit p (x) in funzione della grandezza x. Da questa
distribuzione si possono generare alcune altre grandezze o numeri.
x xi p ( x i )

Valor medio o media di x:

( xi x ) 2 p ( xi )
2

Varianza di x:

(la radice quadrata di 2 si chiama deviazione

standard)
Entropia della distribuzione
p ( xi ) ln p ( xi )
i

La fig. 7.7 mostra tre distribuzioni molto

particolari, hanno tutte la stessa media.
Se la distribuzione discreta, vale a dire se x
pu assumere solo un numero finito di valori,
l'entropia, assume solo valori finiti. Questa
definizione di entropia pu essere applicata a
qualsiasi sistema fisico.
Consideriamo un sistema con una sola variabile
indipendente, come un sistema di N particelle in
cui i loro momenti magnetici possono essere
orientati in due sole direzioni: verso l'alto o
verso il basso, fig 7.8.
Se la grandezza dei momenti magnetici delle
singole particelle m0, il momento magnetico
totale pu assumere i possibili valori:
Nm0, (N-2)m0, (N-4)m0, , - (N-2)m0, - Nm0.
Ora descriveremo uno stato del sistema,
specificando un procedimento di preparazione,
Fig. 7.7. Tre distribuzioni di probabilit, tutte con lo
quale: portare il sistema in contatto termico con
stesso valor medio, ma con varianze ed entropie diverse.
un serbatoio di calore a temperatura T. Se si
applica questa procedura a tutte le copie
dell'ensemble di Gibbs, si ottiene una
distribuzione di frequenza dei valori di m, e
quindi una distribuzione di probabilit. Di
questa, si potrebbe calcolare l'entropia .
Invece di descrivere il procedimento di
preparazione possiamo in modo equivalente
dire: data la distribuzione di probabilit p(mi),
calcolare l'entropia corrispondente.
Fra le distribuzioni di probabilit di m ne esiste
una classe speciale: quelle in cui tutte le p dei
microstati tranne una sono pari a zero.
Fig. 7.8. l'unica variabile del sistema il momento
L'entropia di tali distribuzioni nulla. Ognuna
magnetico. Il momento magnetico di ogni particella
di queste distribuzioni uno stato. Quindi c'
pu assumere soltanto due valori.
una classe di stati con entropia zero. Se
numeriamo gli stati con i = 1, ..., possiamo anche dire: nell'equazione:
p (i ) ln p (i )
i

compare la somma tra gli stati con entropia zero.

7.4 L'entropia di un sistema fisico

Affermiamo ora che lentropia definita nella sezione
precedente, uguale, a meno di un fattore, allentropia
del sistema fisico:
S k p (i ) ln p (i )
i

Con k = 1.38 10-23 J/K (costante di Boltzmann)

La somma estesa anche a tutti gli stati con S = 0.
Prendiamo spunto dall'esempio della sezione precedente.
Il sistema si compone di quattro momenti magnetici
degeneri rispetto allenergia. I 16 stati con entropia zero
sono elencati nella Figura 7.9.
1. S aumenta spontaneamente
Portiamo il sistema in uno stato con = 0, ad esempio,
nello stato con p1 = 1, p2 = ... = p16 = 0. Se si attende un
tempo sufficientemente lungo, tutte le probabilit
diventano p1 = p2 = ... = p16 = 1/16. Cos aumenta da
0 a ln16 . Lo stato di massima entropia uno stato di
equilibrio. Allequilibrio le probabilit pi sono tutte
uguali. L entropia probabilistica definita in modo che
abbia una propriet comune all'entropia fisica S: nel

Fig. 7.9. I 16 stati con entropia S = 0 di un sistema

di 4 momenti magnetici.

sistema essa aumenta spontaneamente.

2. Caratteristica di una sostanza: additivit
Consideriamo i sistemi indipendenti A e B. A ha NA stati con = 0 e B NB stati con = 0. E
dunque:
B p B ( j ) ln p B ( j )
A p A (i ) ln p A (i )
j

Mettendo A e B insieme si ottiene il sistema AB che ha NA NB stati con = 0. La probabilit dello

stato caratterizzato da i e j pA(i)pB(j). Quindi:

con
AB

p (i) 1 e p ( j ) 1
p ( j ) ln p ( j ) p (i ) ln p

si ottiene:

(i ) A B

L'entropia AB di tutto il sistema pari alla somma

delle entropie A ed B dei sottosistemi A e B.
3. Quando fluisce calore, fluisce anche .
Consideriamo due sistemi A e B, composti da
quattro momenti magnetici, ma questa volta in un
campo magnetico esterno, fig. 7.10. Cos non c'
degenerazione. Il punto zero dell'energia, ovvero
E = 0, si ha quando i momenti magnetici sono

Fig. 7.10 Due sistemi di 4 momenti magnetici luno

tutti nella direzione del campo. Quando un momento magnetico non nella direzione del campo,
l'energia E0 . I due sistemi sono isolati luno dallaltro e non possono scambiare energia con
lambiente. Lo stato iniziale il seguente: l'energia di A uguale a due unit E0, cio 2E0, quella di
B zero. Considerando la fig. 7.9, vediamo che A ha 6 stati con = 0, (Nr. dal 6 all 11) e B uno (il
Nr. 1). Ciascuno dei sistemi A e B in equilibrio, vale a dire nello stato di massima entropia. Quindi
(lindice I sta per iniziale):

AI =ln 6 1.79

BI = ln 1 = 0 .

Portiamo A e B in contatto termico reciproco. Sappiamo che 1) lentropia S di A fluisce verso B e

2) si genera entropia. Vogliamo verificare se questo risulta vero applicando la definizione statistica
di entropia .
Contando, troviamo che il sistema complessivo AB ha 28 stati con = 0, (nei quali E =2E0). Infatti
avremo ora 4+4 =8 momenti magnetici assieme, con energia complessiva 2E0, ovvero con due
momenti rivolti in basso e 6 in alto: questo si pu realizzare in 8! / (6! 2!) = 28 modi.
Se entrambi i sistemi sono in equilibrio termico, tutti gli stati sono egualmente probabili e risulta,
(indice F sta per finale):

AB F= ln 28 3.33 > AI +BI

Inoltre: AF = BF = 0.5 ABF = 0.5ln 28 1.67
e anche: AF < AI ;

BF > B I

L'entropia di A cos diminuita, quella di B aumentata. Inoltre, l'entropia totale AB aumentata

esattamente come si comporta lentropia fisica.

7.5 Entropia e temperatura

Una piccola classe di distribuzioni di probabilit, vale a dire l'equilibrio, pu essere descritta molto
facilmente: attraverso un solo numero, la temperatura. Per un sistema isolato in equilibrio si ha:
p (1) p (2) ...

S k p (i ) ln p (i ) k
i 1

Da dE = T dS

segue

kT

1
1
ln k ln

1
d (ln ) .
dE

7.6 Entropia e quantit di dati

Dal fatto che le espressioni per S e H sono uguali, possibile interpretare lentropia come un
insieme di dati. Nel nostro esempio con i quattro momenti magnetici, per vedere come ogni singolo
momento orientato, dovr fluire dal sistema la quantit di dati:
H f p (i ) ln p (i )
i

verso lesterno, dove i enumera gli stati con S = 0.

Invece di dire "il sistema contiene l'entropia S si pu anche dire "il sistema contiene dati in
quantit di H".
Identificando S con H, segue cos: f
per cui: 1 bit = 0.9565 10-23 J/K
cio: 1 bit 10-23 J/K.

bit
k 1.38 10 23 J / K
ln 2

Il fatto che qualsiasi sistema che contiene entropia contenga anche dati, non implica che si possa
usare questo sistema come contenitore di dati.
(Un contenitore di dati da solo non deve finire in equilibrio interno e neanche in equilibrio esterno)
Dal fatto che ogni sistema che contiene entropia ha anche quantit di dati non segue che tale sistema
possa essere utilizzato tecnicamente come contenitore di dati. Da un contenitore di dati ci
aspettiamo che non vada in equilibrio interno spontaneamente o che vada in equilibrio con lo
strumento ambiente (apparecchio che fa da ambiente).