1. Una malattia virale si diffonde in una comunit.

E' noto che la malattia pu avere origine in due ceppi: Virus A e Virus B, che hanno la stessa probabilit di diffondersi. A si manifesta con febbre e cefalea grave con probabilit P(G|A ) = 3/4, con febbre e cefalea leggera con probabilit P(L|A ) = 1/4. B si manifesta con febbre e cefalea grave con probabilit P(G|B ) = 1/4, con febbre e cefalea leggera con probabilit P(L|B ) = 3/4. I sintomi in entrambi i casi cessano rapidamente, ma la variante A,dopo molti anni, se non si prendono opportuni provvedimenti, pu provocare esiti mortali. E' dunque assai importante distinguere A da B. Determinare: a) La quantit di informazione che un medico ricava da un malato scelto a caso, dato il sintomo "cefalea grave con febbre" relativamante al fatto che si tratti del virus A; b) La quantit di informazione che un medico ricava dato il sintomo "cefalea grave con febbre" su due malati scelti a caso relativamente al fatto che si tratti del virus A; c) Calcolare l'informazione mutua fra sintomo e virus nei casi indicati in a) e in b) e generalizzare al caso di n malati. 2. In un paese africano le statistiche forniscono i seguenti valori: Popolazione europea : 5% di cui Cristiani 95% Mussulmani 5% Popolazione autoctona : 95% di cui Cristiani 5% Mussulmani 95% a) Datasi una persona, scelta a caso, che dichiara di essere cristiano, a quanto ammonta l'informazione da essa fornita sul fatto di essere europea oppure di essere autoctona? b) Datasi una persona, scelta a caso, che dichiara di essere mussulmana, a quanto ammonta l'informazione da essa fornita sul fatto di essere europea oppure autoctona? c) A quanto ammonta l'informazione mutua (Origine continentale Appartenenza religiosa)? 3. data un'urna con b (= 3) palle bianche ed n (= 7) palle nere. Si effettuano due estrazioni consecutive con modalit A e B: la modalit A prevede rimpiazzamento della palla estratta, mentre la modalit B non prevede rimpiazzamento. a) Calcolare l'entropia della estrazione secondo la modalit A e secodo la modalit B, indicando quale delle due maggiore. Motivare il risultato fornendo la formula generale; b) Se si effettuano 9 estrazioni cosa accade? Pu questo esperimento permettere un ragionamento sintetico per decidere quale delle due modalit di estrazione fornisce maggiore entropia? 4. Due monete A e B, identiche esteriormente (sulle due facce ci sono i simboli T = Testa, C = Croce), sono in realt sbilanciate secondo le seguenti caratteristiche:

P(T/A) = l P(C/A) = 1 - a

P(T/B) = 1 - a P(C/B) = l

Si procede alla estrazione di una moneta con le seguenti probabilit : P(A) = p P(B) = 1 - p

Una volta estratta, la moneta viene lanciata una sola volta. Si domanda: a) LEntropia H(Simbolo|Moneta) e lentropia H(Moneta|Simbolo), determinando leventuale valore di p per cui le due entropie sono eguali. b) Se, una volta estratta, la moneta viene lanciata due volte, si determini l'informazione mutua MI(Simbolo, Moneta), escludendo i casi (informazione perduta) TC e CT.
(5) Marco e Giovanni fanno il seguente gioco: Marco sceglie una parola w da un dizionario D che ne contiene N = 200,000. La parola w formata da n = 10 lettere, tratte da un alfabeto V di M = 21 lettere. Giovanni deve indovinare la parola, ponendo a Marco solo domande con risposta SI/NO. Qual linformazione minima che permette a Giovanni di indovinare la parola? Qual la sua strategia ottimale nel porre le domande? (6) Un Comune mantiene sia uno stradario globale, organizzato in ordine alfabetico, sia uno stradario ripartito in quattro quartieri, ognuno dei quali organizzato in ordine alfabetico. Lo stradario globale contiene N = 1200 strade e quelli per quartiere ne contengono rispettivamente M1 = 500, M2 = 400, M3 = 200 ed M4 = 100. In Comune c il Messo Comunale che sa a quale quartiere appartiene ciascuna strada, ma puo rispondere alle domande che gli vengono poste solo con SI/NO. Qual linformazione minima che permette di trovare una strada qualsiasi? Qual la strategia ottimale della ricerca? (7) Un oracolo predice il tempo che far il giorno successivo osservando il tempo del giorno corrente e usando uno dei termini {Sole, Pioggia, Vento, Nuvolo}. Le probabilit con cui indovina il tempo del giorno successivo sono date dalla seguente tabella: Domani Sole Pioggia Vento Nuvolo Sole 0.5 0.2 0.4 0.3 Pioggia 0.1 0.4 0.3 0.5 Vento 0.2 0.3 0.1 0.1 Nuvolo 0.2 0.1 0.2 0.1

Oggi

Sapendo che, in un giorno qualsiasi, le probabilit a priori delle quattro situazioni sono date da: p(Sole) = 0.3 p(Pioggia) = 0.2 p(Vento) = 0.4 p(Nuvolo) = 0.1, calcolare lentropia della variabile aleatoria X = tempo predetto e quella della variabile aleatoria Y = tempo effettivo. (8) Si hanno quattro monete A,B,C,D e si dubita che una di esse sia diversa (pi pesante o pi leggera). Disponendo di una bilancia a piatti, con cui le monete possono essere confrontate,

determinare: a) Il numero minimo di pesate per individuare la moneta diversa, se esiste, disponendo di una quinta moneta campione addizionale S; b) Il numero minimo di pesate per individuare la moneta diversa, se esiste, non disponendo di una quinta moneta addizionale campione; c) La strategia ottimale di pesatura nei casi a) e b), illustrando e motivando le scelte effettuate; d) La quantit di informazione necessaria per individuare la moneta diversa, se esiste; e) La quantit di informazione fornita da ogni pesata nel caso a) e nel caso b); f) La quantit di informazione fornita dalla moneta campione, semprech essa effettivamente ne fornisca. (9) Un'urna contiene 4 palline bianche e 2 nere. Si estraggono due palline in sequenza dall'urna, senza reinserimento. Calcolare l'informazione mutua tra i due sistemi di eventi "colore della prima pallina" e "colore della seconda pallina". (10) In un campionato di calcio amatoriale restano 2 giornate alla fine a le due squadre A e B sono entrambe a pari merito in testa alla classifica. A seconda dei risultati delle ultime 2 partite, giocate con altre squadre, A e B vincerebbero il campionato o finirebbero in parit. a) Supponendo che ciascuna delle partire rimanenti venga vinta o persa con probabilit 0.5 per entrambe le squadre, calcolare l'entropia della variabile aleatoria {vincita, perdita, pareggio} per la squadra A. b) Supponendo che la squadra B vinca le 2 rimanenti partite e che la squadra A le vinca o le perda con probabilit 0.5, calcolare l'entropia condizionale della variabile aleatoria {vincita, perdita, pareggio} per la squadra A. (11) Il vettore casuale (X1X2X3) pu assumere solo i valori (000), (001), (011), (101), (111), ciascuno con probabilit 1/5. Calcolare le seguenti entropie: a) H(X1) b) H(X2) c) H(X3) d) H(X1,X2) e) H(X1,X2,X3) f) H(X2|X1) g) H(X2|X1=0) h) H(X2|X1=1) (12) Calcolare lentropia informativa del proprio nome e cognome (inclusi gli spazi).

(13)

(14)

(15)