Alcune nozioni di base sulle catene di Markov Una catena di Markov ` e un modello matematico che descrive il comportamento di un sistema

non-deterministico e discreto. Non-deterministico signica che il comportamento del sistema, cio` e i lmodo in cui esso evolve nel tempo, non ` e unico perch e non ` e determinato in modo univoco dalle condizioni iniziali. Discreto signica che possiamo identicare un insieme discreto di stati in cui il sistema si pu` o trovare. Levoluzione del sistema nel tempo consiste in una sequenza di transizioni di stato, cio` e di passaggi da uno stato allaltro. Indichiamo con S linsieme dei possibili stati. Poich e il sistema si pu` o trovare in un dato istante di tempo t in uno qualsiasi degli stati dellinsieme S , ha senso chiedersi quale sia la probabilit` a con cui ci` o avvenga, cio` e rispondere alla domanda: Se osserviamo il sistema in un istante t scelto a caso, qual ` e la probabilit` a che il sistema sia nello stato i S al tempo t?, che equivale a chiedersi Per quale frazione di tempo il sistema si trova nello stato i?. Naturalmente queste domande hanno senso considerando un orizzonte di tempo abbastanza lungo da permettere al sistema di andare a regime, cio` e di rendere trascurabile leetto della condizione iniziale, dello stato di partenza. Per poter rispondere a questa domanda ` e necessario conoscere qualcosa in pi` u, che indichi quanto spesso il sistema passa da uno stato allaltro. Questa informazione ` e la frequenza di transizione da uno stato i S ad uno stato j S . Questa frequenza, che indichiamo con fij , si misura di solito in numero di transizioni da i a j per ogni unit` a di tempo (e di solito si tratta di un valor medio). Quando si d` a al sistema abbastanza tempo da farlo andare a regime, la probabilit` a che esso si trovi in ciascuno stato tende ad un valore ben preciso: si dice anche che il sistema ` e stazionario. Allora, la probabilit` a che il sistema si trovi nello stato i non dipende pi` u dallistante di tempo in cui osserviamo il sistema. Questa ipotesi ci consente di ricavare le probabilit` a di ciascuno stato, che indichiamo con Pi , a partire dalle frequenze fij . Immaginiamo che il sistema sia descritto da un grafo, cio` e da un insieme di nodi collegati tra loro da archi. Ogni stato del sistema corrisponde ad un nodo del grafo ed ogni transizione tra due stati i e j corrisponde ad un arco (i, j ) orientato dal nodo i al nodo j . Possiamo immaginare levoluzione del sistema nel tempo come lo spostamento ripetuto di un gettone da un nodo allaltro lungo gli archi del grafo. Per ogni nodo del grafo vale losservazione che il numero di volte che il gettone arriva nel nodo ` e uguale al numero di volte che il gettone riparte verso un altro nodo, cio` e la frequenza di ingresso ` e pari alla frequenza di uscita. In realt` a per ogni data sequenza di transizioni che consideriamo ci sono due eccezioni: il nodo 1

iniziale e il nodo nale. Il primo conta unuscita in pi` u rispetto alle entrate e il secondo conta unentrata in pi` u rispetto alle uscite. Tuttavia questa dierenza di 1 tra entrate e uscite tende a diventare trascurabile quando la sequenza di spostamenti tende a diventare molto lunga e quindi il numero di entrate e uscite da ogni stato tende a diventare molto alto. Losservazione riportata sopra si pu` o esprimere matematicamente con le cosiddette equazioni di bilanciamento. Ogni stato i S ha una sua equazione di bilanciamento, che impone che la frequenza con cui si arriva nello stato i sia uguale alla frequenza con cui si esce dallo stesso stato. Per scrivere le equazioni di bilanciamento, basta osservare che la frequenza media con cui si entra in uno stato i ` e data dalla somma di tanti contributi quanti sono gli stati da cui si pu` o raggiungere i. Per ciascuno di questi stati predecessori di i, la frequenza con cui lo stato passa da j a i ` e data dal prodotto tra la probabilit` a che lo stato sia in j per la frequenza fji delle transizioni da j a i. Si procede analogamente per la frequenza di uscita: la frequenza media con cui si esce dallo stato i ` e data dalla somma di tanti contributi quanti sono gli stati raggiungibili da i. Per ciascuno di questi stati successori di i, la frequenza media di transizione ` e data dalla probabilit` a del sistema di trovarsi in i per la frequenza media di transizione da i a j , fij . Scrivendo tutte le equazioni di bilanciamento, si ottiene un sistema di tante equazioni lineari quanti sono gli stati del sistema. Le incognite del sistema sono le probabilit` a Pi associate ai vari stati: anchesse sono tante quanti gli stati del sistema. Le equazioni di bilanciamento per` o non sono tutte indipendenti tra loro: una ` e ridondante. Abbiamo quindi unequazione in meno rispetto al numero di incognite, il che in generale d` a un sistema con innite soluzioni. Ma dobbiamo aggiungere unequazione in pi` u che rimette le cose a posto: infatti le probabilit` a associate agli stati del sistema deve essere tale che la loro somma deve essere uguale ad 1. Infatti il sistema con probabilit` a 1 (cio` e con certezza) si trova sempre in uno degli stati possibili. Non resta che risolvere il sistema per ricavare la probabilit` a Pi per ogni stato i S. Esempio. Una caldaia ` e regolata da un termostato che la fa spegnere quando la temperatura raggiunge un livello massimo desiderato e la fa riaccendere quando la temepratura scende ad un livello minimo desiderato. Per portare la temperatura dal livello minimo al livello massimo, la caldaia impiega unora e mezza. Quando la caldaia si spegne, la temperatura scende dal livello massimo al livello minimo mediamente in dieci minuti. Per quale frazione di tempo la caldaia ` e accesa mediamente? Il sistema ha due stati: indichiamoli con ON e OFF. La frequenza fON OF F 1 1 e ` e pari a una volta ogni ora e mezza, cio` e 90 min ; la frequenza fOF F ON ` 2

1 1 pari a una volta ogni dieci minuti, cio` e 10 e equivale a dire che min . Cio` osservando la caldaia quando ` e accesa la vedremo spegnersi mediamente una volta ogni novanta minuti, mentre osservandola quando ` e spenta la vedremo accendersi mediamente una volta ogni dieci minuti.

1/90

ON

OFF

1/10

Figura 1: Esempio di grafo degli stati. Scriviamo lequazione di bilanciamento per lo stato ON. Frequenza di ingresso: c` e solo un predecessore possibile, lo stato OFF. La frequenza media con cui il sistema entra in ON provenendo da OFF ` e: POF F fOF F
ON .

Frequenza di uscita: c` e solo un successore possibile, lo stato OFF. La frequenza media con cui il sistema esce da ON per andare in OFF ` e: PON fON
OF F .

Eguagliandole per imporre il bilanciamento si ricava lequazione: POF F fOF F cio` e POF F
ON

= PON fON

OF F

1 1 = PON . 10 90 Ragionando nello stesso modo per lo stato OFF si ottiene laltra equazione di bilanciamento: 1 1 PON = POF F 90 10 che ` e equivalente alla prima e quindi ridondante. Aggiungiamo la condizione PON + POF F = 1 e otteniamo quindi il sistema lineare 1 1 PON POF F = 0 90 10 PON + POF F = 1 con due equazioni e due incognite PON e POF F .

Risolvendo il sistema si ricava PON = 0, 9 e POF F = 0, 1. Quindi la caldaia ` e mediamente accesa per il 90% del tempo e spenta per il 10% del tempo.