Sei sulla pagina 1di 61

CATENE DI MARKOV

F. Fagnola, E. Sasso
February 17, 2006

Contents
1 Definizione e prime proprietà 2

2 Classificazione degli stati 9

3 Leggi invarianti e teoremi limite. 21

4 Assorbimento in classi ricorrenti 31

5 Criteri di transienza o ricorrenza 41

6 Convergenza verso la legge invariante 46

7 Algoritmo di Metropolis 48

8 Catene di Markov a tempo continuo 51

9 Applicazioni: le catene di Markov in genetica 57

10 Applicazioni: lotto economico d’acquisto 59

1
1 Definizione e prime proprietà
Sia (Ω, F, P) uno spazio probabilizzato e I un insieme finito o numerabile che
sarà sempre considerato. Si consideri una successione di variabili aleatorie X =
(Xn )n≥0 su (Ω, F, P) a valori in I.

Definizione 1.1 La successione X di variabili aleatorie (Xn )n≥0 su (Ω, F, P)


a valori in I è una catena di Markov con insieme degli stati I se, per ogni
intero n, per ogni i0 , . . . , in , j ∈ I, con P{ Xn = in , . . . , X0 = i0 } > 0 si ha

P {Xn+1 = j | Xn = in , . . . , X0 = i0 } = P {Xn+1 = j | Xn = i} (1)

La catena di Markov si dice omogenea se i due membri di (1) sono indipendenti


da n.

I numeri reali positivi pij dati da



 P{Xn+1 = j | Xn = i} 6 0,
se P{Xn = i} =
pij = 1 se P{Xn = i} = 0 e i = j,
0 6 j,
se P{Xn = i} = 0 e i =

si chiamano probabilità di transizione della catena di Markov omogenea X.


La catena di Markov X si chiama omogenea poiché le probabilità di transizione
(1) sono indipendenti da n. Nel seguito considereremo sempre catene di Markov
omogenee perciò ometteremo spesso l’aggettivo. Inoltre, quando scriveremo
una probabilità condizionata, supporremo sempre, implicitamente, che l’evento
condizionante sia non trascurabile.
La famiglia di numeri reali positivi (pij )i,j∈I si chiama matrice di tran-
sizione della catena di Markov X ed ha le proprietà seguenti:
(1) pij ≥ 0 per ogni i, j ∈ I,
P
(2) j∈I pij = 1 per ogni i ∈ I.

Definizione 1.2 Una matrice p = (pij )i,j∈I con le proprietà (1) e (2) si dice
stocastica. Se la matrice trasposta è anch’essa una matrice stocastica allora si
dice che p è bistocastica.

La matrice di transizione p = (pij )i,j∈I e la legge µ di X0 , detta anche legge


iniziale, determinano la legge congiunta delle variabili aleatorie (Xn )n≥0 cioè
permettono, come vedremo, di calcolare tutte le probabilità di eventi determi-
nati dalle variabili aleatorie (Xn )n≥0 .

ESEMPIO 1.1 La rovina del giocatore. Sia N ≥ 2 un numero naturale fissato


e p, q ∈]0, 1[ due numeri reali tali che p + q = 1. Due giocatori A e B con
capitali iniziali rispettivi di a monete e b, con N = a + b, monete giocano un
certo numero di partite in ciascuna delle quali A vince una moneta (che gli viene
pagata da B) con probabilità p e la perde (cioè la paga a B) con probabilità
q. Il gioco si può modellizzare con una catena di Markov (Xn )n≥0 nella quale

2
la variabile aleatoria Xn rappresenta il capitale del giocatore A al tempo n. La
catena di Markov ha insieme degli stati {0, 1, . . . , N } e matrice di transizione

1 0 0 0 ... 0 0 0
 
q 0 p 0 ... 0 0 0
0 q 0 p ... 0 0 0
 
0 ... ... ... ... ... ... 0.
 
0 0 0 0 ... 0 p 0
 
0 0 0 0 ... q 0 p
 
0 0 0 0 ... 0 0 1

Il gioco termina non appena uno dei due giocatori resta senza monete. Un
problema naturale è il calcolo della probabilità che vinca A oppure B.

ESEMPIO 1.2 Estrazioni da un mazzo di carte. Si consideri l’esperimento


aleatorio consistente nelle estrazioni (senza rimpiazzo) di carte da un mazzo.
Le carte vengono estratte ad una ad una e, quando sono state tutte estratte, si
rimettono insieme e si ricomincia. Indicando con Xn la carta ottenuta nell’n-
esima estrazione si trova una successione X = (Xn )n≥0 di variabili aleatorie.
È facile verificare che X non è una catena di Markov poiché la probabiltà di
ottenere come risultato dell’(n + 1)-esima estrazione una certa carta dipende dai
risultati di tutte le precedenti estrazioni e non solamente dall’(n − 1)-esima.
1
P{X5 = A♠ |X4 = A♦, X3 = A♠} = 0 6= P{X5 = A♠ |X4 = A♦} = .
51
ESEMPIO 1.3 Successione di variabili indipendenti. Sia (Xn )n≥0 una succes-
sione di variabili aleatorie su uno spazio probabilizzato (Ω, F, P) a valori interi
indipendenti ed equidistribuite e sia (an )n≥0 la successione di numeri reali pos-
itivi data da
an = P{Xk = n}, k ∈ N.
La successione (Xn )n≥0 è una catena di Markov con insieme degli stati N e
matrice di transizione (pij )i,j∈I data da
 
a0 a1 a2 . . .
 a0 a1 a2 . . .  .
... ... ... ...

ESEMPIO 1.4 Passeggiata casuale. Con le notazioni dell’esempio precedente,


si consideri la successione di variabili aleatorie (Yn )n≥0 definita da
n
X
Yn = Xk .
k=0

3
La successione (Yn )n≥0 è una catena di Markov con insieme degli stati N e
matrice di transizione (pij )i,j∈I data da
a0 a1 a2 a3 ...
 
 0 a0 a1 a2 ...
.
0 0 a0 a1 ...

... ... ... ... ...

ESEMPIO 1.5 Sia (Yk )k≥1 una successione di variabili aleatorie indipendenti
Pk
e equidistribuite a valori in N∗ e sia Sk = j=0 Yj . Poniamo
X
N0 := 0, Nn = 1{Sk ≤n} , ∀n ≥ 1.
k≥1

Le condizioni seguenti sono equivalenti


i) (Nn )n≥1 è una catena di Markov omogenea;
ii) le variabili aleatorie Yk hanno legge geometrica.
Infatti, se assumiamo vera i), per ogni n ≥ 1 si ha che
P{Y1 = n + 1} P{Nn+1 = 1, Nn = 0}
=
P{Y1 = n} P{Nn = 1, Nn−1 = 0}
P{Nn+1 = 1|Nn = 0} P{Nn = 0}
=
P{Nn = 1|Nn−1 = 0} P{Nn−1 = 0}
P{Y1 > n}
= .
P{Y1 > n − 1}
Poniamo p = P{Y1 = 1}, allora
P{Y1 = 2} = P{Y1 = 1}P{Y1 > 1}
= P{Y1 = 1}(1 − P{Y1 = 1}) = p(1 − p).
A questo punto si può concludere per induzione che P{Y1 = n + 1} = p(1 − p)n .
Infatti, se assumiamo per ipotesi che P{Y1 = k} = p(1 − p)k−1 , abbiamo che
P{Y1 > k}
P{Y1 = k + 1} = P{Y1 = k}
P{Y1 > k − 1}
(1 − P{Y1 ≤ k})
= p(1 − p)k−1
1 − P{Y1 ≤ k − 1})
Pk
k−1
1 − j=1 p(1 − p)j−1
= p(1 − p) Pk−1
1 − j=1 p(1 − p)j−1
j−1
P
k−1 P k≥k+1 p(1 − p)
= p(1 − p) j−1
j≥k p(1 − p)

= p(1 − p)k .

4
Questo dimostra che i) implica ii). L’implicazione opposta segue direttamente
se si interpretano le Yk come il tempo del k−esimo successo in uno schema di
Bernoulli. Allora Nn conta il numero di successi in n prove e quindi (Nn )n≥1
soddisfa la propriatà markoviana.

ESEMPIO 1.6 Coda casuale. Con le notazioni degli Esempi 1.3 e 1.4 si con-
sideri la successione di variabili aleatorie (Yn )n≥0 definita da

Y0 = X0
+
Yn+1 = (Yn − 1) + Xn+1

dove, per ogni numero reale x,

x+ = max{x, 0}.

La successione (Yn )n≥0 è una catena di Markov con insieme degli stati N e
matrice di transizione (pij )i,j∈I data da

a0 a1 a2 a3 a4 ...
 
a
 0 a1 a2 a3 a4 ...
 0 a0 a1 a2 a3 ....
 
0 0 a0 a1 a2 ...
 
... ... ... ... ... ...

Questa catena di Markov descrive la lunghezza di una coda ad uno sportello


dove, in ogni unità di tempo, viene servito un cliente e ne arriva un numero
aleatorio Y , inoltre i numeri di clienti che arrivano in unità di tempo distinte
sono indipendenti.

Mostreremo ora come si possono esprimere le probabilità di eventi relativi


ad una catena di markov (Xn )n≥0 attraverso la matrice di transizione. Iniziamo
col dimostrare il seguente

Lemma 1.3 Per ogni coppia di numeri naturali n, m con m ≥ 1, e ogni coppia
i, j di elementi di I si ha
 (m)
P {Xn+m = j} | {Xn = i} = pij (2)

dove p(m) denota la potenza m–esima della matrice p.

Dimostrazione. Grazie alla definizione di probabilità condizionata e alla


formula della probabilità totale il membro sinistro di (2) si può scrivere nella
forma X
P {Xn+m = j, Xn+m−1 = k, Xn = i} /P {Xn = i}
k∈I

5
Per ogni k ∈ I si ha quindi, grazie alla proprietà di Markov (1),

P{Xn+m = j, Xn+m−1 = k, , Xn = i}
= P{Xn+m = j | Xn+m−1 = k, Xn = i} · P({Xn+m−1 = k, Xn = i}
= pkj · P({Xn+m−1 = k, Xn = i}

e perciò
X
P{Xn+m = j | Xn = i} = pkj · P{Xn+m−1 = k | Xn = i}
k∈I

Ragionando per induzione si vede quindi che il membro sinistro della (2) si può
esprimere nel modo seguente
X
pkj P{Xn+m−1 = k | Xn = i}
k∈I
X
= pk1 j pk2 k1 P{Xn+m−2 = k2 | Xn = i}
k1 ,k2 ∈I
!
X X
= pk 2 k 1 p k 1 j P{Xn+m−2 = k2 | Xn = i}
k2 ∈I k1 ∈I
(2)
X
= pk2 j P{Xn+m−2 = k2 | Xn = i}
k2 ∈I
(m−1)
X
= ... = pkj P{Xn+1 = k | Xn = i}.
k∈I

La conclusione segue quindi dalla proprietà di Markov (1).


Sia µ la legge della variabile aleatoria X0 .

Proposizione 1.4 Per ogni n-pla (jk )0≤k≤n di stati ed ogni n-pla (mk )0≤k≤n
(m0 < m1 < . . . < mn ) di tempi si ha
n (m −mn−1 ) (mn−1 −mn−2 ) (m )
P (∩0≤k≤n {Xmk = jk }) = pjn−1 jn pjn−2 jn−1 . . . pj0 j11 µ{j0 }.

Dunque la legge iniziale µ e la matrice di transizione (pij )i,j∈I determinano la


legge congiunta delle variabili aleatorie (Xn )n≥0 .

Dimostrazione. Applicando più volte la proprietà di Markov (1) ed il


Lemma 1.3 si ha
 
P ∩0≤k≤n {Xmk = jk } = P {Xmn = jn } | ∩0≤k≤n−1 {Xmk = jk }

·P ∩0≤k≤n−1 {Xmk = jk }
(mn −mn−1 ) 
= pjn−1 jn P ∩0≤k≤n−1 {Xmk = jk }
(m −mn−1 ) (mn−1 −mn−2 )
n (m )
= ... = pjn−1 jn pjn−2 jn−1 . . . pj0 j11 P{X0 = j0 }
(m −mn−1 ) (mn−1 −mn−2 )
n (m )
= pjn−1 jn pjn−2 jn−1 . . . pj0 j11 µ{j0 }.

6
La proposizione è cosı̀ dimostrata.

Osservazione. Si può verificare facilmente che dalla proprietà di Markov (1)


segue che, per ogni evento A, dipendente dalle variabili aleatorie X0 , . . . , Xn−1
si ha
P {Xn+1 = j | {Xn = in } ∩ A} = P {Xn+1 = j | Xn = i} . (3)
Per esempio, se In−1 , . . . I0 sono sottoinsiemi di I potremmo prendere

A = {Xn−1 ∈ In−1 } ∩ · · · {X0 ∈ I0 }.

Si potrebbe dimostrare pure che, per ogni legge µ su I e ogni matrice sto-
castica P = (pij )i,j∈I esiste una catena di Markov con matrice stocastica P e
variabile aleatoria X0 con legge µ.
A volte può essere utile rappresentare le catene di Markov (a stati finiti) con
un grafo. I nodi rappresentano gli stati della catena di Markov, le frecce tra i
nodi rappresentano le probabilità di transizione. In particolare, se si etichettano
le frecce fra i nodi con le probabilità di transizione da uno stato ad un altro, si
avrà che la somma delle ”frecce uscenti” da un nodo deve essere uguale a 1. In
questo modo ad ogni matrice stocastica n × n corrisponde in maniera univoca
un grafo a n nodi. Ad esempio, data la matrice P
 
1/2 1/2 0
P =  1/3 1/3 1/3  ,
1/4 3/4 0

associata a una catena di Markov con spazio degli stati {0, 1, 2}, si può associare
il corrispondente grafo orientato
1

?>=<
89:;
2

0 ^=
O = 14
1=

1 o 89:;
89:;
?>=< / ?>=<
 2 13==
1
3

2
J 34
1
3

ESERCIZI

Es 1.1 Sia (Xn )n≥1 una successione di variabili aleatorie indipendenti a valori
in N∗ con legge geometrica di parametro p. Stabilire se la successione (Zn )n≥1
di variabili aleatorie a valori in N∗ cosı́ definita

Z0 = 1, Zn+1 = Zn Xn+1

è una catena di Markov e calcolare la matrice di transizione.

7
Es 1.2 Un punto si muove a caso sui vertici di un esagono regolare saltando
ad ogni istante dal vertice in cui si trova in uno dei due adiacenti scelto a caso.
Modellizzare il moto del punto con una catena di Markov e scriverne la matrice
di transizione. Calcolare la probabilità che dopo due salti si trovi nello stesso
vertice.

Es 1.3 Uno sportello serve al massimo 1 cliente per unità di tempo. Il numero
di clienti che arrivano nell’n−esima unità di tempo è una variabile aleatoria
Vn di legge B(2, 1/2). Supponendo che le Vn siano indipendenti e inoltre che i
clienti che arrivando vedono già 5 persone in coda se ne vadano immediatamente,
modellizzare la situazione con una catena di Markov e scriverne la matrice di
transizione.

Es 1.4 Un modello preliminare sulle previsioni meteorologiche si basa sull’ipotesi


che il tempo di domani sia influenzato dalla situazione odierna. Basandosi su
questa ipotesi è naturale utilizzare le catene di Markov. Per semplicità assum-
iamo che ci siano solo due tipi di tempo ”sole” (stato 0) e ”pioggia” (stato 1).
Una realistica matrice di transizione per il tempo di Roma potrebbe essere
 
0.5 0.5
P = .
0.1 0.9

Calcolare la probabilità che se oggi piove, domani e dopo ci sia il sole. Calcolare
la probabilità che se oggi piove, dopo tre giorni ci sia una nuova giornata di
pioggia.

Es 1.5 Una pedina si muove su un circuito ”circolare” a 4 vertici, numerati da


1 a 4. La pedina si trova inizialmente nel vertice 1. Ad ogni passo un giocatore
lancia un dado equilibrato a quattro facce: se la pedina si trova negli stati 1, 2
o 3 avanza di una posizione in caso di risultato dispari e di due posizioni in caso
di risultato pari; se la pedina si trova nel vertice 4, essa passa nel vertice 1, se
il risultato del dado è 4, altrimenti resta in 4. Sia Xn la variabile aleatoria che
indica la posizione della pedina al tempo n−esimo, ossia dopo l’n−esimo lancio
del dado. Si individui la legge µ0 di X0 . Qual è la probabilità che partendo da
4 la catena si trovi in 1 dopo due passi? Qual è la probabilità che al terzo passo
si trovi in 1? Qual è la posizione attesa dopo il secondo lancio del dado?

8
2 Classificazione degli stati
Sia (Xn )n≥0 una catena di Markov su uno spazio probabilizzato (Ω, F, P) con
insieme degli stati I e matrice di transizione (pij )i,j∈I .

Definizione 2.1 Uno stato j è accessibile da uno stato i se esiste un intero


positivo n tale che
(n)
pij > 0.
Due stati i, j comunicano, o sono comunicanti, se ciascuno dei due è acces-
sibile dall’altro.

Osserviamo che, essendo



(0) 1 se i = j,
pij =
6 j,
0 se i =

secondo la definizione precedente, ogni stato comunica con sé stesso.

Proposizione 2.2 Siano i, j, k tre elementi di I. Se k è accessibile da j e j, a


sua volta, è accessibile da i allora k è accessibile da i.

Dimostrazione. Dall’ipotesi segue che esistono due interi positivi m, n


tali che
(n) (m)
pij > 0, pjk > 0.
Si ha quindi
(n+m) (n) (m) (n) (m)
X
pik = pil plk ≥ pij pjk > 0.
l∈I

Ciò dimostra che k è accessibile da i.


Grazie alla proposizione precedente è facile dimostrare che la proprietà “co-
municare” induce una relazione di equivalenza tra stati; le corrispondenti classi
di equivalenza sono dette classi di stati.

Definizione 2.3 Una classe di stati è un sottoinsieme J dello spazio degli


stati I tale che, per ogni coppia i, j di elementi di J, gli stati i e j comunicano
e, per ogni coppia di stati i, j con i ∈ I − J, j ∈ J, i e j non comunicano.

Definizione 2.4 Una catena di Markov si dice irriducibile se la sola classe


di stati non vuota è l’insieme I.

Definizione 2.5 Dato uno stato i tale che l’insieme


n o
(n)
n ≥ 1 | pii > 0

sia non vuoto, si chiama periodo di i il massimo comune divisore dei numeri
interi n ≥ 1 appartenenti a tale insieme. Uno stato avente periodo n > 1 si dice
periodico di periodo n, diversamente se n = 1, lo stato i si dice aperiodico.

9
Dunque uno stato i è periodico di periodo n se, partendo dallo stato i al
tempo 0, la catena di Markov non può ritornare nello stato i a tempi m che non
siano un multiplo intero di n.

Proposizione 2.6 Siano i e j due stati comunicanti. Allora il periodo di i è


uguale al periodo di j.

Dimostrazione. Basterà ovviamente dimostrare la proposizione nel caso


in cui i 6= j. Denotiamo con d(i) e d(j) i periodi di i e j. Siano a e b due numeri
interi strettamente positivi tali che
(b) (a)
pij > 0, pji > 0.
(n)
Per ogni intero n tale che il numero reale pii sia strettamente positivo si hanno
allora le diseguaglianze seguenti
(a+n+b)
X (a) (n) (b) (a) (n) (b)
pjj pjk1 pk1 k2 pk2 j ≥ pji pii pij > 0
k1 ,k2

e, analogamente, si trovano le diseguaglianze


(a+2n+b) (a) (2n) (b) (a) (n) (b)
pjj ≥ pji pii pij ≥ pji (pii )2 pij > 0.

Ne segue che i due numeri naturali

a + b + n, a + b + 2n

sono multipli di d(j), dunque anche la loro differenza n è un multiplo di d(j).


Quindi il numero naturale d(j) è un divisore di tutti i numeri naturali n per i
(n)
quali pii sia strettamente positivo ovvero d(j) è un multiplo di d(i). In modo
analogo si può dimostrare che d(i) è un multiplo di d(j), pertanto d(i) e d(j)
coincidono.

ESEMPIO 2.1 Consideriamo la catena di Markov Rovina del giocatore dell’Esem-


pio 1.1. Ciascuno degli stati 0 ed N forma una classe con un solo elemento poiché
(n) (n)
p0j = pN i = 0 per ogni n ≥ 1 ed ogni i ∈ {0, 1, . . . , N − 1}, j ∈ {1, 2, . . . , N }.
Infatti non è possibile lasciare gli stati 0 e N una volta raggiunti. Gli stati
1, 2, . . . , N − 1 formano un’altra classe perché comunicano. Infatti, per ogni
i, j ∈ {1, 2, . . . , N − 1} con i < j (risp. i > j) si ha
(j−i) (i−j)
pij = pj−i > 0 (risp. pij = q i−j > 0).

ESEMPIO 2.2 Consideriamo la catena di Markov dell’esempio Successione di


variabili aleatorie indipendenti dell’Esempio 1.3. Si può vedere, con un facile
calcolo, che la matrice di transizione P relativa verifica la condizione
(n)
pij = pij per ogni n ≥ 1 (4)

10
per ogni coppia di stati i, j. Quindi uno stato k è accessibile da un qualunque
altro stato se e solo se il numero ak è strettamente positivo. Pertanto la con-
dizione
ak > 0 per ogni k ≥ 0
è necessaria e sufficiente affinché la catena di Markov sia irriducibile. Utilizzando
la formula (4) si può vedere inoltre che, sotto questa condizione, tutti gli stati
sono aperiodici.

ESEMPIO 2.3 Consideriamo la catena di Markov dell’Esempio 1.4 e supponi-


amo che i numeri (ak )k≥0 siano tutti strettamente positivi. È chiaro allora che,
dati due stati i e j, lo stato j è accessibile dallo stato i se e solo se j ≥ i. Dunque
le sole classi di stati, oltre alla classe vuota, sono le classi costituite da un solo
stato. Tutti gli stati sono evidentemente aperiodici.

ESEMPIO 2.4 Consideriamo la catena di Markov dell’Esempio 1.6 e supponi-


amo che siano soddisfatte le condizioni seguenti

0 < a0 < 1, 0 < a0 + a1 < 1. (5)

Si può dimostrare allora che tutti gli stati comunicano. Infatti, per ogni coppia
di stati i, j con j < i, ragionando come nell’esempio precedente, si trova la
diseguaglianza
(i−j)
pij ≥ pii+1 pi+1i+2 . . . pj−2j−1 pj−1j = (a0 )i−j > 0,

che mostra che j è accessibile da i. Osserviamo poi che, grazie alla seconda
delle diseguaglianze (2.2), esiste un intero ν ≥ 2 tale che il numero reale aν sia
strettamente positivo. Quindi, per ogni stato i ed ogni numero intero n ≥ 1, gli
stati (i + n(ν − 1))n≥1 sono accessibili dallo stato i perchè, procedendo come
sopra, si trova la diseguaglianza
(n)
pii+n(ν−1) ≥ (aν )n > 0.

Perciò, per ogni coppia di stati i, j con i < j, esiste uno stato k accessibile da i
con k > j. Per quanto già dimostrato, lo stato j è, a sua volta, accessibile da
k, quindi, per la Proposizione 2.2, j è accessibile da i.
Ciò prova che, per ogni coppia di stati i, j lo stato j risulta accessibile dallo
stato i, dunque tutti gli stati comunicano ovvero la catena di Markov è ir-
riducibile. Inoltre lo stato 0 è evidentemente aperiodico, dunque, poichè la
catena di Markov è irriducibile, grazie alla Proposizione 2.6, ogni stato è aperi-
odico.

Definizione 2.7 Uno stato i si dice ricorrente se



!
[
P {Xn = i} | {X0 = i} = 1,
n=1

altrimenti si dice transiente.

11
Quindi uno stato i è ricorrente se, partendo dallo stato i al tempo 0 la
catena di Markov ritorna nello stato i in un tempo finito quasi certamente. In
particolare se pii = 1, allora i si dice stato assorbente o trappola, in quanto
una volta raggiunto, non se ne può piú uscire.
ESEMPIO 2.5 Per la catene di Markov con spazio degli stati E finito, la rapp-
resentazione grafica può semplificare la classificazione degli stati. In particolare,
se uno stato appartiene a una classe I chiusa, ovvero per ogni i ∈ I non esiste
nessun stato j ∈ E \ I, tale che pij > 0, risulterà ricorrente. Allora si vede
facilmente che nella catena di Markov associata al grafo
?>=<
89:; / 89:;
? >=<

0 1
O O

2 o ?>=<
89:;
?>=< 89:;
 
3

gli stati {0, 1, 2} una classe di stati ricorrenti, mentre {3} è uno stato transiente.
Si osservi che uno stato è ricorrente o transiente indipendentemente dall’esatto
valore numerico delle probabilità di passaggio da uno stato all’altro.
ESEMPIO 2.6 Consideriamo nuovamente la catena di Markov Rovina giocatore
dell’Esempio 1.1. Come abbiamo visto, partendo da 0 (o da N ), con probabilità
1 la catena di Markov rimane in 0 (o in N ) ad ogni istante successivo. Questi
stati sono evidentemente ricorrenti. Ogni stato i ∈ {1, 2, . . . , N − 1} invece è
transiente poiché, partendo da i, la catena di Markov arriverà in 0 (risp. N )
con probabilità maggiore o uguale a q i (risp. pN −i ). Una volta arrivata in 0 o
in N non lascerà più lo stato raggiunto e quindi la probabilità di ritornare in i
verifica la diseguaglianza

!
[
P {Xn = i} | {X0 = i} ≤ 1 − (q i + pN −i ) < 1.
n=1

Nello studio della ricorrenza degli stati di una catena di Markov è di grande
utilità la variabile aleatoria seguente
Definizione 2.8 Sia j uno stato. Si chiama tempo della prima entrata
nello stato j la variabile aleatoria a valori N ∪ {+∞}

min{n ≥ 1 | Xn (ω) = j} se {n ≥ 1 | Xn (ω) = j} =
6 ∅,
Tj (ω)
+∞ altrimenti.
Osserviamo che, per ogni stato j ed ogni intero n > 1, valgono le seguenti
eguaglianze
[
{Tj < +∞} = {Xn = j},
1≤n<+∞
{Tj = 1} = {X1 = j},
\
{Tj = n} = {Xn = j} {Xm 6= j}.
1≤m≤n−1

12
Notazione. Nel seguito, per semplicità, denoteremo con Pi la probabilità con-
dizionata
Pi (·) = P (·| {X0 = i}) .
Per ogni numero intero n strettamente positivo ed ogni coppia i, j di elementi
di I poniamo
(n) (0)
fij = Pi { Tj = n }, fij = 0.
Poniamo inoltre
(n)
X

fij = fij = Pi { Tj < +∞ }.
1≤n<+∞

Poiché la catena di Markov (Xn )n≥0 è omogenea, per ogni coppia di stati
i, j ed ogni coppia di numeri interi n, m > 1 si ha inoltre
(n)
fij = P ({Xm+n = j} ∩1≤ν≤n−1 {Xm+ν 6= j} | {Xm = i}) .
Osserviamo inoltre che, con le notazioni ora introdotte, uno stato i è ricorrente
se risulta fii∗ = 1, transiente se fii∗ < 1.
Possiamo dimostrare ora il seguente
Teorema 2.9 (Equazione dei rinnovi) Siano i, j elementi di I. Per ogni intero
n ≥ 1 si ha
n
(n) (ν) (n−ν)
X
pij = fij pjj . (6)
ν=1

Dimostrazione. Supponiamo, per semplificare le notazioni, che l’evento


{X0 = i} sia quasi certo. Utilizzando la decomposizione dell’evento {Xn = j}
in eventi disgiunti della forma
n
[
{Xn = j} = ({Xn = j} ∩ {Tj = ν})
ν=1

e la proprietà di Markov (1.1) si ha allora


(n)
pij = P{Xn = j}
X
= P{Xn = j, Tj = ν}
1≤ν≤n
= P{Xn = j, Xn−1 6= j, . . . , X2 6= j, X1 = j}
X
+ P ({Xn = j, Xν = j, Xν−1 6= j, . . . , X1 6= j})
1≤ν≤n−1
(n)
X
= fij + P{Xn = j | Xν = j, Xν−1 6= j, . . . , X1 6= j}
1≤ν≤n−1
·P{Xν = j, Xν−1 6= j, . . . , X1 6= j}
(n)
X
= fij + P{Xn = j | Xν = j}P{Tj = ν}
1≤ν≤n−1
(n) (ν) (n−ν)
X
= fij + fij pjj .
1≤ν≤n−1

13
Ciò dimostra la (6).
Nella dimostrazione del Teorema 2.11, un criterio fondamentale per stabilire
se uno stato è transiente o ricorrente utilizzeremo il seguente risultato detto
Lemma di Abel

Lemma 2.10 Sia (an )n≥0 una successione di numeri reali non negativi tale che
la serie di potenze
X∞
A(s) = an sn
n=0

abbia raggio di convergenza r ≥ 1. Si ha allora



X
lim− A(s) = an .
s→1
n=0

Teorema 2.11 Per ogni stato i le condizioni seguenti sono equivalenti

a) i è ricorrente,
P∞ (n)
b) la serie n=0 pii è divergente.
Se i è transiente allora si ha

X (n) 1
pii .
n=0
1 − fii∗

Dimostrazione. Consideriamo le funzioni generatrici delle successioni di


(n) (n)
numeri reali (pii )n≥0 , (fii )n≥0
∞ ∞
(n) (n)
X X
Pii (s) = pii sn , Fii (s) = fii sn .
n=0 n=0

Osserviamo che queste serie di potenze hanno raggio di convergenza r ≥ 1 poiché


(n) (n)
le successioni (pii )n≥0 e (fii )n≥0 sono limitate. Grazie al Teorema 2.13, per
ogni intero n ≥ 1 si ha allora
n n
(n) (ν) (n−ν) (ν) (n−ν) n−ν
X X
pii sn = sn fii pii = fii sν pii s
ν=1 ν=1

da cui segue che



(n)
X
Pii (s) − 1 = pii sn
n=1
∞ Xn
(ν) (n−ν) n−ν
X
= fii sν pii s
n=1 ν=1

14
∞ ∞
(ν) (n−ν) n−ν
X X
= fii sν pii s
ν=1 n=ν
∞ ∞
(ν) (n)
X X
= fii sν pii sn
ν=1 n=0
= Fii (s)Pii (s).

Si ha pertanto, per ogni s ∈ (−1, 1),


1
Pii (s) = .
1 − Fii (s)
La conclusione segue allora osservando che

(n)
X
lim− Fii (s) = fii∗ , lim− Pii (s) = pii
s→1 s→1
n=0

ed applicando il Lemma di Abel.

Corollario 2.12 Sia J una classe di stati e j un elemento di J. Se j è ricor-


rente (o, rispettivamente, transiente) allora ogni elemento di J è ricorrente (o,
rispettivamente, transiente).

Dimostrazione. Sia k elemento di J − {j}. Poiché k e j comunicano,


esistono due interi l, m ≥ 1 tali che
(l) (m)
pjk > 0, pkj > 0.

Per ogni intero n ≥ 1 si ha allora


(l+n+m) (m) (n) (l)
pkk ≥ pkj pjj pjk
(l+n+m) (l) (n) (m)
pjj ≥ pjk pkk pkj .

Quindi le serie
∞ ∞
(n) (n)
X X
pkk , pjj
n=0 n=0
sono entrambe convergenti oppure entrambe divergenti. La conclusione segue
allora dal Teorema 2.11.
Osserviamo che, per ogni stato j, la somme della serie
X (n)
pij
n≥0

è il tempo medio di occupazione dello stato j partendo da i. Infatti la variabile


aleatoria X
1{Xn =j}
n≥0

15
rappresenta il tempo (aleatorio) trascorso nello stato j poiché conta per quanti
n si è veificato l’evento {Xn = j} e la sua speranza è
 
X X   X X (n)
Ei  1{Xn =j}  = Ei 1{Xn =j} = P{Xn = j} = pij . (7)
n≥0 n≥0 n≥0 n≥0

Corollario 2.13 Se j è uno stato transiente, allora, per ogni stato i, la serie

(n)
X
pij (8)
n=0

è convergente. In particolare, partendo da qualunque stato i, la catena di Markov


passa per j quasi certamente solo un numero finito di volte.

Dimostrazione. Se i = j la convergenza della serie segue dal Teorema


2.11. Se i 6= j allora, grazie all’equazione dei rinnovi (6), si ha

∞ ∞ X
n
(n) (ν) (n−ν)
X X
pij = fij pjj
n=1 n=1 ν=1
∞ ∞
(ν) (n−ν)
X X
= fij pjj
ν=1 n=ν

(n)
X

= fij pjj < ∞.
n=0

In particolare, grazie alla (7), la variabile aleatoria


X
1{Xn =j}
n≥0

ha speranza finita. Ne segue che è quasi certamente finita e quindi che si verifica
solo un numero finito di eventi {Xn = j}.
Nel caso in cui l’insieme degli stati sia finito la catena di Markov non potrà
occupare sempre stati transienti (che occupa per un tempo medio finito). Si ha
quindi il seguente

Corollario 2.14 Una catena di Markov con insieme degli stati I finito ha al-
meno uno stato ricorrente.

Dimostrazione. Supponiamo, per assurdo, che tutti gli stati siano tran-
sienti. Allora, per ogni i, j, la serie (8) è convergente e quindi, in particolare
(n)
lim p = 0.
n→∞ ij

16
La matrice p(n) è stocastica e quindi, per ogni n ≥ 1, si ha anche
X (n)
pij = 1.
j∈I

Facendo tendere n all’infinito e scambiando il limite con la sommatoria (cosa


possibile perché I è finito) si trova la contraddizione 0 = 1.
Applicheremo ora il criterio di transienza o ricorrenza del Teorema 2.11 allo
studio delle passeggiate casuali su Zd .

ESEMPIO 2.7 Passeggiata casuale su Z. Consideriamo una catena di Markov


(Xn )n≥0 con insieme degli stati Z e matrice di transizione

... ... ... ... ... ... ...


 
... q 0 p 0 0 ...
P =
... 0 q 0 p 0 ...

... ... ... ... ... ... ...
dove p, q sono due numeri reali tali che

p, q ∈]0, 1[, p + q = 1.

È chiaro che questa catena di Markov rappresenta il moto sull’insieme dei


numeri naturali di un punto che, ad ogni istante, si sposta da i a i + 1 con
probabilità p e da i a i − 1 con probabilità q. È facile vedere inoltre che si tratta
di una catena di Markov irriducibile e che ogni stato ha periodo 2.
Vogliamo stabilire se gli stati sono transienti oppure ricorrenti. A questo
scopo cominciamo con l’osservare che, per ogni n ≥ 0, si ha
 
(n) 2n
P00 = (pq)n .
n

Grazie alla formula di Stirling



nn exp(−n) 2πn
lim =1
n→∞ n!
si trova l’andamento asintotico
(n) (4pq)n
P00 ≈ √ .
πn

Poiché il numero reale positivo 4pq = 4p(1 − p) è eguale a 1 se p = q = 1/2


e strettamente minore di 1 se p 6= q, applicando il Teorema 2.11 possiamo
concludere che tutti gli stati sono ricorrenti nel primo caso e transienti nel
secondo.
Nel caso in cui p = q i tempi della prima entrata in ogni stato sono vari-
abili aleatorie positive quasi certamente a valori finiti. Utilizzando le funzioni
generatrici F00 e P00 introdotte nella dimostrazione del Teorema 2.11 possiamo

17
calcolare anche il tempo medio della prima entrata in 0 sotto la condizione
X0 = 0. Infatti, ricordando lo sviluppo in serie di Taylor notevole,
−1
X 2n 1
(1 − 4x) 2 = xn , |x| < ,
n 4
n≥0

otteniamo in forma esplicita la funzione generatrice P00


1
P00 (s) = p , |s| < 1.
1 − 4pqs2
La funzione generatrice F00 è quindi
−1
p
F00 (s) = 1 − (P00 (s)) =1− 1 − 4pqs2 , |s| < 1.
Grazie al Lemma di Abel, poiché 4pq = 1, troviamo infine
X (n) X (n)
E0 [T0 ] = nf00 = lim nf00 sn−1
s→1−
n≥1 n≥1
dF00 (s) 4pqs
= lim = lim p = +∞.
s→1 − ds s→1 −
1 − 4pqs2
Nel caso in cui p = q = 1/2 pertanto, anche se il ritorno in 0 è quasi certo, si farà
attendere molto a lungo e comunque, in media, più di quanto possa aspettare
un individuo mortale.
ESEMPIO 2.8 Passeggiata casuale simmetrica su Z2 . Consideriamo una catena
di Markov (Xn )n≥0 con insieme degli stati Z2 e probabilità di transizione

P {Xn+1 = (i, j) | Xn = (h, k)} = 1/4 se |i − h| + |j − k| = 1,


n
0 altrimenti.
(Xn )n≥0 è una catena di Markov irriducibile ed ogni stato ha periodo 2. Detta
P la matrice di transizione si ha
 2n
(2n)
X (2n)! 1
P00 = 2 2
(h!) (k!) 4
h+k=n

(dove 0 denota l’origine di Z2 ). Con facili calcoli si trova quindi


n  2n
(2n)
X (2n)! 1
P00 =
(k!)2 ((n − k)!)2 4
k=0
   2n X n   
2n 1 n n
=
n 4 k n−k
k=0

Confrontando i termini a b del binomio di Newton di (a + b)2n e del quadrato


n n

del binomio di Newton di (a + b)n si trova l’identità notevole


  X n   
2n n n
= .
n k n−k
k=0

18
Otteniamo quindi la formula
    n 2
2n 2n 1
P00 = .
n 4

Utilizzando la formula di Stirling troviamo poi lo sviluppo asintotico

2n 1
P00 ≈
πn
che ci permette di concludere, grazie al Teorema 2.11 e al Corollario 2.12 che
tutti gli stati sono ricorrenti.

Tramite la definizione delle fii si può dare una caratterizzazione ulteriore di


periodo di uno stato i, che verrà utilizzata in seguito.
Proposizione 2.15 Il periodo d(i) di uno stato i coincide con il massimo co-
(n)
mun divisore dell’insieme {n ≥ 1|fii > 0}.

Dimostrazione. Assumiamo inizialmente che i sia uno stato aperiodico.


In questo caso ciò che vogliamo dimostrare è che il massimo comune divisore
dell’insieme di numeri naturali
n o
(k)
k ≥ 1 | fii > 0

sia eguale a 1. Se cosı̀ non fosse, detto m > 1 tale numero avremmo ovviamente
(k)
pii = 0 per 1 ≤ k < m e quindi
(m+k) (m) (k)
pii = fii pii = 0
(mn+k)
per 1 ≤ k < m. Si potrebbe quindi dimostrare per induzione su n che pii
(k)
è nullo per 1 ≤ k < m e n ≥ 0 ovvero che pii è nullo se k non è multiplo di
m. Ciò contraddice l’ipotesi che i è aperiodico. Il caso in cui d(i) = n > 1 si
dimostra nello stesso modo.

ESERCIZI

Es 2.1 Individuare le classi di stati in una catena di Markov con matrice di


transizione  
0 1/2 0 0 1/2
 1/2 0 0 1/2 0 
 
 1/3 1/3 1/3 0 0 
 .
 0 1/4 1/4 1/4 1/4 
1/2 1/2 0 0 0
Quali sono gli stati ricorrenti e transienti? Dire se vi sono stati periodici e
calcolarne eventualmente il periodo.

19
Es 2.2 Una catena di Markov con insieme degli stati N ha matrice di transizione
 
1 − p p 0 0 0 0 ···
 1 − p 0 p 0 0 0 ··· 
 
 1 − p 0 0 p 0 0 ··· 
 
 1 − p 0 0 0 p 0 ··· 
1 − p 0 0 0 0 p ···

dove p ∈ (0, 1). Mostrare che la catena di Markov è irriducibile e aperiodica.


verificare che il tempo T0 del primo ritorno nello stato 0 rispetto ad ogni prob-
abilità Pi ha legge geometrica. Questo fatto ha qualche relazione con la nota
proprietà della legge geometrica?

Es 2.3 Data una catena di Markov con matrice di transizione


 
1/3 1/3 0 0 1/3
 1/4 0 1/4 1/2 0 
 
P =  0 0 1/2 1/2 0 
 0 0 0 1/2 1/2 
0 0 0 1/2 1/2

individuare gli stati transienti e gli stati ricorrenti. Verificare che, per ogni
n ≥ 2, si ha che  
∗ ∗ ∗ ∗ ∗
 ∗ ∗ ∗ ∗ ∗ 
Pn =  2−n
 
 0 0 ∗ ∗ 

 0 0 0 1/2 1/2 
0 0 0 1/2 1/2
(al posto degli asterischi ci sono opportuni numeri reali strettamente positivi).
Si può spiegare questo fatto con qualche proprietà della catena di Markov?

Es 2.4 Sia (Xn )n≥1 una successione di variabili aleatorie indipendenti con legge
di Bernoulli B(1, p) e (Zn )n≥0 la successione di variabili aleatorie cosı́ definita

Z0 = 1, Zn+1 = Zn (2Xn+1 − 1).

Stabilire se (Zn )n≥0 è una catena di Markov e determinarne eventualmente la


la matrice di transizione. Mostrare che tutti gli stati sono ricorrenti.

Es 2.5 Assegnati due stati i e j di una catena di Markov, provare che


P (n)
i) se j è ricorrente e accessibile da i, allora n≥1 pij = +∞,
P (n)
ii) se j è ricorrente e non accessibile da i, allora n≥1 pij = 0.

20
3 Leggi invarianti e teoremi limite.
Sia (Xn )n≥0 una catena di Markov sullo spazio probabilizzato (Ω, F, P) con
insieme degli stati I e matrice di transizione P = (pij )i,j∈I .

Definizione 3.1 Una legge µ su I è invariante per la catena di Markov (Xn )n≥0
se la variabile aleatoria Xn ha legge µ per ogni n ≥ 0.

Identificheremo spesso le leggi su I con la loro densità (rispetto alla misura


che conta i punti di ogni sottoinsieme di I) cioè con la famiglia di numeri reali
non negativi (µi )i∈I ove µi = µ({i}).

Proposizione 3.2 Una legge µ su I è invariante per la catena di Markov


(Xn )n≥0 se e solo se, per ogni stato i, si ha
X
µi = µj pji (9)
j∈I

(ovvero la sua densità è un autovettore sinistro della matrice di transizione con


autovalore relativo 1).

Dimostrazione. Detta µ la legge di X0 , la legge ν di X1 ha densità


X X
νi = P{X1 = i} = P{X0 = j}pji = µj pji ,
j∈I j∈I

Quindi, se µ è una legge invariante per la catena di Markov (Xn )n≥0 , allora la
vale la (9). Viceversa, se µ è una legge su I che soddisfa la (9), si può dimostrare
facilmente per induzione che Xn ha legge µ per ogni n.
Dunque una legge µ su I, identificando la sua densità con il vettore (µi )i∈I ,
è invariante se e solo se
µ = µP (P è la matrice di transizione).

Teorema 3.3 Se l’insieme degli stati I è finito allora esiste almeno una legge
invariante.

Dimostrazione. L’insieme delle densità di probabilità su I


( )
X
K = (µi )i∈I 0 ≤ µi ≤ 1, per ogni i,
µi = 1
i∈I

è compatto. Preso un elemento µ(0) di K è facile dimostrare che, per ogni intero
(n)
n ≥ 1, la famiglia di numeri reali non negativi (µj )j∈I cosı̀ definita

n
!
(n) 1 X X (0) (k)
µj = µi pij
n
k=1 i∈I

21
è una densità di probabilità su I. Poiché l’insieme K è compatto, passando even-
(n)
tualmente a sottosuccessioni, possiamo supporre che la successione (µj )n≥0 sia
convergente per ogni j ∈ I. Posto quindi
(n)
πj = lim µj
n→∞

la famiglia di numeri reali (πj )j∈I è una densità di probabilità su I e inoltre si


ha
n
!
X 1X X (k+1)
πi pij = lim πi pij
n→∞ n
i∈I k=1 i∈I
n+1
!
1 X X (k) 1 X
= lim πi pij − lim πi pij
n→∞ n + 1 n→∞ n + 1
k=1 i∈I i∈I
= πj

per ogni j ∈ I. Ciò dimostra che la legge con densità (πi )i∈I è invariante per la
catena di Markov.
Nel teorema precedente la legge invariante è stata ottenuta come limite (di
sottosuccessioni estratte da) (µ(n) )n≥1 dove µ(0) è una legge su I e
n
(n) 1 X (0) k
µj = (µ P )j
n
k=1

(0) (k)
per ogni n ≥ 1 ed ogni j ∈ I (qui (µ(0) P k )j =
P
i∈I µi pij ). In particolare, se
µ(0) = δi (densità di Dirac nel punto i), si ha
n
(n) 1 X (k)
µj pij .
n
k=1

L’analisi di questa espressione fornisce anche l’interpretazione del significato


della legge invariante. Infatti, ricordando che la variabile aleatoria
n
X
1{Xk =j}
k=1

rappresenta il numero di visite nello stato j fino al tempo n, è chiaro che la


variabile aleatoria
n
1X
1{Xk =j}
n
k=1

rappresenta la frequenza delle visite nello stato j al tempo n. La sua media,


rispetto alla probabilità Pi ,
" n # n n
1X 1X 1 X (k)
Ei 1{Xk =j} = Pi {Xk = j} = pij
n n n
k=1 k=1 k=1

22
rappresenta quindi la frequenza media delle visite nello stato j al tempo n. Si
possono quindi interpretare i πj della legge invariante come frequenza media
asintotica delle visite nello stato j.
Una catena di Markov (anche con I finito) può avere più di una legge in-
variante come mostra l’esempio Rovina del giocatore. In questo caso infatti le
densità
(1, 0, . . . , 0), (0, . . . , 0, 1)
e le loro combinazioni convesse

λ(1, 0, . . . , 0) + (1 − λ)(0, . . . , 0, 1)(λ, 0, . . . , 0, 1 − λ) λ ∈ [0, 1]

sono tutte leggi invarianti.


Nel caso in cui l’insieme I sia infinito, tuttavia, si possono fornire esempi
naturali di catene di Markov che non ammettono nessuna legge invariante.

ESEMPIO 3.1 La catena di Markov corrispondente alla Passeggiata casuale su


Z dell’Esempio 2.7 non ha nessuna legge invariante infatti la densità (πi )i∈I di
tale legge dovrebbe soddisfare la relazione

πi = qπi+1 + pπi−1

per ogni numero intero i, cioè

q (πi+1 − πi ) = p (πi − πi−1 ) . (10)

Cominciamo con l’osservare che deve essere πi+1 6= πi per ogni intero i poiché,
diversamente, dalla relazione precedente, otterremmo πi+1 = πi per ogni intero
i e la (πi )i∈I trovata non è una densità di probabilità. Quindi distinguiamo i tre
casi p > q, p = q = 1/2 e p < q. Nel primo caso dalla (10) si trova facilmente
per induzione la formula

πi+1 − πi = (p/q)i (π1 − π0 )

dalla quale segue la relazione

lim |πi+1 − πi | = +∞
i→+∞

che contraddice la limitatezza di (πi )i∈I . Nel secondo dalla (10) si trova la
formula
πi+1 − πi = π1 − π0
dalla quale segue la relazione

πi = i(π1 − π0 ) + c

(con c costante) che contraddice ancora la limitatezza di (πi )i∈I . Il terzo caso
si tratta come il primo. In conclusione la catena di Markov considerata non
possiede nessuna legge invariante.

23
Il calcolo esplicito o anche la sola dimostrazione dell’esistenza di una legge
invariante in generale può non essere semplice. L’esempio seguente, che mod-
ellizza varie situazioni (rovina del giocatore contro un avversario con capitale
praticamente infinito, passeggiata casuale su N, ...) mostra un caso notevole in
cui l’insieme degli stati è infinito ma si riesce ugualmente a risolvere semplice-
mente entrambi i problemi.
ESEMPIO 3.2 Consideriamo la catena di Markov con insieme degli stati N e
matrice di transizione
r0 p0 0 0 0 ...
 
 q1 r1 p1 0 0 ...
 0 q2 r 2 p2 0 ...
 
 0 0 q 3 r3 p 3 ...
 
0 0 0 q 4 r4 ...
 
... ... ... ... ... ...
dove (pm )m≥0 , (rm )m≥0 , (qm )m>0 sono tre successioni di numeri reali con
pm , qm ∈]0, 1[ e rm ∈ [0, 1] tali che
r0 + p0 = 1, q m + r m + pm = 1
per ogni intero m ≥ 1. Ogni legge invariante (πn )n≥0 soddisfa le equazioni
π0 = r 0 π0 + q 1 π1
πn = pn−1 πn−1 + rn πn + qn+1 πn+1

per ogni n ≥ 1 oltre alla condizione di positività πn ≥ 0 e di normalizzazione


X
πn = 1.
n≥0

Dalla prima equazione si trova


1 − r0 p0
π1 = π0 = π0
q1 q1
e, per induzione,
p0 . . . pn−1
πn = π0
q1 . . . q n
per ogni n ≥ 1. La condizione di normalizzazione può essere soddisfatta pren-
dendo  −1
X p0 . . . pn−1
π0  1 + 
q1 . . . q n
n≥1

se e solo se la serie X p0 . . . pn−1


q1 . . . q n
n≥1

è convergente. Questa condizione è quindi necessaria e sufficiente per l’esistenza


di una legge invariante che sarà necessariamente unica.

24
Enunciamo il seguente teorema (vedi [2] p. 335 oppure [3] p. 81 per la di-
mostrazione), che ci servirà per enunciare una condizione necessaria e sufficiente
affinché una catena di Markov con insieme degli stati infinito abbia una legge
invariante.

Teorema 3.4 Sia (ak )k≥1 una successione di numeri reali non negativi tale che

X
ak = 1
k=1

e il massimo comune divisore dell’insieme dei numeri naturali k per i quali


ak sia strettamente positivo sia 1. La successione di numeri reali non negativi
definita per ricorrenza dalle relazioni
n
X
u0 = 1, un = ak un−k ,
k=1

è limitata e soddisfa la relazione (con la convenzione abituale 1/∞ = 0)



!−1
X
lim un = kak .
n→∞
k=1

Osserviamo che la successione (un )n≥0 qui definita è limitata poiché vale la
diseguaglianza
Xn
0 ≤ un ≤ max {uk } ak
1≤k≤n−1
k=1

per ogni intero n ≥ 1.


Enunciamo ora il seguente risultato abbastanza naturale data l’interpretazione
della legge invariante.

Teorema 3.5 Se i è uno stato ricorrente aperiodico allora si ha


(n) −1
lim p = (Ei [Ti ]) .
n→∞ ii

Dimostrazione. Basta applicare il Teorema 3.4 Infatti, grazie alla Propo-


sizione 2.15, si ha
n
(n) (k) (n−k)
X
pii = fii pii
k=1

e, valgono le formule,

(k)
X
fii = 1,
k=1

(k)
X
kfii = Ei [Ti ].
k=1

25
essendo i ricorrente. Inoltre, per la Proposizione 2.15, il massimo comune divi-
sore dell’insieme di numeri naturali
n o
(k)
k ≥ 1 | fii > 0

è eguale a 1.
Ricordiamo che Ti è l’istante (aleatorio) del primo ritorno nello stato i che
è quasi certamente finito per la probabilità Pi (cioè Pi {Ti < ∞} = 1) ma può
−1
avere speranza infinita (cioè Ei [Ti ] = +∞). In tal caso, poniamo (Ei [Ti ]) = 0.

Definizione 3.6 Uno stato ricorrente i si chiama ricorrente positivo (o veloce)


se Ei [Ti ] < +∞ e ricorrente nullo (o lento) se Ei [Ti ] = +∞.

Osserviamo che, se i e j sono due stati comunicanti, ricorrenti e aperiodici


allora sono entrambi ricorrenti positivi o entrambi ricorrenti nulli. Infatti basta
osservare, come abbiamo già fatto molte volte, che vale una diseguaglianza del
tipo
(a+n+b) (a) (n) (b)
pjj ≥ pji pii pij
(a)
dove i numeri interi a, b ≥ 1 sono scelti in modo tale che i numeri reali pji e
(b)
pji siano strettamente positivi.
Si può verificare che una catena di Markov con insieme degli stati I finito non
ha stati ricorrenti nulli (o lenti). Infatti, detta C la classe a cui appartiene un
eventuale stato ricorrente lento i, ragionando come nell’osservazione precedente,
si vede subito che tutti gli stati della classe C sono tutti ricorrenti nulli ovvero
(n)
la successione (pjj )n≥1 converge a 0 per n tendente all’infinito per ogni j ∈ C.
Inoltre, poiché la catena di Markov non può uscire da C, si ha
X
pkj = 1
j∈C

per ogni stato k. Infine, procedendo come nella dimostrazione del Corollario
2.14, si ottiene una contraddizione.
Osserviamo inoltre che il caso di uno stato ricorrente i di periodo d > 1 si
può trattare in modo analogo considerando i come uno stato (aperiodico) della
catena di Markov (Xnd )n≥0 . In tal caso si ottiene
(nd) −1
lim p = d (Ei [Ti ]) .
n→∞ ii

(m)
Poiché si vede facilmente che pii è nullo per ogni intero m ≥ 1 che non sia
multiplo di d, si trova la relazione
n
1 X (k) −1
lim pii = (Ei [Ti ]) .
n→∞ n
k=1

Teorema 3.7 Sia (Xn )n≥0 una catena di Markov irriducibile e aperiodica. Le
condizioni seguenti sono equivalenti:

26
1. ogni stato è ricorrente positivo,
2. esiste una legge invariante (πi )i∈I tale che per ogni coppia di stati i, j si
abbia
(n) (n)
lim pij = lim pjj = πj .
n→∞ n→∞

Se valgono le condizioni precedenti allora (πi )i∈I è l’unica legge invariante per
la catena di Markov (Xn )n≥0 .

Dimostrazione. 1. ⇒ 2. Grazie al Teorema 2.9 si ha


n
(n) (k) (n−k)
X
pij = fij pjj
k=1

e quindi, per Corollario 3.5 (e il Teorema di Lebesgue), detto πj il limite della


(n)
successione (pjj )n≥0 , si trova

(n) (k)
X
lim pij fij πj = πj .
n→∞
k=1

Inoltre, per ogni sottoinsieme finito F di I, abbiamo la diseguaglianza


X X (n) X (n)
πj = lim pij ≤ lim pij = 1
n→∞ n→∞
j∈F j∈F j∈I

e quindi X
πj ≤= 1.
j∈I

Dimostriamo ora che (πj )j∈I è la densità di una legge invariante per la catena
di Markov (Xn )n≥0 . Sia F un sottoinsieme finito di I. Passando al limite nella
relazione X (n) (n+1)
pik pkj ≤ pij
k∈F

per ogni i, j ∈ I, otteniamo le diseguaglianze


X
πk pkj ≤ πj
k∈F

e quindi, data l’arbitrarietà di F ,


X
πk pkj ≤ πj . (11)
k∈I

Sommando su j troviamo poi


X XX X
πk = πk pkj = πj .
k∈I j∈I k∈I j∈I

27
Le diseguaglianze (11) sono dunque eguaglianze.
Iterando le eguaglianze (11) si trovano le identità
(n)
X
πj = πk pkj
k∈I

per ogni intero n ≥ 1. Facendo tendere n all’infinito si trova


X
πj = πj πk
k∈I

per ogni stato j da cui segue che


X
πk = 1.
k∈I

Dunque (πj )j∈I è la densità di una legge invariante per (Xn )n≥0 .
2. ⇒ 1. La conclusione segue immediatamente dal Teorema 3.5.
Mostriamo infine che, se valgono 1. e 2., allora la legge invariante è unica.
Per dimostrare questo basta osservare che, se µ è un’altra legge invariante,
allora, per ogni stato j si ha
X
µj = µk pkj .
k∈I

Iterando n-volte si trovano le identità


(n)
X
µj = µk pkj .
k∈I

Facendo tendere n all’infinito si ottiene la relazione


X
µj = µk πj = πj
k∈I

per ogni j ∈ I. L’unicità è cosı̀ dimostrata.

Come conseguenza di questo Teorema, data una catena di Markov a stati


finiti irriducibile e aperiodica esiste un’unica legge invariante π, tale che Ei [Ti ] =
1
πi . Nelle stesse ipotesi, possiamo chiederci quando vale il tempo medio neces-
sario per raggiungere uno stato j partendo da i, con 1 6= j,. Vogliamo quindi
calcolare
X
Ei [Tj ] = kPi {Tj = k}
k≥1
X
= pij + kPi {Tj = k}.
k>1

28
P
Siccome Pi {Tj = k} = h6=j pih Ph {Tj = k − 1} per ogni k > 1, abbiamo che
XX
Ei [Tj ] = pij + kpih Ph {Tj = k − 1}
k>1 h6=j
XX
= pij + kpih Ph {Tj = k − 1}
h6=j k>1
X
= pij + pih Eh [Tj + 1]
h6=j
X
= 1+ pih Eh [Tj ].
h6=j

. In questo modo abbiamo ottenuto un sistema di equazioni lineari che ci per-


mette di calcolare le speranza Ei [Tj ] quando i 6= j. Nella prossimo capitolo,
cercheremo di rispondere a domande analoghe quando la catena di Markov non
è più irriducibile.

ESERCIZI
Es 3.1 Individuare tutte le leggi invarianti della catena di Markov con matrice
di transizione  
0 1/2 0 0 1/2
 0 1/2 1/2 0 0 
 
 0 1/2 1/2 0 0 
 .
 0 0 0 1/2 1/2 
0 0 0 1/2 1/2

Es 3.2 Una catena di Markov con insieme degli stati N ha matrice di transizione
 
p 1−p 0 0 0 0 ···
 p
 0 1−p 0 0 0 ··· 

 p
 0 0 1 − p 0 0 ··· 
,
 p 0 0 0 1−p 0 ··· 
p 0 0 0 0 1 − p ···

dove p ∈ (0, 1). Mostrare che la catena di Markov è irriducibile e aperiodica e


che la sua legge invariante è la legge geometrica di parametro p.

Es 3.3 Provare che, per una catena di Markov con matrice di transizione bis-
tocastica, la distribuzione uniforme è invariante. Quando questa può essere una
misura di probabilità?

Es 3.4 Una legge (πi )i∈I si dice reversibile rispetto ad una matrice di tran-
sizione P se, per ogni i, j ∈ I verifica

πi pij = πj pji .

Mostrare che una legge reversibile è necessariamente invariante.

29
Es 3.5 Classificare gli stati della catena di Markov (Xn )n≥0 con insieme degli
stati S = {1, 2, 3, 4, 5} e matrice di transizione del tipo
 
∗ ∗ 0 0 ∗
 0 ∗ ∗ 0 0 
 
P =  0 ∗ ∗ 0 0 ,

 0 0 ∗ ∗ 0 
∗ 0 0 ∗ 0

dove il simbolo ∗ individua gli elementi della matrice strettamente positivi.


Una tale catena possiede leggi invarianti? Si può dire qualcosa di piú nel caso
in cui si supponga che tutte le transizioni in partenza dallo stesso vertice siano
equiprobabili?

Es 3.6 Sia (Xn )n≥0 una catena di Markov con legge invariante. π. Sia C una
classe di stati e sia a ∈ C. Provare che a è ricorrente e πj > 0 per ogni j ∈ C.

Es 3.7 Data una catena di Markov (Xn )n≥0 con insieme degli stati Z e matrice
di transizione  
··· ··· ··· ··· ··· ···
 · · · 2/5 1/5 2/5 ··· ··· 
 .
 · · · · · · 2/5 1/5 2/5 · · · 
··· ··· ··· ··· ··· ···
Classificare gli stati e dire se esiste una legge invariante.

Es 3.8 Supponiamo che un’industria produca due tipi di Cola, Cola1 e Cola2.
Sappiamo che una persona che all’acquisto abbia scelto Cola1, all’acquisto suc-
cessivo sceglierà Cola 2 con probabilità 0.9, mentre se ha scelto inizialmente
Cola2 sceglierà ancora Cola 2 con probabilità 0.8. Quante bottiglie in media
berrà il compratore di Cola1 prima di passare a Cola2?

30
4 Assorbimento in classi ricorrenti
Abbiamo dimostrato che gli stati transienti sono visitati solo un numero finito
di volte e quindi, partendo da uno stato transiente, la catena di Markov ha due
possibilità
1) continua a muoversi tra stati transienti (sempre che ce ne siano infiniti),
2) entra in una classe C di stati ricorrenti da cui non uscirà più.
Nel caso in cui l’insieme degli stati I sia finito il primo caso (vedi Propo-
sizione 4.1 qui sotto) non può sussistere e quindi, quando vi sono più classi
ricorrenti, sorge il problema di calcolare la probabilità di assorbimento in cia-
scuna di esse. Questo problema è abbastanza naturale nelle applicazioni. Nella
catena di Markov che descrive la Rovina del giocatore (Esempio 1.1), per es-
empio, le probabilità di assorbimento nelle classi {0} ed {N } rappresentano le
probabilità di rovina del giocatore e del banco.
In questo paragrafo, supponendo sempre che I sia finito, vedremo come si
possono calcolare semplicemente queste probabilità.
Denotiamo con T l’insieme degli stati transienti e, per ogni i ∈ T , denotiamo
(n)
con ui la probabilità, partendo da i di continuare passare ad altri stati tran-
sienti almeno fino al tempo n e con ui la probabilità di fare questo per sempre
cioè
(n)
ui = Pi {Xn ∈ T , . . . , X1 ∈ T }
\ 
ui = Pi {Xn ∈ T } .
n≥1

(n)
Proposizione 4.1 Per ogni stato transiente i la successione (ui )n≥0 è decre-
scente e
(n)
lim ui = ui .
n→∞

La famiglia di numeri reali (ui )i∈T soddisfa le equazioni


X
ui = pij uj . (12)
j∈T

In particolare, se l’insieme T è finito, allora l’unica soluzione del sistema di


equazioni (12) è ui = 0 per ogni i ∈ T .

(n)
Dimostrazione. La successione è ovviamente decrescente poiché le (ui )n≥0
rappresentano le probabilità di una successione decrescente di eventi. Inoltre,
per ogni n ≥ 1, si ha
(n+1) (n)
X
ui = pij uj .
j∈T

La (12) segue passando al limite.

31
Se l’insieme T è finito, allora, iterando la (12) abbiamo
X
ui = pij uj
j∈T
X
= pij pjl ul
j,l∈T
!
X X
≤ pij pjl ul
l∈T l∈I
(2)
X
= pil ul .
l∈T

Pertanto, iterando la (12) n volte, troviamo le diseguaglianze


X (n) X (n)
|ui | ≤ pij |uj | ≤ max{|uj |} pij .
j∈I
j∈T j∈T

Grazie al Corollario 2.13, la conclusione segue facendo tendere n all’infinito.

Calcoliamo ora la probabilità vi che, partendo da uno stato transiente i, la


catena di Markov entri in una classe ricorrente C e quindi vi rimanga definitiva-
mente. Questa probabilità è detta probabilità di assorbimento. Sia V il tempo
della prima entrata (detto anche tempo di assorbimento) nella classe C cioè

V = inf Tj
j∈C

(dove Tj denota il tempo della prima entrata nello stato j). Si vede facilmente
(n)
che V è un tempo d’arresto. Denotiamo con (vi )1≤n≤+∞ la legge di V per la
probabilità Pi
(n)
vi = Pi {V = n}Pi {Xn ∈ C, Xn−1 ∈
/ C, . . . , X1 ∈
/ C},
(∞)
vi = Pi {V = +∞} = Pi (∩1≤n<+∞ {Xn ∈
/ C}) .

Si ha allora
(n)
X
vi = Pi (∪1≤n<+∞ {Xn ∈ C}) = vi .
1≤n<+∞

Possiamo dimostrare il seguente risultato

Teorema 4.2 Le probabilità (vi )i∈C sono una soluzione limitata delle equazioni
X X
vi = pij + pij vj , i∈T. (13)
j∈C j∈T

Se l’insieme degli stati I è finito, allora le probabilità (vi )i∈T sono l’unica
soluzione limitata delle equazioni (13).

32
Dimostrazione. Si ha evidentemente
(1)
X
vi = Pi {X1 ∈ C} = pij
j∈C

e, per ogni n ≥ 2,
(n)
vi = P
X i {Xn ∈ C, Xn−1 ∈ T , . . . , X2 ∈ T , X1 ∈ T }
= Pi {Xn ∈ C, Xn−1 ∈ T , . . . , X1 = j}
j∈T
X
= pij Pj {Xn ∈ C, Xn−1 ∈ T , . . . , X2 ∈ T }
j∈T
X
= pij Pj {Xn−1 ∈ C, . . . , X1 ∈ T }
j∈T
(n−1)
X
= pij vj .
j∈T

Sommando le relazioni precedenti, si ottiene


X
vi = v (1) + v (n)
2≤n<+∞
(n−1)
X X X
= pij + pij vj
j∈C 2≤n<+∞ j∈T
X X
= pij + pij vj
j∈C j∈T

Dunque (vi )i∈T soddisfa le equazioni (13).


Se l’insieme degli stati I è finito e (vi )i∈I , (wi )i∈I sono due soluzioni di (13),
allora la differenza (ui )i∈I ui = vi − wi è una soluzione di (12) ed essendo I
finito è nulla. La conclusione è ora evidente.

ESEMPIO 4.1 Riprendiamo l’Esempio 1.1. Sia N ≥ 2 un numero naturale


fissato e p, q due numeri reali strettamente positivi tali che p + q = 1. Consid-
eriamo una catena di Markov con insieme degli stati {0, 1, . . . , N } con matrice
di transizione
1 0 0 0 ... 0 0 0
 
q 0 p 0 ... 0 0 0
0 q 0 p ... 0 0 0
 
0 ... ... ... ... ... ... 0.
 
0 0 0 0 ... 0 p 0
 
0 0 0 0 ... q 0 p
 
0 0 0 0 ... 0 0 1
La catena di Markov in questione ha evidentemente due classi ricorrenti {0}
e {N } e tutti gli stati 1, 2, . . . , N − 1 sono transienti. Il calcolo della probabilità

33
suddetta equivale quindi al calcolo delle probabilità di assorbimento vi degli stati
transienti i ∈ {1, 2, . . . , N − 1} nelle classi ricorrenti {0} e {N }. Calcoliamo,
per esempio, le probabilità di assorbimento (vi )1≤i≤N −1 in {0}. Poichè l’insieme
degli stati è finito le equazioni (13), che in questo caso si scrivono

v1 = q + pv2
vi = qvi−1 + pvi+1 se 2 ≤ i ≤ N − 2
vN −1 = qvN −2

Ponendo quindi, come è naturale v0 = 1 e vN = 0 si trova

vi = qvi−1 + pvi+1

per ogni i ∈ {1, . . . , N − 1}. Risolvendo questo sistema di equazioni a differenze


finite, con v0 = 1 e vN = 0 come “condizioni al bordo”, si trova

(q/p)i − (q/p)N
vi =
1 − (q/p)N

se p 6= q e
i
vi = 1 −
N
se p = q = 1/2. Ciò risolve il problema posto.
Osserviamo che, per N → +∞, le vi convergono verso

1 se q ≥ p, (q/p)i se q < p.

Questo indica che, per N molto grande, il giocatore con capitale iniziale i ha
probabilità vicina a (q/p)i di diventare ricchissimo (sbancando l’avversario).

Una procedura a quella indicata per il calcolo delle probabilità di assorbi-


mento permette di dedurre un metodo per il calcolo dei tempi medi di assorbi-
mento in una classe ricorrente in un caso particolare notevole.

Teorema 4.3 Supponiamo l’insieme degli stati I sia finito ed esista un’unica
classe ricorrente C. I tempi medi di assorbimento wi = Ei [V ] di uno stato
transiente i nella classe C sono finiti e coincidono con l’unica soluzione limitata
(wi )i∈T delle equazioni X
wi = 1 + pij wj . (14)
j∈T

Dimostrazione. Cominciamo con l’osservare che, con le notazioni utiliz-


zate più sopra, per ogni intero n ≥ 1, si ha
(n)
Pi {V > n} = Pi {Xn ∈ T , . . . , X1 ∈ T } = ui .

34
Inoltre, dalla relazione trovata precedentemente,
(n+1) (n)
X
ui = pij uj
j∈T

si ottengono facilmente per iterazione le diseguaglianze


(n+m)
X (m) (n)
ui ≤ pij uj
j∈T

per ogni intero m ≥ 1. Si hanno inoltre le diseguaglianze


(n+m) (n)
X (m)
ui ≤ max{uj } pij (15)
j∈T
j∈T

(m)
Grazie al Corollario 2.13, per ogni j ∈ T , la successione (pij )m≥1 converge
verso 0 per m tendente a +∞. Possiamo quindi scegliere un numero naturale
m abbastanza grande in modo tale che, per ogni i ∈ T , valga la diseguaglianza
X (m)
pij < 1
j∈T

ovvero, poiché l’insieme degli stati I è finito, in modo tale che il numero reale
M  
X 
(m)
M = max pij
i∈T  
j∈T

risulti strettamente minore di 1. Dalla (15) si ha pertanto la diseguaglianza


(n)
ui ≤ M [n/m]

dalla quale segue che


+∞
X +∞
X
Ei [V ] = Pi {V > n} ≤ M [n/m] ≤ (M (1 − M 1/m ))−1 < +∞.
n=0 n=0

Ciò dimostra la prima affermazione. Per completare la dimostrazione basterà


far vedere che i tempi medi di assorbimento (wi )i∈T soddisfano le equazioni (14)
infatti la soluzione di tali equazioni è unica per il Corollario (4.1). Questo segue
dalle identità seguenti

X
Ei [V ] = nPi {V = n}
n=1
X∞ ∞
X
= nPi {V = n, X1 ∈ T } + nPi {V = n, X1 ∈ C}
n=1 n=1
X∞ X X
= n pij P{Xn ∈ C, Xn−1 ∈ T , . . . |X1 = j} + pij
n=2 j∈T j∈C

35

X X X
= n pij Pj {Xn−1 ∈ C, Xn−2 ∈ T , . . .} + pij
n=2 j∈T j∈C
X ∞
X X
= pij nPj {V = n − 1} + pij .
j∈T n=2 j∈C

Con facili calcoli si ha infine


X ∞
X X
Ei [V ] = pij (n + 1)Pj {V = n} + pij
j∈T n=1 j∈C
X ∞
X X ∞
X X
= pij nPj {V = n} + pij + Pj {V = n} pij
j∈T n=1 j∈T n=1 j∈C
X X X
= pij Ej [V ] + pij + pij
j∈T j∈T j∈C
X
= 1+ pij Ej [V ].
j∈T

Ciò conclude la dimostrazione.

ESEMPIO 4.2 Il collezionista di figurine. Un tale acquista ogni giorno una


bustina contente una figurina con lo scopo di completare un album con N fig-
urine distinte. Evidentemente, vedendo la figurina contenuta in ogni busta solo
dopo l’acquisto, può accadere che trovi più volte la stessa figurina. È spontaneo
chiedersi quanti giorni occorreranno, in media, perché il tale completi l’album.
L’evoluzione della collezione si può descrivere con una catena di Markov (Xn )n≥0
con insieme degli stati {0, 1, . . . , N } convenendo che Xn rappresenti il numero
di figurine al giorno n e X0 = 0. La matrice di transizione è evidentemente la
matrice  
0 1 0 0 0 ... 0 0 0
 0 1 N −1
N N 0 0 ... 0 0 0 
N −2
 2

 0 0 0 ... 0 0 0 
 N N 
... ... ... ... ... ... ... ... ...
0 . . . NN−2
 2

 0 0 0 0 0 
 N 
 0 N −1 1 
0 0 0 0 ... 0 N N
0 0 0 0 0 ... 0 0 1
È chiaro che gli stati 0, . . . , N − 1 sono transienti e lo stato N è ricorrente. Il
tempo medio per il completamento dell’album è rappresentato dal tempo medio
di assorbimento nella classe ricorrente {N }. Grazie ai risultati precedenti, si
trova
N
X N
E0 [TN ] = ≈ N log(N + 1).
N −k+1
k=1

Nel caso in cui vi siano più classi ricorrenti è chiaro che i tempi di assorbi-
mento in una di esse potrebbero essere uguali a +∞ con probabilità strettamente

36
positiva. Infatti, se la catena di Markov, partendo dallo stato transiente i, en-
tra in una classe ricorrente C non potrà più uscire ed entrare in un’altra classe
ricorrente C2 . Nel caso in cui si verifichi questo evento, e che abbia probabilità
strettamente positiva, il tempo di assorbimento in C2 sarà quindi uguale a +∞
ed evidentemente anche la sua speranza. Il tempo medio di assorbimento sarà
quindi uguale a +∞. Il Teorema 4.3 non si può applicare direttamente.
Una piccola variante permette però di calcolare il tempo medio di assor-
bimento per la probabilità condizionata all’evento costituito dall’entrata della
catena di Markov nella classe ricorrente della quale si vuole calcolare il tempo
medio (rispetto alla probabilità condizionata!) di assorbimento.
In questo caso basterà risolvere un sistema di equazioni simile a (14) come
mostra la seguente applicazione alla rovina del giocatore in cui C = {0}, T =
{1, . . . , N − 1} e C2 = {N }.
ESEMPIO 4.3 Riprendiamo l’Esempio 1.1 Rovina del giocatore. Vogliamo cal-
colare il tempo medio della durata del gioco nel caso in cui il giocatore sia
rovinato ovvero
wi = Ei [ T0 | T0 < ∞ ] .
Posto w0 = 0, le wi soddisfano le equazioni
wi = 1 + qwi−1 + pwi+1 , per i = 1, . . . , N − 2,
(16)
wN −1 = 1 + wN −2 , per i = N − 1.
La seconda equazione è modificata, rispetto alla corrispondente di (14), per
tenere conto del fatto che stiamo calcolando la speranza rispetto alla probabi-
lità condizionata Pi { · | T0 < ∞ } per la quale si ha P{Xn = N } = 0 e quindi,
arrivando in N − 1 la catena di Markov deve ritornare in N − 2.
Consideriamo dapprima il caso p = q = 1/2. Le soluzioni delle equazioni
1 1
wi = 1 + wi−1 + wi+1
2 2
hanno la forma (soluzioni dell’equazione omogenea associata più una soluzione
particolare (ui ) dell’equazione non omogenea, linearmente indipendente dalle
soluzioni precedenti dell’equazione omogenea)
wi = c1 + c2 i + ui .
Si verifica facilmente che una soluzione particolare è data da ui = −i2 . Con
questa scelta le wi qui sopra soddisfano (16) se e solo se w0 = 0 e wN −1 =
1+wN −2 ovvero se e solo se c1 = 0 e c2 = 2(N −1). I tempi medi di assorbimento
sono quindi dati da
wi = 2(N − 1)i − i2 , i = 1, . . . , N − 1.
Consideriamo poi il caso p 6= q. Si vede subito che una soluzione particolare
della prima equazione (16) è data da ui = i/(q − p) e quindi tutte le soluzioni
sono date da  i
q i
wi = c1 + c2 + .
p q−p

37
Le wi qui sopra soddisfano (16) se e solo se w0 = 0 e wN −1 = 1 + wN −2 ovvero
se e solo se  −N
2 q
c1 = −c2 c2 = − .
(1 − p/q)2 p
I tempi medi di assorbimento sono quindi dati da
 −N  i−N !
i 2 q q
wi = + 2
− , i = 1, . . . , N − 1.
q − p (1 − p/q) p p

ESEMPIO 4.4 I metodi studiati per determinare le probabilità di assorbimento


nelle classi ricorrenti, possono essere utilizzati per studiare il comportamento
limite della catena di Markov, quando non sono soddisfatte le ipotesi del Teo-
rema 3.7. Consideriamo la matrice di transizione
 
1/2 1/2 0 0
 1/4 3/4 0 0 
P =  1/4 1/4 1/4 1/4  ,

0 0 0 1
sullo spazio degli stati {0, 1, 2, 3}. Si può verificare facilmente che {0, 1} e {3}
sono classi ricorrenti, mentre {2} è transiente. Partendo dallo stato 2, il processo
verrà assorbito in una delle due classi e le probabilità di assorbimento nelle
singole classi si ottengono risolvendo un sistema. In particolare, avremo che la
probabilità di assorbimento nella classe {0, 1}, si ottiene risolvendo
1 1
v= + v,
2 4
cioè v = 32 , Quindi, la probabilità di assorbimento nella classe {3} sarà pari
a 1 − v = 1/3. Se restringiamo l’attenzione alla classe ricorrente {0, 1} con
matrice di transizione ottenuta da P , cancellando le ultime due righe e colonne,
otteniamo una nuova matrice di transizione
 
1/2 1/2
1/4 3/4
irriducibile e aperiodica, per cui è possibile calcolare la legge limite, che risulta
(1/3, 2/3). Siccome possiamo scrivere
(n)
p2,0 = P{Xn = 0, Xm ∈ {0, 1}, per qualche m ≤ n|X0 = 2},
passando al limite si ha che
(n) 21 2
lim p = = .
n→∞ 2,0 33 9
Quindi  
1/3 2/3 0 0
 1/3 2/3 0 0 
lim P (n) =
 2/9
.
n→∞ 4/9 0 1/3 
0 0 0 1

38
La stessa tecnica non può essere applicata se le classi ricorrenti non sono
aperiodiche. Infatti, consideriamo il seguente esempio. Data la matrice di tran-
sizione  
1/2 1/2 0 0 0 0
 1/3 2/3 0 0 0 0 
 
 1/3 0 01/3 1/6 1/6 
P =  1/6 1/6 1/6

 0 1/3 1/6  
 0 0 0 0 0 1 
0 0 0 0 1 0
con spazio degli stati {0, 1, 2, 3, 4, 5}.
Ci sono due classi ricorrenti C1 = {0, 1} e C2 = {4, 5}. La legge limite
per la classe C1 è (2/5, 3/5). La classe C2 è periodica, quindi pij non converge
Pn−1
per i, j ∈ C2 . Converge, comunque, il tempo medio ossia limn→∞ n1 m=0 pm ij =
1/2. Allora, calcolate le probabilità di assorbimento nelle classi C1 e C2 partendo
dalla classe transiente {2, 3}, si può ottenere
 
2/5 3/5 0 0 0 0
 2/5 3/5 0 0 0 0 
n−1  
1 X m  (8/17)(2/5) (8/17)(3/5) 0 0 (9/17)(1/2) (9/17)(1/2) 
lim P =  (7/17)(2/5) (7/17)(3/5) 0 0 (10/17)(1/2) (10/17)(1/2)
.
n→∞ n 
m=0  
 0 0 0 0 1/2 1/2 
0 0 0 0 1/2 1/2

ESERCIZI

Es 4.1 Data una catena di Markov con insieme degli stati {1, 2, 3, 4, 5} e matrice
di transizione  
1/5 1/5 1/5 1/5 1/5
 1/3 1/3 1/3 0 0 
 
P =  0 1/3 1/3 1/3 0 

 0 0 0 2/3 1/3 
0 0 0 1/2 1/2
Determinare quali sono gli stati ricorrenti e gli stati transienti. Calcolare la
probabilità di assorbimento degli stati transienti negli stati ricorrenti. Calcolare
la probabilità, partendo dallo stato 1, di arrivare nello stato 4 senza passare
dallo stato 3.

Es 4.2 Un pezzo semilavorato entra in una linea produttiva da cui può uscire
difettoso con probabilità 0.2 oppure ricuperabile con probabilità 0.3 oppure
buono con probabilità 0.5. I pezzi difettosi sono scartati, i pezzi buoni vengono
portati in magazzino come pezzi finiti; i pezzi ricuperabili rientrano nella linea
produttiva per essere nuovamente lavorati. Descrivere il processo di lavorazione
mediante una catena di Markov. Sapendo che un pezzo è ricuperabile, calcolare
la probabilità che dopo due processi di lavorazione sia classificabile come buono.

39
Calcolare la probabilià che alla fine del ciclo produttivo un pezzo recuperabile sia
buono. Calcolare il tempo medio di un ciclo produttivo di un pezzo recuperabile.

Es 4.3 un giocatore muove la pedina tra i vertici (numerati da 1 a 4) e il centro


(0) di un quadrato con la seguente ”strategia”. Ad ogni passo lancia un dado
a 4 facce equilibrato: se la pedina si trova in 0, si muoverà nel vertice con
numero pari al risultato del dado. Se la pedina si trova in un diverso vertice,
questa si sposterà in 0 se il risultato del lancio è pari, altrimenti avanzerà di
una posizione in senso antiorario sul perimetro esterno del circuito. Se la pedina
parte, al tempo iniziale, dal vertice 1, qual ‘’e il tempo medio necessario perché
la pedina visiti il vertice 0 per la prima volta? Qual è la probabilità che la
pedina visiti il vertice 0 per la prima volta senza passare mai dal vertice 4?

Es 4.4 Una moneta equilibrata è lanciata ripetutamente fino a che non si ot-
tengono come risultati due ”teste” consecutive. Indicare con Xn il numero di
”teste” consecutive ottenute dopo l’n−esimo lancio. Trovare il numero medio
di lanci richiesti.

40
5 Criteri di transienza o ricorrenza
La caratterizzazione degli stati ricorrenti del Teorema 2.11 è spesso difficilmente
utilizzabile nelle applicazioni. In questo paragrafo dimostreremo due criteri per
classificare gli stati di una catena di Markov irriducibile.

Teorema 5.1 Sia (Xn )n≥0 una catena di Markov irriducibile con insieme degli
stati I. Condizione necessaria e sufficiente affinché ogni stato sia transiente è
che esista una famiglia (yj )j∈I limitata e non costante che soddisfi le equazioni
X
pjk yk = yj , (17)
k∈I

per tutti gli stati j ∈ I tranne al più uno.

Dimostrazione. Denotiamo con z l’unico stato che eventualmente non


soddisfa la (17). Consideriamo la catena di Markov (X
en )n≥0 con matrice di
transizione 
pij se i 6= z,
p̃ij =
δij se i = z,

ottenuta dalla (X en )n≥0 trasformando lo stato z in uno stato assorbente. Co-


minciamo col far vedere che la condizione è necessaria. La catena di Markov
(Xn )n≥0 è transiente; dunque esiste almeno uno stato i 6= z per il quale si abbia

fiz = Pi {Tz < +∞} < 1.

Consiamo allora le probabilità di assorbimento in z (ṽj )j≥0 relative alla catena


di Markov (Xen )n≥0 e poniamo ṽ0 = 1. Osserviamo che
 
ṽj = Pj ∪∞ n=1 {X̃ n = z}

X
= Pj {X̃1 = z} + Pj {X̃n = z, X̃n−1 6= z, . . . , X̃1 6= z}
n=2
X∞
= Pj {X1 = z} + Pj {Xn = z, Xn−1 6= z, . . . , X1 6= z}
n=2
= Pj (∪∞ ∗
n=1 {Xn = z}) = fjz < 1

per qualche j 6= z. Perciò, grazie al Teorema (4.2), è verificata l’equazione



X
p̃jk ṽk = ṽj
k∈I

per ogni j ∈ I ovvero la successione limitata e non costante (ṽk )k≥0 soddisfa le
equazioni (17).

41
Dimostriamo ora che la condizione è sufficiente. Una soluzione limitata
(yk )k≥0 delle equazioni (17) soddisfa evidentemente le equazioni

X
p̃jk yk = yj
k∈I

per ogni stato j. Iterando n volte queste relazioni si trovano le identità



(n)
X
p̃jk yk = yj
k∈I

per ogni stato j e n ≥ 1. Se la catena di Markov (Xn )n≥0 fosse ricorrente, si


avrebbe
(n)
lim p̃jz lim Pj {X
en = z} = lim Pj {Tz ≤ n} = 1
n→∞ n→∞ n→∞

da cui, per ogni j 6= z,


(n)
|yj − yz | = lim |yj − p̃jz yz |
n→∞

X
(n)
= lim p̃jk yk
n→∞
k6=z
X (n)
≤ sup |yk | · lim p̃jk
k6=z n→∞
k6=z
(n)
= sup |yk | · lim (1 − p̃jz ) = 0.
k6=z n→∞

Ciò implica che la famiglia (yk )k∈I è costante.

Teorema 5.2 Sia (Xn )n≥0 una catena di Markov irriducibile con insieme degli
stati N. Condizione sufficiente affinché ogni stato sia ricorrente è che esista una
successione (yj )j≥0 tale che

X
pjk yk ≤ yj , per ogni j>0 e lim yk = +∞. (18)
k→∞
k=0

Dimostrazione. Utilizzeremo le stesse notazioni della dimostrazione del


Teorema 5.2. È chiaro che, la diseguaglianza

X
p̃jk yk ≤ yj (19)
k=0

vale per ogni j ≥ 0. Inoltre la successione (yj )j≥0 è limitata inferiormente


e perciò, considerando eventualmente una successione della forma (yj + c)j≥0

42
con c > 0, possiamo supporre che la (yj )j≥0 sia a valori strettamente positivi.
Iterando n volte l’equazione 19 otteniamo le diseguaglianze

(n)
X
p̃jk yk ≤ yj
k=0

per ogni j ≥ 0 ed ogni n ≥ 1. Nella catena di Markov (X en )n≥0 , lo stato 0 è


ricorrente e tutti gli altri stati sono transienti poiché
 
Pj ∩∞ ∞
n=1 {Xn 6= j} ≥ Pj (∩n=1 {Xn = 0}) > 0
e

per ogni j > 0 essendo la catena di Markov irriducibile.


Fissato ε > 0 sia M (ε) un intero tale che yj > ε−1 per ogni j > M (ε). Per
ogni stato i ≥ 0 possiamo scrivere le diseguaglianze
M (ε)
(n) (n) (n)
X X X
p̃ij = p̃ij + p̃ij
j>0 j=1 j>M (ε)
M (ε)
(n) (n)
X X
≤ p̃ij + ε p̃ij yj
j=1 j>M (ε)
M (ε)
(n)
X
≤ p̃ij + εyi .
j=1

Quindi, passando al limite,


(n)
X
0 ≤ lim sup p̃ij ≤ εyi
n→∞
j>0

P (n)
ovvero, data l’arbitrarietà di ε, la successione ( j>0 p̃ij )n≥0 converge verso 0
per ogni (i, j) 6= (0, 0). Ne segue che
 
(n) (n)
X
lim p̃i0 = lim 1 − p̃ij  = 1.
n→∞ n→∞
j>0

Osservando che

Pi (∪∞
k=1 {Xk = 0}) = lim Pi (∪nk=1 {Xk = 0})
n→∞
= lim Pi {X
en = 0}
n→∞
(n)
= lim p̃ =1
n→∞ i0

per ogni i > 0, troviamo l’eguaglianza


X
P0 (∪∞
k=1 {Xk = 0}) = p00 + p0j Pj (∪∞
k=1 {Xk = 0})
j>0

43
X
= p00 + p0j = 1
j>0

che implica che 0 è ricorrente per la catena di Markov (Xn )n≥0 . Ciò conclude
la dimostrazione.

ESEMPIO 5.1 Consideriamo la catena di Markov dell’Esempio 1.6. Nell’Esempio


2.4 abbiamo verificato che, sotto le condizioni
0 < a0 < 1, 0 < a0 + a1 < 1
la catena di Markov è irriducibile. Supponiamo quindi che queste condizioni
siano verificate e denotiamo
X∞
λ= kak
k=1
il numero medio di clienti che arrivano in una unità di tempo. Utilizzando i
Teoremi 5.1 e 5.2 possiamo dimostrare che la catena di Markov è:
a) transiente se λ > 1,
b) ricorrente se 0 < λ ≤ 1.
Per verificare l’affermazione a) cerchiamo una soluzione limitata e non costante
delle equazioni (5.1) della forma yj = ξ j con ξ ∈]0, 1[. La successione (ξ j )j≥0
soddisfa le (5.1) se e solo se

X
ak−j+1 ξ k = ξ j , per ogni j > 0
k=j−1

ovvero

X
ak ξ k = ξ.
k=0
La funzione

X
f : [0, 1] → [0, 1], f (ξ) = ak ξ k .
k=0

ha soddisfa le condizioni f (0) = a0 > 0, f (1) = 1 e, grazie al Lemma di Abel,


lim f 0 (η) = λ.
η→1−

Pertanto, se λ > 1, esiste un numero reale ξ0 ∈]0, 1[ tale che f (ξ0 ) = ξ0 . La


successione (ξ0j )j≥0 è quindi una soluzione limitata non costante delle equazioni
5.2.
Per verificare l’affermazione b) basta verificare che la successione (j)j≥0 sod-
disfa le 18. Per ogni j > 0 si ha infatti

X ∞
X
pjk yk = ak−j+1 k
k=0 k=j−1

44

X
= ak (k + j − 1)
k=0
X∞ ∞
X
= kak + (j − 1) ak
k=0 k=0
= j + λ − 1 ≤ j.

Si può dimostrare inoltre (ma è piuttosto laborioso) che gli stati sono ricorrenti
positivi se m < 1 e ricorrenti nulli se m = 1.

ESEMPIO 5.2 Passeggiata casuale su N (vedi Esempio 1.4).

45
6 Convergenza verso la legge invariante
Mostreremo ora come si può ottenere semplicemente una stima della velocità di
convergenza verso la legge invariante. Cominciamo introducendo una distanza
tra le leggi di probabilità su I nel modo seguente
X
kµ − νk = |µk − νk |.
k∈I

Si dimostra facilmente che l’insieme delle leggi su I munito di questa distanza è


uno spazio metrico completo. Osserviamo inoltre che ogni matrice di transizione
P agisce come una contrazione sulle leggi su I. Si ha infatti

X X
kµP − νP k = (µk − νk )pkj


j∈I k∈I
 
X X
≤ |µk − νk | pkj  = kµ − νk .
k∈I j∈I

Teorema 6.1 Se esiste un intero k ≥ 1 per il quale il numero reale c ∈ [0, 1]


X (k)

c= inf pij
i∈I
j∈I

sia strettamente positivo allora la catena di Markov ha un’unica legge invariante


π e, per ogni legge µ su I ed ogni intero n ≥ 1 vale la diseguaglianza

kµP n − πk ≤ (1 − c)[n/k] kµ − πk . (20)

Dimostrazione. Consideriamo la matrice di transizione Q = (qij )i,j∈I


cosı̀ definita
(k)
qij = c−1 inf plj .
l∈I

Si tratta evidentemente di una matrice stocastica per come è definito il numero


(k)
reale c. Inoltre si ha pij ≥ cqij per ogni coppia di stati i, j e
(k) (k)
X X X
(pij − cqij ) = pij − c qij = 1 − c.
j∈I j∈I j∈I

Dunque la matrice R = (1 − c)−1 (P k − cQ) è una matrice stocastica e la matrice


P k si può scrivere nella forma

P k = cQ + (1 − c)R.

Per ogni coppia µ, ν di leggi su I le leggi µQ, νQ coincidono e si trova subito


la diseguaglianza
k
µP − νP k = (1 − c) kµR − νRk ≤ (1 − c) kµ − νk .

46
Ne segue che l’applicazione µ → µP k è una contrazione stretta nello spazio
metrico completo delle leggi su I e quindi possiede un unico punto fisso π.
Dalla relazione π = πP k si ottiene subito πP = (πP )P k ; dunque anche la legge
πP è un punto fisso per µ → µP k e, pertanto, coincide con π. Ciò dimostra
che π è l’unica legge invariante. Infine, dimostrare la diseguaglianza 20, basta
osservare che, per ogni intero n ≥ 1, si ha
nk
µP − π ≤ (1 − c)n kµ − πk

e, posto dn = kµP n − πk, la successione (dn )n≥0 è non crescente. Quindi, se


m = [n/k], si ha mk ≤ n e dn ≤ dmk ≤ (1 − c)m kµ − πk.

ESEMPIO 6.1 Applicazione al problema del collezionista di figurine dell’Esempio


4.2. Osservare che, per k = N , si ha c = N !/N N .

47
7 Algoritmo di Metropolis
In questo capitolo studieremo un algoritmo, noto come algoritmo di Metropo-
lis, per la ricerca dei punti di minimo assoluto di una funzione

V : {1, 2, . . . , N } →]0, +∞[,

utilizzando la modellizzazione fornita dalla teoria sulle catene di Markov. Tale


algoritmo è particolarmente efficace quando N è molto grande, quindi, l’algoritmo
banale consistente nel calcolo e confronto dei valori assunti dalla funzione V è
troppo costoso in termini di tempo.
Questo problema ha una classica applicazione nella risoluzione del cosiddetto
”problema del commesso viaggiatore”. Il commesso deve visitare N città in N
giorni, rimanendo un giorno in ognuna e si chiede in che ordine le deve visitare
in modo da minimizzare il costo dei viaggi. Se le città in questione sono ad
esempio i capoluoghi di provincia italiani, allora N = 102 e i possibili itinerari
sono N !, che è un numero dell’ordine di 10162 .
In particolare, l’algoritmo di Metropolis cerca i punti di minimo assoluto
seguendo l’evoluzione di una opportuna catena di Markov, in generale non omo-
genea, con insieme degli stati I = {1, 2, . . . , N } che, ad ogni istante, ha proba-
bilità maggiore di entrare negli stati nella quale V ha valore piú piccolo e, col
passare del tempo la probabiltà di entrare negli stati in cui V ha valore grande è
sempre piú piccola. In questo modo la catena di Markov dovrebbe ”convergere”
ai punti di minimo assoluto non arrestandosi nei punti di minimo relativo.
Lo stesso algoritmo si può utilizzare per simulare la scelta di uno stato i ∈ I,
con un’assegnata distribuzione π. Infatti i ”classici ”metodi di simulazione sono
inutilizzabili se la cardinalità di I è molto grande. Stesse tecniche, si stanno
utilizzando nella teoria dei problemi inversi di ricostruzione di immagini per
calcolare il valore medio di una variabile aleatoria e quindi per approssimare il
calcolo di integrali.
L’idea è la seguente: supponiamo di poter costruire una catena di Markov
(Xn )n∈N irriducibile e aperiodica, con un’unica legge limite π. Se noi simuliamo
l’evoluzione della catena, per il Teorema 3.3, la legge di Xn al tempo n, quando
n → +∞, convergerà a π, indipendentemente dalla legge iniziale scelta.

Prima di enunciare la proposizione principale di questo capitolo, conside-


riamo una matrice stocastica simmetrica e irriducibile Q = (qij )i,j∈I e π una
legge di probabilità su I, tale che πj > 0, per ogni j ∈ I. Poniamo

 qij se πj ≥ πi ,
π
pij = qij πji se πj < πi , (21)
P
1 − j6=i pij se i = j.

Proposizione 7.1 Sia π una distribuzione di probabilità non uniforme. La


catena di Markov associata alla matrice di transizione P , definita da (21), ha
π come unica legge invariante.

48
Dimostrazione. Si dimostra facilmente che P = (pij )i,j∈I è ancora una
matrice stocastica. Inoltre, si ha che

πi pij = πj pji ,

cioè π è reversibile per P (vedi Esercizio 3.4), quindi π è una legge invariante
per P . infatti
X
(πP )j = πi pij
i
X
= πj pji = πj .
i

Si osserva anche che P è una matrice irriducibile. Infatti, se gli stati i, j ∈ I,


i 6= j, sono tali che qij > 0, allora, per definizione pij > 0. Quindi l’irriducibilità
di P segue dalla scelta di Q. Inoltre, se i 7→ πi non è costante, allora P è
aperiodica. Infatti, consideriamo l’insieme M = {i ∈ I : πi = maxj∈I πj }.
Siccome Q è irriducibile esistono i0 ∈ M e j0 ∈ M c , tali che qi0 j0 > 0. Inoltre si
ha che πi0 > πj0 per definizione di M . Quindi, sapendo che pij ≤ qij . se i 6= j,
si ottiene che
X
pi 0 i 0 = 1 − pi0 j
j6=i0
X
= 1− pi0 j − pi0 j0
j6=i0 ,j0
X πj0
≥ 1− qi0 j − qi0 j0
πi 0
j6=i0 ,j0
 
πj
≥ qi0 i0 + qi0 j0 1 − 0
πi 0
 
πj
≥ qi0 j0 1 − 0 > 0.
πi 0

Abbiamo quindi dimostrato che, se π non è uniforme, è possibile costruire


una catena di Markov, associata a una matrice di transizione P (costruita a
partire da una qualunque matrice simmetrica e irriducibile Q) irriducibile e
aperiodica, tale che ammetta π come legge limite.
Il metodo per simulare la catena di Markov associata alla matrice P si chiama
algoritmo di Metropolis. Vediamo alcune applicazioni.

ESEMPIO 7.1 Supponiamo, ad esempio, di voler simulare la scelta di un nu-


mero i ∈ E a caso con una legge assegnata π. Come abbiamo già osservato,
i metodi ”classici” di generazione di numeri casuali spesso sono inapplicabili
se la cardinalità di E è molto elevata. Possiamo, però costruire una variabile
aleatoria con legge approssimativamente uguale a π. A partire da una matrice
simmetrica e irriducibile Q, si costruisce P , data da (21) e si simula la catena di

49
Markov (Xn )n associata. Questo significa che se Xn = i è sufficiente scegliere
a caso j con legge qij dopo di che se πj ≥ πi si pone Xn+1 = j, altrimenti si
π π
pone Xn+1 = j con probabilità πji , mentre con probabilità 1 − πji si rifiuta la
transizione e si lascia Xn+1 = i.

Ritorniamo ora al problema del commesso viaggiatore e, in generale, alla


ricerca dei punti di minimo assoluto di una funzione V . Consideriamo, per ogni
ε > 0, la legge su {0, . . . , N } non uniforme π ε data da

e−V (i)/ε
πiε = ,

con Zε costante di normalizzazione. Scelta una matrice simmetrica e irriducibile
Q, si può costruire a partire da (21) una matrice di transizione P (ε). È chiaro
che per calcolare la matrice P (ε), in generale, dovremmo calcolare il valore della
funzione V per tutti gli interi i ∈ {0, . . . , N } e quindi non avremmo aggirato
l’ostacolo iniziale se non scegliessimo una matrice Q con molti elementi nulli.
Ad esempio possiamo scegliere
 2 1

3 3 0 0 ... 0 0 0
 1 1 1
0 ... 0 0 0 
 3 3
1
3
1 1

 0 ... 0 0 0 
Q= 3 3 3
 ... ... ... ... ... ... ... ... .

 
 0 0 0 0 . . . 13 1
3
1 
3
1 2
0 0 0 0 ... 0 3 3

In questo caso per determinare la probabilità di transizione (P (ε))ij con i fissato


occorre calcolare i valori di V in al piú due punti. A questo punto si può
procedere con la simulazione della catena di Markov associata alla matrice P (ε),
come nell’esempio precedente.
Osserviamo che se ε è piccolo, la distribuzione π ε si concentra su quegli stati
su cui V è piccola, Si può anzi dimostrare che se i1 , . . . , ik sono punti di minimo
assoluto per V , allora per ε → 0, π ε converge alla distribuzione uniforme su
i1 , . . . , ik .
Si può anche dimostrare che prendendo una successione (εn )n≥0 convergente
verso 0 abbastanza lentamente, la catena di Markov non omogenea (Xn )n≥0
che ha P (εn ) come matrice di transizione al tempo n converge in legge verso la
legge uniforme sui punti di minimo assoluto di V . La dimostrazione è piuttosto
tecnica e sarà omessa. Questa procedura, in cui si fa variare il valore di ε
viene chiamata simulated annealing ed è un’utile tecnica per certi problemi
di ottimizzazione.

50
8 Catene di Markov a tempo continuo
Una catena di Markov a tempo continuo (X(t))t∈I , dove I è un inter-
vallo della retta reale, è un sistema a stati discreti E e tempo continuo in cui
l’evoluzione della variabile di stato X(t) è caratterizzata dalla proprietà marko-
viana

P{X(tk+1 ) = xk+1 |X(tk ) = xk , . . . , X(t0 ) = x0 } = P{X(tk+1 ) = xk+1 |X(tk ) = xk },

per ogni scelta di t0 , t1 , . . . , tk+1 tale che t0 ≤ t1 ≤ · · · ≤< tk+1 . Tale definizione
estende in maniera naturale la (1) nel caso continuo. In particolare, si ha che
X(t) condensa tutta l’informazione passata (per τ ≤ t) ai fini della valutazione
probabilistica dell’evoluzione della catena di Markov a tempo continuo per τ > t.
Come nel caso discreto, l’evoluzione di una catena di Markov a tempo con-
tinuo è governata dalle funzioni di transizione

pij (s, t) = P{X(t) = j|X(s) = i},

per ogni i, j appartenente all’insieme degli stati E e s ≤ t. Una volta fissati


s e t, pij (s, t) si può ancora vedere come elemento di una matrice stocastica.
Infatti, dal teorema della probabilità totale, si ha che, per s ≤ τ ≤ t
X
pij (s, t) = pir (s, τ )prj (τ, t), (22)
r∈E

che è l’equivalente dell’equazione di Chapman–Kolmogorov nella sua versione a


tempo continuo. UtilizzandoP la notazione matriciale P (s, t) = (pij (s, t))i,j∈E ,
risulterà P (s, s) = I e j∈E pij (s, t) = 1. Inoltre l’identità (22) può essere
scritta come
P (s, t) = P (s, τ )P (τ, t), (23)
per s ≤ τ ≤ t. Anche nel caso continuo, si definisce la classe delle catene di
Markov omogenee, ovvero catene di Markov a tempo continuo dipendenti da
s e t esclusivamente attraverso la differenza τ = t − s. In particolare si avrà
che P (s, s + τ ) è indipendente da s. Con un abuso di linguaggio, indichiamo
P (s, s + τ ) = P (τ ). In questo caso l’identità (23), diventa

P (t + h) = P (t)P (h). (24)

Nel seguito tratteremo solo catene di Markov a tempo continuo omogenee.


Se assumiamo in aggiunta che

lim P (t) = I,
t→0+

dalla (24) e si ricava facilmente che P (t) è continua non solo in 0, ma per ogni
t > 0. Infatti, si ha che

lim P (t + h) = lim P (t)P (h) = P (t).


h→0+ h→0+

51
Inoltre, per t > 0 e 0 < h < t, (24) diventa

P (t) = P (t − h)P (h).

Siccome P (h) → I, quando h → 0, P (h)−1 esiste per h sufficientemente piccolo


e h → 0+ P (h)−1 = I, allora

P (t) = P (t) lim P (h)−1 = lim P (t − h),


h→0+ h→0+

da cui segue la continuità di P (t).


In realtà, si può dimostrare che P(t) non è solo continua, ma anche differen-
ziabile. Infatti
P (t + h) − P (t) = P (t)(P (h) − I),
per t, h > 0. Dividendo per h e passando al limite per h → 0,si ha
P (t + h) − P (t) P (h) − I
lim = P (t) lim .
h→0 h h→0 δt
Indichiamo con Q la matrice
P (h) − I
Q = lim ,
h→0 δt
detta matrice dei rate di transizione o generatore infinitesimale. Si
dimostra che qij esistono (vedi [4]): in generale qii possono assumere valore
infinito, mentre qij , con i 6= j sono sempre finiti. Nel caso di catene di Markov
a stati finiti, si ha che 0 ≥ −qii < +∞.
Si ottiene cosı́
d
P (t) = P (t)Q,
dt
o analogamente
d
P (t) = QP (t). (25)
dt
Imponendo le condizioni iniziali P (0) = I, si ottiene che P (t) = eQt , nel senso
che
Q2 2
P (t) = I + Qt + t + ...,
2!
il che spiega in parte il nome della matrice Q.
Per una Catena di Markov a tempo continuo non omogenea, il generatore
infinitesimale dipenderà da t.
Un processo stocastico particolarmente importante, che rientra nella classe
delle catene di Markov a tempo continuo è il processo di Poisson. Lo intro-
duciamo mediante un esempio.

ESEMPIO 8.1 Indichiamo con Xn la durata di certi ”pezzi” di un sistema che


vengono sostituiti non appena si guastano. Possiamo supporre che (Xn )n≥1
sia una successione di variabili aleatorie indipendenti con legge esponenziale di

52
parametro λ, con λ > 0. Posto Tn = X1 + · · · + Xn il tempo di vita del sistema
dopo il cambio di n pezzi. Per ogni numero reale t ≥ 0 definiamo Nt a valori in
N ∪ {+∞} X
Nt = 1{Tn ≤t}
n≥1

La variabile aleatoria Nt rappresenta quindi il numero di guasti nel tempo [0, t].
È abbastanza semplice provare che Nt ha legge di Poisson di parametro λt per
ogni t > 0. In particolare P{Nt = +∞} = 0. Inoltre il processo (Nt )t≥0 ha
incrementi indipendenti, ovvero per ogni intero n ≥ 1 e per ogni 0 < t1 < . . . <
tn le variabili aleatorie Nt1 , Nt2 − Nt1 , . . . , Ntn − Ntn−1 sono indipendenti. La
famiglia di variabili aleatorie (Nt )t≥0 cosı́ costruita è una versione del processo
di Poisson.

In generale si ha che
Definizione 8.1 Si chiama processo di Poisson di parametro λ > 0 una
famiglia (Nt )t≥0 di variabili aleatorie su uno spazio probabilizzato (Ω, F, P) tali
che
1. per ogni ω ∈ Ω la traiettoria ω → Nt (ω) è regolare;
2. per ogni intero n ≥ 1 e per ogni 0 < t1 < . . . < tn le variabili aleatorie
Nt1 , Nt2 −Nt1 , . . . , Ntn −Ntn−1 sono indipendenti e hanno legge di Poisson
con parametri rispettivamente λt1 , λ(t2 − t1 ), . . . , λ(tn − tn−1 ).
A questo punto, è possibile fornire un’interpretazione fisica dei coeffici-
enti della matrice Q = (qij )i,j∈E . Consideriamo l’equazione scalare relativa
all’equazione differenziale (25) nel caso i = j, si ottiene

pii (t)|t=0 = qii ,
∂t
che può essere riscritta come

−qii = (1 − pii (t))|t=0 .
∂t
Siccome 1 − pii (t) rappresenta la probabilità che la catena di Markov lasci lo
stato i in un intervallo di lunghezza t, si ottiene che −qii può essere interpretato
come la frequenza con cui si verifica la transizione ”uscita dallo stato i”. In
maniera analoga il parametro qij , con i 6= j, può essere interpretato come la
frequenza con cui si verifica la transizione ”passaggio dallo stato i allo stato j”.
Inoltre, siccome P è una matrice di transizione si ottiene la seguente relazione
tra gli elementi della matrice Q
X
−qii = qij .
j6=i

Questa relazione andrebbe giustificata con opportune ipotesi nel caso di catene
di Markov a stati infiniti.

53
ESEMPIO 8.2 Nel caso particolare del processo di Poisson Nt descritto nell’esem-
pio precedente, si vede facilmente che pii (t) = eλt , da cui segue che −qii = λ,
che conferma l’interpretazione fisica data per qii . Infatti

P{Nt+h > i|Nt = i} = 1 − e−λh ,

per ogni h > 0 e i ∈ E, da cui si ottiene che


d
P{Nt+h > i|Nt = i}|h=0 = λ.
dh
La matrice Q gioca un ruolo fondamentale nell’analisi di transitorio e a
regime di una catena di Markov a tempo continuo omogenea. Infatti, in modo
analogo a quanto visto per le catene di Markov a tempo discreto, si possono
definire le leggi delle singole variabili aleatorie X(t), come

πj (t) = P{X(t) = j},

tali che, per il teorema della probabilità totale, devono soddisfare la relazione
matriciale
π(t) = π(0)P (t) = π(0)eQt .
Differenziando rispetto a t, diventa
d
π(t) = π(t)Q (26)
dt
Nell’analisi a regime delle catene di Markov a tempo continuo omogenee, ci si
chiede se i limiti limt→+∞ πj (t) esistono e se risultano indipendenti dalla legge
iniziale di X(0). Al tal scopo, esiste un risultato importante che estende al caso
continuo il Teorema 3.3.

Teorema 8.2 In una catena di Markov a tempo continuo (X(t))t≤0 irriducibile


con spazio degli stati finiti, esiste un’unica distribuzione limite π = limt→+∞ π(t),
tale che πj > 0, per ogni j ∈ E. Tale legge risulta indipendente da π(0). Infine,
il vettore π si determina in maniera univoca risolvendo il sistema di equazioni

πQ = 0,
X
πj = 1.
j∈E

ESEMPIO 8.3 Si consideri un sistema produttivo costituito da un’unica ma-


cchina che lavora un pezzo per volta e ha un tempo di lavorazione con legge
esponenziale di parametro λ1 . È previsto un tempo di setup tra due lavorazioni
successive con legge esponenziale di parametro λ2 . La macchina non è soggetta
a usura, quindi il tempo fra due guasti ha legge esponenziale di parametro λ3 .
Infine, supponiamo che la macchina guasta venga subito riparata e il tempo di
riparazione ha ancora una densità esponenziale di parametro λ4 .

54
Possiamo schematizzare gli stati del sistema con l’insieme {0, 1, 2}, dove 0:
fase di setup, 1: in lavorazione, 2: in riparazione. Il sistema è gestito in modo
tale che la macchina riparata può riprendere la lavorazione del pezzo che stava
lavorando prima del guasto. In questo caso la matrice Q diventa
 
−λ2 −λ2 0
 λ1 −(λ1 + λ3 ) λ3 
0 λ4 −λ4

È facile vedere che la catena di Markov è irriducibile con spazio degli stati finiti
e, quindi, tutti i suoi stati sono ricorrenti positivi. È possibile trovare la legge
limite π, risolvendo il sistema πQ = 0.
Contrariamente potremmo considerare il caso in cui la macchina riprenda la
lavorazione sempre da un pezzo nuovo. In questo caso il generatore infinitesimale
Q0 diventa  
−λ2 −λ2 0
 λ1 −(λ1 + λ3 ) λ3  .
λ4 0 −λ4
Risolvendo il sistema π 0 Q0 = 0 si ottiene che π00 > π0 , π10 < π1 e π20 < π2 e
questo porta a concludere che la prima politica sembra essere migliore rispetto
alla seconda.
Diamo ora un esempio significativo di catene di Markov a tempo continuo
con spazio degli stati infinito.
ESEMPIO 8.4 Processi di nascita e morte. I processi di nascita e morte pos-
sono essere considerati come l’estensione al caso continuo delle passeggiate
aleatorie. Tali processi sono importanti perché modellizzano molti fenomeni
in varie discipline. Consideriamo (X(t))t≥0 una catena di Markov omogenea a
tempo continuo con insieme degli stati N, tale che
(1) pi,i+1 (h) = λi h + o(h), i ≥ 0,
(2) pi,i−1 (h) = µi h + o(h), i ≥ 1,
(3) pi,i (h) = 1 − (λi + µi )h + o(h), i ≥ 0,
(4) pi,j (0) = δij ,
(5) µ0 = 0, λ0 > 0, µi , λi > 0, i ≥ 1,
con o(h) un funzione infinitesima per h ↓ 0, eventualmente dipendente da i. In
questo caso valgono le ipotesi per determinare il generatore infinitesimale Q,
che risulta essere la matrice
 
−λ0 λ0 0 0 ···
 µ1 −(µ1 + λ1 ) λ1 0 ··· 
 
 0
 µ2 −(µ2 + λ2 ) λ2 ··· 
 0 0 µ3 −(µ3 + λ3 ) · · · 
··· ··· ··· ··· ···

55
ESERCIZI

Es 8.1 Lungo un cavo sottomarino compaiono dei difetti, modelizzabili tramite


un processo di Poisson di parametro 0.1. Indichiamo con Xn il numero di difetti
entro ennesimo miglio di cavo. Qual è la probabilità che nessun difetto compaia
nelle prime due miglia di cavo? Sapendo che non si sono riscontrati difetti nelle
prime due miglia, qual è la probabilità di non aver difetti tra il secondo e il terzo
miglio?

Es 8.2 Supponiamo che la posizione in un’azienda possa essere occupata da


un lavoratore per ognuno dei tre livelli: principiante, junior, senior. Sia X(t)
il livello della persona nella posizione al tempo t e assumiamo che X(t) evolva
come una catena di Markov con matrice infinitesimale
 
−10 10 0
Q= 2 −5 3  .
1 0 −1

Calcolare la probabilità che alla fine della carriera, un lavoratore raggiunga il


livello senior.

56
9 Applicazioni: le catene di Markov in genetica
La teoria delle catene di Markov può essere utilizzata per simulare l’andamento
della frequenza genica sotto l’influenza delle mutazioni e della selezione. Il primo
ad utilizzare questo modello fu S. Wright negli anni Sessanta.
Inizialmente, descriviamo il modello di riproduzione casuale nel caso più
semplice in cui viene trascurato l’intervento delle mutazioni e delle selezioni.
Supponiamo di lavorare con una popolazione fissa di 2N geni, suddivisa in geni
di topo a e A. Assumiamo inoltre che la composizione di una nuova generazione
sia determinata come da 2N estrazioni indipendenti e con reiserimento, ossia
ogni nuovo individuo generato da una popolazione costituita da i a−geni e
(2N − i) A−geni, avrà probabilità di essere di tipo a (risp. A)
i
pi = ,
2N
−i
(risp. qi = 2N
2N ,) indipendentemente uno dall’altro. Inoltre selezioni ripetute
sono fatte con reinserimento. Con questa procedure si definisce una catena di
Markov (Xn )n≥0 , dove indichiamo con Xn il numero di a−geni nell’ennesima
generazione fra una popolazione costante di 2N elementi. Lo spazio degli stati
contiene, quindi, 2N + 1 valori. La probabilità di transizione sarà
 
2N j 2N −j
P{Xn+1 = j|Xn = i} = pi q i . (27)
j

Si può osservare che gli stati {0} e {2N } sono completamente assorbenti, cioè
una volta che Xn = 0 (risp. = 2N ), allora Xn+h = 0 (risp. = 2N ), per ogni
h ∈ N.
Un problema interessante è determinare la probabilità che, partendo da una
popolazione con i a−tipi, con i 6= 0, 2N , si arrivi a una popolazione pura, ovvero
formata solo da a−tipi o A−tipi. In particolare, questo coincide con il calcolo
della probabilità di assorbimento da un qualsiasi stato transiente i nella classe
degli stati riccorrenti {0, 2N }.

Un modello più realistico tiene ovviamente conto anche dei fattori muto-
geni. Assumiamo che, prima della formazione di una nuova generazione, ogni
gene possa cambiare nell’altro tipo. In particolare, assumiamo che a → A con
probabilità α e A → a con probabilità β. Ipotizziamo ancora che la nuova
generazione sia formata da 2N individui, ottenuti da ”estrazioni” indipendenti
e con reinserimento. Definito pi come nel caso precedente, possiamo assumere
che
i 2N − i
pi = (1 − α) + β,
2N 2N
qi = 1 − pi . (28)

La motivazione di questa scelta dipende dal fatto che, una volta avvenuta la
mutazione (prima della nuova generazione) il numero medio di a−tipi è i(1−α)+

57
(2N −i)β. Siccome la probabilità (mediata rispetto a tutte le possibili variazioni)
1
è 2N per il numero medio di a−tipi presenti, questo porta alla formula trovata.
Le probabilità di transizione associate alla nuova catena di Markov, sono definite
come in (27), a partire dai valori pi e qi dati in (28).
Se α e β sono positivi, allora ogni stato risulta essere ricorrente e non si può
concludere, come nel caso precedente, che una volta raggiunti gli stati {0} o
{2N }, la popolazione continui a rimanere pura. Nonostante questo, è possibile
calcolare la legge limite, tale distribuzione è detta distribuzione stazionaria della
frequenza genica.

Aggiungiamo ora, l’influenza delle forze selettive a favore, o contrarie, a


un gene. Supponiamo che il gene di tipo a sia avantaggiato, in modo che il
numero di discendenti attesi sia (1 + s)-volte quello previsto per il tipo A, con
s piccolo e positivo. In questo caso si sostituiscono ai valori di pj e qj calcolati
precedentemente con
(1 + s)j
pj = ,
2N + sj
q j = 1 − pj
e si costruisce la nuova generazione utilizzando un campionamento binomiale
come nel caso precedente. Infatti, se si considera inizialmente una popolazione
formata da j a − geni, allora nella generazione successiva il numero medio di
a−geni e A−geni sarà rispettivamente

(1 + s)j 2N − j
2N , 2N .
2N + sj 2N + sj
Confrontando i due valori ottenuti, si ottiene che il rapporto fra il numero medio
di a−geni e A−tipi nella (n + 1)−generazione è
 
(1 + s)j 1 + s numero di a − geni nell’n−esina generazione
= ,
2N + sj 1 numero di A − geni nell’n−esina generazione

e questo riassume il significato di selezione.

58
10 Applicazioni: lotto economico d’acquisto
Mostreremo ora un’applicazione dei processi puntuali alla determinazione del
lotto economico d’acquisto. Il problema consiste nell’ottimizzare la gestione
delle scorte di un’azienda acquista un certo prodotto in lotti di una certa quan-
tità e lo rivende per unità.
Per descrivere il modello supponiamo che:
1. i tempi Xn trascorsi tra la (n − 1)-esima ed n-esima vendita sono variabili
aleatorie con la stessa speranza m,
2. il costo di ordinazione K è indipendente dalla quantità di merce ordinata,
3. il costo di stoccaggio per unità di merce per unità di tempo è c.
Supporremo inoltre che l’azienda si rifornisca con S unità di prodotto non ap-
pena il magazzino sia vuoto.
Nelle ipotesi fatte le variabili aleatorie
X
Tn = X1 + · · · + Xn e Nt = 1{ Tn ≤t }
n≥1

sono rispettivamente il tempo necessario per vendere n unità e il numero di


pezzi venduti fino al tempo t.
Il costo di stoccaggio di una quantità S è quindi
Z ∞
c (S − Nt )+ dt.
0

Il costo medio di stoccaggio è perciò


Z ∞  Z S
∞X
cE (S − Nt )+ dt = c P{ S − Nt ≥ k } dt
0 0 k=1
Z S
∞X
= c P{ Nt ≤ S − k } dt
0 k=1
Z S
∞X
= c P{ Nt < S + 1 − k } dt
0 k=1
Z S
∞X
= c P{ Nt < h } dt
0 h=1

Osservando che { Nt < h } = { Th > t } troviamo la seguente formula per il


costo medio di stoccaggio
Z ∞  S Z
X ∞
+
cE (S − Nt ) dt = c P{ Th > t } dt
0 h=1 0

59
S
X
= c E[Th ]
h=1
S
X
= c mh
h=1
= cmS(S + 1)/2.

Il costo totale di un lotto, ovvero la somma del costo di ordinazione e di stoccag-


gio, è quindi
cmS(S + 1)
K+
2
e il costo totale medio per unità di merce è

K cm(S + 1)
+ .
S 2
Minimizzando (rispetto a S) questa funzione troviamo che la quantità di merce
da acquistare per ottimizzare i costi di ordinazione e stoccaggio è
r
2K
S= .
cm

60
References
[1] P. Baldi Calcolo delle Probabilità e Statistica. McGraw–Hill, Milano 1992.
[2] W. Feller An Introduction to Probability Theory and its Applications.
[3] S. Karlin, H. Taylor A First Course in Stochastic Processes. Academic
Press, New-York 1972.

[4] S. Karlin, H. Taylor A Second Course in Stochastic Processes. Academic


Press, New-York 1975.
[5] N. Pintacuda, Catene di Markov, ETS Editrice, 2000.
[6] Norris
[7] Nummelin, E. (1984). General irreducible Markov chains and non-negative
operators. Cambridge Tracts in Mathematics, 83. Cambridge University
Press, Cambridge.
[8] W. Woess Catene di Markov e teoria del potenziale nel discreto. Quaderni
dell’Unione Matematica Italiana n.41, Pitagora Editrice, Bologna, 1996.

61