Processi Stocastici

(anno accademico 2019/20)

27 aprile 2020

1 Catene di Markov

1.1 Definizione ed esempi

Definizione 1.1 Un processo stocastico {Xn , n ∈ N}, definito sullo spazio di probabilità
( Ω, F, P ) e assumente valori in un insieme S finito o numerabile, si chiama catena
di Markov a parametro discreto se per ogni x0 , x1 , . . . , xn ∈ S sussiste la seguente
proprietà, detta proprietà di Markov:

P (Xn = xn | Xn−1 = xn−1 , . . . , X0 = x0 ) = P (Xn = xn | Xn−1 = xn−1 ).

Tale proprietà afferma che, dato un istante di osservazione n − 1, lo stato della catena
negli istanti successivi dipende unicamente dallo stato occupato dalla catena nell’istante
di osservazione e non dagli stati occupati precedentemente. Questo si traduce, in maniera
informale, affermando che lo stato futuro della catena dipende da quello presente ma
non dal passato del processo.

Definizione 1.2 Si definiscono probabilità di transizione ad un passo le seguenti

quantità:
Pi,j;n := P (Xn = j| Xn−1 = i), i, j ∈ S , n ∈ N.

Esse rappresentano la probabilità che la catena passi dallo stato i occupato al tempo
n − 1 allo stato j occupato al tempo n. È bene osservare che le probabilità di transizione
non dipendono soltanto da i e da j, bensì anche da n.

Definizione 1.3 Se per tutti gli stati i, j ∈ S e ∀ n ≥ 0 le probabilità di transizione

Pi,j;n non dipendono da n, allora la catena si dice omogenea.

1
D’ora in avanti si tratteranno solo catene di Markov a parametro discreto omogenee. Ne
consegue che, per indicare le probabilità di transizione, sarà possibile omettere il pedice
n utilizzando la seguente notazione

Pij := P (Xn = j| Xn−1 = i), i, j ∈ S.

A seconda di quanti siano gli stati che la catena può assumere, è possibile avere un
numero finito o un’infinità numerabile di probabilità di transizione a un passo.
È conveniente, dunque, anche da un punto di vista visivo, raggruppare tali probabilità
in una matrice, che si indicherà con P.

Definizione 1.4 La matrice i cui elementi sono le probabilità di transizione a un passo

si dice matrice di transizione a un passo

P := (Pij )i,j∈S . (1)

Osservazione 1.1 È bene osservare che

• se lo spazio degli stati S è infinito, allora la matrice P ha infinte righe ed infinite

colonne;

• se, invece, lo spazio degli stati S è finito, ad esempio S = {0, 1, ..m}, allora la
matrice P è del tipo:
 
P00 P01 ··· P0j ··· P0m
 
 P10 P11
 P1j ··· P1m 

 .. ..
.

 . ··· 
P= 
P
 i0 Pi1 ··· Pij ··· Pim 

 . .. 
 .. . 
 
Pm0 Pm1 ··· Pmj · · · Pmm

Ogni elemento di P corrisponde ad una probabilità di transizione ad un passo, in parti-

colare

• gli elementi della riga i-esima corrispondono alle probabilità di transizione a un

passo che hanno come stato iniziale i;

• gli elementi della colonna j-esima corrispondono alle probabilità di transizione a

un passo che hanno come stato finale j.

2
Per la matrice P valgono le seguenti proprietà:

1. Pij ≥ 0 ∀i, j ∈ S,
P
2. j∈S Pij = 1 ∀i ∈ S.

Definizione 1.5 Una matrice P per la quale valgano le proprietà sopra riportate si dice
matrice stocastica.

È facile dimostrare che la matrice di transizione ad un passo di una catena di Markov è

una matrice stocastica.
La prima proprietà vale certamente essendo le componenti della matrice delle probabilità.
La seconda proprietà richiede che la somma degli elementi di ogni riga della matrice di
transizione sia uguale ad 1. Essa è soddisfatta in quanto
X X
Pij = P (Xn = j| Xn−1 = i) = 1.
j∈S j∈S

Inoltre, è possibile dimostrare che la matrice di transizione ad un passo, insieme alla

distribuzione iniziale, definiscono completamente il processo. Sussiste infatti la seguente
proposizione.

Proposizione 1.1 La matrice di transizione P := (Pij )i,j∈S e la distribuzione di proba-

bilità di X0 , detta anche distribuzione iniziale, determinano la distribuzione congiunta
delle variabili aleatorie (Xn )n≥0 .

Pertanto, se si conosce la distribuzione di probabilità di X0 e la matrice di transizione, si

può ottenere la distribuzione congiunta delle variabili aleatorie Xn , e, di conseguenza, si
possono calcolare tutte le probabilità di eventi determinati dalle variabili aleatorie Xn .

Esempio 1.1 Sia {Xn , n ∈ N} una catena di Markov. Sia nota la matrice di transi-
zione ad un passo, (Pij )i,j∈S , e la legge iniziale della catena, P (X0 = k), ∀ k ∈ N.
Si determini P (X2 = i2 , X1 = i1 , X0 = i0 ) , i0 , i1 , i2 ∈ S.
In virtù della proprietà di Markov risulta

P (X2 = i2 , X1 = i1 , X0 = i0 ) = P (X2 = i2 |X1 = i1 , X0 = i0 ) · P (X1 = i1 , X0 = i0 )

= P (X2 = i2 |X1 = i1 ) · P (X1 = i1 |X0 = i0 ) · P (X0 = i0 ) = Pi1 i2 · Pi0 i1 · P (X0 = i0 ) .

In maniera analoga è possibile calcolare la distribuzione congiunta di tutte le variabili

aleatorie Xn .

3
Nel seguito saranno illustrati alcuni esempi di Catene di Markov.

Esempio 1.2 Estrazione da un mazzo di carte

Si consideri l’esperimento aleatorio che consiste nell’estrazione di carte, senza rimpiaz-
zamento, da un mazzo di 52 carte. Le carte sono estratte una alla volta e, una volta
estratte tutte le carte, l’esperimento ricomincia dall’inizio.
Indicata con Xn , n ≥ 1, la carta ottenuta all’estrazione n-esima, si ottiene una succes-
sione di variabili aleatorie (Xn )n≥1 .
In questo caso (Xn )n≥1 non è una catena di Markov: la probabilità di ottenere come
risultato dell’estrazione n-esima una certa carta dipende dai risultati di tutte le estrazioni
precedenti e non unicamente dall’esito dell’estrazione (n − 1)-esima.
Ad esempio:

P (X3 = asso di picche|X2 = asso di quadri, X1 = asso di picche) = 0

1
6= P (X3 = asso di picche|X2 = asso di quadri) = .
51
Esempio 1.3 Successione di variabili aleatorie
Sia {Xn , n ≥ 0} una successione di variabili aleatorie definite su uno spazio di proba-
bilità (Ω, F, P), indipendenti, a valori interi non negativi ed equidistribuite, con an =
P (Xk = n) , k, n ∈ N. Allora, (Xn )n≥0 è una catena di Markov omogenea con spazio
degli stati N e matrice di transizione P = (Pij )i,j∈N data da
 
a0 a1 a2 ··· ··· ···
 
a0 a1
 a2 ··· · · · · · ·

 .. ... 
. ··· 
P=  
a0 a1 a2 ··· · · · · · ·

. .. 
 .. . 
 
a0 a1 a2 ··· ··· ···

Esempio 1.4 Catena di Markov a due stati.

Un dispositivo elettronico può trovarsi in due soli stati: funzionante o guasto. Indichia-
mo con 1 lo stato funzionante e con 0 quello guasto. Sia poi Xn lo stato del dispositivo
al tempo n, dove Xn ∈ (0, 1) = S.
Sia α la probabilità, che al tempo n il dispositivo sia funzionante, sapendo che al tempo
n − 1 il dispositivo era rotto, indipendentemente dallo stato assunto nei giorni preceden-
ti. Sia, inoltre, β la probabilità che il dispositivo sia guasto al tempo n, sapendo che al
tempo n − 1 il dispositivo era funzionante, indipendentemente dallo stato assunto nei

4
giorni precedenti.
Per come è stata definita, (Xn )n≥1 risulta essere una catena di Markov e le probabilità
di transizione ad un passo sono date da

P (Xn = 1 | Xn−1 = 0) = α,

P (Xn = 0 | Xn−1 = 1) = β.

La matrice di transizione ad un passo risulta quindi

" #
1−α α
P= .
β 1−β

Esempio 1.5 Modello di Ehrenfest.

Consideriamo due scatole A e B, in cui sono contenute d molecole etichettate con i
numeri da 1 a d, alcune nella scatola A e le rimanenti nella scatola B. Ad ogni istante
viene estratto un numero compreso tra 1 e d e la molecola contraddistinta dall’etichetta
con il numero estratto, viene spostata dalla scatola in cui si trova all’altra.
Supponiamo di ripetere indefinitamente questa operazione di estrazione e assumiamo che
le singole estrazioni siano indipendenti fra loro.
Sia Xn il numero di molecole contenute nella scatola A dopo l’n-esima estrazione.
Allora (Xn )n≥1 è una catena di Markov, con spazio degli stati S = {0, 1.....d}, essendo
per 0 < i < d,
d−i
P (Xn+1 = i + 1|Xn = i, Xn−1 = in−1 , ....X0 = i0 ) = P (Xn+1 = i + 1|Xn = i) = ,
d
e
i
P (Xn+1 = i − 1|Xn = i, Xn−1 = in−1 , ....X0 = i0 ) = P (Xn+1 = i − 1|Xn = i) = .
d
Risulta inoltre
P0,1 = 1, Pd,d−1 = 1.

5
La matrice di transizione risulta pertanto
 
0 1 0 ··· ··· 0 0
1 d−1
···

d 0 d
0 0 0
 
0 2 0 d−2
0 ··· 0 0
 d d 
. ..
 ..

 . ··· 

. ..
.

P=
. . ··· .

. ...
 ..

 ··· 

 .. .. 
.
 . ··· 

d−1 1
0 0 0 ··· 0

d d
0 0 0 ··· 0 1 0

Esempio 1.6 Passeggiata aleatoria unidimensionale.

La passeggiata aleatoria unidimensionale descrive il moto di una particella vincolata a
muoversi su una retta secondo il seguente schema: ad ogni istante n la particella si
sposta verso destra o verso sinistra in accordo al risultato di una variabile aleatoria Zn
che assume il valore +1 con probabilità p e il valore −1 con probabilità q = 1 − p.

La successione {Zn ; n = 1, 2, . . .} è costituita da variabili aleatorie indipendenti ed iden-

ticamente distribuite e determina quindi l’evoluzione della passeggiata aleatoria.
Sia Xn , n ≥ 0, la variabile aleatoria che rappresenta la posizione della particella all’i-
stante n. Assumendo X0 = 0, risulta quindi

Xn = Xn−1 + Zn , n = 1, 2, . . . . (2)

Il processo stocastico (Xn )n≥1 è una catena di Markov con spazio degli stati

S = {· · · , −2, −1, 0, +1, +2, · · · } .

La matrice di transizione ad un passo è una matrice tridiagonale costituita da infinite

righe e colonne. Gli elementi della diagonale principale sono tutti nulli, quelli della

6
diagonale superiore uguali a p e quelli della diagonale inferiore uguali a q. Risulta
quindi

Pii = 0, ∀i ∈ {. . . , −2, −1, 0, 1, 2, . . .},

Pi,i+1 = p, ∀i ∈ {. . . , −2, −1, 0, 1, 2, . . .},
Pi,i−1 = q, ∀i ∈ {. . . , −2, −1, 0, 1, 2, . . .},
Pij = 0, con j 6= i + 1, i − 1.

Osservazione 1.2 Se si impongono delle restrizioni sul cammino, ad esempio una o

più barriere, si parla di passeggiata aleatoria in presenza di barriere. Se il moto
termina quando la particella incontra una di queste barriere, allora si dice che le barriere
sono assorbenti. Le barriere (o stati) assorbenti sono caratterizzate dalla proprietà di
permanenza della particella in tale stato; in altri termini, se k è uno stato assorbente,
allora risulta Pkk = 1.

Esempio 1.7 Rovina del giocatore.

Assumiamo che un giocatore A disponga di un capitale pari ad a euro e ingaggi una
partita contro il giocatore B, che possiede un capitale iniziale di b euro. Supponiamo,
poi, che il gioco consista in una successione di partite, in ognuna delle quali il giocatore
A vince 1 euro del capitale di B con probabilità p e perde 1 euro del suo capitale a favore
di B con probabilità q = 1 − p.
Poiché i due giocatori non possono giocare a credito, il gioco terminerà quando si presenta
una delle seguenti eventualità:

• A realizza il massimo guadagno possibile pari a b euro, ossia il capitale di B;

• A perde tutto il suo capitale iniziale, ottenendo un guadagno di −a euro.

Indichiamo con Xn il guadagno del giocatore A alla partita n-esima. Il processo stocastico
(Xn )n≥1 è una catena di Markov con spazio degli stati

S = {−a, · · · , 0, · · · , +b} .

L’equazione (2) può riscriversi al seguente modo:

Xn = Z1 + · · · + Zn , (3)

dove Z1 , . . . , Zn sono variabili aleatorie indipendenti, identicamente distribuite e tali che

P (Zi = +1) = p e (Zi = −1) = q, con p + q = 1. Se per qualche n risulta Xn = −a

7
oppure Xn = b allora o A ha perso tutto il suo capitale oppure A ha vinto tutto il
capitale di B. In questo caso è possibile immaginare che il processo resti in −a oppure
in b indefinitamente. Gli stati −a e b sono dunque stati assorbenti, ossia tali da aversi

P−a,−a = Pb,b = 1.

A titolo di esempio, supponiamo che A e B comincino il loro gioco con un capitale

di 2 euro a testa, e quindi a = b = 2. Di conseguenza, lo spazio degli stati è S =
{−2, −1, 0, +1, +2}, dove −2 e +2 sono barriere assorbenti. La catena di Markov che
descrive i guadagni di A è caratterizzata dalla seguente matrice di transizione ad un
passo:  
1 0 0 0 0
 
q 0 p 0 0
 
P = 0 q 0 p 0
 
 
0 0 q 0 p
 
0 0 0 0 1
Osservazione 1.3 Se indichiamo con PA la probabilità che il giocatore A, partendo con
un capitale iniziale di a euro, vinca il gioco e con PB la probabilità che il giocatore A,
partendo con un capitale iniziale di a euro, sia rovinato, allora risulta

PA + PB = 1.

Dunque il gioco terminerà certamente con la vittoria di uno dei due giocatori.

1.2 Probabilità di transizione ad n passi

In maniera del tutto analoga a quanto fatto con le probabilità di transizione ad un passo
si definiscono le probabilità di transizione ad n passi, n ∈ N.

Definizione 1.6 Si chiama probabilità di transizione a n passi la probabilità

(n)
Pij := P (Xm+n = j| Xm = i), i, j ∈ S, n ≥ 0.

Esse rappresenta la probabilità che la catena di Markov, trovandosi all’istante m nello

stato i, occupi, all’istante n + m, lo stato j.
(n)
Osservazione 1.4 Poiché la catena di Markov è omogenea allora le probabilità Pij
sono indipendenti da m, e pertanto
(n)
Pij = P (Xn = j| X0 = i).

8
A seconda di quanti siano gli stati che la catena può assumere, è possibile avere un nume-
ro finito o un’infinità numerabile di probabilità di transizione a n passi. È conveniente,
dunque, anche in questo caso, raggruppare tali probabilità in una matrice.

Definizione 1.7 La matrice i cui elementi sono le probabilità di transizione a n passi

(n ≥ 1) si dice matrice di transizione a n passi
(n)
P(n) := (Pij )i,j∈S . (4)

Se, ad esempio, lo spazio degli stati S è finito, con S = {0, 1, 2, . . . , m}, la matrice di
transizione a n passi è la seguente:
 (n) (n) (n) (n)

P00 P01 ··· P0j · · · P0m
 (n) (n) (n) (n) 
P10 P11
 P1j · · · P1m  
 .. ... 
(n)
 . ··· 
P = P (n) P (n) (n) (n)

 i0 i1 ··· Pij · · · Pim  
 . .. 
 .. . 
 
(n) (n) (n) (n)
Pm0 Pm1 ··· Pmj · · · Pmm
Esiste un’interessante relazione che lega le matrici P e P(n) . Tale relazione è nota come
equazione di Chapman-Kolmogorov ed è espressa nella seguente proposizione.

Proposizione 1.2 Per ogni i, j ∈ S e n ≥ 1, vale l’equazione di Chapman-Kolmogorov

(n)
X (n−1)
Pi,j = Pi,h Ph,j . (5)
h∈S

Dimostrazione Risulta, in virtù della proprietà di Markov,

(n) P (Xn+m = j, Xm = i)
Pi,j = P (Xn+m = j| Xm = i) =
P (Xm = i)
P
P (Xn+m = j, Xn+m−1 = h, Xm = i)
= h∈S
P (Xm = i)
P
P (Xn+m = j| Xm+n−1 = h) P (Xn+m−1 = h, Xm = i)
= h∈S
P (Xm = i)
X
= P (Xn+m = j| Xn+m−1 = h) P (Xn+m−1 = h| Xm = i).
h∈S

Quindi, utilizzando la definizione di probabilità di transizione a n − 1 passi e la proprietà

di omogeneità della catena, si ottiene
(n)
X (n−1)
X (n−1)
Pij = P (Xn+m = j | Xn+m−1 = h) · Pih = Phj Pih .
h∈S h∈S

9
La relazione di Chapman-Kolmogorov appena dimostrata si può scrivere nella seguente
forma compatta
P(n) = P(n−1) P, (6)

dove le matrici P e P(n) sono state definite nelle equazioni (1) e (4), rispettivamente.
Vale inoltre la seguente proposizione.

Proposizione 1.3 Per ogni n ≥ 1, risulta

P(n) = Pn . (7)

Dimostrazione L’Eq. (7) si ottiene dalla (6) applicando iterativamente la relazione di

Chapman-Kolmogorov. 

L’Eq. (7) indica che la matrice di transizione a n passi può essere ottenuta moltiplicando
la matrice di transizione ad un passo n volte per se stessa, secondo il prodotto righe per
colonne.

Esempio 1.8 Riprendiamo la catena di Markov descritta nell’Esempio 1.4.

Supponiamo, in particolare, di descrivere il funzionamento di una macchina mediante
una catena di Markov a due stati. Indichiamo tali stati con 0 e 1, rispettivamente,
a seconda che la macchina sia guasta o funzionante in un certo giorno. Quindi se
{Xn ; n = 1, 2, . . .} denota la catena di Markov che descrive lo stato della macchina al
giorno n, lo spazio degli stati è S = {0, 1}.
Supponiamo che le probabilità di transizione α e β siano rispettivamente pari a 0,7 e
0,4. Calcoliamo la probabilità che, nell’ipotesi in cui la macchina sia guasta il giorno n,
la stessa sia guasta anche dopo quattro giorni. In altre parole, determiniamo la seguente
probabilità:
(4)
P0,0 = P (X4 = 0 | X0 = 0).

La matrice di transizione ad un passo è

" #
0,3 0,7
P=
0,4 0,6

Dalla (7) segue che P(4) = P4 . Resta pertanto da calcolare P4 . Usando le proprietà della
2
potenza, si ha che P4 = (P2 ) e dunque è sufficiente calcolare la matrice di transizione
a due passi " #" # " #
0,3 0,7 0,3 0,7 0,37 0,63
P2 = = .
0,4 0,6 0,4 0,6 0,36 0,64

10
Moltiplicando P2 per se stessa si ha
" #" # " #
0,37 0,63 0,37 0,63 0,3637 0,6363
P4 = = ,
0,36 0,64 0,36 0,64 0,3636 0,6364
(4)
da cui segue P0,0 = 0,3637.

1.3 Probabilità di stato

Definizione 1.8 Sia {Xn , n ≥ 0} una catena di Markov con spazio degli stati S. Per
ogni n ≥ 0, j ∈ S, le probabilità
(n)
pj = P (Xn = j)

si chiamano probabilità di stato al tempo n e rappresentano la probabilità che la catena

di Markov si trovi nello stato j al tempo n.

Definizione 1.9 Il vettore le cui componenti sono le probabilità di stato al tempo n,

n ≥ 0, si dice vettore delle probabilità di stato
(n)
p(n) := (pj )j∈S .

Osservazione 1.5 Il vettore p(0) rappresenta la distribuzione iniziale della catena di

Markov.

La seguente proposizione mostra come, nota la distribuzione iniziale della catena di Mar-
kov e la matrice di transizione ad n passi, è possibile calcolare il vettore delle probabilità
di stato.

Proposizione 1.4 Sia {Xn , n ≥ 0} una catena di Markov caratterizzata da matrice di

(0)
transizione ad n passi P(n) e distribuzione iniziale (pi )i∈S , risulta
(n)
X (0) (n)
pj = pi Pij , j ∈ S.
i∈S

Dimostrazione Condizionando sullo stato assunto inizialmente, si ha

X X
P (Xn = j) = P (Xn = j, X0 = i) = P (Xn = j|, X0 = i) · P (X0 = i).
i∈S i∈S

Ricordando le definizioni di probabilità di transizione a n passi e quella di probabilità

di stato segue infine la tesi. 

11
La proposizione appena enunciata può essere espressa equivalentemente nella seguente
forma compatta.

Proposizione 1.5 Data una catena di Markov {Xn , n ≥ 0} con matrice di transizione
ad n passi P(n) e distribuzione iniziale p(0) , risulta

p(n) = p(0) · P(n) ,

dove il prodotto è inteso righe per colonne.

Esempio 1.9 Consideriamo la catena di Markov a tre stati, S = { 1, 2, 3 }, caratteriz-

zata dalla seguente matrice di transizione ad un passo
 
1 1 1
2 4 4
P=
1 0 0 .

0 1 0

Supponiamo che la catena nell’istante iniziale occupi lo stato 1 con probabilità 1, ossia
P (X0 = 1) = 1, e calcoliamo la distribuzione di Xn al tempo n = 3. Risulta:

p(3) = p(0) · P(3) = (1, 0, 0) · P3 .

Essendo     
1 1 1 1 1 1 1 3 1
2 4 4 2 4 4 2 8 8
P2 = 
1 0 0 1 0 0 =
  1
2
1
4
1 ,
4
0 1 0 0 1 0 1 0 0
si ha quindi che
    
1 3 1 1 1 1 5 2 1
2 8 8 2 4 4 8 8 8
P3 = P2 · P = 1
2
1
4
1 
4 
1 0 0=
2
4
3
8
1 .
8
1 1 1
1 0 0 0 1 0 2 4 4

Pertanto,  
5 2 1
8 8 8  
(3) 2 3 1
5 2 1
p = (1, 0, 0) · 4 8 8
= , , .
8 8 8
1 1 1
2 4 4

Esempio 1.10 Si consideri la catena di Markov con spazio degli stati S = {1, 2},
caratterizzata dalla seguente matrice di transizione ad un passo
" #
p 1−p
P= ,
0 1

12
con 0 < p < 1. Calcoliamo la matrice di transizione ad n passi ed il vettore delle
probabilità di stato al tempo n. Posto q = 1 − p si ha che
" # " # " #
2
p q p q p pq + q
P2 = · = .
0 1 0 1 0 1

Inoltre " # " # " #

p2 pq + q p q p3 p2 q + pq + q
P3 = P2 · P = · = .
0 1 0 1 0 1
Procedendo in questo modo si ottiene:
" Pn−1 j # " n #
n n
p q j=0 p p 1 − p
Pn = = .
0 1 0 1

Pertanto, assegnata la legge iniziale della catena di Markov p(0) = (1, 0), allora il
vettore delle probabilità di stato al tempo n è dato da
" #
n n
p 1 − p
p(n) = (1, 0) · = (pn , 1 − pn ),
0 1
con 0 < p < 1.

Classificazione degli stati

Consideriamo una catena di Markov {Xn , n ≥ 0}, e sia S lo spazio degli stati. Presi
i, j ∈ S, diremo che lo stato j è raggiungibile dallo stato i se e solo se, partendo dallo
stato i, la probabilità che Xn raggiunga j in n passi, con n finito, è strettamente positiva.
Vale infatti la seguente definizione.

Definizione 1.10 Uno stato j ∈ S si dice raggiungibile dallo stato i ∈ S, e si indica

(n)
con i → j, se esiste un intero n ≥ 0 tale che Pij > 0.

Definizione 1.11 Due stati i e j si dicono comunicanti, e si indica con i ↔ j, se sono

raggiungibili vicendevolmente.

Teorema 1.1 La relazione di comunicabilità è una relazione di equivalenza.

Dimostrazione Osserviamo che, per i, j ∈ S,


1 se i = j
(0)
Pij = .
0 altrimenti

13
Pertanto, ogni stato comunica con se stesso e quindi la relazione di comunicabilità veri-
fica la proprietà riflessiva. La relazione di comunicabilità soddisfa inoltre la proprietà di
simmetria, come segue immediatamente dalla definizione di comunicabilità. Dimostria-
mo infine che vale anche la proprietà transitiva. Supponiamo quindi che i comunichi con
j (i ↔ j) e che j comunichi con k (j ↔ k) e dimostriamo che i comunica con k (i ↔ k).
In virtù della definizione di comunicabilità si ha che
(n)
i↔j ⇔ ∃ n t.c. Pij > 0
(m)
j ↔ k ⇔ ∃ m t.c. Pjk > 0,

e pertanto, utilizzando la relazione di Chapman-Kolmogorov, si ottiene che

(n+m)
X (n) (m) (n) (m)
Pi,k = Pi,r · Pr,k > Pij · Pjk > 0,
r∈S

dimostrando che lo stato k è raggiungibile dallo stato i. In maniera analoga si può

dimostrare che lo stato i è raggiungibile dallo stato k, da cui segue la tesi. 

Osservazione 1.6 In virtù del Teorema 1.1, la relazione di comunicabilità consente di

suddividere lo spazio degli stati S in classi di equivalenza. Una classe di stati è pertanto
un sottoinsieme A dello spazio S tale che ∀i, h ∈ A gli stati i ed h comunicano, e, per
ogni i ∈ A, j ∈ S − A, gli stati i e j non comunicano.

Definizione 1.12 Una catena di Markov si dice irriducibile se la sola classe di stati
non vuota è l’insieme S.

Dalla precedente definizione segue che in una catena irriducibile tutti gli stati comuni-
cano, ovvero esiste una sola classe di equivalenza.
(n)
Osservazione 1.7 Se esiste un n tale che Pij > 0, ∀i, j ∈ S, allora tutti gli stati
comunicano e pertanto la catena di Markov è irriducibile.

Osservazione 1.8 Una catena che non sia irriducibile si definisce riducibile.

Definizione 1.13 Una classe C si dice chiusa se le condizioni i ∈ C e i → j implicano

j ∈ C.

Una classe chiusa è pertanto una classe da cui non c’è alcuna possibilità di uscita.

Definizione 1.14 Uno stato i ∈ S si dice assorbente se {i} è una classe chiusa.

14
 Una catena di Markov con spazio degli stati S finito può essere rappresentata me-
diante un grafo i cui nodi rappresentano gli stati della catena di Markov. Inoltre, le
frecce tra i nodi rappresentano le transizioni da uno stato all’altro. Su ogni freccia è
possibile mettere un’etichetta che rappresenta la probabilità di transizione da uno stato
all’altro. Ovviamente la somma delle etichette delle frecce uscenti da ciascun nodo deve
valere 1.

Esempio 1.11 Consideriamo la catena di Markov con spazio degli S = {1, 2, 3, 4, 5, 6},
caratterizzata dalla seguente matrice di transizione ad un passo
 
1 1
0 0 0 0
2 2 
 0 0 1 0 0 0
 
1
 3 0 0 13 13 0

P=  0 0 0 1 1 0 .

 2 2 
 
 0 0 0 0 0 1
 
0 0 0 0 1 0
Il grafo associato è dato da
1/2 1/2

1 4
1/3
1/3

1/2

3 1/2

2 1

1/3 1
5 6
1

Lo spazio degli stati S può essere suddiviso nelle seguenti classi:

• {5, 6}. Questa è una classe chiusa poiché dal nodo 5 si può andare solo nel nodo
6 con probabilità 1 e viceversa.

• {1, 2, 3}. I nodi di questa classe comunicano poiché dal nodo 1 è possibile raggiun-
gere gli altri nodi di questa classe e viceversa.

15
 • {4}. Dal nodo 4 è possibile raggiungere solo il nodo 5 ma da questo si può andare
solo nel nodo 6.

Esempio 1.12 Consideriamo una catena di Markov {Xn , n ≥ 0} con spazio degli stati
S = {0, 1, 2}, caratterizzata dalla seguente matrice di transizione ad un passo
 
1 1
0
2 2 
P= 1 1 1
2 4 4 .
0 13 23

Il grafo associato alla matrice di transizione è il seguente:

1/2 2/3

0 2

1/2 1/4

1/2 1/3
1

1/4

Questo è un esempio di catena irriducibile. Infatti 0 ↔ 1 e 1 ↔ 2 e quindi anche i nodi

0 e 2 comunicano tra loro tramite il nodo 1.

Esempio 1.13 Consideriamo una catena di Markov {Xn , n ≥ 0} con spazio degli stati
S = {0, 1, 2, 3}, e matrice di transizione ad un passo
 
1 1
2 2
0 0
1 1
20 0 2
P= 
11 1

1
44 4 4
0 0 0 1

Il grafo associato alla matrice di transizione è dato da

16
 1/2 1/4

0 1/4 2

1/2
1/4 1/4
1/2
1 3

1/2 1

Lo spazio degli stati di Xn è riducibile in tre classi: {0, 1}, {2} e {3}. Gli stati 0 ed 1
sono infatti accessibili dallo stato 2 ma non vale il viceversa. La classe {3} è una classe
chiusa poiché 3 è uno stato assorbente.

Esempio 1.14 Consideriamo una catena di Markov {Xn , n ≥ 0} con spazio degli stati
S = {0, 1, 2, 3}, e matrice di transizione ad un passo
 
0 14 0 43
1
 2 0 13 61 

P= 0 0 0 1

 
0 12 14 41

Il grafo associato alla matrice di transizione è dato da

0 2
1/2 1/3
1/4 1
1/4 1/2 1/4

1 1/6 3

3/4

La catena Xn è irriducibile.

Esempio 1.15 La rovina del giocatore Riprendiamo il problema della rovina del
giocatore. Sia fissato m ≥ 2 e siano 0 < p, q < 1 tali che p + q=1. Due giocatori A e B

17
con capitali iniziali di a euro e b euro rispettivamente, con m = a + b, giocano un certo
numero di partite in ognuna delle quali A vince 1 euro (pagato da B) con probabilità p
e perde 1 euro (pagato a B) con probabilità q = 1 − p.
Per n ≥ 1, sia Yn = {il capitale del giocatore A alla partita n-esima}, si ha

Yn = a + Z1 + · · · + Zn

dove Zi , i = 1, 2, . . ., sono v.a. indipendenti ed identicamente distribuite con P (Zi =

1) = p e P (Zi = −1) = q.
Allora il processo {Yn , n ≥ 0} è una catena di Markov con spazio degli stati S =
{0, 1, 2, . . . , m} e matrice di transizione
 
1 0 0 0 ... 0 0 0
 
q 0 p 0 ... 0 0 0
 
 
0 q 0 p ... 0 0 0
 
. 
P= .
 
. 
 
.
 

 
0 0 0 0 ... q 0 p
 
0 0 0 0 ... 0 0 1

Lo spazio degli stati S può essere suddiviso in queste classi:

• {0} e {m} sono classi chiuse, dato che 0 ed m sono stati assorbenti. Infatti

(n)
P0,j = 0, ∀n ≥ 1, ∀j ∈ {1, . . . , m}

e
(n)
Pm,i = 0, ∀n ≥ 1, ∀i ∈ {0, . . . , m − 1};

• {1, 2, ..., m − 1}. Infatti, per ogni i, j ∈ {1, 2, . . . , m − 1}, si ha che

(j−i)
Pij = pj−i > 0, i < j,

e
(i−j)
Pij = q i−j > 0, i > j.

Esempio 1.16 Successione di variabili aleatorie Sia {Xn , n ≥ 0} una successione

di variabili aleatorie indipendenti, a valori interi non negativi ed equidistribuite, con

18
an = P (Xk = n) , k ∈ N. La catena di Markov (Xn )n≥0 ha spazio degli stati N e
matrice di transizione
 
a0 a1 a2 ··· ··· ···
 
a0
 a1 a2 · · · · · · · · ·

 .. ... 
. ··· 
P= .
a
 0 a1 a2 · · · · · · · · ·

. .. 
 .. . 
 
a0 a1 a2 ··· ··· ···
Osserviamo che
   
a a1 a2 ... a a1 a2 ...
 0   0 
a a1 a2 ...  a0 a1 a2 ...

 0 
   
a0 a1 a2 ...  · a0 a1 a2 ...

P2 = P · P = 
 ...

   ...
... ... ...  ... ... ...

   
 ... ... ... ...
  ... ... ... ...

 
... ... ... ... ... ... ... ...
 P P P 
a( a ) a1 ( k ak ) a2 ( k ak ) ...
 0 Pk k P P 
a (
 0 k ak ) a1 ( k ak ) a2 ( k ak ) ...
 P P P 
a0 ( k ak ) a1 ( k ak ) a2 ( k ak ) ...
= .

 ... ... ... ...
 

 ... ... ... ...
... ... ... ...
+∞
X +∞
X
Essendo ak = P (Xj = k) = 1, risulta
k=0 k=0
 
a a1 a2 ...
 0 
a a1 a2 ...
 0 
 
2
a0 a1 a2 ...
P =
 ..
 = P.
 ... ... ...

 
 ... ... ... ...
 
... ... ... ...
(n)
Procedendo analogamente si dimostra che P(n) = P e quindi che, ∀n ≥ 1, Pij = Pij =
aj , ∀i, j ∈ S. In conclusione ak > 0 ∀k ≥ 0 è una condizione necessaria e sufficiente
affinché la catena (Xn )n≥0 sia irriducibile.

19
 (n)
Definizione 1.15 Dato uno stato i ∈ S tale che l’insieme Ei = {n ≥ 1 | Pi,i > 0}
sia diverso dall’insieme vuoto, si definisce periodo dello stato i il massimo comune
divisore dei numeri n appartenenti ad Ei .

Definizione 1.16 Uno stato di periodo d > 1 si definisce periodico di periodo d.

Diversamente, se uno stato ha periodo d = 1 si dice aperiodico.

Dalla definizione segue che uno stato i è periodico di periodo d > 1, se, partendo dallo
stato i al tempo 0, la catena non può ritornare nello stato i ad istanti m che non siano un
(m) m
multiplo intero di d. In altre parole, Pi,i = 0 se d
∈
/ N. Invece uno stato i è aperiodico
se è possibile individuare due numeri consecutivi m e m + 1 tali che la catena si può
trovare nello stato i in questi istanti.
Vale inoltre la seguente proposizione

Proposizione 1.6 Consideriamo una catena di Markov Xn con spazio degli stati S e
siano i, j ∈ S. Se i ↔ j allora il periodo dello stato i coincide con il periodo dello stato
j. In altre parole la periodicità è una proprietà di classe.

Esempio 1.17 Consideriamo una catena di Markov con spazio degli stati S = {0, 1, 2},
caratterizzata da matrice di transizione ad un passo
 
0 1 0
 
P=  0 0 1.

1 0 0
Il grafo associato alla matrice di transizione è il seguente:
1

0 1 2

1 1

La catena è irriducibile poiché tutti gli stati comunicano. Inoltre, Il periodo di ciascuno
stato è tre.

Esempio 1.18 Consideriamo la catena di Markov Xn con spazio degli stati S = {0, 1, 2},
caratterizzata da matrice di transizione ad un passo
 
1 2
0
3 3 
P= 1 1
2 0 2 .
0 41 34

20
Il grafo associato che rappresenta la matrice di transizione è il seguente:

1/3 2/3 1/2 3/4

0 1 2

1/2 1/4

La catena è irriducibile poiché tutti gli stati comunicano. Inoltre è aperiodica.

Esempio 1.19 Sia data la catena di Markov Xn con spazio degli stati S = {0, 1, 2, 3},
e matrice di transizione ad un passo
 
1 1
0 0
 21 2
1

20 0 2
P= 
2 1
.
0 0 3 3 
0 0 41 43

Il grafo associato alla matrice di transizione è dato da

1/2 1/2 1/2 2/3 1/3 3/4

0 1 2 3

1/2 1/4

Lo spazio degli stati è suddiviso nelle due classi {0, 1} e {2, 3}, che sono entrambe
aperiodiche.

Definizione 1.17 Uno stato i si dice ricorrente se

+∞
!
[
P (Xn = i) | X0 = i = 1,
n=1

altrimenti si dice transiente.

Uno stato i è ricorrente se, partendo dallo stato i al tempo 0, la catena di Markov
ritorna nello stato i in un tempo finito, quasi certamente. Ovviamente, poichè uno stato
ricorrente dopo ciascuna visita sarà nuovamente occupato con probabilità uno, allora
esso sarà visitato infinitamente spesso.

Osservazione 1.9 Ogni stato assorbente è uno stato ricorrente, in quanto, una volta
occupato tale stato, la catena non lo lascerà più.

21
Osservazione 1.10 Se uno stato i appartiene ad una classe chiusa, allora esso è ricor-
rente.

Uno stato i è transiente se, una volta entrato nello stato i, c’è una probabilità stretta-
mente positiva che il processo non ritorni più nuovamente nello stato i.

Osservazione 1.11 Uno stato i è transiente se e solo se esiste uno stato j, diverso da
i, tale che j è accessibile dallo stato i mentre i non è accessibile dallo stato j.

Vale inoltre la seguente proposizione

Proposizione 1.7 Essere ricorrente (transiente) è una proprietà di classe.

Esempio 1.20 La rovina del giocatore Abbiamo visto che lo spazio degli stati di
questa catena di Markov risulta suddiviso nelle tre classi di equivalenza

{0}, {1, 2, . . . , m − 1} , {m}.

Le classi {0} ed {m} sono entrambe ricorrenti. Ogni stato i ∈ {1, 2, . . . , m − 1} è invece
transiente. Infatti, partendo dallo stato i, la catena arriverà in 0 con probabilità

P ∪+∞ i


n=1 (Xn = 0) | X0 = i ≥ P (Xi = 0 | X0 = i) = q .

Analogamente, partendo dallo stato i, la catena arriverà nello stato m con probabilità

P ∪+∞ m−i


n=1 (Xn = m) | X0 = i ≥ P (Xm−i = m | X0 = i) = p .

Pertanto

P ∪+∞ +∞



n=1 (X n = i) | X 0 = i ≤ 1 − P ∪ n=1 (X n = 0) | X 0 = i
−P ∪n=1 (Xn = m) | X0 = i ≤ 1 − q i − pm−i < 1.
+∞

Esempio 1.21 Consideriamo la catena di Markov con spazio degli stati S = {0, 1, 2, 3}
e matrice di transizione ad un passo
 
0 31 32 0
 1 1 
0 2 2 0
P=
1 0 0 0 .

 
2 1
0 3 3 0

Il grafo associato alla matrice di transizione è dato da

22
 1/3 1/2

0 1

2/3 2/3
1/2
1

2 3

1/3

Lo spazio degli stati di questa catena è suddiviso nelle classi {0, 1, 2} e {3}. Gli stati
della classe {0, 1, 2} sono ricorrenti, mentre 3 è uno stato transiente.

Esempio 1.22 Consideriamo la catena di Markov con spazio degli stati S = {0, 1, 2, 3}
e caratterizzata dal seguente grafo

1 3/5 1

0 3/5 1 2 2/5 3

2/5

Lo spazio S risulta suddiviso nelle classi {0}, {1, 2} e {3}. Le classi {0} e {3} sono
stati assorbenti e quindi ricorrenti. La classe {1, 2} è invece transiente.

Esempio 1.23 Consideriamo una catena di Markov con spazio degli stati S = {1, 2, 3, 4, 5}
e matrice di transizione ad un passo
 
1 1
2
0 0 0 2
 1 1

0 0 0 
 2 2 
P = 0 0 1 0 0 .
 
 
0 1 1 1 1 
 4 4 4 4
1
2
0 0 0 12

Il grafo associato alla matrice di transizione è dato da

23
 1/2 1/4

1 4

1/2 1/2 1/4 1/4 1/2

1

1/4 1/2
5 2

1/2

Lo spazio S risulta suddiviso nelle classi {3}, {1, 5} e {2, 4}. La classe {3} è uno stato
assorbente e la classe {1, 5} è chiusa. Gli stati {3} e {1, 5} sono ricorrenti. Gli stati
{2, 4} sono transienti.

Esempio 1.24 Consideriamo una catena di Markov con spazio degli stati S = {0, 1} e
grafo associato alla matrice di transizione ad un passo

7/10 5/10 5/10

0 1

3/10

La catena è irriducibile e aperiodica. Gli stati sono tutti ricorrenti.

Esempio 1.25 Consideriamo la catena di Markov con spazio degli stati S = {0, 1, 2, 3},
e grafo associato alla matrice di transizione ad un passo

24
 5/10 5/10 1

0 1 2 3

1
5/10

5/10

Lo spazio S risulta suddiviso nelle classi {0, 1} e {2, 3}. La classe {2, 3} è chiusa. Gli
stati {2, 3} sono ricorrenti. Gli stati {0, 1} sono transienti.

Denotiamo nel seguito con Pi (·) = P (·|X0 = i), ossia la probabilià di un certo evento con-
dizionata dallo stato iniziale della catena. Vale il seguente teorema di caratterizzazione
degli stati ricorrenti e transienti.

Teorema 1.2 Per ogni i ∈ S risulta

• i è ricorrente ⇔ Pi (Xn = i, i.o.) = 1,

• i è transiente ⇔ Pi (Xn = i, i.o.) = 0.

\[
dove {Xn = i, i.o.} = lim sup{(Xn = i)} = (Xn = i).
n→∞
k≥1 n≥k

Per n ≥ 1, sia (
1 se Xn = i
In =
0 altrimenti.
Si definisce numero di visite allo stato i successivamente all’istante iniziale, la
variabile aleatoria
+∞
X
Vi := In .
n=1
Si ha pertanto il seguente risultato.

Proposizione 1.8 Sia Xn una catena di Markov con spazio degli stati S e sia i ∈ S. Il
numero medio di visite della catena allo stato i, partendo da i, è dato da
+∞
X ∞
X (n)
Ei (Vi ) = Pi (Xn = i) = Pii .
n=1 n=1

25
Definizione 1.18 Dato uno stato j ∈ S, si definisce tempo di prima entrata nello
stato j la variabile aleatoria a valori in N ∪ {+∞} definita come
(  
min n ≥ 1 : Xn (ω) = j se n ≥ 1 : Xn (ω) = j 6= ∅
Tj (ω) =
+∞, altrimenti.

Dalla definizione segue che ∀j ∈ S e ∀n ≥ 1,

− {Tj = 1} = {X1 = j}

− {Tj = n} = {Xn = j ∩ Xn−1 6= j ∩ · · · ∩ X1 6= j},

− {Tj < +∞} = ∪n≥1 {Xn = j}.

Definizione 1.19 Sia Xn una catena di Markov con spazio degli stati S e stato inziale
X0 = i. Per ogni i, j ∈ S e n > 0, definiamo

(n)
fij = Pi (Tj = n) = P (Tj = n|X0 = i),

e
+∞
X (n)
fij? = fij = Pi (Tj < +∞) = P (Tj < +∞|X0 = i) = P (∪n≥1 (Xn = j) | X0 = i).
n=1

Si pone inoltre
(0)
fij = 0.

(n)
Dalla precedente definizione segue che, per ogni n ≥ 1, fij? ≥ fij e quindi, in particolare,
(1)
fij? ≥ fij = Pij .

Osservazione 1.12 Essendo la catena omogenea, per ogni i, j ∈ S e per ogni n, m ≥ 1,

risulta
(n)
fij = P (Tj = n + m|Xm = i).

Sulla base delle definizioni ora introdotte, vale inoltre la seguente proposizione.

Proposizione 1.9 Per ogni i ∈ S,

− lo stato i è ricorrente se e solo se fii? = 1.

− lo stato i è transiente se e solo se fii? < 1.

Il risultato del seguente teorema è noto come equazione dei rinnovi.

26
Teorema 1.3 Per ogni i, j ∈ S e per ogni n ≥ 1, risulta
n
X
(n) (m) (n−m)
Pij = fij · Pjj .
m=1

Dimostrazione Iniziamo con l’osservare che l’evento (Xn = j) può essere rappresentato
come unione di eventi disgiunti

(Xn = j) = (Xn = j, Tj = 1) ∪ (Xn = j, Tj = 2) ∪ · · · ∪ (Xn = j, Tj = n)

[n
= (Xn = j, Tj = m),
m=1

in quanto, se al tempo n la catena si trova nello stato j, questo significa che è entrata
per la prima volta in j o proprio al tempo n oppure vi era già entrata in un istante
precedente ad n. Pertanto, per la proprietà di Markov,
n
X
(n)
Pij = Pi (Xn = j) = Pi (Xn = j, Tj = m) = Pi (Xn = j, Xn−1 6= j, . . . , X1 6= j)
m=1
n−1
X
+ Pi (Xn = j, Xm = j, Xm−1 6= j, . . . , X1 6= j)
m=1
n−1
X
(n)
= fij + P (Xn = j | Xm = j, Xm−1 6= j, . . . , X1 6= j, X0 = i)
m=1
×Pi (Xm = j, Xm−1 6= j, . . . , X1 6= j)
n−1
X
(n)
= fij + P (Xn = j|Xm = j)Pi (Tj = m)
m=1
n−1
X
(n) (n−m) (m)
= fij + Pjj · fij .
m=1

Come conseguenza dell’equazione dei rinnovi si ha la seguente proposizione.

Proposizione 1.10 Per ogni i, j ∈ S risulta

fij? > 0 ⇐⇒ i → j

(n)
Dimostrazione Se fij? > 0, allora esiste un certo n ≥ 1 tale che fij > 0. Essendo poi
(n) (n) (n)
fij ≤ Pij , si ricava Pij > 0, ossia i → j.
(n)
Viceversa, se i → j, esiste un certo n ≥ 1 tale che Pij > 0. Pertanto dall’equazione dei
(r)
rinnovi segue che esiste un r, 1 ≤ r ≤ n, tale che fij > 0 e quindi fij? > 0. 

27
Il seguente Teorema fornisce un criterio fondamentale in termini di numero medio di
visite della catena allo stato i per stabilire se uno stato è transiente o ricorrente.

Teorema 1.4 Sia Xn una catena di Markov con spazio degli stati S e sia i ∈ S. Allora
P∞ (n)
(i) lo stato i è transiente ⇐⇒ n=0 Pii < ∞ ;
P∞ (n)
(ii) lo stato i è ricorrente ⇐⇒ n=0 Pii = ∞.

Dimostrazione Dimostreremo la condizione (i).

Sia ∞ < ∞, ossia ∞
P (n) P
n=1 Pii n=1 Pi (Xn = i) < ∞. Allora per il primo lemma di
Borel Cantelli risulta
Pi (Xn = i, i.o.) = 0,

e quindi lo stato i è transiente in virtù del Teorema 1.2.

Supponiamo ora che lo stato i sia transiente, ossia fii? < 1. Definiamo
∞
X ∞
X
n (n) (n)
Pii (s) = s Pii =1+ sn Pii , (8)
n=0 n=1

e ∞
X (n)
Fii (s) = sn fii . (9)
n=1

Notiamo che Pii (s) e Fii (s) sono serie di potenze con raggio di convergenza ρ ≥ 1.
Partendo dall’equazione dei rinnovi, per j = i, si ottiene
n
X
(n) (m) (n−m)
Pii = fii · Pii ,
m=1

Da questa, moltiplicando ambo i membri per sn , si ottiene

n
X
(n) (m) (n−m) n−m
sn Pii = sm fii Pii s ,
m=1

ed infine, dalle Eqs. (8) e (9), si ottiene

∞
X ∞
X ∞
X
(n) (m) (n−m)
sn Pii = sm fii sn−m Pii
n=1 m=1 n=m
X∞ X∞
(m) (r)
= sm fii sr Pii = Fii (s) · Pii (s).
m=1 r=0

In conclusione, ricordando nuovamente la (8), si ottiene

Pii (s) − 1 1
Fii (s) = , Pii (s) = , |s| < 1.
Pii (s) 1 − Fii (s)

28
Quindi, essendo
∞
X ∞
X
(n) (n)
lim− Pii (s) = Pii , lim− Fii (s) = fii = fii∗ ,
s→1 s→1
n=0 n=1

se fii∗ < 1 risulta

1 1
Pii (1) = = < +∞,
1 − Fii (1) 1 − fii∗
P∞ (n)
da cui segue n=0 Pii < +∞. 
P+∞ (n) (n)
Osservazione 1.13 Se lo stato i è ricorrente si ha che n=1 fii = 1, e quindi {fii , n ≥
1}, costituisce una distribuzione di probabilità e pertanto si può definirne il valore atteso.

Definizione 1.20 Dato uno stato ricorrente i, si definisce tempo medio di ricorren-
za ∞
X (n)
Mi = n · fii .
n=1
In particolare

- se Mi < ∞, lo stato i è detto ricorrente positivo;

- se Mi = ∞, lo stato i è detto ricorrente nullo.

Osservazione 1.14 Dalla definizione (9) si ricava facilmente che

Mi = Fii0 (1).

La seguente proposizione mostra che l’essere ricorrenti (transienti) è una proprietà di

classe.

Proposizione 1.11 Sia J una classe di stati e sia i ∈ J. Se i è uno stato ricorrente
(transiente), allora ogni elemento di J è ricorrente (transiente).

Dimostrazione Sia k ∈ J con k 6= i. Poiché i e k sono nella stessa classe allora i ↔ k

e quindi ∃ l, m ≥ 1 tali che
(l) (m)
Pik > 0, Pki > 0.
Quindi, in virtù della relazione di Chapman-Kolmogorov, per ogni n ≥ 1, risulta
(l+n+m) (m) (l+n) (m) (n) (l)
Pkk ≥ Pki · Pik ≥ Pki · Pii · Pik .

Da tale relazione segue che

∞
X ∞
X
(l+n+m) (m) (l) (n)
Pkk ≥ Pki · Pik · Pii = +∞
n=1 n=1

e quindi k è ricorrente. 

29
Osservazione 1.15 Risulta
∞
hX i X∞ ∞
X (n)
Ei 1(Xn =j) = Pi (Xn = j) = Pij .
n=0 n=0 n=0

P∞ (n)
Quindi la serie n=0 Pij rappresenta il numero medio di visite della catena nello stato
j partendo dallo stato i.
P∞ (n)
Corollario 1.1 Se j ∈ S è uno stato transiente, allora ∀i ∈ S risulta n=0 Pij < ∞.
In particolare, partendo da qualunque stato i ∈ S, la catena di Markov passa per j quasi
certamente solo un numero finito di volte.

Dimostrazione Se i = j allora la convergenza della serie segue immediatamente dal

Teorema 1.4.
Sia i 6= j. Per l’equazione dei rinnovi e ricordando che lo stato j è transiente, si ha
∞
X ∞
X ∞
X ∞
X
(n) (m) (r) (r)
Pij = fij · Pjj = fij? · Pjj < +∞.
n=0 m=1 r=0 r=0

P∞ (n) P∞
Notiamo che essendo n=0 Pij < +∞, la variabile aleatoria n=0 1(Xn =j) ha valore
medio finito e pertanto è finita con probabilità 1. Pertanto, quasi certamente si verifica
un numero finito di eventi {(Xn = j)}. 

Corollario 1.2 Una catena di Markov con spazio degli stati S finito ha almeno uno
stato ricorrente.

Dimostrazione Procediamo per assurdo supponendo che tutti gli stati siano transienti.
Allora, ∀i, j ∈ S, ∞
P (n) (n)
n=0 Pij < ∞ e quindi in particolare limn→∞ Pij = 0.
Ricordando poi che P(n) è una matrice stocastica si ha anche che
X (n)
Pij = 1.
j∈S

Quindi, ricordando che per ipotesi S è finito, si ottiene

X (n)
X (n)
1 = lim Pij = lim Pij = 0,
n→∞ n→∞
j∈S j∈S

che è un assurdo. 

Corollario 1.3 Se la catena è irriducibile e lo spazio degli stati S è finito, allora tutti
gli stati sono ricorrenti.

30
Esempio 1.26 Sia Xn una catena di Markov con spazio degli stati S = {1, 2, 3} e
matrice di transizione  
1 − 2ρ 2ρ 0
 
P=
 ρ 1 − 2ρ ρ ,

0 2ρ 1 − 2ρ
con 0 ≤ ρ ≤ 1/2.
Se ρ = 0, tutti gli stati sono assorbenti e quindi ricorrenti.
Supponiamo ora ρ 6= 0. Osserviamo che la matrice di transizione P è diagonalizza-
bile, essendo P = BΛB −1 , dove
1 1 1
 

  4 2 4   
 
1 1 1   1 0 0
1 1
 
B −1
   
B=1 0 −1, = 0 − , Λ=0 1 − 2ρ 0 .
  2 2  
1 −1 1 


 0 0 1 − 4ρ
1 1 1 
−
4 2 4
Pertanto
1 (1 − 4ρ)n (1 − 2ρ)n [1 − (1 − 4ρ)n ] 1 (1 − 4ρ)n (1 − 2ρ)n
 
4 + + + −
 4 2 2 4 4 2 

 
 
1 (1 − 4ρ)n [1 + (1 − 4ρ)n ] 1
Pn = BΛn B −1
 
= n .
− [1 − (1 − 4ρ) ]

 4 4 2 4 

 
 
 1 (1 − 4ρ)n (1 − 2ρ)n [1 − (1 − 4ρ)n ] 1 (1 − 4ρ) n
(1 − 2ρ)n
+ − + −
4 4 2 2 4 4 2
Dall’espressione di Pn si ricava che, per |s| < 1 e 0 < ρ ≤ 1/2,
∞
X (n) 1 1 1 1 1 1
P11 (s) = sn P11 = + + .
n=0
4 1 − s 4 1 − s(1 − 4ρ) 2 1 − s(1 − 2ρ)

Quindi,
lim P11 (s) = +∞,
s→1−

ossia lo stato 1 è ricorrente. Poiché tutti gli stati comunicano, anche gli altri stati
P11 (s) − 1
sono tutti ricorrenti. Infine, ricordando che F11 (s) = , si ottiene che M1 =
P11 (s)
0
lims→1− F11 (s) = 4 , e quindi lo stato 1 è ricorrente positivo.

Esempio 1.27 Passeggiata aleatoria unidimensionale.

Riprendiamo l’esempio della passeggiata aleatoria unidimensionale che descrive il moto

31
di una particella che parte dall’origine e che ad ogni istante può compiere un passo
verso sinistra con probabilità q o verso destra con probabilità p. Abbiamo già visto che la
matrice di transizione ad un passo è una matrice tridiagonale costituita da infinite righe
e colonne

Pii = 0, ∀i ∈ {. . . , −2, −1, 0, 1, 2, . . .},

Pi,i+1 = p, ∀i ∈ {. . . , −2, −1, 0, 1, 2, . . .},
Pi,i−1 = q, ∀i ∈ {. . . , −2, −1, 0, 1, 2, . . .},
Pij = 0, con j 6= i + 1, i − 1,

dove 0 < p, q < 1, p + q = 1.

Questa catena è irriducibile e quindi gli stati sono tutti ricorrenti o tutti transienti.
2n+1
Inoltre ogni stato è periodico di periodo 2. Infatti per ogni n ∈ N, risulta P0,0 = 0,
mentre  
2n 2n n n (2n)!
P0,0 = p q = (pq)n
n n!n!
Ricordando la formula di Stirling, si ottiene la seguente approssimazione del fattoriale
 n n √
n! ' 2πn,
e
2n
che, sostituita nell’espressione di P0,0 , permette di scrivere, per n sufficientemente gran-
de,
√
2n 2n
2n 4πn (4pq)n
P0,0 ∼ e
(pq)n = ,
n 2n

p
e
2πn A n/2
√
dove A = 2π ∈ [1, +∞).
1
Se p = q = 2
allora ∃ m tale che, per n ≥ m,

2n 1
P0,0 ≥ √ ,
2A n

e quindi
+∞ +∞
X (2n) 1 X 1
P0,0 > √ = +∞.
n=m
2A n=m n
Questo prova che lo stato 0 è ricorrente e di conseguenza tutti gli stati sono ricorrenti.
Inoltre si può dimostrare che M0 = +∞, cioè 0 è ricorrente nullo.
Se invece p 6= q, allora 4pq = r ∈ (0, 1),e quindi ∃ m tale che, per n ≥ m,

(2n) rn
P0,0 ≤ ,
A

32
e quindi
+∞ +∞
X (2n) 1 X n
P0,0 < r < +∞.
n=m
A n=m
Quindi lo stato 0 è transiente e di conseguenza tutti gli stati sono transienti.

Esempio 1.28 Un problema di inventario.

Un negozio vende un modello particolare di videocamera. Gli ordini possono essere
effettuati il sabato sera e le consegne saranno fatte il lunedì mattina.
Il negozio utilizza la seguente politica:

- se il numero di videocamere nell’inventario è inferiore ad s, il negozio ordina nuove

videocamere in modo da portare la fornitura a S;

- se il numero di videocamere nell’inventario è maggiore o uguale a s, il negozio non

ordina nuove videocamere.

Supponiamo s = 1 e S = 3, pertanto

- se non ci sono videocamere nell’inventario il sabato sera, il negozio ordina 3 nuove

videocamere;

- se ci sono una o più videocamere disponibili nell’inventario il sabato sera, il negozio

non ordina nuove videocamere.

Indichiamo con X0 il numero di videocamere inizialmente disponibili nel negozio, e

sia Xn , n ≥ 1, la variabile aleatoria che rappresenta il numero di videocamere presenti
nell’inventario il sabato sera della n-esima settimana. Ricordando la politica seguita dal
negozio, risulta Xn ∈ {0, 1, 2, 3}.
Al fine di descrivere Xn+1 in termini di Xn , introduciamo le variabili aleatorie
{Dn , n ≥ 1}, dove Dn rappresenta il numero di richieste di acquisto della videoca-
mera ricevute dal negozio nel corso della n-esima settimana. Supponiamo inoltre che
le variabili aleatorie {Dn } siano indipendenti ed identicamente distribuite, con variabile
genitrice D. Risulta quindi
(
max{3 − Dn+1 , 0} se Xn = 0
Xn+1 =
max{Xn − Dn+1 , 0} se Xn ≥ 1.

La successione {Xn , n ≥ 1} è una catena di Markov con spazio degli stati S = {0, 1, 2, 3}
e matrice di transizione ad un passo

33
  
P (D ≥ 3) P (D = 2) P (D = 1) P (D = 0)
 
P (D ≥ 1) P (D = 0) 0 0 
P= .
P (D
 ≥ 2) P (D = 1) P (D = 0) 0 

P (D ≥ 3) P (D = 2) P (D = 1) P (D = 0)
Il grafo associato alla matrice di transizione è il seguente:

0 1 2 3

Supponiamo ora che la variabile aleatoria D abbia distribuzione di Poisson di para-

metro λ = 1, ossia
e−1
P (D = k) = , k = 0, 1, 2, . . . .
k!
Questo consente di specializzare la matrice di transizione ad un passo nel seguente modo
 
0,08
0,184 0,368 0,368
 
0,632 0,368 0 0 
P=
0,264 0,368 0,368
.
 0 

0,08 0,184 0,368 0,368
Quindi, ad esempio, la matrice di transizione a due passi è data da
   
0,08 0,184 0,368 0,368 0,08 0,184 0,368 0,368
   
0,632 0,368 0 0   · 0,632 0,368 0 0 

P2 = 0,264

 0,368 0,368 0  

0,264 0,368 0,368 0 
0,08 0,184 0,368 0,368 0,08 0,184 0,368 0,368
 
0,249 0,286 0,300 0,165
 
0,283 0,252 0,233 0,233
= 0,351
,
 0,319 0,233 0,097 
0,249 0,286 0,300 0,165

34
mentre per la matrice di transizione a tre passi si ottiene
   
0,249 0,286 0,300 0,165 0,08 0,184 0,368 0,368
   
0,283 0,252 0,233 0,233 · 0,632 0,368 0 0 

P3 = 0,351 0,319 0,233

 0,097 
0,264 0,368 0,368 0 

0,249 0,286 0,300 0,165 0,08 0,184 0,368 0,368
 
0,293 0,292 0,263 0,152
 
0,262 0,273 0,275 0,190
=
0,299 0,286 0,250
.
 0,165

0,293 0,292 0,263 0,152

La catena è irriducibile e gli stati {0, 1, 2, 3} sono tutti ricorrenti.

Fissato come stato iniziale X0 = 3, supponiamo di essere interessati al numero di
settimane necessarie perché il negozio effettui il primo ordine.
Ad esempio, la probabilità che il primo ordine sia effettuato in una settimana è data
da
(1)
f30 = P3,0 = 0,08.

Per calcolare la probabilità che il primo ordine sia effettuato in n ≥ 2 settimane,

ricordiamo che per il teorema dei rinnovi, risulta
n−1
X
(n) (n) (n−m) (m)
fij = Pij − Pjj · fij .
m=1

Quindi, ad esempio, la probabilità che il primo ordine sia effettuato in 2 settimane è

data da
1
X
(2) (2) (2−m) (m) (2) (1) (1)
f30 = P3,0 − P0,0 · f30 = P3,0 − P0,0 · f30 = 0,249 − 0,08 · 0,08 = 0,2426.
m=1

mentre la probabilità che il primo ordine sia effettuato in 3 settimane è data da

2
X
(3) (3) (3−m) (m) (3) (2) (1) (1) (2)
f30 = P3,0 − P0,0 · f30 = P3,0 − P0,0 · f30 − P0,0 · f30
m=1
= 0,293 − 0,08 · 0,249 − 0,2426 · 0,08 = 0,254.

Esempio 1.29 Catena di Markov a due stati.

Consideriamo la catena di Markov (Xn )n∈N a due stati S = {0, 1} e con matrice di
transizione !
1−α α
P=
β 1−β

35
dove 0 < α, β < 1.
La matrice di transizione a n passi è data da
!
1 β + α(1 − α − β)n α − α(1 − α − β)n
Pn = .
α+β β − β(1 − α − β)n α + β(1 − α − β)n

Per 0 < α, β < 1, la catena è irriducibile e tutti gli stati sono ricorrenti.
Consideriamo ora il caso generale 0 ≤ α, β ≤ 1, ponendo λ = 1 − α − β. Risulta
allora
+∞ +∞
(
X (n)
X β + αλn +∞, se β>0
P00 = = P+∞
n=1 n=1
α+β n
n=1 (1 − α) < +∞, se β=0 e α > 0.

Quindi lo stato 0 è transiente se β = 0 e α > 0, altrimenti è ricorrente. In maniera

analoga:

+∞ +∞
(
X (n)
X α + βλn +∞, se α>0
P11 = = P+∞
n=1 n=1
α+β n
n=1 (1 − β) < +∞, se α=0 e β > 0.

Quindi lo stato 1 è transiente se α = 0 e β > 0, altrimenti è ricorrente.

1.4 Leggi invarianti e distribuzioni limite

Iniziamo questo paragrafo con un esempio.

Esempio 1.30 Catena di Markov a due stati.

Consideriamo la catena di Markov (Xn )n∈N a due stati S = {0, 1} e con matrice di
transizione !
1−α α
P=
β 1−β
dove 0 < α, β < 1.
La matrice di transizione a n passi è data da
!
1 β + α(1 − α − β)n α − α(1 − α − β)n
Pn = .
α+β β − β(1 − α − β)n α + β(1 − α − β)n

Al limite risulta !
1
n β α
lim P = . (10)
n→+∞ α+β β α
essendo −1 < 1 − α − β < 1.

36
 Quindi, in particolare

(n)β (n)
lim P00 = = lim P10
n→+∞ α+β n→+∞
(11)
(n) α (n)
lim P01 = = lim P11 .
n→+∞ α + β n→+∞
In questo esempio esiste pertanto la distribuzione limite della catena di Markov che
è data dal vettore
 
β α
π = (π0 , π1 ) = , . (12)
α+β α+β
Notiamo che il vettore π soddisfa la seguente relazione
!
1−α
 
β α α
πP = , ·
α+β α+β β 1−β
1
= (β(1 − α) + αβ, αβ + α(1 − β))
α+β
1
= (β, α) = π,
α+β
ossia πP = π. Questa condizione si esprime dicendo che la distribuzione π è invariante
per la catena di Markov con matrice di transizione P.

Definizione 1.21 Una legge µ su S è invariante per la catena di Markov (Xn )n∈N se
la v.a. Xn ha legge µ per ogni n ≥ 0 .

Proposizione 1.12 Una legge µ su S è invariante per la catena di Markov Xn se e solo

se ∀i ∈ S risulta
X
µi = µj Pji . (13)
j∈S

Dimostrazione Indicata con µ la legge di X0 , risulta, per ogni i ∈ S,

X
νi := P (X1 = i) = P (X1 = i, X0 = j)
j∈S
X X
= P (X1 = i|X0 = j)P (X0 = j) = µj Pji . (14)
j∈S j∈S

Dimostriamo innanzitutto l’implicazione da sinistra verso destra. Se µ è una legge

invariante per la catena di Markov, allora le variabili aleatorie Xn hanno legge µ per
ogni n ≥ 0, e pertanto νi = µi per ogni i ∈ S cosicché l’Eq. (14) diventa
X
µi = µj Pji . (15)
j∈S

37
Quindi vale la relazione (13).
Dimostriamo ora l’implicazione da destra verso sinistra. Supponiamo per ipotesi che
valga la relazione (13) e dimostriamo, ragionando per induzione, che le variabili aleatorie
Xn hanno legge µ per ogni n ≥ 0.
Sia µ la legge di X0 e supponiamo che valga l’eq. (13). Risulta allora
X X
P (X1 = i) = P (X1 = i|X0 = j)P (X0 = j) = Pji · µj = µi ,
j∈S j∈S

e quindi X1 ha legge µ.
Supponiamo ora che la variabile aleatoria Xn−1 abbia legge µ e dimostriamo che
anche Xn ha legge µ.

X
P (Xn = i) = P (Xn = i|Xn−1 = j)P (Xn−1 = j)
j∈S
X
= Pji µj = µi .
j∈S

Quindi Xn ha legge µ per ogni n ≥ 0 e pertanto µ è una legge invariante. 

Osservazione 1.16 Una legge µ su S è invariante per la catena di Markov Xn con

matrice di transizione P se e solo se µ = µ · P.

Sussiste poi il seguente Teorema.

Teorema 1.5 Una catena di Markov (Xn )n∈N con spazio degli stati S finito ammette
almeno una legge invariante.

Osservazione 1.17 Una catena di Markov può avere più di una legge invariante.

Esempio 1.31 La rovina del giocatore

Consideriamo la catena di Markov {Xn , n ≥ 0} studiata nel problema della rovina del
giocatore, con spazio degli stati S = {0, 1, 2, . . . , m} e matrice di transizione
 
1 0 0 0 ... 0 0 0
 
q 0 p 0 ... 0 0 0
 
 
0 q 0 p ... 0 0 0
 
. 
P= .
 
. 
 
.
 

 
0 0 0 0 ... q 0 p
 
0 0 0 0 ... 0 0 1

38
In questo caso è facile verificare che le distribuzioni π := (1, 0, . . . , 0), π̃ := (0, 0, . . . , 1),
ed ogni loro combinazione lineare convessa λ · π + (1 − λ) · π̃ = (λ, 0, . . . , 0, 1 − λ),
0 ≤ λ ≤ 1, sono tutte legge invarianti.

Osservazione 1.18 Una catena di Markov con spazio degli stati S infinito può non
avere alcuna legge invariante.

Esempio 1.32 Passeggiata aleatoria unidimensionale

Consideriamo la passeggiata aleatoria su Z e dimostriamo che non possiede alcuna legge
invariante.
Supponiamo per assurdo che esista tale legge invariante (πi )i∈Z .
Ricordando l’Eq. (13), la distribuzione πi deve soddisfare la relazione

πi = q · πi+1 + p · πi−1 , i ∈ Z,

ossia, essendo p + q = 1, con 0 < p, q < 1,

q · (πi+1 − πi ) = p · (πi − πi−1 ).

Quindi risulta
p
πi+1 − πi = (πi − πi−1 ), i ∈ Z,
q
e, iterando,  i
p
πi+1 − πi = (π1 − π0 ). (16)
q
In conclusione, per p 6= q, si ottiene
k−1 k−1  i
X X p
π k = π0 + (πi+1 − πi ) = π0 + (π1 − π0 )
i=0 i=0
q
 k
p
1− q
= π0 + (π1 − π0 ) ·  , k ∈ Z.
p
1− q
P
Sia nel caso p > q che p < q non vale la condizione k∈Z πk = 1, e pertanto la catena
non ammette una distribuzione invariante quando p 6= q.
Consideriamo ora il caso p = q. Dalla (16), si ottiene, per una certa costante c,

πi = c + i · (π1 − π0 ),

e questo contraddice la limitatezza di πi . In conclusione non esiste la legge invariante

per qualsiasi scelta di p e q.

39
Teorema 1.6 Supponiamo che la catena di Markov (Xn )n∈N abbia spazio degli stati
S = {0, 1, . . . , N } finito e che la distribuzione limite

(n)
πj = lim Pij con i, j ∈ S, (17)
n→+∞

esista e sia indipendente da i ∈ S. Allora π è una legge invariante, cioè π = πP.

Dimostrazione

(n+1)
X
πj = lim Pij = lim P (Xn+1 = j, Xn = l|X0 = i)
n→+∞ n→+∞
l∈S
X
= lim P (Xn+1 = j|Xn = l)P (Xn = l|X0 = i)
n→+∞
l∈S
X (n)
X
= lim Plj Pil = Plj πl ,
n→+∞
l∈S l∈S
P
cioè πj = l∈S πl Plj ovvero π = π · P e quindi π è invariante. 

Osservazione 1.19 In virtù di tale teorema, ed in accordo con quanto mostrato nel-
l’Esempio 1.29, la distribuzione limite della catena di Markov a due stati è una legge
invariante.

Esempio 1.33 Consideriamo una catena di Markov con spazio degli stati S = {1, 2, 3}
e matrice di transizione
 
1 0 0
 
P=
 1/4 1/2 1/4,

0 0 1
il cui grafo associato è dato da

1 2 3

In questo caso la catena è riducibile e lo spazio degli stati è composto da 3 classi di

equivalenza {1}, {2} e {3}. Gli stati {1} e {3} sono assorbenti e quindi ricorrenti. Lo
stato {2} è transiente.

40
 Per trovare la legge invariante π = (π1 , π2 , π3 ) dobbiamo risolvere il sistema

 π + π 2 + π3 = 1
 1


π1 + π2 /4 = π1



π /2 = π .
2 2

che ammette come soluzione (π1 , 0, 1 − π1 ). La catena pertanto ammette infinite distri-
buzioni invarianti π = (p, 0, 1 − p), dove p ∈ [0, 1].
Osserviamo che la matrice di transizione P è diagonalizzabile, essendo P = BΛB −1 ,
dove  
0 0 1
     
−1 2 0
  1 0 0
 1 1 
 
B −1 = 
   
B= 0 1 1, 0  , Λ = 0 1 0  .
 2 2  1
   
 
1 0 0   0 0

1 1
 2
− 1 −
2 2
Pertanto  
1 0 0
1
 − 1 1 1
−
1 

Pn = BΛn B −1 =  2 2n+1 2n 2 2n+1  .
 
 
 
0 0 1
Segue quindi che la distribuzione limite della catena di Markov è data da
 
1 0 0
1 1
n
 0 
lim P =  2 2 .
 
n→+∞  
 
0 0 1

(n)
Osserviamo che non siamo nelle ipotesi del Teorema 1.6, poiché il limn→+∞ Pij esiste
ma non è indipendente da i ∈ {1, 2, 3} essendo diverse le righe della matrice Pn . In
questo esempio la distribuzione limite esiste ma non coincide con la legge invariante.

Definizione 1.22 Una catena di Markov si definisce ergodica se tutti gli stati sono
ricorrenti positivi e aperiodici.

Teorema 1.7 Sia k uno stato ricorrente e indichiamo con Mk il tempo medio di ricor-
1
renza. Poniamo, inoltre, Mk
= 0 se Mk = +∞. Risulta allora

41
 (n) 1
(i) se k è aperiodico allora lim Pkk = .
n→+∞ Mk
(nt) t
(ii) se k è periodico di periodo t allora lim Pkk = .
n→+∞ Mk

(n)
Alla luce di tale Teorema, se per un certo stato k aperiodico risulta lim Pkk = 0, allora
n→+∞
+∞
X (n)
lo stato k è transiente oppure ricorrente nullo a seconda che Pkk < +∞ oppure
n=1
+∞
X +∞
X
(n) (n)
Pkk = +∞, rispettivamente. D’altro canto se Pkk = +∞, allora lo stato k è
n=1 n=1
(n) (n)
ricorrente nullo oppure ergodico a seconda che lim Pkk = 0 oppure lim Pkk 6= 0,
n→+∞ n→+∞
rispettivamente.
Il Teorema 1.7 consente di enunciare una condizione necessaria e sufficiente affinchè
una catena di Markov con spazio degli stati infinito abbia una legge invariante.

Teorema 1.8 Sia (Xn )n∈N una catena di Markov irriducibile e aperiodica. Allora le
seguenti condizioni sono equivalenti

1. ogni stato i ∈ S è ricorrente positivo.

2. esiste una legge invariante (πi )i∈S tale che ∀i, j ∈ S risulta
(n) (n)
lim Pjj = lim Pij = πj . (18)
n→+∞ n→+∞

Se valgono tali condizioni allora (πi )i∈S è l’unica legge invariante per la catena di Markov
(Xn )n∈N .

Dimostrazione Dimostriamo che la condizione (1) implica la condizione (2). Per

l’equazione dei rinnovi risulta
n
X
(n) (m) (n−m)
Pij = fij Pjj .
m=1

(n)
Quindi, se indichiamo con πj := limn→+∞ Pjj , j ∈ S, si ha che
+∞
X +∞
X
(n) (m) (m)
lim Pij = fij πj = πj fij = πj · Pi (Tj < +∞) = πj ,
n→+∞
m=1 m=1

essendo Pi (Tj < +∞) = 1, perché, per ipotesi, ogni stato i è ricorrente. Dunque risulta
(n) (n)
πj = limn→+∞ Pjj = limn→+∞ Pij .

42
 Per ogni sottoinsieme finito F ⊆ S, si ha
X X (n)
X (n)
X (n)
πj = lim Pij = lim Pij ≤ lim Pij = 1,
n→+∞ n→+∞ n→+∞
j∈F j∈F j∈F j∈S

ossia
X
πj ≤ 1.
j∈F

Allora, per l’arbitrarietà di F , risulta

X
πj ≤ 1.
j∈S

Dimostriamo ora che (πj )j∈S è una legge invariante per la catena di Markov (Xn )n∈N .
Sia F ⊆ S, con F finito. Dalla relazione di Chapman-Kolmogorov si ha

(n+1)
X (n)
X (n)
Pij = Pik Pkj ≥ Pik Pkj .
k∈S k∈F

Passando al limite nella precedente disuguaglianza otteniamo

X
πj ≥ πk Pkj ,
k∈F

e quindi, per l’arbitrarietà di F , risulta

X
πj ≥ πk Pkj .
k∈S
P
Se, per assurdo, fosse πj > k∈S πk Pkj , risulterebbe
X XX X X X
πj > πk Pkj = πk Pkj = πk ,
j∈S j∈S k∈S k∈S j∈S k∈S

che è un assurdo. Quindi deve essere

X
πj = πk Pkj , (19)
k∈S

e pertanto π = πP. Da tale relazione scritta per j = k, si ottiene

X
πk = πr Prk ,
r∈S

e pertanto
XX X X X (2)
πj = ( πr Prk )Pkj = πr Prk Pkj = πr Prj ,
k∈S r∈S r∈S k∈S r∈S

43
 P (n)
Iterando il procedimento si ottiene πj = r∈S πr Prj .
Quindi
X (n)
X
πj = lim πj = πr lim Prj = πr πj ,
n→+∞ n→+∞
r∈S r∈S

e pertanto
X
πr = 1. (20)
r∈S

Le relazioni (19) e (20) assicurano che (πj )j∈S è una legge invariante per la catena di
Markov (Xn )n∈N .
Supponiamo che valga la condizione (2). Allora per il teorema ergodico, ogni stato i
è ricorrente positivo.
Dimostriamo ora l’unicità della legge invariante. Supponiamo per assurdo che esista
un’altra legge invariante su S, (µi )i∈S . Allora per ogni j ∈ S,
X
µj = µk Pkj ,
k∈S

e quindi, iterando il procedimento,

X (n)
µj = µk Pkj .
k∈S

Da tale relazione si ottiene infine, per ogni j ∈ S,

X
µj = lim µj = µ k πj = πj ,
n→+∞
k∈S

ossia vale l’unicità. 

Esempio 1.34 Consideriamo una catena di Markov con spazio degli stati S = {1, 2, 3}
e matrice di transizione
 
1/6 1/6 2/3
 
P=
 1/4 1/4 1/2,

0 3/4 1/4
il cui grafo associato è dato da

1 2 3

44
La catena è irriducibile, aperiodica e tutti gli stati sono ricorrenti.
Per il Teorema 1.8 esiste la legge invariante π tale che π = π · P con π = (π1 , π2 , π3 ).
Risolvendo il sistema 
 π + π 2 + π3 = 1
 1


π1 = 1/6π1 + 1/4π2



π = 1/6π + 1/4π + 3/4π ,
2 1 2 3

si ottiene 
 π = 9/67
 1


π2 = 30/67



π = 28/67.
3

Quindi, in particolare

(n) (n) (n)

lim P11 = lim P21 = lim P31 = π1 = 9/67,
n→+∞ n→+∞ n→+∞
(n) (n) (n)
lim P12 = lim P22 = lim P32 = π2 = 30/67,
n→+∞ n→+∞ n→+∞
(n) (n) (n)
lim P13 = lim P23 = lim P33 = π3 = 28/67.
n→+∞ n→+∞ n→+∞

Esempio 1.35 Un problema di inventario.

Riprendiamo il problema di inventario esaminato nell’Esempio 1.28. Si tratta di una
catena di Markov con spazio degli stati S = {0, 1, 2, 3} e matrice di transizione ad un
passo  
0,08
0,184 0,368 0,368
 
0,632 0,368 0 0 
P=
 .
0,264 0,368 0,368 0 

0,08 0,184 0,368 0,368
La catena è irriducibile, aperiodica e tutti gli stati sono ricorrenti. In virtù del Teorema
1.8 esiste un’unica legge invariante π = (π0 , π1 , π2 , π3 ) che può essere ottenuta risolvendo
il sistema 


π 0 + π1 + π2 + π 3 = 1


0,08π0 + 0,632π1 + 0,264π2 + 0,08π3 = π0





 0,184π0 + 0,368π1 + 0,368π2 + 0,184π3 = π1


0,368π0 + 0,368π2 + 0,368π3 = π2 .


45
Si ottiene quindi 


 π0 = 0,286


π 1

= 0,285



 π2 = 0,263


π3 = 0,166,


che coincide anche con la distribuzione limite.

Esempio 1.36 Consideriamo una catena di Markov con spazio degli stati S= {1, 2, 3}
e matrice di transizione
 
1/2 1/3 1/6
 
P = 3/4 0 1/4

.
0 1 0
La catena è irriducibile ed aperiodica.
Supponiamo che la catena all’istante iniziale si trovi nello stato 1, ossia p(0) =
(1, 0, 0). Allora la probabilità di trovarsi nello stato 3 dopo due passi è data da
3
(2)
X (0) (2) (2) 1
p3 = P (X2 = 3) = pk Pk3 = P13 = ,
k=1
6

essendo
     
1/2 1/3 1/6 1/2 1/3 1/6 1/2 1/3 1/6
     
P2 = 
3/4 0 1/4 · 3/4 0 1/4 = 3/8 1/2 1/8 .
    
0 1 0 0 1 0 3/4 0 1/4
In virtù del Teorema 1.8 la distribuzione limite della catena coincide con la legge
invariante π = (π1 , π2 , π3 ) che è unica. Risolvendo il sistema

 π + π 2 + π3 = 1
 1


1
π + π3 = π2
3 1


1π + 1π = π .

6 1 4 2 3

Si ottiene quindi π = (1/2, 1/3, 1/6) e pertanto

!
1/2 1/3 1/6
lim Pn = .
n→+∞ 1/2 1/3 1/6

46