Calcolo Probabilità

Modelli stocastici a valori discreti
Note del corso di CP per la L.M. in Informatica
A.Calzolari
1
Indice
1 Catene di Markov a tempo discreto 4
1.1 Richiami sull’indipendenza stocastica
per eventi e variabili aleatorie . . . . . . . . . . . . . . . . . . 4
1.2 Definizione di catena di Markov . . . . . . . . . . . . . . . . . 6
1.3 Esempio di due successioni di variabili aleatorie
relative ad un unico esperimento di cui una Markov e l’altra no 6
1.4 Passeggiata aleatoria sugli interi . . . . . . . . . . . . . . . . 8
1.5 Catene di Markov per ricorrenza . . . . . . . . . . . . . . . . 8
1.6 Legge al tempo 0 e legge al tempo 1 . . . . . . . . . . . . . . 10
1.7 Matrice di transizione in più passi . . . . . . . . . . . . . . . 11
1.8 Leggi ad un tempo e leggi congiunte . . . . . . . . . . . . . . 13
1.9 Matrice di transizione in due passi
per la catena della rovina del giocatore . . . . . . . . . . . . . 14
1.10 La catena di nascita e morte e l’urna di Ehrenfest . . . . . . . 15
1.11 Un modello per una fila d’attesa . . . . . . . . . . . . . . . . 16
1.12 Costruzione di una catena
data la matrice di transizione e la legge iniziale . . . . . . . . 18
1.13 Rappresentazione grafica di una catena di Markov . . . . . . 20
1.14 Stati comunicanti . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.15 Classi chiuse e classi irriducibili . . . . . . . . . . . . . . . . . 23
1.16 Definizione di transienza e persistenza
in termini del tempo di primo ritorno . . . . . . . . . . . . . 24
1.17 Transienza e persistenza in termini del numero dei ritorni . . 25
1.18 Legge e valor medio del numero dei ritorni in uno stato . . . 27
1.19 Transienza e persistenza di uno stato
in termini del numero dei passaggi per esso
partendo da uno stato qualsiasi . . . . . . . . . . . . . . . . . 29
1.20 Una condizione sufficiente per la transienza . . . . . . . . . . 32
1.21 Una condizione sufficiente per la persistenza . . . . . . . . . . 33
1.22 Persistenza e transienza in classi finite . . . . . . . . . . . . . 34
1.23 Teorema di decomposizione dello spazio degli stati . . . . . . 35
1.24 Sistema di equazioni per le probabilità di assorbimento . . . . 36
1.25 Unicità della soluzione del sistema di equazioni
per le probabilità di assorbimento nel caso stati finiti . . . . . 38
1.26 Probabilità di estinzione
per la catena di nascita e morte con estremi assorbenti . . . . 40
1.27 Persistenza o transienza per la catena di nascita e morte
irriducibile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.28 Tempi medi di assorbimento nella classe degli stati persistenti 43
1.29 La catena a due stati:
comportamento asintotico delle leggi al tempo n . . . . . . . 50
1.30 Definizione di misura invariante . . . . . . . . . . . . . . . . . 51
2
1.31 Esempi nel caso finito . . . . . . . . . . . . . . . . . . . . . . 52
1.32 Esistenza e unicità della misura invariante . . . . . . . . . . . 54
1.33 Catene ergodiche . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.34 Catene regolari . . . . . . . . . . . . . . . . . . . . . . . . . . 56
1.35 La misura invariante per l’urna di Ehrenfest . . . . . . . . . . 62
1.36 Non esistenza della misura invariante
per la passeggiata aleatoria simmetrica in Z . . . . . . . . . . 64
1.37 Misura invariante per le catene di nascita e morte . . . . . . . 64
1.38 Esempi di catene periodiche . . . . . . . . . . . . . . . . . . . 69
1.39 Periodo di una catena irriducibile . . . . . . . . . . . . . . . . 71
1.40 Reversibilità . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
1.41 Algoritmo di Metropolis . . . . . . . . . . . . . . . . . . . . . 74
1.42 Schema di dimostrazione
del teorema di esistenza della misura invariante
per catene irriducibili persistenti positive . . . . . . . . . . . . 77
1.43 Approssimazione della misura invariante
con la distribuzione empirica . . . . . . . . . . . . . . . . . . 78
1.44 Esercizi di riepilogo . . . . . . . . . . . . . . . . . . . . . . . . 80
2 Processo di Poisson 90
2.1 Definizione . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
2.2 Perdita di memoria . . . . . . . . . . . . . . . . . . . . . . . . 92
2.3 Merging e splitting . . . . . . . . . . . . . . . . . . . . . . . . 97
2.4 Processo di Poisson non stazionario . . . . . . . . . . . . . . . 102
2.5 Distribuzione dei tempi di salto in [0, T ] condizionata a N(T)=n103
3 Processi di rinnovo 106
4 Catene di Markov a tempo continuo 111

4.1 Definizione . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.2 Funzione di transizione e tassi di salto . . . . . . . . . . . . . 113
4.3 Catene di nascita e morte . . . . . . . . . . . . . . . . . . . . 117
4.4 Code markoviane . . . . . . . . . . . . . . . . . . . . . . . . . 121
4.5 Misura invariante . . . . . . . . . . . . . . . . . . . . . . . . . 124
3
1 Catene di Markov a tempo discreto
1.1 Richiami sull’indipendenza stocastica

per eventi e variabili aleatorie
Dato uno spazio di probabilità (Ω, F, P), due eventi A e B in F sono
indipendenti se e solo se
P(A ∩ B) = P(A)P(B).
Allora una condizione sufficiente per l’indipendenza è che almeno uno dei
due eventi abbia probabilità nulla; la condizione diventa anche necessaria se
gli eventi sono incompatibili, ovvero A ∩ B = ∅.
Se P(B) ̸= 0, si definisce la probabilità condizionata di A dato B

P(A ∩ B)
P(A|B) =
P(B)
e A e B sono indipendenti se solo se P(A|B) = P(A).
Sia {Ai , i = 1, . . . , n} una famiglia di eventi: essi si dicono indipendenti

se per ogni k ≤ n e per ogni scelta di indici {i1 , . . . , ik }
(∩
k
) ∏k
P Aij = P(Aij ).
j=1 j=1
L’indipendenza implica per ogni k ≤ n e per ogni scelta di indici i1 , . . . , ik
P(Aik | Aik−1 ∩ . . . ∩ Ai1 ) = P(Aik ),
quando la probabilità condizionata ha senso. Una famiglia numerabile di

eventi si dice costituita da eventi indipendenti se ogni sua sottofamiglia
finita lo è.
Vale la seguente formula (formula del prodotto): se è n ≥ 2
P(A1 ∩ A2 ∩ . . . ∩ An ) =
P(An | An−1 ∩ An−2 ∩ . . . ∩ A1 )P(An−1 | An−2 ∩ . . . ∩ A1 ) . . . P(A2 | A1 )P(A1 )

(se le probabilità condizionate hanno senso). Si userà la seguente notazione:
P(A ∩ B) = P(A, B)
cosı̀ p.es.
P(A1 , A2 , A3 ) = P(A3 | A2 , A1 )P(A2 | A1 )P(A1 ).
4
Si dimostra la formula del prodotto per induzione: per n = 2 è immediata
dalla definizione di probabilità condizionata; assunta vera per n, vale per
n+1, infatti applicando la formula del prodotto ai due eventi A1 ∩A2 ∩. . .∩An
e An+1
P(A1 , A2 , . . . , An , An+1 ) = P(An+1 | An , . . . , A1 )P(An , . . . , A1 )
e si conclude applicando l’ipotesi induttiva.
X1 , . . . , Xm variabili aleatorie reali definite sullo stesso spazio di proba-

bilità (Ω, F, P ) sono indipendenti:
nel caso discreto (cioè quando le v.a. assumono una quantità al più numer-
abile di valori) se e solo se comunque scelti i valori reali x1 , . . . , xm ,
∏
m
P(X1 = x1 , . . . , Xm = xm ) = P(Xj = xj );
j=1
nel caso continuo (cioè quando la funzione di distribuzione è una funzione

continua che si ottiene integrando una funzione densità) se e solo se co-
munque scelti i valori reali x1 , . . . , xm
∏
m
P(X1 ≤ x1 , . . . , Xm ≤ xm ) = P(Xj ≤ xj ).
j=1
Si può facilmente dimostrare che questo equivale a dire che sono indipendenti
nel caso discreto gli eventi della forma {Xi = xi } e nel caso continuo gli
eventi della forma {Xi ≤ xi }, al variare comunque di i e xi . Cosı̀, p.es., nel
caso discreto l’indipendenza implica, per ogni k ≤ m e per ogni scelta di
indici {i1 , . . . , ik } e di valori {xi1 , . . . , xik },
P(Xik = xik | Xik−1 = xik−1 , . . . , Xi1 = xi1 ) = P(Xik = xik ).
Indipendenza di famiglie infinite di variabili: è quando qualsiasi sottofamiglia

finita verifica l’indipendenza.
Variabili aleatorie indipendenti e tutte con la stessa legge di probabilità
si dicono indipendenti e identicamente distribuite e questo si abbrevia con
i.i.d.
Si può dimostrare ([1]) che:

Teorema Se le variabili aleatorie reali X1 , . . . , Xm , Y1 , . . . , Yk sono in-
dipendenti, allora sono indipendenti le variabili aleatorie Φ(X1 , . . . , Xm ) e
Ψ(Y1 , . . . , Yk ) definite tramite le funzioni Φ : Rm → Rl e Ψ : Rk → Rh .
5
1.2 Definizione di catena di Markov
Sia S un insieme finito o numerabile. Una famiglia (Xn )n di variabili aleato-
rie a valori in S definite tutte sullo stesso spazio di probabilità è una catena
di Markov se qualsiasi sia n (quando le probabilità condizionate hanno senso)
P(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X0 =i0 )

= P(Xn+1 = j | Xn = i).
Interpretazione: la conoscenza del valore di Xn può dare informazioni sul val-

ore di Xn+1 , ma la conoscenza dei valori di (Xn−1 , . . . , X0 ) non dà ulteriori
informazioni.
Gli elementi di S sono gli stati possibili della catena e si può sempre
assumere S ⊂ Z. Si pone
pij (n) = P(Xn+1 = j | Xn = i).
Il parametro n è interpretato come tempo e il numero pij (n) è detto proba-

bilità di transizione dallo stato i al tempo n allo stato j al tempo successivo,
n + 1.
Si definiscono catene di Markov omogenee quelle in cui qualsiasi sia n e

per ogni i, j
pij (n) = pij .
La matrice (eventualmente infinita) P = (pij )(i,j) è detta matrice delle prob-
abilità di transizione della catena (o più brevemente matrice di transizione)
e i suoi elementi soddisfano
pij ≥ 0
e qualsiasi sia i ∑
pij = 1.
j
Una matrice i cui elementi soddisfano le precedenti proprietà si dice matrice

stocastica.
1.3 Esempio di due successioni di variabili aleatorie

relative ad un unico esperimento di cui una Markov e
l’altra no
Si estrae una pallina da un bussolotto contenente N palline, di cui NB sono
bianche e NR sono rosse; l’estrazione è casuale con reimmissione della pallina
estratta e di c palline del colore estratto e d del colore non estratto.
a) (Xn )n≥1 , con Xn =risultato della n-ma estrazione non è in generale

una catena di Markov. Qui S = {B, R}. Si dimostra p.es. che se c ̸= d
6
P(X3 = B | X2 = R) ̸= P(X3 = B | X2 = R, X1 = R).
Si ha
NB + 2d
P(X3 = B | X2 = R, X1 = R) = ,
N + 2(c + d)
e
P(X3 = B | X2 = R)
P(X3 = B, X2 = R, X1 = R) + P(X3 = B, X2 = R, X1 = B)
=
P(X2 = R)
1 ( NB + 2d NR + c NR NB + (c + d) NR + d NB )
= + ,
P(X2 = R) N + 2(c + d) N + c + d N N + 2(c + d) N + c + d N
dove per calcolare ciascuno dei due addendi del numeratore si è utilizzata la
formula del prodotto, p.es.
P(X3 = B, X2 = R, X1 = R) =
P(X3 = B | X2 = R, X1 = R) P(X2 = R | X1 = R) P(X1 = R).
Poiché P(X2 = R) coincide con
P(X2 = R | X1 = R)P(X1 = R) + P(X2 = R | X1 = B)P(X1 = B)
NR + c NR NR + d NB
= + ,
N +c+d N N +c+d N
semplificando si ottiene
P(X3 = B | X2 = R)
( )
(NB + 2d)(NR + c)NR + NB + (c + d) (NR + d)NB
= ( )( ) .
N + 2(c + d) (NR + c)NR + (NR + d)NB
Dall’uguaglianza P(X3 = B | X2 = R, X1 = R) = P(X3 = B | X2 = R) con
semplici passaggi si ottiene
( (NR + c)NR ) (N + (c + d))(N + d)N
B R B
(NB +2d) 1− = .
(NR + c)NR + (NR + d)NB (NR + c)NR + (NR + d)NB
Risolvendo si trova che l’uguaglianza sussiste solo se c = d. Se fosse per
esempio c > d, allora si troverebbe, coerentemente con l’intuizione, P(X3 =
B | X2 = R, X1 = R) < P(X3 = B | X2 = R).
b) (Xn )n≥1 , con Xn =numero di palline bianche nel bussolotto dopo la

n-ma estrazione è una catena di Markov non omogenea.
Qui S = N ed è immediato dalla definizione che
P(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X1 = i1 ) = P(Xn+1 = j | Xn = i)
e in particolare, qualsiasi sia n, la probabilità di transizione pij (n) è nulla se
j ̸= i + c, i + d, vale N +n(c+d)
i
quando j = i + c e vale 1 − N +n(c+d)
i
quando
j = i + d.
7
1.4 Passeggiata aleatoria sugli interi
Siano ξ1 , ξ2 , . . . , ξn , . . . variabili aleatorie a valori interi sullo stesso spazio di
probabilità e i.i.d. di densità f (·) (e quindi f (·) una densità discreta su Z).
Sia X0 una variabile aleatoria sullo stesso spazio di probabilità e a valori in
Z indipendente dalle altre (p.es. X0 una costante in Z). Se si definisce
Xn+1 = X0 + ξ1 + ξ2 + . . . + ξn+1 , n ≥ 0
allora (Xn )n≥0 è una catena di Markov omogenea detta passeggiata aleatoria
in Z.
Questo è il modello per la posizione di una particella che si muove su Z
secondo la regola: inizialmente è in Z distribuita secondo la legge di X0 e
poi se è in i salta in j con probabilità f (j − i).
Infatti poiché Xn+1 = Xn + ξn+1
P(Xn + ξn+1 = j, Xn = i)
P(Xn+1 = j | Xn = i) =
P(Xn = i)
= P(ξn+1 = j − i | Xn = i)
= P(ξn+1 = j − i | X0 + ξ1 + ξ2 + . . . + ξn = i)
= P(ξn+1 = j − i)
= f (j − i),
dove nella penultima uguaglianza si utilizza il teorema del paragrafo 1 ap-

plicato alle variabili ξn+1 e (X0 , ξ1 , ξ2 , . . . , ξn ) dunque con m = 1, l = 1, k =
n + 1, h = 1, Φ(x) = x, Ψ(y1 , . . . , yk ) = y1 + . . . + yk .
Analogamente si può calcolare
P(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X0 = i0 ) = f (j − i),
dimostrando cosı̀ che (Xn )n≥0 è una catena di Markov con probabilità di
transizione pij = f (j − i). Un caso semplice è il seguente: f (1) = p, f (−1) =
q, f (0) = r con r, p, q ≥ 0 e r + p + q = 1 e quindi pij = p, r, q o 0 a seconda
che sia j = i + 1, i, i − 1 o altro.
1.5 Catene di Markov per ricorrenza

Teorema Siano ξ1 , ξ2 , . . . , ξn , . . . variabili aleatorie i.i.d. a valori in un sot-
toinsieme U dei reali e X0 variabile aleatoria a valori in S sottoinsieme
discreto dei reali, definita sullo stesso spazio di probabilità e indipendente
dalle altre. Sia h : S × U → S. Posto per n ≥ 0
Xn+1 = h(Xn , ξn+1 ),
(Xn )n≥0 è una catena di Markov omogenea a valori in S.
8
Dimostrazione Per ricorrenza esiste gn+1 : S × U × . . . × U → S tale che
Xn+1 = gn+1 (X0 , ξ1 , . . . ξn+1 ),
dove {
g1 (x, y1 ) = h(x, y1 ) ( )
gn+1 (x, y1 , . . . , yn+1 ) = h gn (x, y1 , . . . , yn ), yn+1 .
Segue che
P(h(Xn , ξn+1 ) = j, Xn = i)
P(Xn+1 = j | Xn = i) =
P(Xn = i)
( )
= P h(i, ξn+1 ) = j | gn (X0 , ξ1 , . . . , ξn ) = i
( ) ( )
= P h(i, ξn+1 ) = j = P h(i, ξ1 ) = j ,
dove la penultima uguaglianza segue dal teorema del paragrafo 1 applicato

alle variabili ξn+1 e (X0 , ξ1 , . . . , ξn ) dunque con m = 1, l = 1, k = n + 1, h =
1, Φ(x) = h(i, x) e Ψ(y1 , . . . , yk ) = gn (y1 , . . . , yk ) e l’ultima dal fatto che le
variabili ξ1 e ξn+1 hanno la stessa legge.
Allo stesso modo vale
P(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X0 = i0 )

( )
= P h(i, ξn+1 ) = j | gn (X0 , ξ1 , . . . , ξn ) = i, . . . , g1 (X0 , ξ1 ) = i, X0 = i0
( )
= P h(i, ξ1 ) = j
per il teorema del paragrafo 1 applicato in modo opportuno alle variabili

ξn+1 e (X0 , ξ1 , . . . , ξn ). Si è cosı̀ dimostrato che
P(Xn+1 = j | Xn = i) = P(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X0 = i0 )

( )
= P h(i, ξ1 ) = j ,
ovvero che il processo

( è una catena
) di Markov omogenea con probabilità di
transizione pij = P h(i, ξ1 ) = j . La passeggiata aleatoria sugli interi è un
esempio di catena per ricorrenza con S = U = Z e h(x, y) = x + y e quindi,
come già mostrato, pij = P(i + ξ1 = j) = P(ξ1 = j − i) = f (j − i).
Esercizio 1
Dimostrare che il numero dei successi su n prove bernoulliane è una catena.
Soluzione
Indicata con Sn la v.a. numero dei successi su n prove bernoulliane, n ≥ 1,
9
vale Sn = ξ1 + ξ2 + . . . + ξn con ξ1 , ξ2 , . . . , ξn , . . . variabili aleatorie i.i.d.
definite sullo spazio di Bernoulli cosı̀ ξi (ω) = ωi = 1 o 0 con probabilità
p o 1 − p.
Dunque, posto S0 ≡ 0, la successione di variabili aleatorie (Sn )n≥0 è una
catena di Markov per ricorrenza con S = N, U = {0, 1} e h(x, y) = x + y.
Le probabilità di transizione sono dunque pij = p, 1 − p o 0 rispettivamente
per j = i + 1, i o altro e quindi la matrice di transizione con infinite righe e
infinite colonne è
 
1−p p 0 0 0 ... 0 0 0 0...
 0 1−p 0 0 . . .
 p 0 0 ... 0 0 
 0 1 − p p 0 ... 0 0 0 . . .
 0 0 
 · · · · · ... · · · · . . .
 
 · · · · · · · · · 
 . . . . . . 
 
 · · · · · ... · · · · . . .
P= 
 · · · · · ... · · · · . . .
 
 · · · · · ... · · · · . . .
 
 · · · · · ... · · · · . . .
 
 · · · · · ... · · · · . . .
 
 0 · · · · . . . 0 1 − p p 0 . . .
· · · · · ... · · · ·...
(Sn )n≥0 è un caso particolare di passeggiata aleatoria su Z: il valore

iniziale S0 è costante pari a 0, la densità di salto f (·) è la densità di Bernoulli
di parametro p ovvero f (1) = p e f (0) = 1 − p.
1.6 Legge al tempo 0 e legge al tempo 1

Introdotta la notazione
π0 (i) = P(X0 = i), i ∈ S,
π0 è la densità di probabilità di X0 che induce una misura di probabilità sui

sottoinsiemi di S, ovvero la legge di X0 , detta legge iniziale della catena o
legge al tempo 0. Può esistere i0 ∈ S tale che π0 (i0 ) = 1 e quindi π0 (i) = 0
per qualsiasi i ̸= i0 ; in tal caso la legge iniziale assegna valore 1 ai sottoin-
siemi che contengono i0 e valore 0 agli altri e si chiama delta di Dirac in
i0 .
Per la densità al tempo 1 definita da
π1 (j) = P(X1 = j), j ∈ S,
si può ricavare la formula

∑
π1 (j) = pij π0 (i).
i∈S
10
Infatti per la formula delle probabilità totali
∑
π1 (j) = P(X1 = j) = P(X1 = j | X0 = i)P(X0 = i).
i∈S
Si può scrivere con notazione matriciale
π1 = π0 P
dove qui e in seguito si intende esteso il concetto di moltiplicazione di due

matrici anche a matrici con un numero infinito di righe e/o colonne e i vettori
sono pensati come vettori riga, p.es.
( )
π0 = π0 (1) π0 (2) . . . π0 (card(S) .
La densità al tempo 1 induce una misura di probabilità sui sottoinsiemi

di S detta legge al tempo 1, che è la legge della variabile X1 .
1.7 Matrice di transizione in più passi

È facile dimostrare che se (Xn )n≥0 è una catena di Markov omogenea vale
anche per ogni n ≥ 0, r > 1
P(Xn+r = j | Xn = i, Xn−1 = in−1 , . . . , X0 = i0 ) = P(Xn+r = j | Xn = i).
Nel caso r = 2:
P(Xn+2 = j | Xn = i, . . . , X0 = i0 ) coincide con
∑ P(Xn+2 = j, Xn+1 = k, Xn = i, . . . , X0 = i0 )
P(Xn = i, . . . , X0 = i0 )
k∈S
e, moltiplicando e dividendo il termine generale della serie per
P(Xn+1 = k, Xn = i, . . . , X0 = i0 ),
si ottiene
∑
P(Xn+2 = j | Xn+1 = k,Xn = i, . . . , X0 = i0 )
k∈S
· P(Xn+1 = k | Xn = i, . . . , X0 = i0 )
che per la proprietà di Markov coincide con

∑
pik pkj .
k∈S
L’espressione precedente è l’elemento di posto i, j del prodotto righe per

colonne di P per sé stessa, cioè di P 2 = P · P.
11
In modo analogo si calcola
P(Xn+2 = j | Xn = i),
(2)
ottenendo lo stesso risultato. Si indica con pij l’elemento generico di P 2 ,
cioè (P 2 )ij : dunque esso rappresenta la probabilità di passare dallo stato i
allo stato j in 2 passi.
Si consideri ora il caso generale: si dimostra per induzione che
P(Xn+r = j | Xn = i) = P(Xn+r = j | Xn = i, . . . , X0 = i0 ) = (P r )ij ,
assumendolo vero per r − 1 e utilizzando l’ipotesi di Markov (corrispondente

al caso r = 1). Qui con ovvia notazione P r è il prodotto di P per sé stessa
r volte.
Si ha che P(Xn+r = j | Xn = i, . . . , X0 = i0 ) coincide con
∑ P(Xn+r = j, Xn+r−1 = k, Xn = i, . . . , X0 = i0 )
P(Xn = i, . . . , X0 = i0 )
k∈S
e quindi moltiplicando e dividendo il termine generale della serie per
P(Xn+r−1 = k, Xn = i, . . . , X0 = i0 ),
coincide con
∑
P(Xn+r = j | Xn+r−1 = k,Xn = i, . . . , X0 = i0 )
k∈S
· P(Xn+r−1 = k | Xn = i, . . . , X0 = i0 )
cioè con ∑
pkj P(Xn+r−1 = k | Xn = i, . . . , X0 = i0 ).
k∈S
Per l’ipotesi induttiva l’espressione precedente coincide con

∑
pkj (P r−1 )ik = (P r )ij .
k∈S
Dunque P r , la potenza r−ma di P, è la matrice di transizione in r passi e

(r)
il suo generico elemento (P r )ij si denota con pij . È facile verificare che si
tratta di una matrice stocastica, cioè
(r)
0 ≤ pij ≤ 1
∑ (r)
pij = 1.
j∈S
12
La seconda proprietà segue osservando che
∑ (r) ∑
pij = P(Xr = j | X0 = i) =
j∈S j∈S
(∪ )
P {Xr = j} | X0 = i = P(Xr ∈ S | X0 = i) = 1.
j∈S
1.8 Leggi ad un tempo e leggi congiunte

Se (Xn )n≥0 è una catena allora per ogni n ≥ 0 la densità di Xn si denota
con πn , cioè
πn (i) = P(Xn = i), i ∈ S
e la legge di Xn si dice legge al tempo n.
La densità al tempo n ≥ 1 si calcola in termini della densità iniziale e

della matrice di transizione in n passi:
∑
πn (i) = P(Xn = i | X0 = i0 )P(X0 = i0 )
i0 ∈S
∑ (n)
= pi0 i π0 (i0 ),
i0 ∈S
dove al primo passaggio si è usata la formula delle probabilità totali.
Fissati m > 1 e n1 < n2 < . . . < nm , la legge del vettore aleatorio

(Xn1 , . . . , Xnm ) è la legge congiunta ai tempi n1 , . . . , nm e la sua densità
definita da
P(Xn1 = i1 , . . . , Xnm = im ), i1 , i2 , . . . , im ∈ S × S × . . . × S
è detta densità congiunta ai tempi n1 , . . . , nm .
Si calcola la densità congiunta ai tempi n1 , . . . , nm utilizzando la formula

del prodotto del paragrafo 1 applicata agli eventi
{Xn1 = i1 }, . . . , {Xnm = im }
e la proprietà di Markov:
P(Xn1 = i1 , . . . , Xnm = im )
= P(Xnm = im | Xnm−1 = im−1 ) . . . P(Xn2 = i2 | Xn1 = i1 )P (Xn1 = i1 )
(n −n
m m−1 ) (n −n1 )
= pim−1 im . . . pi1 i22 πn1 (i1 )
Dunque concludendo si può affermare che, conoscendo la legge iniziale e
la matrice di transizione, si calcolano le leggi ad un tempo e tutte le leggi
congiunte.
13
1.9 Matrice di transizione in due passi
per la catena della rovina del giocatore
Due giocatori A e B di capitali a e b rispettivamente, scommettono ogni
volta 1 euro e ogni volta A vince con probabilità p e quindi B vince con
probabilità q = 1 − p. Il gioco termina se uno dei due esaurisce il capitale.
Se Xn è il capitale di A dopo la n-ma scommessa, posto d = a + b, si può
scrivere
( )
Xn+1 = Xn + ξn+1 I{1,...,d−1} (Xn ) + Xn I{0,d} (Xn ), n ≥ 0
dove IA (x) = 1 se x ∈ A e 0 altrimenti e le ξn , n ≥ 1 sono variabili

aleatorie tra loro indipendenti che valgono 1 con probabilità p e −1 con
probabilità q = 1 − p .
Posto X0 ≡ a, (Xn )n≥0 è una catena di Markov per ricorrenza con: π0
la delta di Dirac in a, S = {0, 1, . . . , d}, U = {−1, 1} e
h(x, y) = (x + y)I{1,...,d−1} (x) + xI{0,d} (y).
La matrice di transizione è una matrice di ordine d+1 e ha la forma

 
1 0 0 0 0 ... 0 0 0 0
q 0 p 0 0 . . . 0 0 0 0
 
0 q 0 p 0 . . . 0 0 0 0
 
· · · · · . . . · · · ·
 
 
· · · · · . . . · · · ·
 
P = · · · · · . . . · · · ·
 
· · · · · . . . · · · ·
 
· · · · · . . . · · · ·
 
· · · · · . . . · · · ·
 
· · · · · . . . · q 0 p
0 · · · · ... 0 0 0 1
Se assumiamo d = 4, la matrice P è di ordine 5 e coincide con

 
1 0 0 0 0
q 0 p 0 0
 
P= 0 q 0 p 0 
0 0 q 0 p
0 0 0 0 1
e il suo quadrato è
 
1 0 0 0 0
 q qp 0 p2 0 
 2 
P =
2
q 0 2qp 0 p2 
.
 0 q 2 0 qp p 
0 0 0 0 1
14
Si osservi che per ogni i
∑
4
(2)
pij = 1
j=0
come deve essere.

Cosı̀ se, per esempio X0 = a = 2, essendo π0 (2) = 1 e π0 (i) = 0 per ogni
i ̸= 2, vale ∑ (2) (2)
P(X2 = 0) = pi0 π0 (i) = p20 = q 2 ,
i∈S
come ci si aspetta dovendo P(X2 = 0) coincidere con la probabilità di due

perdite consecutive.
1.10 La catena di nascita e morte e l’urna di Ehrenfest

Una catena su S = {0, 1, . . . , d} con matrice di transizione
 
r 0 p0 0 . . . 0 ... 0
 q 1 r 1 p1 0 0 ... 0 
 
 0 q 2 r2 p 2 0 ... 0 

P= 
· · · · · · · 
 0 0 . . . 0 qd−1 rd−1 pd−1 
0 0 ... 0 0 qd rd
dove 0 ≤ qi , ri , pi ≤ 1 e qi + ri + pi = 1, è chiamata catena di nascita e morte.

Il nome deriva dal fatto che questa catena può essere pensata come modello
per la consistenza numerica di una popolazione su una scala temporale in
cui ad ogni unità di tempo può accadere che un solo individuo generi un
nuovo individuo o muoia, dunque le possibili transizioni dallo stato i sono
solo in i + 1, i, i − 1 e
pi (i+1) = pi pi i = ri pi (i−1) = qi
e pi j = 0 j ̸= i + 1, i, i − 1. Allora pi e qi prendono rispettivamente il nome

di probabilità di nascita e probabilità di morte (quando la consistenza della
popolazione è i).
La rovina del giocatore è una particolare catena di nascita e morte con
parametri
r0 = 1 = rd pi = p ri = 0 qi = q, i = 1, . . . , d − 1.
15
Un’altra catena di nascita e morte è quella di Ehrenfest, la cui matrice
di transizione è
 
0 1 0 ... 0 ... 0
 1 0 d−1 0 0 ... 0
d 2 d 
0 0 d−2
0 ... 0
P= · ·
d d 
 · · · · ·
0 0 . . . 0 d−1
0 d1 
d
0 0 ... 0 0 1 0.
È modello per lo scambio di molecole tra due corpi isolati ovvero è modello
per la seguente situazione: d palline numerate sono contenute in due urne,
un intero tra 1 e d è estratto ripetutamente a caso e la pallina corrispondente
è spostata di urna. Fissata un’urna, X0 è il numero di palline inizialmente
nell’urna e Xn , n ≥ 1 è il numero di palline nella stessa urna dopo la n-ma
estrazione.
1.11 Un modello per una fila d’attesa

Si considera la catena per ricorrenza seguente
{
X0 = 0
{ }
Xn+1 = max 0, Xn − 1 + ξn+1 , n ≥ 0
dove ξ1 , ξ2 , . . . , ξn , . . . sono i.i.d. a valori in N di densità assegnata f (·).

Si può anche scrivere per n ≥ 0
( )
Xn+1 = I[1,+∞) (Xn ) Xn − 1 + ξn+1 + I{0} (Xn )ξn+1
Chiaramente S = N e
p0j = f (j)
mentre per ogni i ≥ 1, usando la definizione di probabilità condizionata e
l’indipendenza di ξn+1 da Xn , si ottiene
pij = P(Xn − 1 + ξn+1 = j | Xn = i) = P(ξn+1 = j − i + 1) = f (j − i + 1).
Questo è un modello per una fila d’attesa ad uno sportello che in ogni unità
di tempo serve un cliente e riceve un numero aleatorio di clienti ogni volta di
stessa legge indipendentemente dal passato. Per n ≥ 1 la variabile aleato-
ria Xn rappresenta il numero dei clienti in fila alla fine della n-ma unità
temporale.
16
Esercizio 2
a) Scrivere la matrice di transizione per la catena su S = {0, 1, 2} definita

da
Xn+1 = Xn + ξn+1 (modulo 3)
dove ξ1 , ξ2 , . . . , ξn . . . sono variabili i.i.d. a valori in S con densità f (·) e
indipendenti da X0 , variabile sullo stesso spazio di probabilità e a valori in
S.
Per esempio se X0 (ω) = 1, ξ1 (ω) = 1, ξ2 (ω) = 2, ξ3 (ω) = 1, . . . sarà
X0 (ω) = 1, X1 (ω) = 2, X2 (ω) = 1, X3 (ω) = 2, . . ..
b) Calcolare π1 (2) = P(X1 = 2), nel caso f (0) = 0.5, f (1) = 0.1, f (2) =
0.4 e π0 (0) = 0.5, π0 (1) = 0.5, π0 (2) = 0.
Soluzione
a) La matrice di transizione è di ordine 3 e ha la forma seguente
 
f (0) f (1) f (2)

P = f (2) f (0) f (1) .
f (1) f (2) f (0)
Notare che non solo per ogni i ∈ {0, 1, 2}
∑ ∑
2
pij = f (l) = 1,
j∈S l=0
ma anche per ogni j ∈ {0, 1, 2}
∑ ∑
2
pij = f (l) = 1.
i∈S l=0
Una matrice stocastica tale che gli elementi di ciascuna colonna hanno
somma pari a 1 si dice doppiamente stocastica.
b) Con i dati assegnati la matrice di transizione è
 
0.5 0.1 0.4
P = 0.4 0.5 0.1
0.1 0.4 0.5
e
∑
2
π1 (2) = P(X1 = 2) = pi2 π0 (i) = 0.5 · p02 + 0.5 · p12 = 0.25
i=0
17
1.12 Costruzione di una catena
data la matrice di transizione e la legge iniziale
È immediato verificare che una v.a. X a valori in N \ {0} con densità
assegnata (p1 , p2 , . . . , pN ) si costruisce cosı̀: se ξ è una v.a. uniforme in
[0, 1], posto
∑
j−1
a(1) = 0, a(j) = pk , j > 1
k=1
∑j
b(1) = p1 , b(j) = pk , j > 1
k=1
si definisce ∑
X := j I[a(j),b(j)) (ξ).
j≥1
Siano assegnate una densità di probabilità π0 e una matrice di tran-

sizione P su N \ {0}. Siano (ξn )n≥1 variabili aleatorie i.i.d. uniformi in [0, 1]
indipendenti da un’altra variabile aleatoria X0 definita sullo stesso spazio di
probabilità e con densità π0 . Posto
∑
j−1
a(i, 1) = 0, a(i, j) = pi k , j > 1
k=1
∑j
b(i, 1) = pi 1 , b(i, j) = pi k , j > 1
k=1
∑
h(i, y) = j I[a(i,j),b(i,j)) (y),
j≥1
si definisca
Xn+1 := h(Xn , ξn+1 ), n ≥ 0.
Allora (Xn )n≥0 è una catena di Markov per ricorrenza a valori in N \ {0} con
legge iniziale π0 e matrice di transizione quella assegnata. Infatti ricordando
che per le catene per ricorrenza
P(Xn+1 = j | Xn = i) = P(h(i, ξ1 ) = j),
in questo caso dall’espressione di h segue che

( )
P(Xn+1 = j | Xn = i) = P ξ1 ∈ [a(i, j), b(i, j)) = pi j ,
18
dove l’ultima uguaglianza segue dal fatto che ξ1 ha legge uniforme nell’in-
tervallo [0, 1] e l’ampiezza dell’intervallo [a(i, j), b(i, j)) è pi j .
Questa costruzione suggerisce come simulare una catena di Markov con
spazio degli stati finito {1, 2, . . . , N } e con legge iniziale e matrice di tran-
sizione assegnata. Per simulazione di una catena di Markov (Xn )n≥0 fi-
no al tempo n si intende la determinazione di una sequenza di n valori
(i1 , i2 , . . . , in ) ⊂ {1, 2, . . . , N } che costituiscano una realizzazione del vettore
aleatorio (X1 , X2 , . . . , Xn ), ovvero tali che si abbia per un qualche ω ∈ Ω
(X1 (ω), X2 (ω), . . . , Xn (ω)) = (i1 , i2 , . . . , in ).
Si assuma inizialmente per semplicità che la legge iniziale sia una delta
di Dirac e quindi che sia X0 = i0 , dove i0 è un numero in {1, 2, . . . , N }. I più
noti linguaggi di programmazione hanno in libreria una procedura che genera
una variabile aleatoria uniforme in [0, 1] e richiamando n volte la stessa
procedura si realizza un vettore n-dimensionale le cui componenti sono i.i.d.
uniformi in [0, 1], ovvero un vettore come (ξ1 , ξ2 , . . . , ξn ): in altre parole si
genera una sequenza di n numeri che coincidono con (ξ1 (ω), ξ2 (ω), . . . , ξn (ω))
per un qualche ω ∈ Ω. Al primo passo della simulazione si genera X1 come
variabile aleatoria di densità assegnata pari a (pi0 1 , pi0 2 , . . . , pi0 N ), cioè il
numero i1 :
∑N
i1 = X1 (ω) = j I[a(i0 ,j),b(i0 ,j)) (ξ1 (ω));
j=1
al secondo passo si genera X2 come variabile aleatoria di densità assegnata

pari a (pi1 1 , pi1 2 , . . . , pi1 N ), cioè il numero i2
∑
N
i2 = X2 (ω) = j I[a(i1 ,j),b(i1 ,j)) (ξ2 (ω));
j=1
e si ripete il procedimento fino a generare Xn come variabile aleatoria di

densità (pin−1 1 , pin−1 2 , . . . , pin−1 N ), cioè il numero in
∑
N
in = Xn (ω) = j I[a(in−1 ,j),b(in−1 ,j)) (ξn (ω)).
j=1
Nel caso in cui X0 non sia deterministico, c’è in più il passo iniziale della
generazione di X0 . In tal caso occorre richiamare una volta di più la pro-
cedura di simulazione di un’uniforme in [0, 1] per generare ξ0 indipendente
da (ξ1 , ξ2 , . . . , ξn ) e con ξ0 generare X0 come variabile aleatoria di densità
(π0 (1), π0 (2), . . . , π0 (N )), cioè il numero i0 .
19
Esercizio 3
Per la catena dell’Esercizio 2 calcolare la densità congiunta ai tempi 1 e 2

nel punto 2. Calcolare poi la probabilità che la catena si trovi nello stato 2
dopo 2 passi.
Soluzione
a) Ricordando che  
0.5 0.1 0.4
P = 0.4 0.5 0.1
0.1 0.4 0.5
e π0 (0) = π0 (1) = 0.5 e che nell’Esercizio 2 si è ottenuto π1 (2) = 0.25, si ha
per la formula del prodotto
P(X2 = 0, X1 = 2) = P(X2 = 0 | X1 = 2)P(X1 = 2) = p20 π1 (2) = 0.025.
Invece
∑
2
(2) (2) (2)
π2 (2) = P(X2 = 2) = pi2 π0 (i) = p02 (0.5) + p12 (0.5).
i=0
Si devono calcolare dunque gli elementi di posto prima riga, terza colonna
e seconda riga, terza colonna del quadrato di P.
Si trova  
· · 0.41
P 2 = · · 0.26
· · ·
e quindi
π2 (2) = (0.5)(0.41 + 0.26) = 0.335.
1.13 Rappresentazione grafica di una catena di Markov

Il grafico di una catena di Markov si ottiene segnando un punto per ogni stato
della catena, una freccia orientata da un punto ad un altro se la probabilità
di transizione in un passo è positiva e il valore della probabilità di transizione
accanto alla freccia. Cosı̀ per esempio
La rappresentazione grafica consente di calcolare rapidamente le probabilità

di transizione in più passi. Per esempio se la matrice di transizione è
 
0 0.5 0.5
P = 0.4 0.1 0.5
0.2 0.8 0
20
Figura 1: rovina del giocatore
Figura 2: random walk modulo 3 con f (i) > 0, i = 0, 1, f (0) + f (1) = 1
e quindi il grafico è
(2) ∑
per calcolare p12 = P(X3 = 2|X1 = 1) = 3k=1 p1k pk2 basta calcolare i cam-
mini lunghi 2 passi che dal punto 1 portano al punto 2; ciascun cammino ha
probabilità pari al prodotto dei valori scritti sulle frecce e occorre sommare
tutte queste probabilità. Dunque
(2)
p12 = (0.5)(0.1) + (0.5)(0.8) = 0.45,
mentre
(2)
p23 = (0.1)(0.5) + (0.4)(0.5) = 0.25.
In modo analogo si procede per esempio nel calcolo di
(3)
∑
3
(2)
∑
3 ∑
3 ∑
3
p11 = p1l pl1 = p1l plk pk1 = p1l plk pk1 ,
l=1 l=1 k=1 l,k=1
ovvero si sommano le probabilità di tutti i cammini lunghi 3 passi che da 1

riportano in 1 e che hanno ciascuno probabilità pari al prodotto dei valori
scritti sulle frecce
(3)
p11 = (0.5)(0.1)(0.4) + (0.5)(0.8)(0.4) + (0.5)(0.5)(0.2) = 0.23.
21
Figura 3: coda con f (i) > 0, i = 0, 1, 2, f (0) + f (1) + f (2) = 1
1.14 Stati comunicanti

Si dice che uno stato i comunica con lo stato j se c’è un cammino finito sul
grafico che porta da i a j e si scrive i → j. È immediato che questo equivale
a chiedere che esista n ≥ 1 tale che
(n)
pij > 0.
(1)
(ricorda che pij = pij ).
(n)
Due stati i e j si dicono comunicanti se esiste n ≥ 1 tale che pij > 0
(m)
e esiste m ≥ 1 tale che pij > 0, ovvero se i → j e j → i, ovvero se esiste
un cammino finito che porta dall’uno all’altro e viceversa (i due cammini
potrebbero avere lunghezze diverse). Si scrive i ←→ j.
Per esempio nella catena di nascita e morte con qi > 0 e pi > 0 tutti
gli stati sono comunicanti. Mentre nella catena della rovina del giocatore
tutti gli stati in {1, . . . , d − 1} sono comunicanti, inoltre qualsiasi sia i ∈
{1, . . . , d − 1} si ha che i → 0 e i → d, mentre 0 e d comunicano solo con sé
stessi.
22
1.15 Classi chiuse e classi irriducibili
Un sottoinsieme C di S si dice una classe chiusa di stati se qualsiasi sia i ∈ C
si ha ∑
pij = 1.
j∈C
Questa condizione implica che indicato con C c il complementare di C

nessuno stato di C comunica con uno stato di C c :
si ha subito dalla definizione che se i ∈ C e j ∈ C c allora pij = 0; inoltre
(2)
∑ ∑
pij = pih phj = pih phj = 0
h∈S h∈C
poiché per la seconda uguaglianza si usa il fatto che per definizione di classe
chiusa se i ∈ C si ha pih = 0 qualsiasi sia h ∈ C c e per la terza il fatto che,
se j ∈ C c , ancora per definizione di classe chiusa phj = 0 qualsiasi sia h ∈ C;
(n)
allo stesso modo per induzione si prova che pij = 0 per ogni n > 2. Infatti
(n)
∑ (n−1)
∑ (n−1)
pij = pih phj = pih phj = 0,
h∈S h∈C
dove nell’ultima uguaglianza si usa l’ipotesi induttiva Il viceversa è imme-

diato ovvero: se nessuno stato di C comunica con uno stato in C c , essendo
pij = 0 qualsiasi siano i ∈ C e j ∈ C c , allora fissato i ∈ C si ha
∑
pij = 1,
j∈C
cioè C è chiusa.
Se C = {i} è chiusa allora lo stato i si dice assorbente. Per esempio nella

catena della rovina del giocatore 0 e d sono stati assorbenti.
Una classe chiusa si dice irriducibile se tutti i suoi stati sono comunicanti.
Se S è l’unica classe chiusa irriducibile, allora la catena si dice irriducibile.
Nella catena rappresentata dal grafico seguente
23
1, 2, 3 sono stati comunicanti, {4, 5, 6, 7} è una classe chiusa non irriducibile,
{4, 5} è una classe irriducibile, 7 è uno stato assorbente.
1.16 Definizione di transienza e persistenza

in termini del tempo di primo ritorno
(n)
Si ricordi che pij indica la probabilità di passare da i a j in n passi. Si
introduce il simbolo
(n)
ρij
per indicare la probabilità di arrivare in j partendo da i per la prima volta
dopo n passi, ovvero
(n)
ρij = P(Xn1 +n = j, Xn1 +n−1 ̸= j, . . . , Xn1 +1 ̸= j | Xn1 = i)
qualsiasi sia n1 (è facile verificare che per la proprietà di Markov la proba-
bilità precedente è indipendente da n1 ).
(1) (1) (n)
Naturalmente ρij = pij = pij , mentre qualsiasi sia n ≥ 2 vale ρij ≤
(n)
pij . Per esempio nel caso della catena con matrice di transizione
 
0 0.5 0.5
P = 0.4 0.1 0.5
0.2 0.8 0
facilmente si calcola
(2) (2)
ρ12 = (0.5)(0.8) = 0.4 ≤ p12 = (0.5)(0.8) + (0.5)(0.1) = 0.45.
La disuguaglianza discende dal considerare che vale la relazione seguente
(n)
∑
n−1
(s) (n−s) (n)
pij = ρij pjj + ρij .
s=1
Si introduce il simbolo ∑ (n)

ρij = ρij
n≥1
per indicare quindi la probabilità di arrivare in j in un numero finito di

(n)
passi essendo partiti da i. Immediatamente seguono ρij ≥ ρij , qualsiasi sia
(1)
n ≥ 1 e quindi in particolare ρij ≥ ρij = pij . Se si indica con τj la variabile
aleatoria tempo di primo passaggio per j, ovvero
{
min{n ≥ 1 t.c. Xn (ω) = j}, se il minimo esiste
τj (ω) :=
+∞, altrimenti
24
allora
(n)
ρij = P(τj = n | X0 = i) e ρij = P(τj < ∞ | X0 = i).
Naturalmente
ρij > 0 ⇐⇒ i → j.
Si dimostra la condizione necessaria: infatti ρij > 0 implica che esiste n ≥ 1
(n) (n) (n) (n)
tale che ρij > 0 e questo a sua volta implica pij > 0, essendo ρij ≤ pij .
Si dimostra la condizione sufficiente: infatti i → j implica che esiste
(n) (n) ∑ (s) (n−s) (n)
n ≥ 1 tale che pij > 0 e poiché pij = n−1 s=1 ρij pjj + ρij , segue che
(s)
esiste 1 ≤ s ≤ n tale che ρij > 0 e quindi ρij > 0.
Si definisce uno stato i persistente (o anche ricorrente) se
ρii = 1
e transiente se
ρii < 1,
ovvero a parole uno stato è persistente se il tempo di primo ritorno in i
partendo da i è finito con probabilità 1; è transiente se la stessa variabile è
finita con probabilità minore di 1 e quindi con probabilità positiva partendo
da i la catena non vi fa più ritorno.
Banalmente ogni stato assorbente è persistente essendo
ρii ≥ pii = P(X1 = i | X0 = i) = P(τi = 1 | X0 = i) = 1.
1.17 Transienza e persistenza in termini del numero dei ri-

torni
A giustificazione della terminologia introdotta nel precedente paragrafo si
dimostra il prossimo teorema.
D’ora in avanti si userà la notazione
P(· | X0 = i) = Pi (·).
Teorema
ρii < 1 ⇐⇒ Pi (Xn = i inf.nte spesso) = 0
ρii = 1 ⇐⇒ Pi (Xn = i inf.nte spesso) = 1
25
La dimostrazione utilizza il seguente lemma di probabilità elementare.
Lemma Se (Bk )k≥1 , Bk ∈ F, è una successione crescente di eventi

(Ω, F, P), ovvero se qualsiasi sia k ≥ 1 vale Bk ⊂ Bk+1 , allora P(∪k≥1 Bk ) =
limk→∞ P(Bk ). Se (Ak )k≥1 è una successione decrescente di eventi (Ω, F, P),
ovvero se Ak ⊃ Ak+1 , allora P(∩k≥1 Ak ) = limk→∞ P(Ak ).
Dimostrazione del lemma Infatti

(∪ ) (∪ )
P Bk = P {Bk \ Bk−1 }
k≥1 k≥1
∞
∑
= (P(Bk ) − P(Bk−1 ))
k=1
∑
n
( )
= lim P(Bk ) − P(Bk−1 )
n→∞
k=1
= lim P(Bn ).
n→∞
avendo posto B0 = ∅. Infine
P(∩k≥1 Ak ) = 1 − P(∪k≥1 Ack ) = 1 − lim P(Acn ) = lim P(An )

n→∞ n→∞
essendo la successione degli eventi complementari (Ack )k≥1 successione cres-

cente di eventi.
Dimostrazione del teorema L’evento {Xn inf.nte spesso} si può riscri-

vere come intersezione di una successione decrescente di eventi. Più precisa-
mente
{Xn = i inf.nte spesso } = ∩k≥1 Ak
con
∪
Ak = {Xn1 = i, Xn2 = i, . . . , Xnk = i, Xs ̸= i, s ̸= n1 , n2 , . . . , nk , s < nk }
dove l’unione disgiunta è estesa a n1 < n2 < . . . < nk , cioè Ak è l’evento

definito a parole dal fatto che la catena visita almeno k volte lo stato i.
Dal lemma segue che
Pi (Xn = i inf.nte spesso) = lim Pi (Ak ).

k→∞
Inoltre Pi (Ak ) si può calcolare cosı̀:

∑
Pi (Xn1 = i, Xn2 = i, . . . , Xnk = i, Xs ̸= i, s ̸= n1 , n2 , . . . , nk , s < nk )
n1 <n2 <...<nk−1
26
e l’ultima somma coincide con
∑ (n ) (n −n ) (n −n ) (n −n )
ρii 1 ρii 2 1 . . . ρii k−1 k−2 ρii k k−1 =
n1 <n2 <...<nk
∑ (n ) (n −n1 ) (n −nk−2 )
∑ (n −nk−1 )
ρii 1 ρii 2 . . . ρii k−1 ρii k
n1 <n2 <...<nk−1 nk−1 <nk
e, poiché, fissati n1 < n2 < . . . < nk−1 , al variare di nk la differenza nk −nk−1

varia in N \ {0}, allora l’espressione precedente è uguale a
∑ ∞
∑
(n ) (n −n1 ) (n −nk−2 ) (h)
ρii 1 ρii 2 . . . ρii k−1 ρii =
n1 <n2 <...<nk−1 h=1
∑ (n ) (n −n1 ) (n −nk−3 ) (nk−1 −nk−2 )

= ρii ρii 1 ρii 2 . . . ρii k−2 ρii .
n1 <n2 <...<nk−1
Fissando n1 < n2 < . . . < nk−2 e sommando su nk−1 si ottiene

∑ (n ) (n −n ) (n −n ) (n −n )
ρ2ii ρii 1 ρii 2 1 . . . ρii k−3 k−4 ρii k−2 k−3
n1 <n2 <...<nk−2
e iterando k volte lo stesso procedimento si verifica
Pi (Ak ) = ρkii .
La dimostrazione si conclude utilizzando il lemma precedente e ricordan-

do che quando 0 ≤ a < 1 allora limk→∞ ak = 0 e quando a = 1 allora
limk→∞ ak = 1.
1.18 Legge e valor medio del numero dei ritorni in uno stato
In quel che segue si utilizzerà la variabile aleatoria Nn (i) che conta il numero
delle visite fatte dalla catena allo stato i in n passi. Si ha
∑
n
Nn (i) = I{i} (Xk ),
k=1
ricordando che I{i} (x) è la funzione indicatrice dell’insieme {i} che vale 1 se
x ∈ {i}, cioè x = i, e 0 altrimenti.
La variabile aleatoria definita da
∞
∑
N∞ (i) = lim Nn (i) = I{i} (Xk )
n→∞
k=1
27
conta il numero totale delle visite della catena allo stato i (attenzione: il
limite si intende cosı̀: N∞ (i)(ω) = limn→∞ Nn (i)(ω) per ogni ω ∈ Ω). Os-
serviamo che, come la variabile aleatoria tempo di primo passaggio τi , anche
N∞ (i) è una variabile estesa, cioè a valori in N ∪ {+∞}.
Si osserva che vale l’uguaglianza tra eventi
{Xn = i inf.nte spesso} = {N∞ (i) = +∞}
e che quindi si può enunciare il teorema precedente cosı̀
ρii < 1 ⇐⇒ Pi (N∞ (i) = +∞) = 0
ρii = 1 ⇐⇒ Pi (N∞ (i) = +∞) = 1.

La densità della variabile numero dei ritorni nello stato, ovvero del nu-
mero dei passaggi della catena per i quando la sua legge iniziale è la delta
di Dirac in i, è dunque determinata nel caso di stati persistenti. Nel caso di
stati transienti vale il seguente lemma.
Lemma


1 − ρii , k = 0
i transiente =⇒ Pi (N∞ (i) = k) = 0, k = +∞

 k
ρii (1 − ρii ), altrimenti
Dimostrazione Il caso k = +∞ è contenuto, come già osservato, nel teorema

precedente. Il caso k = 0 deriva dalla definizione di ρii . Per il resto si osserva
che
Pi (N∞ (i) ≥ k) = ρkii ;
infatti {N∞ (i) ≥ k} coincide con l’evento Ak della dimostrazione del teorema
precedente. Quindi
Pi (N∞ (i) = k) = Pi (N∞ (i) ≥ k) − Pi (N∞ (i) ≥ k + 1) = ρkii (1 − ρii ),
che conclude la dimostrazione.
Si vuole calcolare ora il valore medio della variabile di cui si è appena

trovata la densità condizionata all’evento {X0 = i}; per ricordare che la
catena parte da i si scrive i sotto il simbolo di media. Chiaramente nel
caso
[ persistente,
] per definizione di valor medio di variabile
[ ] aleatoria estesa,
Ei N∞ (i) = +∞. Nel caso transiente invece Ei N∞ (i) < +∞, infatti
utilizzando la densità di N∞ (i) del lemma precedente si trova
∞
[ ] ∑ ρii
Ei N∞ (i) = kρkii (1 − ρii ) = < +∞
1 − ρii
k=1
28
∑
poiché ∞ k
k=1 kρii (1−ρii ) è media della geometrica trasformata di parametro
1 − ρii (legge del numero dei fallimenti prima del successo in uno schema di
Bernoulli di parametro 1 − ρii ).
Si osserva ora che
[ [ ] [ ]
Ei N∞ (i)] = Ei lim Nn (i) = lim Ei Nn (i) ,
n→∞ n→∞
poiché qui è lecito scambiare il limite con il valore medio (di ciò si tralascia
la dimostrazione). Inoltre utilizzando la linearità della media, si ha
[ ] ∑n
[ ]
Ei Nn (i) = Ei I{i} (Xk ) .
k=1
(k)
e, essendo I{i} (Xk ) ∼ B(p) con p = Pi (Xk = i) = pii ,
[ ] ∑n
(k)
Ei Nn (i) = pii
k=1
poiché il valor medio di una binomiale coincide con il suo parametro. Si è

[ ] ∑
cosı̀ mostrato che Ei N∞ (i) = ∞
(k)
k=1 pii . Si può allora enunciare il teorema
seguente.
Teorema
∞
[ ] ∑ (k)
i transiente ⇐⇒ Ei N∞ (i) = pii < +∞
k=1
La parte necessaria del teorema è immediata e la parte sufficiente segue

dal fatto che se i è persistente allora il numero medio dei ritorni è infinito.
Naturalmente il teorema si può anche enunciare cosı̀:

∞
∑ (k)
i persistente ⇐⇒ pii = +∞.
k=1
1.19 Transienza e persistenza di uno stato

in termini del numero dei passaggi per esso
partendo da uno stato qualsiasi
La densità del numero dei passaggi per i condizionata all’evento {X0 = j}
con j ̸= i si calcola utilizzando l’uguaglianza
Pj (N∞ (i) ≥ k) = ρji ρk−1

ii ,
29
che si ricava similmente a Pi (N∞ (i) ≥ k) = Pi (Ak ) = ρkii . Se è i persistente
e j ̸= i si trova


1 − ρji , k=0
Pj (N∞ (i) = k) = ρji ρk−1 ii (1 − ρii ) = 0,
− ρji ρkii = ρji ρk−1 k≥1


ii
ρji , k = +∞
mentre se i è transiente


1 − ρji , k=0
Pj (N∞ (i) = k) = ρji ρii (1 − ρii ), k ≥ 1
k−1


0, k = +∞.
In entrambi i casi la densità in k = +∞ si deriva considerando che deve

essere
∑∞
Pj (N∞ (i) = k) + Pj (N∞ (i) = +∞) = 1.
k=0
Si noti che nel caso j = i si ritrova la densità del numero dei ritorni nello
stato i già precedentemente calcolata.
Dalla densità appena calcolata si ricava il valore medio del numero dei
passaggi per i condizionata all’evento {X0 = j}, ottenendo:
[ ]
i persistente o transiente e j 9 i =⇒ Ej N∞ (i) = 0
[ ]
i persistente e j → i =⇒ Ej N∞ (i) = +∞
[ ] ρji
i transiente e j → i =⇒ Ej N∞ (i) = < +∞
1 − ρii
dove in particolare l’ultima implicazione segue dall’uguaglianza
∑ 1
ii (1 − ρii ) =
kρk−1 .
1 − ρii
k≥1
Tenendo presente anche i risultati del precedente paragrafo, si può rias-

sumere cosı̀:
se i è persistente quando la catena parte da i vi ritorna infinite volte con
probabilità 1, mentre se parte da uno stato diverso da i è possibile che essa
non passi mai per i, ma se raggiunge i una volta allora vi passa in media
infinite volte; se i è transiente, qualsiasi sia il punto di partenza della catena,
il numero di visite a i con probabilità 1 è finito (eventualmente nullo) e anche
il numero medio di visite a i è finito (eventualmente nullo).
Infine in modo simile al paragrafo precedente si dimostra
∞
[ ] ∑ (k)
Ej N∞ (i) = pji
k=1
30
e quindi da quanto esposto si deriva il teorema seguente.
Teorema Qualsiasi sia j ∈ S
∞
∑ (k)
i transiente =⇒ pji < +∞.
k=1
Utilizzando poi il fatto che il termine generico di serie convergente è in-

finitesimo, si ottiene immediatamente il seguente corollario.
Corollario Qualsiasi sia j ∈ S
(k)
i transiente =⇒ lim pji = 0 .
k→∞
Esercizio 4
Dimostrare che vale l’equazione detta di Chapman-Kolmogorov

(n+m)
∑ (n) (m)
pij = pih phj
h∈S
e dedurne che, se i comunica con l e l comunica con j, allora i comunica con

j.
Soluzione
(n+m)
∑
pij = P(Xn+m = j, Xn = h | X0 = i)
h∈S
∑ P(Xn+m = j, Xn = h, X0 = i)
= .
P(X0 = i)
h∈S
Allora applicando la formula del prodotto, semplificando e usando la pro-

prietà di Markov, si ottiene
(n+m)
∑
pij = P(Xn+m = j | Xn = h)P (Xn = h | X0 = i).
h∈S
Infine ricordando
(m) (n)
P(Xn+m = j | Xn = h) = phj , P(Xn = h | X0 = i) = pih ,
si ottiene l’equazione di Chapman-Kolmogorov.

(n)
Inoltre se i → l esiste n > 0 tale che pil > 0 e se l → j esiste m > 0
(m)
tale che plj > 0 e poiché per Chapman-Kolmogorov
(n+m)
∑ (n) (m) (n) (m)
pij = pih phj ≥ pil plj > 0,
h∈S
(n+m)
si trova pij > 0 e quindi anche i → j.
31
1.20 Una condizione sufficiente per la transienza
Un criterio utile per verificare il carattere transiente di uno stato è
esiste i : j → i, i 9 j =⇒ j transiente.
(n)
Per la dimostrazione si procede cosı̀. Posto m = min{n ≥ 1 : pji > 0},
esistono i1 , i2 , . . . , im−1 ∈ S e diversi da i e da j tali che Pj (A) > 0 se A è
l’evento definito da
A = {X1 = i1 , . . . , Xm−1 = im−1 , Xm = i};
dunque Pj (Ac ) = 1 − Pj (A) < 1. Allora se si dimostra che
Pj ({τj < ∞} ∩ A) = 0,
si ha come conseguenza che ρjj è minore di 1; infatti
ρjj = Pj (τj < ∞) = Pj ({τj < ∞}∩A)+Pj ({τj < ∞}∩Ac ) = Pj ({τj < ∞}∩Ac )
e essendo {τj < ∞} ∩ Ac ⊆ Ac vale Pj ({τj < ∞} ∩ Ac ) ≤ Pj (Ac ).

Per dimostrare che Pj ({τj < ∞} ∩ A) = 0, si scrive
∞
∑
Pj ({τj < ∞} ∩ A) = Pj ({τj = k} ∩ A)
k=m+1
∑∞
= Pj (τj = k | A)Pj (A).
k=m+1
(k−m) (k−m)
Poiché per la proprietà di Markov Pj (τj = k | A) = ρij e poiché ρij ≤
(k−m)
pij , con il cambio di variabile n = k − m, si ottiene
∞
∑ (n)
Pj ({τj < ∞} ∩ A) ≤ pij Pj (A)
n=1
(n)
Si conclude osservando che per ipotesi, qualsiasi sia n ≥ 1, si ha pij = 0.
Si fa notare che quando S ha cardinalità finita l’implicazione appena

dimostrata vale anche nel verso contrario (si veda il paragrafo 22), ma questo
non è vero se S è infinito (per un controesempio si veda il paragrafo 27).
32
1.21 Una condizione sufficiente per la persistenza
Un criterio utile per verificare il carattere persistente di uno stato è
esiste i persistente e i → j =⇒ ρji = 1 e j persistente.
Per la dimostrazione si procede cosı̀. Si comincia con il mostrare che ρji = 1.

(n)
Sia n0 = min{n ≥ 1 t.c. pij > 0}, allora esistono i1 , i2 , . . . , in0 −1 ̸= j, i tali
che posto
B = {X1 = i1 , . . . , Xn0 −1 = in0 −1 , Xn0 = j}
vale Pi (B) > 0. Poiché i è persistente vale
( )
Pi B ∩ {Xn ̸= i , qualsiasi sia n ≥ n0 + 1} = 0;
inoltre per la proprietà di Markov è anche vero che
Pi (B ∩ {Xn ̸= i , ∀n ≥ n0 + 1}) = Pi (B) Pj (τi = +∞) = Pi (B)(1 − ρji );
dalle due affermazioni segue ρji = 1.

∑
Si fa poi vedere che vale la condizione ∞
(k)
k=1 pjj = +∞ sufficiente per la
(n )
persistenza di j. Sia n1 ≥ 1 tale che pji 1 > 0 (n esiste poiché, essendo
ρji = 1 è vero che j → i).
∞
∑ ∞
∑
(k) (k)
pjj ≥ pjj
k=1 k=n0 +1+n1
∑∞
(h+n +n )
= pjj 0 1 .
h=1
Utilizzando l’equazione di Chapman-Kolmogorov, con semplici minorazioni

si ottiene
∞
∑ ∞ ∑
∑
(k) (n ) (h) (n )
pjj ≥ pjl 1 pll plj 0
k=1 h=1 l∈S
∞
∑ (n ) (h) (n )
≥ pji 1 pii pij 0
h=1
∞
∑
(n ) (n ) (h)
= pji 1 pij 0 pii .
k=1
∑
Poiché, essendo per ipotesi i persistente, si ha che ∞
(h)
k=1 pii = +∞, per
∑∞ (h)
confronto si deduce che anche k=1 pjj = +∞.
Come corollario di questo criterio si ottiene:
Corollario Sia C ⊂ S un classe irriducibile, allora tutti gli stati sono
persistenti o tutti transienti.
33
Si fa notare che, sia per S finito che infinito, l’implicazione appena di-
mostrata vale anche nel verso contrario. Infatti: ρji = 1 implica banalmente
j → i e quindi per l’implicazione diretta se j è persistente ρij = 1 (dunque
i → j) e i è persistente.
1.22 Persistenza e transienza in classi finite

Si dimostra che se C ⊂ S è una classe chiusa e finita allora in C esiste
almeno uno stato persistente. Si procede per assurdo. Infatti se tutti gli
stati in C fossero transienti, fissato uno di essi, j, si avrebbe (da un risultato
(k)
precedentemente dimostrato), per ogni i in C, limk→∞ pji = 0 e quindi
∑ (k)
lim pji = 0.
k→∞
i∈C
D’altro canto
∑ (k)
∑ (k)
lim pji = lim pji = lim Pj (Xk ∈ C) = 1,
k→∞ k→∞ k→∞
i∈C i∈C
infatti limite e somma si scambiano poiché la somma è su un numero finito
di termini e l’ultima uguaglianza segue dal fatto che C è una classe chiusa.
Due sono le conseguenze importanti.
La prima è che tutti gli stati di una classe irriducibile finita sono persistenti
(segue mettendo insieme quanto appena detto e il corollario del paragrafo
precedente) e quindi se una catena ha spazio degli stati finito ed è irriducibile
allora tutti gli stati sono persistenti (segue dal precedente poiché tutto lo
spazio degli stati è una particolare classe chiusa).
La seconda conseguenza è che nel caso S finito la condizione sufficiente
per la transienza è anche necessaria: infatti, se per ogni j con i → j vale
anche j → i, allora i è elemento di una classe irriducibile finita e quindi è
persistente. Si ricorda che, come già accennato, nel caso S infinito invece
la condizione non è necessaria: esistono classi irriducibili infinite di stati
transienti (si veda il paragrafo 27).
Da quanto detto segue che quando S è finito per analizzare il carattere

degli stati si può procedere cosı̀: si individuano subito tutti gli stati transi-
enti, che sono tutti e soli quelli che comunicano con almeno uno stato che
non li ricambia, e poi intorno a ciascuno dei rimanenti si costruisce la classe
irriducibile (finita) di stati persistenti che lo contiene.
Per esempio, si consideri la catena con matrice di transizione
 
1 0 0 0 0 0
 1 1 1 0 0 0
 4 21 42 1 
0 1
P= 5 5 5 0 5 .
0 0 0 1 1 1 
 6 3 2
0 0 0 1 0 1 
2 2
0 0 0 12 0 12
34
Gli stati 3 e 2 comunicano con 1, ma 1 non comunica né con 2 né con 3 e
quindi gli stati 2 e 3 sono transienti; C1 = {4, 5, 6} è classe irriducibile di
stati persistenti; C2 = {1} è classe irriducibile formata da un unico stato
assorbente.
1.23 Teorema di decomposizione dello spazio degli stati

Lo spazio degli stati ammette una decomposizione di questo tipo
S = T ∪ C1 ∪ C2 ∪ . . .
dove T è l’insieme degli stati transienti e Cn , n = 1, 2, . . . sono classi disgiunte

irriducibili persistenti. Per dimostrarlo si considera i1 ∈ S \ T e si costruisce
C1 come la classe che contiene tutti gli stati con cui comunica i1 che, grazie
al criterio sufficiente per la persistenza, sono tutti persistenti. C1 è non
vuota poiché contiene i1 . C1 è chiusa poiché se j ∈ C1 allora, per il criterio
sufficiente per la persistenza, j è persistente e i1 ↔ j e inoltre se j → h per
lo stesso criterio j ↔ h e per la proprietà transitiva i1 ↔ h. C1 è irriducibile
poiché se j e l sono in C1 allora i1 ↔ j e i1 ↔ l e usando la proprietà
transitiva j ↔ l.
Scelto uno stato i2 che non appartiene a C1 né a T , si costruisce C2 nello
stesso modo e cosı̀ via. È facile verificare poi che le classi Cn , n = 1, 2 . . . sono
disgiunte: infatti se per esempio fosse h ∈ C1 ∩ C2 , allora ogni elemento di
C1 , i, sarebbe tale che h → i, ma allora, poiché C2 è chiuso e h ∈ C2 , sarebbe
anche i ∈ C2 e quindi C1 ⊂ C2 .In modo analogo si prova il viceversa.Segue
che C1 = C2 .
Dunque: quando la catena parte da uno stato di un qualsiasi Cn rimane
per sempre in Cn visitando infinitamente spesso ogni stato di Cn (con prob-
abilità 1); quando la catena parte da uno stato di T e T è numerabile, può
rimanere per sempre in T o entrare in qualche Cn e rimanere poi lı̀ per sem-
pre visitando ogni suo stato infinitamente spesso; se T ha cardinalità finita,
invece, qualsiasi sia la legge iniziale, la catena esce prima o poi da T e non
vi rientra più. Più precisamente, posto
∑
N∞ (T ) = N∞ (i),
i∈T
N∞ (T ) è la variabile aleatoria che conta il numero dei passaggi per T e si

dimostra che
P(N∞ (T ) = +∞) = 0.
Infatti, qualsiasi sia la legge iniziale, per la proprietà di Markov
∑
P(N∞ (T ) = +∞) = Pj (N∞ (T ) = +∞) π0 (j)
j∈S
35
e quindi è sufficiente far vedere che, per ogni j ∈ S , Pj (N∞ (T ) = +∞) = 0.
Poiché T ha cardinalità finita,
N∞ (T ) = +∞ =⇒ esiste i ∈ T t.c. N∞ (i) = +∞
cioè ∪
{N∞ (T ) = +∞} = {N∞ (i) = +∞}
i∈T
e quindi ∑
Pj (N∞ (T ) = +∞) ≤ Pj (N∞ (i) = +∞) = 0,
i∈T
dove la disuguaglianza segue dal fatto che in generale la probabilità di un’u-

nione di eventi è minore o uguale alla somma delle probabilità dei singoli
eventi e l’ultima uguaglianza segue dal fatto che Pj (N∞ (i) = +∞) = 0, per
ogni j ∈ S e per ogni i ∈ T .
Esercizio 5
Studiare il carattere degli stati della matrice di transizione seguente

 
0 12 1
2 0 0 0
0 2 0 0 0 13 
 3 
0 0 1 1 
P=  2 0 2 0
1 1 1
0 0 2 4 0 4
0 4 0 0 0 15 
5
0 0 0 0 12 12
Soluzione
Gli stati 1, 3, 4 sono transienti: infatti 1 → 3 ma 3 9 1, 3 → 5 ma 5 9 3,
4 → 3 ma 3 9 4. Facilmente si verifica poi che {2, 5, 6} è classe irriducibile,
finita e quindi persistente.
1.24 Sistema di equazioni per le probabilità di assorbimento

Sia C una classe chiusa di S (si ricordi che C può contenere anche stati
transienti). Indicata con τC la variabile aleatoria che indica il tempo di
ingresso della catena in C, ovvero
{
min{n ≥ 1 t.c. Xn (ω) ∈ C}, se il minimo esiste
τC (ω) =
+∞, altrimenti
si definisca
λCi = Pi (τC < +∞), i ∈ S,
36
allora λCi è la probabilità che partendo da i la catena arrivi in un tempo
aleatorio finito in C. Dopo questo istante la catena non potrà più lasciare C
essendo la classe chiusa e per questo λCi si chiama probabilità di assorbimento
in C partendo da i.
Allora è ovvio che
i ∈ C =⇒ λCi = 1
e
i ∈ C ′ chiusa, C ′ ∩ C = ∅ =⇒ λCi = 0.
Si fa vedere che le quantità λCi , i ∈ T \ C soddisfano un sistema di equazioni
lineari in tante incognite e tante equazioni quanto è la cardinalità di T \ C.
Fissato i ∈ T \ C
∑∞
C
λi = Pi (τC = n),
n=1
inoltre ∑
Pi (τC = n) = pih1 ph1 h2 . . . phn−1 h
h∈C, hj ∈T \C, j=1,...,n−1
e
∑
Pi (τC = n + 1) = pih1 ph1 h2 . . . phn h
h∈C, hj ∈T \C, j=1,...,n
∑
= pih1 Ph1 (τC = n).
h1 ∈T \C
Ora, poiché
∞
∑
λCi = Pi (τC = 1) + Pi (τC = n),
n=2
con il cambio di variabile n = m + 1

∞
∑
λCi = Pi (τC = 1) + Pi (τC = m + 1)
m=1
∑
e sostituendo a Pi (τC =∑m + 1) l’espressione h1 ∈T \C pih1 Ph1 (τC = m) e a
Pi (τC = 1) il suo valore j∈C pij , si ottiene qualsiasi sia i ∈ T \ C
∑ ∞
∑ ∑
λCi = pij + pih1 Ph1 (τC = m)
j∈C m=1 h1 ∈T \C
e scambiando l’ordine delle sommatorie (cosa possibile poiché i termini sono

non negativi) ∑ ∑
λCi = pij + pih1 λCh1 .
j∈C h1 ∈T \C
37
Si vedrà nel prossimo paragrafo che se T ha cardinalità finita il sistema
∑ ∑
xi = pij + pih1 xh1 .
j∈C h1 ∈T \C
ha soluzione unica, che quindi coincide con le probabilità di assorbimento.

Si osservi che, grazie al criterio sufficiente per la persistenza, la classe
S \ T di tutti gli stati persistenti di una catena (finita e non) è una classe
chiusa. In tal caso il sistema soddisfatto dalle probabilità di assorbimento
diventa ∑ ∑
xi = pij + pij xj , i ∈ T .
j∈S\T j∈T
È immediato verificare che xi = 1 qualsiasi sia i ∈ T è una soluzione del

sistema, che quindi nel caso finito coincide con la probabilità di assorbimento
nella classe degli stati persistenti. Cosı̀ nel caso T finito, qualsiasi sia la legge
iniziale ∑ S\T ∑
P(τS\T < +∞) = λj π0 (j) = π0 (j) = 1.
j∈S j∈S
Lo stesso risultato si può anche mostrare mettendo insieme il fatto che
P(τS\T < +∞) = P(N∞ (T ) < +∞),
e che nel caso T finito come si è già visto P(N∞ (T ) < +∞) = 1.
1.25 Unicità della soluzione del sistema di equazioni

per le probabilità di assorbimento nel caso stati finiti
Sia xi , i ∈ T \ C una soluzione del sistema
∑ ∑
xi = pih + pih xh ;
h∈C h∈T \C
si dimostra che xi coincide con λi = Pi (τC < +∞). Per questo si sostituisce
nell’equazione precedente il valore di xh dato dall’equazione stessa
∑ ∑ ∑ ∑ ∑
xi = pih + pih phj + pih phj xj
h∈C h∈T \C j∈C h∈T \C j∈T \C
∑ ∑ ∑ ∑ ∑
= pih + pih phj + pih phj xj ,
h∈C h∈T \C j∈C j∈T \C h∈S
dove nella riscrittura del terzo termine si è usato il fatto che se j ∈ T \ C e

h ∈ C allora phj = 0.
38
Si osserva che, poiché i primi due addendi insieme danno la probabilità
di passare da i in C in al più due passi,
∑ (2)
xi = Pi (τC ≤ 2) + pij xj .
j∈T \C
Con analogo procedimento dall’equazione precedente si ottiene

∑ (3)
xi = Pi (τC ≤ 3) + pij xj ,
j∈T \C
e iterando n − 1 volte
∑ (n)
xi = Pi (τC ≤ n) + pij xj .
j∈T \C
Passando al limite per n → ∞ nel secondo membro e utilizzando il fatto che

T , e quindi T \ C, è finito e pertanto si possono scambiare somma e limite,
si ottiene ∑ (n)
xi = lim Pi (τC ≤ n) + lim pij xj .
n→∞ n→∞
j∈T \C
Ora {τC ≤ n} è una successione crescente di eventi, ovvero
{τC ≤ n} ⊂ {τC ≤ n + 1},
e inoltre
∞
∪
{τC ≤ n} = {τC < +∞},
n=1
cosı̀, applicando il lemma di continuità della probabilità per successioni

crescenti di eventi del paragrafo 17,
lim Pi (τC ≤ n) = Pi (τC < +∞).

n→∞
Inoltre si è dimostrato nel paragrafo 19 che qualsiasi sia i ∈ S per j transiente

(n)
limn→∞ pij = 0 e quindi in definitiva si ottiene come si voleva
xi = Pi (τC < +∞).
39
1.26 Probabilità di estinzione
per la catena di nascita e morte con estremi assorbenti
In questa sezione si calcola la probabilità di assorbimento in {0} per una
catena di nascita e morte a stati finiti con estremi 0 e m assorbenti, ovvero
r0 = 1 (quindi p0 = 0) e rm = 1 (e quindi qm = 0), e con pi > 0 e qi > 0,
e quindi tutti gli stati intermedi comunicanti e transienti. Ponendo per
{0}
semplicità di notazione λCi = λi = λi , il sistema si scrive
λi = qi λi−1 + pi λi+1 + ri λi ,
i ∈ {1, . . . , m−1}, dove λ0 = 1 e λm = 0. Sostituendo a ri il valore 1−pi −qi ,
dopo facili passaggi algebrici, si trova per i ∈ {1, . . . , m − 1}
qi
λi − λi+1 = (λi−1 − λi )
pi
(attenzione: si usa pi > 0). Si calcola in modo ricorsivo per i ∈ {1, . . . , m−1}
qi qi−1 . . . q1
λi − λi+1 = (1 − λ1 ) = γi (1 − λ1 )
pi pi−1 . . . p1
avendo posto
qi qi−1 . . . q1
γi = .
pi pi−1 . . . p1
Si noti che posto γ0 = 1 l’uguaglianza
λi − λi+1 = γi (1 − λ1 )
vale anche per i = 0, dunque vale per i ∈ {0, . . . , m − 1}. Allora sommando
da 0 a m − 1 ambo i membri dell’uguaglianza precedente, si ricava
∑
m−1
λ0 − λm = γi (1 − λ1 )
i=0
da cui, ricordando che λ0 = 1 e λm = 0, si ottiene

1
1 − λ1 = ∑m−1
i=0 γi
(attenzione: si usa qi > 0). Sommando ora da j a m − 1 ambo i membri
dell’uguaglianza già utilizzata e ricordando che λm = 0, si ricava
∑m−1
i=j γi
λj − λm = λj = ∑m−1 .
i=0 γi
( )i
Si assuma pi = p e qi = q, allora ri = r e si ottiene γi = pq e quindi
( )j ( )j+1 ( )m−1
q q
p + p + . . . + pq
λj = ( ) ( )m−1
1 + pq + . . . + pq
40
e se q = p = 1/2 o anche solo q = p, r ̸= 0
m−j
λj = .
m
Cosı̀ nella rovina del giocatore la probabilità che A perda è
b
λa = .
a+b
1.27 Persistenza o transienza per la catena di nascita e morte

irriducibile
Per analizzare il carattere degli stati della catena di nascita e morte a valori
in S = N e con pi > 0 e qi > 0 per ogni i ∈ S, si osserva che: poiché essa è
irriducibile gli stati hanno tutti lo stesso carattere, in particolare il carattere
dello stato 0 e inoltre
ρ00 = p00 + p01 ρ10 = r0 + p0 P1 (τ0 < +∞).
Pertanto la catena è persistente se e solo se
1 = r0 + p0 P1 (τ0 < +∞)
e quindi, ricordando che r0 + p0 = 1, se e solo se
P1 (τ0 < +∞) = 1.
Per calcolare P1 (τ0 < +∞) si osserva che

∞
∪
{τ0 < +∞, X0 = 1} = {τ0 < τm , X0 = 1}.
m=1
Infatti τ0 (ω) < +∞ implica che esiste M , dipendente da ω, tale che τ0 (ω) <
M ; inoltre, poiché, per ω tale che X0 (ω) = 1, si ha τm (ω) + 1 ≤ τm+1 (ω),
allora, per ω tale che X0 (ω) = 1, τm (ω) diverge a +∞ crescendo, e quindi
esiste m, dipendente da ω, tale che τ0 (ω) < M < τm (ω). Pertanto
∞
∪
{τ0 < +∞, X0 = 1} ⊂ {τ0 < τm , X0 = 1}.
m=1
L’inclusione inversa è immediata.

Dunque, applicando il lemma di continuità della probabilità per succes-
sioni crescenti di eventi del paragrafo 17
P1 (τ0 < +∞) = lim P1 (τ0 < τm ).

m→∞
41
Ma P1 (τ0 < τm ) è pari alla probabilità di assorbimento in 0 partendo da
1 per la catena di nascita e morte su {0, . . . , m} con le stesse pi , ri , qi per
i = 1, . . . , m − 1 ma con 0 e m assorbenti.
Pertanto, ricordando l’espressione di λj per j = 1 calcolata nel paragrafo
precedente, si ha
∑m−1 ( )
γi 1
P1 (τ0 < +∞) = lim ∑i=1m−1 = lim 1 − ∑ m−1 .
m→∞ m→∞
i=0 γi i=0 γi
Concludendo, la catena è persistente se e solo se
∞
∑
γi = +∞.
i=0
Se qi = q, pi = p
∞
∑ ∞ ( )
∑ q i
γi = = +∞
p
i=0 i=0
se e solo se pq ≥ 1 ovvero se e solo se q ≥ p.
i+2
Esempio: pi = 2i+2 i
e qi = 2i+2 ; allora pqii = i
i+2 e
1 · 2 · 3 . . . (i − 2)(i − 1)i 2
γi = =
3 · 4 · 5 . . . i · (i + 1)(i + 2) (i + 1)(i + 2)
∑ ∑ 1
e poiché γi ha lo stesso comportamento di i2
< +∞, la catena è
transiente.
Esercizio 6
Tre libri sono messi uno sopra l’altro a formare una pila. In ogni istante
se ne sceglie uno a caso e si mette in cima alla pila lasciando invariata la
posizione degli altri due. Assumendo che i libri siano contraddistinti con le
lettere A,B,C: descrivere con una catena di Markov il sistema il cui stato è
costituito in ogni istante dalla disposizione dei libri nella pila.
Soluzione
Ci sono tanti stati quante sono le permutazioni della terna(A,B,C), ovvero
3! = 6. Inoltre da ogni stato le transizioni possibili equiprobabili sono 3.
Cosı̀ se per esempio ordiniamo i possibili stati in questo modo:
{(A B C) , (B A C) , (C A B) , (A C B) , (B C A) , (C B A)}
la matrice di transizione è la seguente
1 1 1 
3 3 3 0 0 0
1 1
0 0 0 1
3 3 3
0 0 1 1 1
0
P=
0
3 3 3 

1
3
1
3
1
3 0 0

1 0 0 0 1 1
3 3 3
1 1 1
0 0 0 3 3 3
42
La catena è irriducibile poiché tutti gli stati sono comunicanti e, essendo lo
spazio di stato finito, tutti gli stati sono persistenti.
1.28 Tempi medi di assorbimento nella classe degli stati per-

sistenti
In questa sezione si determina il sistema di equazioni al quale devono soddis-
fare i valori medi dei tempi di assorbimento nella classe chiusa C di tutti gli
stati persistenti, quando l’insieme degli stati transienti è finito. In tal caso
qualsiasi sia i ∈ T vale λCi = Pi (τC < +∞) = 1 e qui si vogliono determinare
le equazioni per Ei [τC ], valor medio di τC condizionato a (X0 = i).
Sia i ∈ T allora
∞
∑
Ei [τC ] = 1 · Pi (τC = 1) + n Pi (τC = n)
n=2
∞
∑
= Pi (τC = 1) + (1 + l) Pi (τC = 1 + l)
l=1
∑
e essendo Pi (τC = 1 + l) = h∈T pih Ph (τC = l),
∞
∑ ∞
∑ ∑
Ei [τC ] = Pi (τC = 1) + Pi (τC = 1 + l) + l pih Ph (τC = l)
l=1 l=1 h∈T
∞
∑ ∞
∑ ∑
= Pi (τC = n) + l pih Ph (τC = l).
n=1 l=1 h∈T
Dunque, potendo scambiare l’ordine delle somme nel secondo addendo, se è

i ∈ T si ha
∑ ∞
∑
Ei [τC ] = Pi (τC < +∞) + pih l Ph (τC = l)
h∈T l=1
∑
=1+ pih Eh [τC ],
h∈T
dove nell’ultimo passaggio si è usato Pi (τC < +∞) = λCi = 1.

Si può dimostrare che il sistema
∑
xi = 1 + pih xh , i ∈ T ,
h∈T
quando T ha cardinalità finita, in particolare se lo spazio degli stati del-

la catena è finito, ammette un’unica soluzione e dunque risolvendolo si
ottengono proprio i valori medi desiderati.
43
Nel caso della rovina del giocatore con p = q per C = {0, m} e T = {1, . . . m − 1}
si calcola
Ei [τC ] = i(a + b − i)
e quindi, se il capitale iniziale di A è a, in media affinché il gioco finisca si
aspetta un tempo pari ad ab.
Continuazione dell’Esercizio 6
Quanto tempo in media occorre se la catena è inizialmente nello stato

(A,B,C) (dall’alto verso il basso) affinché il primo libro dall’alto sia quello
contraddistinto dalla lettera C?
Soluzione
Per rispondere si calcola il tempo medio di assorbimento partendo dallo stato
1 nella classe chiusa C = {3, 6} per la catena modificata rendendo assorbenti
gli stati 3 e 6. Il grafico della nuova catena è
Il sistema da risolvere per calcolare E1 [τC ] è:



 x1 = 1 + 13 x1 + 1
 3 x2

 x = 1 + 1x + 1
2 3 2 3 x1
 x4 = 1 + 13 x4 +

1
3 x2


 x = 1 + 1x + 1
5 3 5 3 x1
le cui soluzioni sono x1 = x2 = x4 = x5 = 3. Pertanto E1 [τC ] = 3.
44
Esercizio 7
a) Calcolare le probabilità di assorbimento nello stato 0 per la catena con

matrice di transizione
 
1 0 0 0
1 0 1 1
P= 3 3
0 1 1 1  .
3
4 4 2
0 0 0 1
b) Calcolare la probabilità che la catena sia assorbita nello stato 0 se la

densità iniziale è quella uniforme.
c) Calcolare i tempi medi di assorbimento in {0, 3}.
Soluzione
a) Le probabilità di assorbimento nello stato 0 risolvono

{
x1 = 13 + 13 x2
x2 = 14 x1 + 14 x2
{0} 3 {0}
da cui si calcola facilmente λ1 = x1 = 8 e λ2 = x2 = 18 .
b) Se poi la legge iniziale è uniforme, allora
∑
3
{0} 1 1 3 1 1 1 3
P(τ0 < +∞) = λi =1· + · + · = .
4 4 8 4 8 4 8
i=0
c) I tempi medi di assorbimento in C = {0, 3} risolvono

{
x1 = 1 + 13 x2
x2 = 1 + 14 x1 + 14 x2
13 15
e quindi si calcola E1 [τC ] = 8 , E2 [τC ] = 8 .
45
Esercizio 8
Sia (Xn )n≥0 la catena che descrive la seguente passeggiata aleatoria sui
vertici di un triangolo, numerati con 1,2,3 procedendo in senso antiorario: ci
si muove in senso antiorario con probabilità p e orario con probabilità 1 − p
e la densità iniziale è π0 = ( 15 0 45 ). Calcolare il valore medio del tempo di
primo arrivo nello stato 2.
Soluzione
Vale la formula
∑
3
E[τ2 ] = π0 (i)Ei [τ2 ].
i=1
Infatti poiché
∑
3
P(τ2 = n) = π0 (i)Pi (τ2 = n)
i=1
si ha
∞
∑ ∞
∑ ∑
3
E[τ2 ] = nP(τ2 = n) = n π0 (i)Pi (τ2 = n)
n=1 n=1 i=1
e scambiando l’ordine delle sommatorie

∞
∑ ∑
3 ∞
∑
E[τ2 ] = nP(τ2 = n) = π0 (i) nPi (τ2 = n).
n=1 i=1 n=1
Si osserva che la stessa formula si sarebbe potuta ottenere anche nel modo
che segue. La variabile aleatoria, τ2 , tempo di primo arrivo nello stato 2, si
può scrivere cosı̀
τ2 = τ2 I{1} (X0 ) + τ2 I{2} (X0 ) + τ2 I{3} (X0 )
e quindi per la linearità della media
∑
3
[ ]
E[τ2 ] = E τ2 I{i} (X0 ) .
i=1
La densità della variabile τ2 I{i} (X0 ) in k ≥ 1 si calcola cosı̀:
P(τ2 I{i} (X0 ) = k) = P(τ2 = k, X0 = i) = P(τ2 = k|X0 = i)P(X0 = i).
Pertanto P(τ2 I{i} (X0 ) = k) = Pi (τ2 = k)π0 (i) se k ≥ 1 e

∞
∑ ∞
∑
E[τ2 I{i} (X0 )] = k Pi (τ2 = k)π0 (i) = π0 (i) k Pi (τ2 = k) = π0 (i)Ei [τ2 ].
k=1 k=1
46
∑3
Sostituendo dunque nella formula E[τ2 ] = i=1 π0 (i)Ei [τ2 ] i valori della
densità iniziale si ottiene
1 4
E[τ2 ] = E1 [τ2 ] + E3 [τ2 ].
5 5
Un modo per calcolare le medie E1 [τ2 ], E3 [τ2 ] è quello di pensare che esse
sono le stesse per la catena in cui rendiamo assorbente lo stato 2, ovvero per
la catena
Questa catena ha il vantaggio di avere gli stati 1 e 3 transienti e 2 unica

classe persistente. Cosı̀ si può impostare il sistema
{
x1 = 1 + p13 x3 = 1 + (1 − p)x3
x3 = 1 + p31 x1 = 1 + p x1
la cui soluzione (x1 , x3 ) fornisce E1 [τ2 ] e E3 [τ2 ]. Si trova

2−p 1+p
E1 [τ2 ] = , E3 [τ2 ] =
1 − p + p2 1 − p + p2
Si noti che se p = 1 − p, ovvero nel caso simmetrico, come ci si può as-
pettare, E1 [τ2 ] = E3 [τ2 ] e in particolare entrambi i valori sono uguali a 2. In
conclusione
1 2−p 4 1+p 6 + 3p
E[τ2 ] = + = .
5 1 − p + p2 5 1 − p + p2 5(1 − p + p2 )
47
Esercizio 9
Quattro fratelli di età differente giocano a tirarsi la palla: ciascuno la lancia

con uguale probabilità a quelli più piccoli di lui, ma il più piccolo di tutti
non la lancia affatto e ferma il gioco.
a) Descrivere con una catena di Markov il gioco. Quanto tempo in media

dura il gioco se ad iniziarlo è il maggiore?
b) Arriva un amico e il gioco cambia cosı̀: ciascuno lancia la palla a caso al

gruppo composto dai fratelli più piccoli e dall’amico, tranne il fratello
minore e l’amico che non lanciano la palla a nessuno e fermano il gioco.
Se ad iniziare è il maggiore, con che probabilità il gioco finisce con la
palla nelle mani del minore? In media quanto tempo dura questo
secondo gioco?
Soluzione
a) Numerati con {1, 2, 3, 4} i fratelli dal più grande al più piccolo, la

catena ha la matrice di transizione seguente
 
0 13 13 31
0 0 1 1 
P= 0 0 0 1 
2 2
0 0 0 1
il suo grafico è
e lo spazio degli stati è costituito dagli stati transienti T = {1, 2, 3} e

dallo stato assorbente 4, poiché i → 4 e 4 9 i qualsiasi sia i = 1, 2, 3
e 4 comunica solo con sé stesso. Allora la classe C di tutti gli stati
48
persistenti coincide con {4} e il sistema di equazioni risolto dai tempi
medi di assorbimento in C è


 x1 = 1 + 13 x2 + 31 x3
x2 = 1 + 12 x3


x3 =1
La soluzione è x1 = 11 3 11
6 , x2 = 2 , x3 = 1 e dunque la risposta è 6 . Si
sarebbe anche potuto calcolare facilmente in questo caso la densità del
tempo di assorbimento τC trovando
1 1 1 1 1
P1 (τC = 1) = , P1 (τC = 2) = + = , P1 (τC = 3) = .
3 3 6 2 6
Il tempo medio si calcolava allora cosı̀

1 1 1 11
E1 [τC ] = 1 +2 +3 =
3 2 6 6
b) Lo spazio degli stati diventa {1, 2, 3, 4, 5} dove come prima i fratelli

sono numerati dal più grande al più piccolo e l’ultimo stato indica
l’amico; la matrice di transizione si modifica cosı̀
 
0 14 14 14 14
0 0 1 1 1 
 3 3 3
P=  0 0 0 1
2
1
2
0 0 0 1 0 
0 0 0 0 1
il suo grafico è
e lo spazio degli stati è costituito dagli stati transienti T = {1, 2, 3} e

dagli stati assorbenti 4 e 5, poiché i → 4 e 4 9 i qualsiasi sia i = 1, 2, 3
e 4 e 5 comunicano solo con sé stessi. C1 = {4} e C2 = {5} sono dunque
ora le uniche due classi irriducibili persistenti. In questo caso la classe
C di tutti gli stati persistenti coincide con C1 ∪ C2 = {4, 5}.
49
Le probabilità di assorbimento nella classe C1 = {4} sono la soluzione
del sistema 
 1 1 1
 x1 = 4 + 4 x2 + 4 x3
x2 = 31 + 13 x3


x3 = 21
e quindi x1 = x2 = x3 = 12 , come era da aspettarsi per ragioni di
simmetria. Dunque se ad iniziare è il maggiore, con probabilità 12 il
gioco finisce con la palla nelle mani del minore.
Il sistema di equazioni risolto dai tempi medi di assorbimento in C è

 1 1
 x1 = 1 + 4 x2 + 4 x3
x2 = 1 + 13 x3


x3 = 1
19
la cui soluzione è x1 = 12 , x2 = 43 , x3 = 1 e dunque la risposta è 19
12 .
Del resto
1 1 1 2 5 1
P1 (τC = 1) = , P1 (τC = 2) = + · = , P1 (τC = 3) = ,
2 4 4 3 12 12
e quindi
1 5 1 19
E1 [τC ] = 1 +2 +3 = .
2 12 12 12
1.29 La catena a due stati:

comportamento asintotico delle leggi al tempo n
Si consideri la catena con S = {0, 1} e
( )
1−p p
P=
q 1−q
con q, p ∈ [0, 1] e si calcoli la densità al tempo n, πn . Chiaramente basterà

calcolare per esempio πn (0) = P(Xn = 0). Si ha
πn (0) = P(Xn = 0 | Xn−1 = 0)πn−1 (0) + P(Xn = 0 | Xn−1 = 1)πn−1 (1)

= (1 − p)πn−1 (0) + qπn−1 (1)
= (1 − p)πn−1 (0) + q(1 − πn−1 (0))
= (1 − p − q) πn−1 (0) + q,
50
e ricorsivamente
∑
n−1
πn (0) = (1 − p − q) π0 (0) + q
n
(1 − p − q)j .
j=0
Pertanto, essendo
∑
n−1
1 − (1 − p − q)n
(1 − p − q)j = ,
p+q
j=0
si ottiene
q ( q )
πn (0) = + (1 − p − q)n π0 (0) −
p+q p+q
p ( p )
πn (1) = + (1 − p − q)n π0 (1) − .
p+q p+q
Si osserva che, qualsiasi sia la densità iniziale π0 , se p + q = 1 si ottiene,
per ogni n ≥ 1, πn (0) = q e πn (1) = p. Se più in generale si assume
|1 − p − q| < 1, si ha limn→∞ (1 − p − q)n = 0 e quindi, qualsiasi sia la densità
iniziale π0 ,
q p
lim πn (0) = , lim πn (1) = .
n→∞ p+q n→∞ p+q
Dunque si può dire che, qualsiasi sia la densità iniziale, se |1 − p − q| < 1
ovvero se p + q ̸= 0, 2, la legge di questa catena al crescere del tempo si
stabilizza.
Altrimenti se entrambi i parametri sono nulli oppure se entrambi sono pari
ad 1, ovvero se p + q = 0 oppure se p + q = 2, allora non c’è convergenza
della successione delle densità. Infatti: se p + q = 0 la matrice di transizione
è la matrice identità e la successione (πn , n ≥ 0) è costante uguale a π0 ;
se p + q = 2 allora per n pari πn coincide con π0 , mentre per n dispari πn
coincide con il vettore (π0 (1), π0 (0)).
1.30 Definizione di misura invariante

Si definisce misura di probabilità invariante o stazionaria per una matrice
di transizione P un’applicazione v : S → [0, 1] tale che
i) ∑
vi = 1
i∈S
ii) se (Xn )n≥0 è la catena associata a P con densità iniziale π0 = v, allora

qualsiasi sia n ≥ 1
πn = v P n = v.
51
Condizione necessaria e sufficiente affinché v : S → [0, 1] sia una misura
di probabilità invariante è che
∑
a) i∈S vi = 1
b) v P = v.
La condizione necessaria è immediata. La condizione sufficiente segue

osservando che a) e i) coincidono e b) implica ii): infatti se b) è vera, allora,
poiché
πn = πn−1 P,
assumendo l’ipotesi induttiva πn−1 = v si ha
πn = v P = v.
1.31 Esempi nel caso finito

Data P finita e bistocastica, cioè tale che per ogni i ∈ S
∑
n
pji = 1
j=1
(n= cardinalità di S) si dimostra che esiste una costante k tale che vi = k per
ogni i ∈ S è una misura di probabilità invariante. Affinché v sia invariante
la costante k deve verificare
∑n
a) i=1 k = 1
∑n
b) j=1 k pji = k per ogni i ∈ S.
∑ ∑
La condizione b) è chiaramente vera essendo nj=1 k pji = k nj=1 pji e P
bistocastica. La condizione a) fornisce k = n1 .
Dunque una misura invariante per P bistocastica è la misura uniforme.
È l’unica?
Come secondo esempio si considera la catena che descrive una passeg-

giata aleatoria sui vertici di un grafo: la catena ha tanti stati quanti sono i
vertici e la probabilità di transizione da uno stato (vertice) è uniforme sugli
stati adiacenti (vertici connessi al primo da un arco).
Dato per esempio il grafo
il grafico della catena associata è il seguente
Se ki è il numero dei vertici adiacenti a i ∈ S e

∑
k= ki ,
i∈S
52
allora v tale che
ki
vi =
k
è una misura invariante per la catena. Infatti
∑ kj ∑ kj 1 ki
pji = = ,
k k kj k
j∈S j adiacenti a i
l’ultima uguaglianza usa il fatto che solo ki sono gli stati per i quali pji ̸= 0.
È l’unica misura invariante?
Per la catena di nascita e morte su {0, 1, . . . , m} con gli stati 0 e m

assorbenti e qi > 0, pi > 0 se i = 1, . . . , m − 1, è chiaro che v (1) = (1 0 . . . 0)
∑ (1)
è invariante, poiché v (1) P = v (1) e m i=0 vi = 1. Analogamente v (2) =
(0 0 . . . 1) è invariante.
Sia ora il vettore w definito cosı̀
(1) (2)
wi = αvi + (1 − α)vi
per una qualche costante α ∈ (0, 1). Allora w è invariante poiché wi ≥ 0 per
ogni i = 0, . . . , m e inoltre
a)
∑
m ∑
m
(1)
∑
m
(2)
wi = α vi + (1 − α) vi = α + (1 − α) = 1.
i=0 i=0 i=0
b)
w P = α v (1) P + (1 − α) v (2) P = αv (1) + (1 − α)v (2) = w.
53
La famiglia precedente definisce un’infinità di misure invarianti e dal prossi-
mo risultato segue che ogni misura invariante appartiene alla famiglia.
Proposizione Se i é transiente e v é invariante vale vi = 0.

Dimostrazione Se v è invariante, per ogni i ∈ S
∑ (n)
vi = πn (i) = vj pji
j∈S
e passando al limite in n in entrambi i membri si ottiene per ogni i ∈ S

∑ (n)
∑ (n)
vi = lim vj pji = vj lim pji = 0
n→∞ n→∞
j∈S j∈S
Lo scambio tra somma e limite è immediato se S è finito ed è lecito in

generale poiché si può utilizzare il seguente risultato
∑∞sulle serie ([1]): le con-
dizioni limn→∞ anj = 0, |anj | ≤ A per ogni n, j, j=1 |bj | < +∞ implicano
∑∞ (n)
lim
∑∞ n→∞ j=1 |anj bj | = 0. Nel caso in esame: anj = pji ≤ 1, bj = vj e
j=1 bj = 1.
1.32 Esistenza e unicità della misura invariante

Si sono trovate una o più misure invarianti per tre diversi esempi di catene.
Ma in generale esiste sempre almeno una misura invariante? Se esiste quando
è unica?
Teorema(Markov − Kakutani ) ([1]) Una matrice di transizione su uno
spazio finito ammette sempre almeno una misura invariante.
Si è già dimostrato nel caso della catena di nascita e morte che ogni
combinazione convessa di due misure invarianti è invariante e si vede subito
che la dimostrazione non dipende né dalla catena né dalla forma di v (1) e v (2)
e quindi il risultato vale in generale. Pertanto se esiste più di una misura
invariante allora ne esistono infinite.
Su S eventualmente infinito sia P irriducibile. Già si è detto che la
caratterizzazione degli stati è globale, cioè o sono tutti persistenti o sono
tutti transienti, di conseguenza la catena si dice persistente o transiente. Si
ricorda che i è persistente se e solo se Pi (τi < +∞) = 1, ma se una variabile
aleatoria è finita con probabilità 1 questo non implica necessariamente che
il suo valore medio sia finito. Nel caso persistente si distinguono cosı̀ due
sottocasi:
catena persistente positiva: per ogni i ∈ S, Ei [τi ] < +∞,
catena persistente nulla: per ogni i ∈ S, Ei [τi ] = +∞.
54
Anche il carattere della persistenza nel caso irriducibile è globale (vedi [3]).
Teorema Ogni catena irriducibile persistente positiva ammette un’unica
misura invariante data da
1
vi = , i ∈ S.
Ei [τi ]
Le catene irriducibili transienti o persistenti nulle non ammettono misura

invariante.
Si rimanda per un’idea della dimostrazione alla fine di queste note e per
maggior dettaglio a [3].
Nel caso irriducibile dunque per determinare l’esistenza della misura in-
variante occorre poter stabilire se la media dei tempi di ritorno negli stati è
finita e, per il carattere globale della nozioni di persistenza nulla e positiva
e transienza, è sufficiente verificarlo per un solo stato.
È intuitivo (ma richiederebbe una dimostrazione che qui si omette) il
fatto che tutte le catene irriducibili finite sono persistenti positive e quindi
hanno un’unica misura invariante. Se si calcola la misura invariante allora
automaticamente si calcolano anche i tempi medi di ritorno negli stati.
1.33 Catene ergodiche

Una matrice di transizione P si dice ergodica se fissato j qualsiasi sia i ∈ S
(n)
lim pij = vj
n→∞
∑
per qualche v : S → [0, 1] tale che j vj = 1. Si può dimostrare che
dall’ergodicità discende
i) fissato j, qualsiasi sia la misura iniziale della catena, limn→∞ πn (j) =
vj
ii) v è una misura invariante
iii) v è l’unica misura invariante.
La dimostrazione si fa vedere ora nel caso finito, quando limiti e somme
si scambiano senza problema:
i)
∑ (n)
lim πn (j) = lim π0 (i) pij
n→∞ n→∞
i
∑ (n)
= π0 (i) lim pij
n→∞
i
∑ ∑
= π0 (i)vj = vj π0 (i) = vj
i i
55
(
La dimostrazione di questo punto nel caso infinito richiede il risultato di
scambio di limite e serie enunciato precedentemente:
∑ (n)
∑ (n)
∑ (n)
lim | π0 (i)(pij −vj )| ≤ lim π0 (i)|pij −vj | = π0 (i) lim |pij −vj | = 0
n→∞ n→∞ n→∞
i i i
(n) )
e |pij − vj | ≤ 2 per ogni n, i.
ii) per ogni i ∈ S si ha (v P)i = vi poiché

∑ ∑ (n)
∑ (n) (n+1)
vj pji = lim pkj pji = lim pkj pji = lim pki = vi
n→∞ n→∞ n→∞
j j j
(k è arbitrario fissato)
iii) Se w fosse un’altra misura invariante, scelta π0 = w si avrebbe
πn (i) = wi per ogni i, n e quindi, dovendo anche essere per il punto prece-
dente limn→∞ πn (i) = vi , seguirebbe, per l’unicità del limite, wi = vi per
ogni i.
1.34 Catene regolari

Nel caso delle catene irriducibili con spazio degli stati finito esiste una con-
dizione necessaria e sufficiente per l’ergodicità: la regolarità.
Una matrice di transizione su uno spazio di stati finito si dice regolare se
(n)
esiste n ≥ 1 tale che pij > 0 per ogni i, j.
Una condizione sufficiente per la regolarità è che P sia irriducibile e esista
(n(i,j))
h ∈ S tale che phh > 0. Infatti se m = max{n(i, j), i, j ∈ S t.c. pij > 0}
(2m)
(n(i, j) esiste per l’irriducibilità), allora pij > 0 per ogni i, j poiché
(2m) (n(i,h)) (n(h,j))

pij ≥ pih phh . . . phh phj > 0,
dove il prodotto di phh per se stesso è ripetuto 2m − n(i, h) − n(h, j) volte.
Si noti bene che la regolarità è condizione necessaria per l’ergodicità

solo nel caso in cui la catena sia irriducibile. Come controesempio si tenga
presente la catena a due stati con uno dei due parametri nullo e l’altro pari
ad 1 (vedi sezione 29).
Esercizio 10
Sia Xn la catena su S = {1, 2, 3} tale che: se lanciando una moneta si ottiene

testa allora X0 = 1, altrimenti X0 = 2 o X0 = 3 con uguale probabilità; nei
tempi successivi se la catena è in 1 vi rimane, se è in 3 passa in 2, se è in 2
passa in 3 con probabilità 23 o rimane in 2.
56
a) Calcolare le eventuali misure invarianti.
(n)
b) Calcolare limn→∞ pij per ogni i, j.
c) Calcolare limn→∞ πn (i) per ogni i.
Soluzione
La catena ha matrice di transizione
 
1 0 0
P = 0 13 2
3
0 1 0
e misura iniziale π0 = ( 12 1 1
4 4) e il suo grafico è
a) Pertanto S = C1 ∪ C2 = {1} ∪ {2, 3}, ovvero 1 è stato assorbente e

{2, 3} è classe persistente positiva. Esistono pertanto infinite misure
invarianti che sono tutte le combinazioni convesse di v (1) = (1 0 0) e
v (2) = (0 53 25 ). I vettori 1 e ( 35 25 ) sono infatti le misure invarianti della
catena ristretta rispettivamente alle classi {1} e {2, 3}.
b) È evidente che qualsiasi sia n la matrice di transizione in n passi avrà

la forma  
1 0 0
 (n) (n) 
P (n) = 0 p22 p23 
(n) (n)
0 p32 p33 ,
da cui subito si ricava che
(n) (n) (n)
lim p = 1, lim p = 0, lim p = 0,
n→∞ 11 n→∞ 12 n→∞ 13
(n) (n)
lim p = 0, lim p =0 .
n→∞ 21 n→∞ 31
57
Per quanto riguarda gli altri elementi, poiché la matrice di transizione
ristretta agli stati 2 e 3 è regolare (in quanto irriducibile con p22 > 0)
allora è ergodica e si ha per i = 2, 3
(n) (2) 3 (n) (2) 2
lim p = v2 = , lim p = v3 =
n→∞ i2 5 n→∞ i3 5
c) Infine poiché
∑
3
(n) 1 (n) 1 (n) 1 (n) 1
πn (1) = π0 (i) pi1 = p + p21 + p31 =
2 11 4 4 2
i=1
∑3
(n) 1 (n) 1 (n)
πn (2) = π0 (i) pi2 = p + p32
4 22 4
i=1
∑3
(n) 1 (n) 1 (n)
πn (3) = π0 (i) pi3 = p + p33 ,
4 23 4
i=1
allora
1
lim πn (1) =
n→∞ 2
1 3 3 3
lim πn (2) = ( + ) =
n→∞ 4 5 5 10
1 2 2 1
lim πn (3) = ( + ) = .
n→∞ 4 5 5 5
Esercizio 11
Sia data la matrice di transizione

 
0.4 0.4 0.2
P = 0.3 0.4 0.3 .
0.2 0.4 0.4
Calcolare l’unica misura invariante.
Soluzione
La matrice è irriducibile finita e quindi persistente positiva e con un’unica
misura invariante soluzione del sistema
 

 x1 + x2 + x3 = 1 
 x1 + x2 + x3 = 1

 


 

0.4 x1 + 0.3 x2 + 0.2 x3 = x1 −6 x1 + 3 x2 + 2 x3 = 0
0.4 x1 + 0.4 x2 + 0.4 x3 = x2 equivalente a 4 x1 − 6 x2 + 4 x3 = 0

 

 

0.2 x1 + 0.3 x2 + 0.4 x3 = x3
 2 x1 + 3 x2 − 6 x3 = 0


 
xi ≥ 0 xi ≥ 0.
58
Moltiplicando la seconda equazione per 2 e sottraendole la terza e al tempo
stesso moltiplicando la quarta per 2 e sottraendole la terza si ottiene il
sistema equivalente 

 x1 + x2 + x3 = 1


−8 x + 12 x = 0
1 2

 12 x2 − 16 x3 = 0


x ≥ 0
i
dal quale facilmente si ricava x1 = 34 x2 , x3 = 34 x2 e infine x2 = 25 .
Esercizio 12
Assegnata la matrice di transizione

 
0 14 3
4
P = 0 12 1
2
0 0 1
a) calcolare la misura invariante se esiste

b) la media del tempo di primo ritorno in 1
c) la media dei tempi di assorbimento in 3.
Soluzione
a) La decomposizione dello spazio degli stati è
S = {1, 2, 3} = T ∪ C = {1, 2} ∪ {3}
ovvero: 1 e 2 sono stati transienti poiché comunicano con 3 che non comu-
nica né con 1 né con 2; 3 è uno stato assorbente. Pertanto l’unica misura
invariante è v = (0 0 1), unica soluzione non negativa del sistema
∑

 xi = 1


x P = x

 x1 = 0


x = 0
2
(si ricordi: le misure invarianti valgono 0 sugli stati transienti)
b) Poiché 1 è transiente, si ha
ρ11 = P1 (τ1 < +∞) < 1
ovvero
P1 (τ1 = +∞) > 0
59
e quindi E1 [τ1 ] = +∞.
c) Per calcolare i tempi di assorbimento in 3 si può risolvere il sistema

∑
Ei [τ3 ] = 1 + pij Ej [τ3 ], i = 1, 2
j∈T
che coincide con {

E1 [τ3 ] = 1 + 14 E2 [τ3 ]
E2 [τ3 ] = 1 + 12 E2 [τ3 ]
che dà E2 [τ3 ] = 2 e E1 [τ3 ] = 3/2.
Altrimenti si può determinare la densità di τ3 , ovvero Pi (τ3 = k) per
k ≥ 1 corrispondente alla legge iniziale delta di Dirac in i, e calcolare poi
∞
∑
Ei [τ3 ] = kPi (τ3 = k), i = 1, 2.
k=1
Per esempio, dal grafico della catena subito si calcola

3 1
P1 (τ3 = 1) = , P1 (τ3 = k) = , k≥2
4 2k+1
e quindi
3 1( 1) 3
∞
3 ∑ 1
E1 [τ3 ] = + k k+1 = + E[Z] − = .
4 2 4 2 2 2
k=2
1
con Z variabile aleatoria geometrica di parametro 2 e quindi E[Z] = 2.
Analogamente
1 1
P2 (τ3 = 1) = , P2 (τ3 = k) = k , k > 1
2 2
e quindi
E2 [τ3 ] = E[Z] = 2.
Naturalmente E3 [τ3 ] = 1.
60
Esercizio 13
Assegnata la matrice 3 
1
4 0 0 4 0
1 1 1 1
0
4 4 4 4 
P=
 01 0 0 0 1
 0 0 1
0
2 2
1 3
0 0 4 0 4
a) trovare tutte le misure invarianti
b) calcolare la probabilità di raggiungere l’insieme {1, 4} partendo dallo

stato 2. Quanto vale allora la probabilità di raggiungere l’insieme
{3, 5}?
Soluzione
a) In questo caso
S = {1, 2, 3, 4, 5} = T ∪ C1 ∪ C2 = {2} ∪ {1, 4} ∪ {3, 5},
ovvero vi sono due classi irriducibili persistenti positive. Risolvendo il

sistema 

 x1 + x2 + x3 + x4 + x5 = 1



 x1 = 34 x1 + 12 x4



x = 0
2

 x3 = 14 x5



 x4 = 14 x1 + 12 x4



x = x + 3 x .
5 3 4 5
si trova x = (2x4 0 x3 x4 4x3 ) con 3x4 + 5x3 = 1 dove x3 e x4 sono

lasciate come parametri. Dunque le misure invarianti sono tutti i vettori
della forma (2α 0 β α 4β) al variare di α e β in R+ tali che 3α + 5β = 1. Si
osserva che la prima e la quarta componente della generica misura invariante
(2α 0 β α 4β) risolvono un sistema separato dal sistema risolto dalla terza
e dalla quinta e precisamente il sistema risolto dalla misura invariante della
dinamica su C1 e la la terza e la quinta componente risolvono il sistema
risolto dalla misura invariante della dinamica su C2 . Segue che per β = 0
(1) (1)
si ottiene v (1) = ( 32 0 0 13 0) e che (v1 v4 ) è la misura invariante della
(2) (2)
dinamica su C1 e per α = 0 si ottiene v (2) = (0 0 15 0 45 ) e che (v3 v5 )
è la misura invariante della dinamica su C2 . Inoltre, poiché dividendo la
soluzione di un sistema omogeneo per la somma delle sue componenti si
ottiene una soluzione le cui componenti hanno come somma 1, esiste una
(1) (1)
costante γ > 0 tale che (2α α) = γ(v1 v4 ) e quindi (2α 0 0 α 0) = γv (1) .
Per lo stesso motivo esiste una costante δ > 0 tale che (0 0 β 0 4β) =
61
δv (2) . Cosı̀ poiché (2α 0 β α 4β) = (2α 0 0 α 0) + (0 0 β 0 4β) allora γ
(1) (1) (2) (2)
e δ sono tali che γ(v1 + v4 ) + δ(v3 + v5 )=1, ovvero, ricordando che
(1) (1) (2) (2)
v1 + v4 = 1 = v3 + v5 , sono tali che γ = 1 − δ. Si è mostrato che ogni
misura invariante si esprime come combinazione convessa di v (1) e v (2) , cioè
v = γv (1) + (1 − γ)v (2) con γ ∈ [0, 1].
Con dimostrazione analoga si prova l’affermazione generale per cui: le misure
invarianti di una catena a valori in uno spazio finito sono tutte e sole quelle
che si ottengono per combinazione convessa a partire dalle misure invarianti
della dinamica ristretta alle classi persistenti.
b) Si devono calcolare le probabilità di assorbimento λC21 e λC22 . Per

calcolare λC21 si risolve
1 1 1
x= + + x
4 4 4
e si ottiene λC21 = 23 . Dal fatto che
λC22 = P2 (τC2 < +∞) = P2 (τC2 < τC1 ) = 1 − P2 (τC1 < τC2 ) = 1 − λC21 ,
segue λC22 = 13 .
1.35 La misura invariante per l’urna di Ehrenfest

Si ricordano le probabilità di transizione dell’urna di Ehrenfest con d biglie:
p0j = I{1} (j), pdj = I{d−1} (j),

d−i i
pij = I{i+1} (j) + I{i−1} (j) , 1 ≤ i ≤ d − 1.
d d
La catena è una catena di nascita e morte irriducibile finita e quindi persis-
tente positiva. Esiste dunque un’unica misura invariante che è la soluzione
di 

 x + x + . . . + xd = 1
 0 x1



 x0 = d
1
xi = xi−1 d−(i−1) d , 1≤i≤d−1

+ xi+1 i+1


d

 xd = d
xd−1



xi ≥ 0.
Scelto x0 come parametro, si verifica subito che il sistema è equivalente al
sistema 

 x0 + x1 + . . . + xd = 1



x1 = d x0
 ( )
d

 xi = d (d−1) ... (d−i+1)
x0 = x0 , 1 ≤ i ≤ d

 i!
i



xi ≥ 0.
62
Per dimostrarlo si osservi che dalla seconda equazione segue che
x1 = d x0
e sostituendo nella terza per i = 1 il valore di x1 in termini di x0 si ottiene

( )
d(d − 1) d
x2 = x0 = x .
2 2 0
Iterando il procedimento dalla terza equazione si ricavano tutti i valori in

funzione di x0 . Infatti l’equazione si riscrive anche cosı̀
d d−i+1
xi+1 = xi − xi−1 ,
i+1 i+1
e se si assume che valga
( )
d d (d − 1) . . . (d − i + 2)
xi−1 = x = x0
i−1 0 (i − 1)!
e ( )
d d (d − 1) . . . (d − i + 1)
xi = x0 = x0 ,
i i!
si ottiene
d d (d − 1) . . . (d − i + 1) d − i + 1 d (d − 1) . . . (d − i + 2)
xi+1 = x0 − x0
i+1 i! i+1 (i − 1)!
( )
d(d − i) (d − 1) . . . (d − i + 1) d
= x0 = x
(i + 1)! i+1 0
Per ricavare il valore di x0 si sostituiscono le espressioni ottenute nella prima

equazione ottenendo
∑d ( )
d
x0 = 1
i
i=0
1
e dalla formula del binomio di Newton si ricava x0 = 2d
. Concludendo la
misura invariante è v con
( )
1 d
vi = d i = 0, . . . , d
2 i
ovvero la densità della binomiale di parametri n = d, p = 12 .
63
1.36 Non esistenza della misura invariante
per la passeggiata aleatoria simmetrica in Z
Si può dimostrare che la passeggiata aleatoria su Z in cui sono possibili solo
le transizioni sugli stati adiacenti (pij = I{i−1} (j) q+I{i+1} (j) p) è persistente
se e solo se è simmetrica, cioè con stessa probabilità di un passo avanti e uno
indietro. Qui si dimostra che la passeggiata aleatoria simmetrica su Z non
ammette misura invariante e dunque si conclude che è catena persistente
nulla.
Nel caso simmetrico pij = I{i−1} (j) 21 +I{i+1} (j) 21 e il sistema di equazioni
per la misura invariante si riscrive
{∑
i∈Z xi = 1, xi ≥ 0
xi = xi−1 xi+1
2 + 2 , i ∈ Z.
Dall’equazione generale si ricava xi+1 = 2xi − xi−1 e quindi xi+1 − xi =

xi − xi−1 , i ∈ Z, e quindi xi+1 − xi = x1 − x0 .
Pertanto per ogni i ≥ 1
∑
i−1
xi − x0 = (xj+1 − xj ) = i(x1 − x0 )
j=0
e quindi
xi = i(x1 − x0 ) + x0 .
∑
Segue che, poiché i∈Z xi = 1 < +∞, non può essere x1 − x0 > 0 altrimenti
limi→+∞ xi = +∞ (mentre il termine generico di una serie convergente
è infinitesimo); né può essere x1 − x0 < 0 altrimenti limi→−∞ xi = −∞,
mentre xi ≥ 0. ∑ Dunque x1 − x0 = 0, cioè∑xi = x0 per ogni i ≥ 1. Inoltre
dovendo essere i∈Z xi < +∞ e quindi i≥1 xi < +∞, potrà solo essere
xi = x0 = 0 per ogni i ≥ 1. Inoltre per ragioni di simmetria vale anche per
ogni i ≤ −1 ( )
xi = |i| + 1 (x0 − x1 ) + x1
e quindi xi = 0 per ogni i ≤ −1. Dunque il sistema
∑ non ammette soluzione
poiché quella identicamente nulla non verifica i∈Z xi = 1.
1.37 Misura invariante per le catene di nascita e morte

L’enunciato che si vuole dimostrare è il seguente: una catena di nascita e
morte infinita persistente ammette una misura invariante se e solo se, posto
p0 · p1 · · . . . · pi−1
γ̃0 = 1 γ̃i = , i ≥ 1,
q1 · q2 · . . . · qi
64
si ha
∞
∑
γ̃i < +∞
i=0
e la misura invariante si calcola cosı̀ per ogni i ≥ 0
γ̃i
vi = ∑∞ .
i=0 γ̃i
Il sistema per il calcolo della misura invariante è


 x0 = x0 r0 + x1 q1


x = x p
i i−1 i−1 + xi ri + xi+1 qi+1 , i ≥ 1
∑+∞

 i=0 xi = 1


x ≥ 0
i
e sostituendo a ri il valore 1 − pi − qi si ottiene



 x1 q 1 − x0 p 0 = 0


x q
i+1 i+1 − xi pi = xi qi − xi−1 pi−1 , i ≥ 1
∑+∞

 i=0 xi = 1


x ≥ 0
i
e quindi 

∑xi qi − xi−1 pi−1 = 0, i ≥ 1
+∞
 i=0 xi = 1

xi ≥ 0
da cui  pi−1 pi−1 pi−2

∑xi = qi xi−1 = qi qi−1 xi−2 = . . . = γ̃i x0 , i ≥ 1
+∞
 i=0 xi = 1

xi ≥ 0.
Dalla seconda equazione si ottiene il valore di x0 :
1
x0 = ∑∞ .
i=0 γ̃i
e dunque contemporaneamente la condizione necessaria e sufficiente e l’e-
spressione della misura invariante.
Se la catena è irriducibile ma lo spazio è finito S = {0, 1, . . . , m} allora

essendo persistente positiva ammette un’unica misura invariante che risolve


 x0 = x0 r0 + x1 q1




xi = xi−1 pi−1 + xi ri + xi+1 qi+1 , 1 ≤ i ≤ m − 1
xm = xm−1 pm−1 + xm qm

 ∑+∞



 i=0 xi = 1

xi ≥ 0
65
e quindi
γ̃i
vi = ∑m .
i=0 γ̃i
Esercizio 14
Si indichi con (Xn )n la catena di Markov che descrive una coda in cui le
variabili aleatorie numero dei clienti in arrivo e in partenza in ogni unità
temporale sono indipendenti di legge Bernoulli rispettivamente di parametri
α = 14 e β = 12 .
a) Calcolare le probabilità di transizione della catena.
b) La catena è irriducibile ? È persistente? Ammette una misura invari-
ante unica?
c) Dare le condizioni su α e β generici che consentono di rispondere
affermativamente alle precedenti domande.
Soluzione
a) Indicati con A e B rispettivamente gli eventi {arriva un cliente} e {parte
un cliente}, per ipotesi A e B sono eventi indipendenti e da ogni sta-
to i diverso da 0 si transita in i + 1 con la probabilità di A ∩ B c che è
Pi (A) Pi (B c ) = α (1 − β) = 18 e in i − 1 con la probabilità di Ac ∩ B che è
Pi (Ac )∪Pi (B) = (1 − α) β = 38 e infine si rimane in i con la probabilità di
A∩B Ac ∩B c che è αβ +(1−α)(1−β) = 12 . Infine da 0 si transita in 1 con
probabilità α = 41 e si resta in 0 con probabilità 1 − α = 43 . Riassumendo
r0 = 34 , p0 = 14 , e, per ogni i ≥ 1, qi = q = 38 , pi = p = 18 , ri = r = 21 .
b) La catena è irriducibile poiché per ogni i ≥ 1 si ha pi > 0 e qi > 0. La
catena è persistente poiché sappiamo che, se le probabilità di nascita e morte
non dipendono dallo stato, condizione sufficiente è che qi ≥ pi , i ≥ 1. La
catena ammette un’unica misura ∑ invariante poiché la condizione necessaria
e sufficiente in generale è ∞ i=0 i < +∞ e, se si ha
γ̃ come in questo caso
( )i
p0 p
pi = p, qi = q, i ≥ 1, allora per i ≥ 1 vale γ̃i = p q e quindi la serie è
p
convergente se e solo se q < 1 cioè p < q, come in questo caso. La misura
invariante in generale è
γ̃i
vi = ∑∞
i=0 γ̃i
e qui per i ≥ 1,
1 ( 1 )i−1 2 ( 1 )i−1
4
γ̃i = 3 =
8
3 3 3
e quindi
2 ∑ ( 1 )i−1
∞
∑ ∞
23
γ̃i = 1 + =1+ =2
3 3 32
i=0 i=1
66
e in conclusione ( 1 )i
1
v0 = , vi = , i ≥ 1.
2 3
[c)] Se α e β sono in (0, 1) allora pi > 0 e qi > 0, per ogni i ≥ 1, e la catena è
irriducibile. La condizione per la persistenza è p = α (1 − β) ≤ (1 − α) β = q
ovvero α ≤ β ovvero probabilità di arrivo minore o uguale alla probabilità
di partenza. La condizione per l’esistenza della misura invariante è p =
α (1 − β) < (1 − α) β = q, ovvero α < β, ovvero probabilità di arrivo minore
della probabilità di partenza. Se è α = 0, allora si vede subito che la catena
non è irriducibile (infatti nessuno stato comunica con i successivi), tutti gli
stati positivi sono transienti (per ogni i ≥ 1, i comunica con 0 ma 0 non
comunica con i) e lo stato 0 è assorbente. Esiste un’unica misura invariante
che è la delta di Dirac in i = 0. Se è β = 0 la catena non è irriducibile
(nessuno stato comunica con i precedenti), gli stati sono tutti transienti e
naturalmente non esiste misura invariante.
Esercizio 15
Trovare la misura di probabilità invariante per la catena con grafico
Soluzione
In questo caso
S = {1, 2, 3, 4} = T ∪ C = {3} ∪ {1, 2, 4}
e pertanto la misura invariante sarà della forma
v = (v1 v2 0 v4 )
dove (v1 v2 v4 ) è la misura invariante per la matrice di transizione irriducibile

3 1 
4 4 0
P =  14 12 14 
0 34 14
67
ottenuta da quella originaria cancellando la terza riga e la terza colonna.
Occorre risolvere dunque


 x1 + x2 + x3 = 1



 3 1
x1 = 4 x1 + 4 x2
x2 = 14 x1 + 12 x2 + 34 x3



 x3 = 14 x2 + 14 x3



xi ≥ 0.
Si trova x = ( 73 37 17 ) e dunque v = ( 37 3
7 0 17 ) è l’unica misura invariante per
la catena originaria.
Esercizio 16
Assegnata la matrice  
0 14 3
4
P = 0 12 1
2
1 0 0
a) calcolare la misura invariante se esiste
b) la media del tempo di primo ritorno in 1
Soluzione
a) La catena è irriducibile e quindi, poiché finita, anche persistente positiva.
Esiste dunque un’unica misura invariante che si ottiene risolvendo


 x1 + x2 + x3 = 1




x1 = x3
x2 = 14 x1 + 12 x2


x3 = 3 x1 + 1 x2


 4 2

xi ≥ 0
equivalente a 

x1 + x2 + x3 = 1
x1 = 2x2 = x3


xi ≥ 0
da cui x = ( 52 15 52 ) è la misura invariante.
b) Dal teorema sulle catene irriducibili si sa che la media del tempo di
primo ritorno in uno stato è il reciproco del valore della misura invariante
nello stato e quindi
5 1
E1 [τ1 ] = = .
2 v1
68
Esercizio 17
Calcolare la misura invariante per l’urna di Ehrenfest con d = 3 modificata

nel modo seguente: la biglia corrispondente al numero estratto viene inserita
in una delle due urne scelta a caso e la catena conta le biglie in un’urna
fissata.
Soluzione
La matrice di transizione della catena di Ehrenfest modificata con d = 3 è
1 1 
2 2 0 0
1 1 1 0 
P= 6 2
0 1 1 1 
3 
3 2 6
0 0 12 21 .
Infatti, indicati con A e B rispettivamente gli eventi {il numero estratto cor-
risponde ad una biglia dell’urna fissata} e {l’urna estratta è quella fissata},
per ipotesi A e B sono eventi indipendenti condizionatamente al numero di
biglie nell’urna fissata e per esempio da ogni stato i diverso da 0 e d si tran-
sita in i − 1 con la probabilità di A ∩ B c che è Pi (A) Pi (B c ) = di 12 e in i + 1
con la probabilità di Ac ∩ B ∪che è Pi (Ac ) Pi (B) = d−i 1
d 2 e infine si rimane in
i con la probabilità di A ∩ B A ∩ B che è 2 . In modo analogo si calcolano
c c 1
le probabilità di transizione da 0 e da d. Si tratta di una catena di nascita

e morte irriducibile e persistente positiva ed è facile calcolare risolvendo il
sistema di equazioni corrispondente che l’unica misura invariante è
(1 3 3 1)
v= .
8 8 8 8
Per lo stesso calcolo si possono anche utilizzare le formule generali per la
misura invariante di una catena di nascita e morte finita.
1.38 Esempi di catene periodiche

Si assuma che la catena di Ehrenfest si trovi nello stato i ∈ {0, 1, . . . , d},
allora certamente al tempo successivo si troverà in uno stato diverso, ma
potrà tornare in i in un tempo che dista dall’attuale un numero pari; sarà
impossibile per la catena, invece, essere in i in tempi che sono a distan-
za dispari dal tempo attuale. Ovvero usando le probabilità di transizione
qualsiasi sia i
(2n) (2n+1)
pii > 0, n ≥ 1 pii = 0, n ≥ 0.
La stessa cosa accade per una qualsiasi catena di nascita e morte finita
irriducibile a barriere riflettenti (r0 = 0, p0 = 1, rd = 0, qd = 1) e con ri = 0
qualsiasi sia i = 1, . . . , d − 1.
69
La stessa proprietà è verificata dalla matrice di transizione della catena
associata al grafo
ovvero la potenza P n per n pari ha tutti gli elementi sulla diagonale positivi
e per n dispari ha tutti gli elementi sulla diagonale nulli. Si individua subito
anche un’altra particolarità:
 
0 + 0 +
+ 0 + 0 
P 2n+1 = 
 0 + 0 +

+ 0 + 0
 
+ 0 + 0
 0 + 0 +
P 2n = 
+ 0 + 0 
0 + 0 +
dove il segno + indica che l’elemento corrispondente è positivo. Dunque
se parto da uno stato dispari allora mi trovo in ogni tempo dispari in uno
stato pari e in ogni tempo pari in uno stato dispari. È dunque chiaro che
pur essendo questa catena irriducibile e quindi, essendo finita, persistente
positiva e esistendo un’unica misura invariante v, non potrà certo essere
qualsiasi sia j
(n)
lim pij = vj .
n→∞
Infatti fissati i e j se il limite esistesse non potrebbe che essere

(n)
lim p = 0.
n→∞ ij
Si consideri ora la catena con grafico
È facile accorgersi che anche in questo caso c’è una regolarità in P. In questo
caso qualsiasi sia i
(3n) (h)
pii > 0, n ≥ 1 pii = 0, h ̸= 3n, n ≥ 1.
70
Cosı̀ come prima lo spazio degli stati veniva diviso in due classi, i pari e i
dispari, che erano, da qualunque stato si partisse ciclicamente rivisitati (pe-
riodo 2), anche ora lo spazio viene suddiviso in classi rivisitate ciclicamente
e precisamente {1}, {2}, {0, 3}: comunque si parta dopo 3 passi ci si ritrova
nella classe di appartenenza dello stato iniziale.
1.39 Periodo di una catena irriducibile

Nel caso delle catene irriducibili persistenti positive, sia S finito o infinito,
l’ergodicità è equivalente all’aperiodicità.
Si definisce periodo di uno stato persistente i in una catena generica (non a
priori irriducibile) il numero ti definito come
(n)
M CD{n : pii > 0}
(MCD=massimo comun divisore). Vale il seguente teorema.

Teorema In una catena irriducibile il periodo è lo stesso per ogni stato
(e si chiama periodo della catena).
Dimostrazione Si dimostra che fissato i ∈ S per qualsiasi k ̸= i, ti e tk
sono divisori l’uno dell’altro e da questo seguirà la tesi. Poiché la catena è
(m) (n)
irriducibile esistono m ≥ 1 e n ≥ 1 tali che pik > 0 e pki > 0. Dunque
(m+n)
pii >0
(r)
e dunque ti è divisore di m + n e inoltre, qualsiasi sia r ≥ 1 tale che pkk > 0,
(m+n+r) (m) (r) (n)
essendo pii ≥ pik pkk pki vale
(m+n+r)
pii >0
e dunque ti è divisore di m + n + r e in conclusione ti è divisore di r

e poiché r è qualsiasi (tra le lunghezze dei cammini che portano da k in
k), per definizione di M CD, ti ≤ tk . La dimostrazione è conclusa poiché
l’argomento è simmetrico in ti e tk .
71
Si definisce aperiodica una catena di periodo 1.
Naturalmente una condizione sufficiente per l’aperiodicità è che esista uno
stato h tale che phh > 0.
Si osservi che l’aperiodicità quando la catena è irriducibile ma non è persis-
tente positiva non è sufficiente per avere l’ergodicità : basta ricordare il caso
di una catena di nascita e morte con probabilità non nulla di∑ tornare con un
passo in uno stato ma senza misura invariante ovvero con ∞ i=0 γ̃i = +∞.
Come esempio si consideri il caso r0 > 0 e pi = p ≥ q = qi qualsiasi sia
i ≥ 1.
Esercizio 18
Sia (Xn )n una catena di nascita e morte su N con

1 2
pi = , i ≥ 0 qi = , i ≥ 1.
3 3
i) La catena è transiente o persistente?
ii) Esiste una misura invariante? In caso affermativo calcolarla.
iii) La catena è ergodica?
Soluzione
i) La catena è irriducibile essendo pi > 0 e qi > 0, per ogni i ≥ 1. Si

ricorda che la condizione di persistenza per una catena di nascita e
morte su N irriducibile è
∞
∑
γi = +∞,
i=0
dove
qi qi−1 . . . q1
γ0 = 1, γi = , i ≥ 1.
pi pi−1 . . . p1
Qui
( 2 )i
γ0 = 1, γi = ( 3 )i = 2i i ≥ 1
1
3
e quindi la serie è divergente e la catena persistente.
ii) La misura invariante esiste se e solo se

∞
∑
γ̃i < +∞,
i=0
72
dove
p0 p1 . . . pi−1
γ̃0 = 1, γ̃i = , i ≥ 1.
q 1 q 2 . . . qi
Qui
( 1 )i
1
γ̃0 = 1, γ̃i = ( 3 )i = , i ≥ 1.
2 2i
3
e quindi la serie è convergente come serie geometrica di ragione minore
di 1. Dunque esiste la misura invariante ed è
( 1 )i
1 1
v0 = , vi = 2 = i+1 , i ≥ 1.
2 2 2
iii) La catena è ergodica perché è aperiodica: questo si deduce per esempio

osservando che p00 > 0.
1.40 Reversibilità
La proprietà di Markov si conserva rovesciando il tempo, infatti utilizzando
la definizione di probabilità condizionata e la formula del prodotto si ottiene
P(Xn = i | Xn+1 = j, Xn+2 = j2 , . . . , Xn+k = jk )

P(Xn+2 = j2 , . . . , Xn+k = jk | Xn+1 = j, Xn = i)P(Xn+1 = j | Xn = i)P(Xn = i)
=
P(Xn+2 = j2 , . . . , Xn+k = jk | Xn+1 = j)P(Xn+1 = j)
P(Xn+1 = j | Xn = i)P(Xn = i)
=
P(Xn+1 = j)
πn (i) pij
=
πn+1 (j)
e allo stesso risultato si perviene calcolando
P(Xn = i | Xn+1 = j).
Una catena di Markov si dice reversibile quando si verifica che
P(Xn = i | Xn+1 = j) = P(Xn+1 = i | Xn = j)
cioè quando le probabilità di transizione (in un passo) all’indietro coincidono

con le probabilità di transizione in avanti, ovvero quando il comportamento
statistico della catena rimane lo stesso rovesciando il tempo (si ricordi che
le leggi congiunte sono determinate dalle probabilità di transizione e dalla
legge iniziale).
Si dice che una misura di probabilità v soddisfa l’equazione del bilancio
dettagliato per una matrice di transizione P se qualsiasi siano i e j
vi pij = vj pji .
73
Se v soddisfa l’equazione precedente allora è invariante per P. Infatti
qualsiasi sia i ∑ ∑ ∑
vl pli = vi pil = vi pil = vi .
l∈S l∈S l∈S
Inoltre la catena con matrice di transizione P e legge iniziale v risulta
reversibile; infatti per l’invarianza πn (i) = vi e πn+1 (j) = vj da cui
πn (i) pij vi pij vj pji
P(Xn = i | Xn+1 = j) = = = = pji .
πn+1 (j) vj vj
Esempi di catene reversibili sono l’urna di Ehrenfest, la catena di un grafo e
qualsiasi catena di nascita e morte persistente positiva in regime di stazionar-
ietà, ovvero inizializzata con la relativa misura invariante. Infatti si può facil-
mente verificare l’equazione del bilancio dettagliato in ciascun caso: per ( )l’ur-
d 1
na di Ehrenfest dobbiamo verificare vi pi(i+1) = vi+1 p(i+1)i con vi =
i 2d
e pi(i+1) = d−i i+1
d e p(i+1)i = d ; per la catena di un grafo dobbiamo verificare
vi pij = vj pji con vi = kki e pij ̸= 0 se e solo se pji ̸= 0 ; per la catena di nasci-
ta e morte persistente positiva dobbiamo verificare vi pi(i+1) = vi+1 p(i+1)i
con vi = ∑∞γ̃i γ̃i , γ̃i = p0q1p1q2...,p
...,qi i ≥ 1, γ̃0 = 1 e pi(i+1) = pi , p(i+1)i = qi .
i−1
i=0
1.41 Algoritmo di Metropolis

Si dimostra ([1]) che, dato uno spazio S finito e assegnata una misura di
probabilità v su S diversa dalla uniforme tale che per qualsiasi i valga vi > 0,
si può costruire una matrice stocastica P regolare per la quale v soddisfa
l’equazione del bilancio dettagliato. Il metodo per costruire P si chiama
algoritmo di Metropolis e la sua importanza applicativa è evidente: volendo
simulare una variabile aleatoria con legge v basterà simulare una catena di
matrice di transizione P e legge iniziale qualsiasi e poi considerarne il valore
per n grande. Si sa infatti che la catena è ergodica e quindi, per n grande,
πn , la densità al tempo n di Xn , approssima v.
La matrice P non è unica ma se ne può costruire una per ogni ma-
trice stocastica Q irriducibile e simmetrica di dimensione pari allo spazio S.
Fissata Q il generico elemento pij di P è per i ̸= j
{
qij se vi ≤ vj
pij = v
qij vji se vi > vj ;
e naturalmente ∑
pii = 1 − pij .
j̸=i
Per simulare una catena di Markov con la matrice di transizione P defini-

ta nell’algoritmo di Metropolis è utile la seguente osservazione, che suggerisce
74
come costruire la catena al passo n + 1 sapendo che al passo n si trova in i.
Si assuma che siano k i possibili stati della catena. Sia Y una variabile di
densità (qi1 qi2 . . . , qik ) e sia U una variabile definita sullo stesso spazio di
probabilità, uniforme in [0, 1] e indipendente da Y . Allora la variabile
X = Y I[0, vY ) (U ) + i I[ vY ,1] (U )
vi vi
è tale che qualsiasi sia j

P(X = j) = pij
ovvero ha densità (pi1 pi2 . . . , pik ). Infatti qualsiasi sia j ̸= i
( vY ) ( vj )
P(X = j) = P Y = j, U < = P Y = j, U <
vi vi
( vj ) ( vj )
= P(Y = j)P U < = qij P U < .
vi vi
Ricordando che per definizione di legge uniforme
{
( vj ) 1 se vi ≤ vj
P U< = vj
vi vi se vi > vj ,
∑
si ottiene il risultato. Cosı̀, se j = i, P(X = i) = 1 − j̸=i pij = pii . Dunque
la procedura per simulare il valore al passo (n+1)-mo della catena se al
passo n-mo si trova in i, è la seguente: si genera una variabile di densità
(qi1 qi2 . . . , qik ); se si ottiene i si lascia la catena in i; se si ottiene un valore
j diverso da i con vj ≥ vi si sposta la catena in j; se invece il valore j è tale
v
che vj < vi , si simula una uniforme in [0, 1] e se questa è più piccola di vji si
sposta la catena in j, altrimenti la si lascia in i.
Esercizio 19
Sia (Xn )n una catena di Markov su S = {1, 2, 3, 4} con matrice di transizione

1 1 
2 0 2 0
1 0 0 32 
3 .
1 0 0 0
0 0 0 1
i) Determinare il carattere degli stati della catena.
ii) Calcolare le eventuali misure invarianti.
iii) Calcolare limn→∞ πn (i) , i ∈ S nel caso π0 (1) + π0 (3) = 1.
75
Soluzione
i) Lo spazio degli stati S = {1, 2, 3, 4} si decompone nell’unione disgiunta
della classe transiente T = {2} e delle due classi irriducibili persistenti
positive C1 = {1, 3} e C1 = {4}; dunque 2 è l’unico stato transiente e 4
è stato assorbente.
ii) Le misure invarianti sono tutte e sole le combinazioni convesse delle
misure invarianti v (1) e v (2) per la dinamica ristretta rispettivamente a C1 e
C2 , ovvero sono tutte e solo quelle della forma δv (1) +(1−δ)v (2) con δ ∈ [0, 1].
Inoltre v (1) = (x1 , 0, x3 , 0) dove
{
x1 = 21 x1 + x3
x3 = 12 x1 ,
da cui v (1) = ( 23 , 0, 13 , 0). Infine facilmente si ricava v (2) = (0, 0, 0, 1).

iii) Se π0 (1) + π0 (3) = 1, poiché {1, 3} è classe chiusa, qualsiasi sia n vale
πn (2) = 0, πn (4) = 0 e pertanto limn→∞ πn (2) = limn→∞ πn (4) = 0. Per
calcolare limn→∞ πn (1) e limn→∞ πn (3), osserviamo che la catena ristretta
a C1 = {1, 3} ha matrice di transizione regolare e quindi è ergodica; dunque,
qualsiasi sia la densità iniziale π0 che soddisfa π0 (1) + π0 (3) = 1, le densità
(1) (1)
al crescere di n convergono a v1 , v3 , quindi
2 1
lim πn (1) = lim πn (3) = .
n→∞ 3 n→∞ 3
Esercizio 20
Si consideri una catena di Markov su N avente matrice di transizione data

pi i+1 = p e pi 0 = 1 − p dove 0 < p < 1. Determinare l’unica misura invari-
ante della catena. Si tratta di una misura di probabilità nota? Determinare
il periodo della catena. La catena è ergodica?
Soluzione
La matrice di transizione della catena è
 
1−p p 0 0 0 ... 0 0 0 0...
1 − p 0 p 0 0 0 . . .
 ... 0 0 0 
1 − p 0 0 p 0 0 . . .
 ... 0 0 0 
 · · · · · · · · · . . .
 ... 
 · · · · · · · · · . . .
 ... 
 
 · · · · · ... · · · · . . .
P= 
 · · · · · ... · · · · . . .
 
 · · · · · ... · · · · . . .
 
 · · · · · ... · · · · . . .
 
 · · · · · ... · · · · . . .
 
1 − p · · · · ... 0 0 p 0 . . .
· · · · · ... · · · ·...
76
e quindi la misura invariante risolve il sistema
 ∑

 x = i∈N (1 − p)xi


0
x = px , i ≥ 1
i i−1
∑

 i∈N i = 1
x


x ≥ 0.
i
∑
Si ricava x0 = (1 − p) i∈N xi = 1 − p e xi = pxi−1 = p2 xi−2 = . . . = pi x0 =
pi (1 − p), i ≥ 1. Dunque l’unica misura invariante è vi = pi (1 − p), i ≥ 0 e si
tratta della densità di una geometrica trasformata di parametro 1 − p, cioè
la densità del numero di fallimenti prima del primo successo in uno schema
di Bernoulli infinito di parametro 1 − p.
La catena che è irriducibile è aperiodica come si deduce dal fatto che p00 > 0.
Dall’unicità della misura invariante segue che esiste un’unica classe persis-
tente positiva che per l’irriducibilità è tutto lo spazio di stato; si sa che una
catena irriducibile persistente positiva e aperiodica è ergodica.
Un altro procedimento consiste nel dimostrare direttamente che qualsiasi sia
i
(n)
lim pij = pj (1 − p).
n→∞
e questo segue subito dopo aver calcolato che per qualsiasi siano i, j, per
ogni n ≥ j + 1 vale
(n)
∑ (
n−j−1 )
n−j−1 h
pij = p (1 − p)
j
p (1 − p)n−j−1−h = pj (1 − p).
h
h=0
Infatti per arrivare a j in n ≥ j + 1 passi occorre naturalmente passare per 0

se i ≥ j e lo stesso vale se i < j, poiché dall’ipotesi n ≥ j + 1 segue n > j − i.
Dunque: inizialmente n − j − 1 passi qualsiasi (per n = j + 1 nessuno), un
passo per andare a 0 e i successivi ed ultimi j passi per arrivare in j.
1.42 Schema di dimostrazione

del teorema di esistenza della misura invariante
per catene irriducibili persistenti positive
Si ricorda che v è invariante se e solo se si ha qualsiasi sia j e qualsiasi sia k
∑ (k)
vj = vi pij .
i∈S
77
Dunque v invariante implica che per ogni n
1 ∑ ∑ (k)
n
vj = vi pij
n
k=1 i∈S
∑( ∑ n
1 (k)
)
= pij vi
n
i∈S k=1
∑n (k)
e usando l’uguaglianza Ei [Nn (j)] = k=1 pij (vedi paragrafi 18 e 19) si
ottiene
∑ Ei [Nn (j)] ∑ [ Nn (j) ]
vj = vi = Ei vi .
n n
i∈S i∈S
∑
Si osserva che la variabile aleatoria Nnn(j) = n1 nk=1 I{j} (Xk ) rappresenta la
frequenza relativa di visita allo stato j su n tempi. Passando al limite in n
nell’uguaglianza precedente si ottiene
∑ [ N (j) ]
n
vj = lim Ei vi ,
n→∞ n
i∈S
dove il passaggio al limite sotto il segno di serie, ovvio nel caso S finito,
è lecito in generale. Si ottiene l’esistenza e la forma dell’unica misura in-
variante per catene persistenti posistive usando il fatto che per le catene
irriducibili persistenti, qualsiasi sia i vale
{
[ N (j) ] 1
n Ej [τj ] , se Ej [τj ] < +∞
lim Ei =
n→∞ n 0, altrimenti
(vedi per un’idea della dimostrazione il paragrafo successivo e per una di-
mostrazione completa [3]).
1.43 Approssimazione della misura invariante

con la distribuzione empirica
Nel paragrafo precedente
[ si] identifica la misura invariante utilizzando il
valore del limn→∞ Ei Nnn(j) . Questo valore si può derivare dal risultato
seguente: se (Xn )n è catena irriducibile persistente allora qualsiasi sia j con
probabilità 1, ovvero a meno di un insieme trascurabile di traiettorie,
{
1
Nn (j) , se Ej [τj ] < +∞
lim = Ej [τj ]
n→∞ n 0, altrimenti.
78
È intuitivo: il rapporto tra n e il numero dei passaggi per j fino al tempo n
è vicino, quando n è grande, alla durata media degli intertempi tra un pas-
saggio e l’altro per j. Questo fatto ha la conseguenza applicativa seguente:
non potendo calcolare facilmente la misura invariante (p.es. perché è grande
il numero degli stati), nel caso persistente positivo, se ne può approssimare
il valore in uno stato j con il valore aleatorio, per n grande, della frequenza
relativa delle visite a j su n tempi, ovvero con la distribuzione empirica nello
stato j. Inoltre controllando se il valore di frequenza relativa dei passaggi
per un qualsiasi stato fissato si avvicina a 0 per n grande, si può dedurre la
persistenza nulla della catena.
Viceversa la frequenza di visita ad uno stato fissato si può approssimare a
regime con il valore della misura invariante nello stato.
Si dà un’idea qui della dimostrazione dell’enunciato nel caso in cui la
catena parta da j: secondo le notazioni già introdotte, si dimostra che l’e-
nunciato vale con probabilità 1 quando la densità iniziale è la delta di Dirac
in j.
A tale scopo si utilizza la legge forte dei grandi numeri nella formulazione
seguente:
Legge forte dei grandi numeri

Siano X1 , X2 , . . . , Xk , . . . variabili aleatorie definite sullo stesso spazio di
probabilità i.i.d. e di valore medio finito m. Allora con probabilità 1
X1 + X2 + . . . + Xk
lim =m
k→∞ k
Se Xk ≥ 0 qualsiasi sia k e E[Xk ] = +∞, allora con probabilità 1
X1 + X2 + . . . + Xk
lim = +∞
k→∞ k
Si utilizza il risultato precedente applicato alle variabili seguenti:
τj1 , τj2 , τjk , . . .
definite da
τjk = Tjk − Tjk−1 , k ≥ 1
dove
Tj0 = 0, Tjk = min{n ≥ 1 t.c. Nn (j) = k}, k ≥ 1
e quindi τjk è il tempo che intercorre tra la k − 1-ma e la k−ma visita a j e
in particolare τj1 = Tj1 = τj . Si osservi che per l’ipotesi di persistenza Tjk è
finito con probabilità 1.
Le variabili aleatorie τjk sono indipendenti e tutte con la stessa legge di τj e
dunque per la legge dei grandi numeri con probabilità 1
{
τj1 + τj2 + . . . + τjk Ej [τj ], se Ej [τj ] < +∞
lim =
k→∞ k +∞, altrimenti.
79
Allora, poiché
τj1 + τj2 + . . . + τjk Tj1 + (Tj2 − Tj1 ) + . . . + (Tjk − Tjk−1 ) Tjk

= = ,
k k k
con probabilità 1 vale
{
Tjk Ej [τj ], se Ej [τj ] < +∞
lim =
k→∞ k +∞, altrimenti
Inoltre è chiaro che

Nn (j) Nn (j)+1
Tj ≤ n < Tj ,
N (j)
poiché la scrittura Tj n indica la variabile tempo dell’ultima visita a j tra
quelle avvenute prima del tempo n (n incluso), e quindi qualsiasi sia n ≥ τj
(altrimenti Nn (j) = 0)
Nn (j) N (j)+1
Tj n Tj n
≤ < .
Nn (j) Nn (j) Nn (j)
Essendo j persistente con probabilità 1
lim Nn (j) = +∞
n→∞
e quindi si può dedurre da quanto sopra che con probabilità 1

N (j) N (j)+1 {
Tj n Tj n Ej [τj ], se Ej [τj ] < +∞
lim = lim =
n→∞ Nn (j) n→∞ Nn (j) +∞, altrimenti.
Il teorema del confronto per le successioni di variabili reali conclude la

dimostrazione.
1.44 Esercizi di riepilogo

1. Sono date due urne e 2d biglie di cui d nere e d bianche. Inizialmente
d biglie scelte a caso sono collocate nell’urna 1 e le restanti d biglie
sono collocate nell’urna 2. Ad ogni istante una biglia è scelta a caso
da ciascuna delle due urne ed è spostata nell’altra urna. Sia X0 il
numero iniziale delle biglie nere nell’urna 1 e Xn il numero delle biglie
nere nell’urna 1 al tempo n. Trovare le probabilità di transizione della
catena di Markov (Xn )n≥0 .
80
2. Sia  
1 0 0 0 0 0
1 1 1
0 0 0
4 2 4 
0 1 2 1
0 1
P=
0
5 5 5
1 1
5 .
1
 0 0 6 3 2
0 0 0 1
0 1
2 2
1 3
0 0 0 4 0 4
matrice di transizione su S = {1, 2, 3, 4, 5, 6}.
i) Determinare il carattere degli stati.

ii) Dimostrare che muovendosi dallo stato 4 con la dinamica descritta
da P la probabilità di raggiungere lo stato 6 in un tempo finito è
almeno 34 .
iii) Calcolare la probabilità di raggiungere lo stato 1 partendo dallo
stato 2 in un tempo finito, ρ21 , e dare un’interpretazione proba-
bilistica del numero 1 − ρ21 .
iv) Calcolare le eventuali misure invarianti della catena.
v) Determinare la media del tempo di ritorno nello stato 4.
vi) Per la catena con matrice di transizione P e densità iniziale uni-
forme su {4, 5, 6}, calcolare la probabilità degli eventi A = {X2 =
4}, B = {X2 = 4, X3 = 5} e C = {X100 = 4, X101 = 2}. In che
modo si potrebbe procedere per calcolare in modo approssima-
to la probabilità dell’evento D = {X50 = 5}? E quanto vale la
probabilità dell’evento E = {X50 = 2}?
3. Calcola la probabilità di raggiungere in un tempo finito lo stato 3 par-

tendo dallo stato 1, per la catena con spazio degli stati S = {1, 2, 3, 4}
e con matrice di transizione
 
0 12 12 0
1 0 1 1
P= 2 4
0 0 1 0 .
4
0 0 0 1
E se la densità iniziale fosse quella uniforme?
4. Un uomo possiede 2 ombrelli e ne prende uno al mattino per andare

in ufficio e a sera quando torna, naturalmente se piove e se ce n’è
uno disponibile. Assumi che ogni volta la probabilità che piova sia
p. Indica con (Xn )n≥1 la catena di Markov che conta gli ombrelli
disponibili prima dell’n-mo tragitto (senza distinguere tra tragitti di
andata e ritorno).
81
i) Scrivi la matrice di transizione della catena e determina il carat-
tere degli stati.
ii) Con che probabilità l’uomo non ha ombrelli disponibili prima del
secondo, del terzo e del quarto tragitto se si assume che prima
del primo tragitto li abbia entrambi disponibili (la legge iniziale,
ovvero la legge di X1 , è la delta di Dirac in 2)?
iii) Dopo quanto tempo in media, se si assume che prima del primo
tragitto abbia entrambi gli ombrelli disponibili, l’uomo non ha
ombrelli disponibili?
iv) Calcola le eventuali misure invarianti. Cosa puoi dire sul com-
(n)
portamento di pij per n grande?
v) Come approssimeresti la probabilità con cui l’uomo si bagna al
96-mo tragitto?
5. Un’apparecchiatura di età j ≥ 0 all’inizio della giornata si guasta

durante la giornata con probabilità pj e in tal caso è sostituita da
un’apparecchiatura identica ma nuova, che entra in funzione all’inizio
della giornata successiva. L’apparecchiatura è sostituita anche quando
è troppo vecchia e si conviene che questo corrisponda all’età N (per età
di un’apparecchiatura si intende qui il numero delle giornate intere (24
ore) in cui l’apparecchiatura ha funzionato). Per n ≥ 0, si indica con
Xn la v.a. che conta l’età dell’apparecchiatura funzionante all’inizio
della n + 1-ma giornata.
i) Scrivi la matrice di transizione della catena di Markov (Xn )n≥0
e determina il carattere degli stati.
ii) Se al tempo n = 0 l’apparecchiatura è nuova, con che probabilità
è nuova al tempo n = 2?
iii) Calcola, nell’ ipotesi del punto precedente, con che probabilità
l’apparecchiatura installata inizialmente viene utilizzata al mas-
simo, ovvero sostituita per vecchiaia e non per guasto.
iv) Calcola le eventuali misure invarianti. Cosa puoi dire sul com-
(n)
portamento di pij per n grande?
v) Ogni quanto tempo in media avviene una sostituzione?
6. È assegnata la catena (Xn )n≥0 con matrice di transizione

 
0 12 0 12
 1 0 1 0
P= 2 2
0 1 0 0

0 0 1 0
e misura iniziale π0 (1) = 1.
82
i) Studiare il comportamento della legge di Xn per n grande.
ii) Calcolare in modo approssimato
P(X82 = 3, X81 = 4) e P(X60 = 1, X58 = 3).
Soluzioni
1. Si vuole calcolare P(Xn+1 = j | Xn = i) per n ≥ 0, i, j ∈ S =

{0, 1, . . . , d}. Indicati con E e F rispettivamente gli eventi {la biglia
scelta a caso dall’urna 1 è nera} e {la biglia scelta a caso dall’urna 2 è
nera}, gli eventi E e F sono indipendenti condizionatamente al sapere
il numero delle biglie nere nell’urna 1. Inoltre se nell’urna 1 ci sono i
biglie la probabilità di E è di e quella di F è d−i
d . Si calcola
P(Xn+1 = i + 1 | Xn = i) =
( d − i )2
P(E c ∩ F | Xn = i) = P(E c | Xn = i)P(F | Xn = i) =
d
P(Xn+1 = i − 1 | Xn = i) =
( i )2
P(E ∩ F c | Xn = i) = P(E | Xn = i)P(F c | Xn = i) = .
d
Poiché se j ̸= i − 1, i, i + 1 si ha P(Xn+1 = j | Xn = i) = 0, segue
(d − i)2 (i)2 2i(d − i)

P(Xn+1 = i | Xn = i) = 1 − − 2 = .
d2 d d2
Dunque si tratta di catena omogenea, catena di nascita e morte con
2 2
pi = (d−i)
d2
, ri = 2i(d−i)
d2
e qi = di 2 . Si osservi che in particolare p0 = 1
e qd = 1, ovvero le barriere sono riflettenti.
2. i) 1 è stato assorbente, poiché comunica solo con sé stesso; 2 e 3 sono

transienti, infatti p.es. 2 → 1 ma 2 9 1 e 3 → 6 ma 6 9 3; {4,5,6}
costituiscono una classe irriducibile finita e dunque costituita da stati
persistenti positivi.
ii) Si tratta di dimostrare la disuguaglianza ρ46 ≥ 34 . Per definizione
ρ46 ≥ P4 (X1 = 6) + P4 (X1 ̸= 6, X2 = 6)
e, poiché P4 (X1 ̸= 6, X2 = 6) = P4 (X1 = 4, X2 = 6) + P4 (X1 =

5, X2 = 6), segue
1 11 11 3
ρ46 ≥ p46 + p44 p46 + p45 p56 = + + = .
2 62 32 4
83
iii) Poiché 1 è stato assorbente, ρ21 coincide con la probabilità di
{1}
assorbimento λ2 nella classe {1} partendo dallo stato 2. Occorre
dunque risolvere il sistema
1 1 1
x1 = + x1 + x2
4 2 4
1 2
x1 = x1 + x2 .
5 5
{1} {1}
Facilmente si calcola x1 = λ2 = 35 e x2 = λ3 = 15 .
Indicata con C la classe di tutti gli stati persistenti, poiché gli stati
transienti sono in numero finito, si ha
{1} {4,5,6}
1 = P(τC < +∞) = λ2 + λ2
e quindi
{1} {4,5,6}
1 − ρ21 = 1 − λ2 = λ2 ,
ovvero a parole 1 − ρ21 è la probabilità di assorbimento nella classe
{4, 5, 6} partendo da 2.
iv) La catena è finita e quindi le misure invarianti sono tutte e sole le
combinazioni convesse delle misure invarianti sulle classi irriducibili.
Dunque una qualsiasi misura invariante è della forma v = αv (1) +
(1 − α)v (2) con α ∈ [0, 1], dove v (1) = (1 0 0 0 0 0) e v (2) si calcola
risolvendo il sistema


 x1 + x2 + x3 + x4 + x5 + x6 = 1



xi = 0, i = 2, 3



x = 1 x + 1 x + 1 x
4 6 4 2 5 4 6

 x = 1
x


5 3 4

 1 1 3

 x 6 = 2 x4 + 2 x5 + 4 x6

x ≥ 0.
i
( )
Si ottiene v (2) = 0 0 0 14 121 2
3 .
v) Poiché 4 è nella classe irriducibile {4, 5, 6} possiamo considerare la

dinamica ristretta a questa classe (la classe è chiusa!). È noto che per
una catena persistente positiva la media del tempo di primo ritorno
in uno stato è il reciproco del valore della misura invariante nello sta-
to. La catena ristretta a {4, 5, 6} è persistente positiva (in quanto
(2) (2) (2)
irriducibile
( ) e finita) e la sua misura invariante è (v4 v5 v6 ) =
1 1 2
4 12 3 e quindi E4 [τ4 ] = 4.
vi)
∑ (2) 1 (2) (2) (2)
P(A) = π2 (4) = π0 (i)pi4 = (p44 + p54 + p64 ).
3
i∈S
84
Per calcolare le probabilità di transizione in più passi occorre calco-
lare le potenze della matrice P. Per rendere più agevole il conto si
osservi che le probabilità di transizione in n passi all’interno della
classe irriducibile {4, 5, 6}, coincidono con gli elementi della potenza
n-ma della sottomatrice ottenuta cancellando prima, seconda e terza
riga e colonna della matrice P, ovvero della matrice
1 1 1
6 3 2
1 0 1
.
2 2
1 3
4 0 4
(2) 23 (2) 5 (2)

Si ottiene p44 = 72 , p54 = 24 , p64 = 11 109
48 , da cui P(A) = 432 .
Inoltre si ha P(B) = p45 P(A) = 13 P(A) = 1296 109
e infine P(C) =
π100 (4)p42 = 0 poiché, essendo la classe {4, 5, 6} chiusa, si ha p42 = 0.
La probabilità dell’evento {X50 = 5} si può approssimare con il val-
ore in 5 della misura invariante della dinamica ristretta alla classe
{4, 5, 6}, cioè 12
1
; infatti la dinamica ristretta alla classe {4, 5, 6} è
ergodica poichè la sua matrice di transizione
1 1 1
6 3 2
1 0 1
.
2 2
1 3
4 0 4
è regolare essendo verificato il criterio sufficiente (almeno un elemento

sulla diagonale positivo). Si noti invece che la probabilità dell’evento
∑ (50)
{X50 = 2} è esattamente 0 in quanto coincide con i∈S π0 (i) pi2 =
1 (50) (50) (50) (50)
3 (p42 p52 p62 ) e per definizione di classe chiusa pi2 = 0, i = 4, 5, 6.
3. Gli stati 3 e 4 sono assorbenti, mentre gli stati 1 e 2 sono transienti

poiché p.es. entrambi comunicano con 3 ma 3 non comunica con essi.
Si tratta dunque di calcolare la probabilità di assorbimento in {3}
{3} {3}
partendo da 1, cioè il valore λ1 che risolve insieme a λ2 (probabilità
di assorbimento in {3} partendo da 2) il sistema
{ {3} {3}
λ1 = 21 + 12 λ2
{3} 1 {3}
λ2 = 4 + 12 λ1 .
{3} {3}
Si trova λ1 = 56 , λ2 = 23 .
Se la densità iniziale fosse uniforme, poiché vale l’uguaglianza
∑
P(τ3 < +∞) = π0 (i)ρi3 ,
i
85
tenendo conto del risultato precedente e del fatto che essendo 3, 4 as-
sorbenti le probabilità di raggiungere 3 in tempo finito partendo da 3
e da 4 sono rispettivamente 1 e 0, si ha che la probabilità richiesta è
1(5 2 ) 5
+ +1 = .
4 6 3 8
4. i) La matrice di transizione è
 
0 0 1
P = 0 q p ,
q p 0
con q = 1 − p. Tutti gli stati sono comunicanti e quindi, poiché lo

spazio degli stati è finito, persistenti positivi.
ii) Si assume che π1 (2) = 1 e quindi π1 (1) = π1 (0) = 0. Allora è
evidente che la probabilità dell’evento
{0 ombrelli disponibili prima del secondo tragitto}
è q e infatti in formule
∑
π2 (0) = π1 (i)pi0 = p20 = q.
i
Analogamente per calcolare P(0 ombrelli disponibili prima del terzo tragitto)
si procede cosı̀
∑ (2) (2)
∑
π3 (0) = π1 (i)pi0 = p20 = p2i pi0 = 0.
i i
E infine per calcolare P(0 ombrelli disponibili prima del quarto tragitto)
∑ (3) (3)
∑ (2)
π4 (0) = π1 (i)pi0 = p20 = p2i pi0
i i
∑ ∑ ∑ ∑
= p2i pij pj0 = q p0j pj0 + p p1j pj0
i j j j
= q + p2 q.
2
iii) Rispondere a questo punto equivale a rispondere alla domanda:

qual è il tempo medio di assorbimento in 0 partendo da 2 per la catena
corrispondente alla matrice di transizione
 
1 0 0
0 q p  ,
q p 0
86
ovvero per la dinamica modificata rendendo assorbente lo stato 0 e
quindi la classe {0} coincidente con la classe di tutti gli stati persistenti
(in tal caso infatti 1 e 2 comunicano con 0 ma 0 non comunica con essi
e quindi sono transienti). La risposta è quindi x2 dove x1 , x2 risolvono
il sistema dei tempi medi di assorbimento
{
x1 = 1 + px2 + qx1
x2 = 1 + px1 ,
1+p 2p
che risolto dà x1 = p−p2
e x2 = p−p2
.
iv) Poiché la catena è persistente positiva esiste un’unica misura in-
variante che si ottiene risolvendo il sistema


 v0 = qv1


v = qv + pv
1 1 2
v2 = v0 + pv1



v + v + v = 1
0 1 2
che risolto dà v0 = 1−p 1

3−p e v1 = v2 = 3−p . La catena soddisfa il criterio
sufficiente per la regolarità (essere irriducibile e avere un elemento non
(n)
nullo sulla diagonale di P) e quindi è ergodica e dunque limn→∞ pij =
vj indipendentemente da i.
(
v) P(si bagna al 96 − mo tragitto) = P {piove al 96 − mo tragitto} ∩
)
{X96 = 0} = pP(X96 = 0) e questo per l’indipendenza tra gli eventi.
1−p
Inoltre per l’ergodicità si approssima P(X96 = 0) con v0 = 3−p .
5. i) Lo spazio degli stati è S = {0, 1, . . . , N } e la matrice di transizione

è  
p0 q0 0 0 0 . . . 0 0
 p1 0 q1 0 0 . . . 0 0 
 
 p2 0 0 q2 0 . . . 0 0 
P=  ·
,
 · · · · ... · · 
pN −1 0 0 0 0 . . . 0 qN −1 
1 0 0 0 0 ... 0 0
con qj = 1 − pj . Tutti gli stati sono comunicanti e quindi, poiché lo
spazio degli stati è finito, persistenti positivi.
ii) Si assume che π0 (0) = 1 e quindi π0 (1) = . . . = π0 (N ) = 0 e dunque
si calcola
∑ (2) (2)
∑
π2 (0) = π0 (i)pi0 = p00 = p0i pi0 = p20 + p1 q0 .
i i
87
iii) Indicati con τ0 e τN i tempi di primo raggiungimento degli stati
0 e N , rispondere a questo punto equivale a calcolare P0 (τN < τ0 ) e
poiché
P0 (τN < τ0 ) = P0 (τN < τ0 , X1 = 1)
e l’ultimo membro coincide con
P0 (τN < τ0 | X1 = 1)P0 (X1 = 1) = P1 (τN < τ0 )q0 ,
occorre calcolare P1 (τN < τ0 ). L’ultima probabilità coincide con la
probabilità di assorbimento in N partendo da 1 per la catena cor-
rispondente alla matrice di transizione
 
1 0 0 0 0 ... 0 0
 p1 0 q1 0 0 . . . 0 0 
 
 p2 0 0 q2 0 . . . 0 0 
P=  ,
 · · · · · ... · ·  
pN −1 0 0 0 0 . . . 0 qN −1 
0 0 0 0 0 ... 0 1
ovvero per la dinamica modificata rendendo assorbenti gli stati 0 e
N . La risposta è quindi x1 dove x1 , x2 . . . , xN −1 risolvono il seguente
sistema delle probabilità di assorbimento in N


 x1 = q1 x2


x = q x
2 2 3
.

 ...


x
N −1 = qN −1
Risolvendo si ottiene xj = qj qj+1 . . . qN −1 e in particolare x1 = q1 q2 . . . qN −1 .

iv) Poiché la catena è persistente positiva esiste un’unica misura in-
variante che si ottiene risolvendo il sistema


 v0 = p0 v0 + p1 v1 + . . . pN −1 vN −1 + vN





 v1 = q0 v0

v = q v
2 1 1
.

 . . .





 vN = qN −1 vN −1

v + v + v + . . . + v = 1
0 1 2 N
A ritroso dalla penultima equazione si ricava vj = q0 q1 qv2N...qj−1 , per

j = 0, . . . , N − 1 e sostituendo questi valori nell’ultima equazione si
q q1 q2 ...qN −1
calcola vN = 1+q0 +q0 q01 +...+q 0 q1 q2 ...qN −1
. Infine sostituendo il valore
ottenuto per vN nell’espressione del generico vj si trova
q0 q1 q2 . . . qj−1
vj = , j = 1, . . . , N,
1 + q0 + q0 q1 + . . . + q0 q1 q2 . . . qN −1
88
1
v0 = .
1 + q0 + q0 q1 + . . . + q0 q1 q2 . . . qN −1
La catena soddisfa il criterio sufficiente per la regolarità (essere ir-
riducibile e avere un elemento non nullo sulla diagonale di P) e quindi
(n)
è ergodica e dunque limn→∞ pij = vj indipendentemente da i.
v) Occorre calcolare il tempo medio di ritorno nello stato 0 che in
formule è E0 [τ0 ]. Si sa che nelle catene persistenti positive questo
valore coincide con v0−1 e dunque in questo caso con 1 + q0 + q0 q1 +
. . . + q0 q1 q2 . . . qN −1 .
6. La catena è irriducibile e quindi il periodo è lo stesso per ogni stato

ed è facile verificare che è 2. Inoltre per π0 tale che π0 (1) = 1 si ha
qualsiasi sia n ≥ 0
π2n+1 (1) = π2n+1 (3) = 0 π2n+2 (2) = π2n+2 (4) = 0.
i) Si ha
1 1 ( ) 1
π2n+1 (2) = π2n (1) + π2n (3) = π2n (1) + 1 − π2n (1) = 1 − π2n (1)
2 2 2
e, essendo π2n (1) = 12 π2n−1 (2) qualsiasi sia n ≥ 1, si ottiene qualsiasi
sia n ≥ 1
1
π2n+1 (2) = 1 − π2n−1 (2).
4
Dunque i valori della densità in i = 2 sui tempi dispari costituiscono
una successione per ricorrenza della forma
{
am+1 = 1 − 41 am
a1 = 12
Pertanto il limite, se esiste, risolve L = 1 − 14 L e non può che essere

quindi L = 54 . Si può inoltre verificare che am per m dispari è mono-
tona crescente e per m pari è monotona decrescente e che entrambe
le sottosuccessioni convergono a L = 54 . Cosı̀ resta dimostrato che
limn→∞ π2n+1 (2) = 45 e di conseguenza limn→∞ π2n+1 (4) = 15 .
Inoltre poichè π2n (1) = 12 π2n−1 (2) si ricava limn→∞ π2n (1) = 2
5 e di
conseguenza limn→∞ π2n (3) = 53 .
In definitiva la densità di Xn quando n è grande è approssimata se n
è dispari da (0 45 0 15 ) e se n è pari da ( 52 0 35 0). Si può verificare che
( 45 15 ) e ( 25 35 ) sono le misure invarianti per la dinamica in due passi
ristretta rispettivamente a {2, 4} e {1, 3}. Infatti la dinamica in due
passi e multipli di due passi su {2, 4} è data dalla matrice
(3 1)
4 4
1 0
89
e il sistema soddisfatto dalla misura invariante è

 3
x1 = 4 x1 + x2
x2 = 14 x1


x1 + x2 = 1 ;
mentre la dinamica in due passi e multipli di due passi su {1, 3} è data

dalla matrice ( 1
) 3
4 4
1 1
2 2
e il sistema soddisfatto dalla misura invariante è

 1 1
x1 = 4 x1 + 2 x2
x2 = 34 x1 + 21 x2


x1 + x2 = 1 .
ii)
1 1
P(X82 = 3, X81 = 4) = π81 (4)p43 ≈ ·1=
5 5
( 3 1 3
P(X60 = 1, X58 = 3) = π58 (3)p31 2) ≈ · = .
5 2 10
2 Processo di Poisson
2.1 Definizione
Tra i processi stocastici a tempo continuo a valori in N, ovvero nell’insieme
delle famiglie di v.a. definite su di uno stesso spazio di probabilità, a valori in
N ed indicizzate da un parametro reale continuo non negativo, interpretato
come il tempo, si chiamano processi di conteggio quelli che hanno traiettorie
uscenti dallo 0, non decrescenti, costanti a tratti e con salti di ampiezza
unitaria.
Sia (Xk , k ≥ 1) una famiglia di v.a. indipendenti (dunque in particolare
definite sullo stesso spazio di probabilità) di legge esponenziale di parametro
λ. Posto
∑ n
S0 := 0 Sn := Xk , n ≥ 1
k=1
si costruisce il processo di Poisson (N (t))t≥0 mediante l’uguaglianza
N (t) := max(n ≥ 0, Sn ≤ t).
Si deve osservare che dalla definizione segue che N (0) = 0 e che ogni traiet-
toria del processo è costante a tratti, non decrescente, continua da destra ed
90
ha salti unitari. Dunque il processo di Poisson è processo di conteggio. Se
si immagina che la v.a.Xk sia il tempo aleatorio che intercorre tra il k-mo
ed il k + 1-mo evento di un determinato flusso di eventi, allora Sn rappre-
senta il tempo aleatorio in cui si verifica l’n−mo evento e la v.a.N (t) conta
il numero degli eventi occorsi fino al tempo t incluso. Dunque la v.a. N (t)
può assumere ogni valore naturale e se ne determina facilmente la densità
di probabilità a partire dall’assunzione sulla legge degli intertempi di salto.
Fissato k ∈ N, per calcolare P(N (t) = k) il punto di partenza sono le due
semplici uguaglianze tra eventi
(N (t) = k) = (N (t) ≥ k)\(N (t) ≥ k + 1)
e
(N (t) ≥ k) = (Sk ≤ t).
Infatti insieme forniscono la terza uguaglianza
(N (t) = k) = (Sk ≤ t)\(Sk+1 ≤ t)
ovvero, passando alle probabilità, l’uguaglianza
P(N (t) = k) = P(Sk ≤ t) − P(Sk+1 ≤ t).
L’ultima uguaglianza riduce il calcolo della densità di N (t) alla conoscenza

della funzione di ripartizione dei tempi Sn , n ≥ 1. A questo proposito
occorre ricordare i due fatti seguenti noti dai corsi di probabilità elementare.
In primo luogo, se X1 , X2 , . . . , Xm sono v.a. indipendenti rispettivamente
di legge Γ(α1 , λ), Γ(α2 , λ), . . . , Γ(αm , λ), allora
X1 + X2 + . . . + Xm ∼ Γ(α1 + α2 + . . . + αm , λ).
Da cui ricordando che la legge esponenziale di parametro λ è la legge gamma

di parametri (1, λ) e che le leggi gamma con il primo parametro intero pren-
dono il nome di Erlang (cosı̀ Γ(m, λ) si chiama anche Erlang di parametri
(m, λ) e si scrive Erl(m, λ)), segue che se X1 , X2 , . . . , Xm sono v.a. i.i.d. di
legge esp(λ), allora
X1 + X2 + . . . + Xm ∼ Erl(m, λ).
Inoltre, la funzione di ripartizione di una v.a.Z ∼ Erl(m, λ) si calcola con

procedura ricorsiva integrando per parti la funzione densità corrispondente,
λm
x → (m−1)! xm−1 e−λx fino ad ottenere
∑
m−1
(λt)i −λt
P(Z ≤ t) = 1 − e .
i!
i=0
91
Da quanto detto segue che la legge di Sn , tempo di occorrenza dell’n−mo
evento di un processo di Poisson di parametro λ, è una Erlang di parametri
(n, λ) e in particolare
∑
n−1
(λt)i −λt
P(Sn ≤ t) = 1 − e .
i!
i=0
Pertanto, andando a sostituire le corrispondenti espressioni nella formula

per il calcolo della densità di N (t), si trova
∑
k−1
(λt)i ∑
k
(λt)i (λt)k −λt
P(N (t) = k) = 1 − e−λt − 1 + e−λt = e .
i! i! k!
i=0 i=0
In conclusione si è ottenuto che il processo di Poisson al tempo t ha legge di

Poisson di parametro λt, ovvero, fissato t, vale N (t) ∼ Poiss(λt). Cosı̀, ricor-
dando il significato del parametro della legge esponenziale e del parametro
della legge Poisson, si vede che il parametro λ del processo di Poisson è al
tempo stesso il reciproco del tempo medio di attesa tra un evento e l’altro
e il numero medio degli eventi che si verificano nell’intervallo di tempo uni-
tario. Dunque per esempio se λ cresce allora diminuisce il tempo medio tra
un evento e l’altro e cresce la frequenza degli eventi.
2.2 Perdita di memoria

Per perdita di memoria del processo di Poisson di parametro λ si intende
la proprietà per la quale, fissato un qualsiasi tempo t, il tempo che occorre
attendere a partire da t affinché si verifichi un evento è v.a. che ha legge
esponenziale di parametro λ e che è indipendente dai successivi intertempi
del flusso.
Fissato t > 0, si introduce la v.a. γt ≥ 0 definita da
γt := SN (t)+1 − t
e si dimostra che qualsiasi sia x numero reale positivo vale
P(γt ≤ x) = 1 − e−λx .
Il punto di partenza per la dimostrazione è l’uguaglianza tra eventi

(
(γt > x) = ∪+∞
n=0 Sn ≤ t, Sn+1 − t > x),
dalla quale, tenendo conto che gli eventi dell’unione sono disgiunti, si ricava
passando alle probabilità
∑
+∞
(
P(γt > x) = P Sn ≤ t, Sn+1 − t > x).
n=0
92
Il primo termine della somma, ovvero quello corrispondente all’indice n = 0,
coincide con
(
P S0 ≤ t, S1 − t > x) = P(S1 − t > x) =
P(S1 > t + x) = P(X1 > t + x) = e−λ(t+x) .
Il termine generico per n ≥ 1 si può invece riscrivere cosı̀

(
P Sn ≤ t, Sn + Xn+1 > t + x)
e, condizionando al valore di Sn ∼ Erl(n, λ), cosı̀

∫ +∞
( λn
P Sn ≤ t, Sn + Xn+1 > t + x | Sn = y) y n−1 e−λy dy.
0 (n − 1)!
L’espressione precedente coincide con

∫ t
( λn
P Xn+1 > t + x − y | Sn = y) y n−1 e−λy dy
0 (n − 1)!
e ancora, per l’ipotesi di indipendenza di Xn+1 da X1 , X2 , . . . , Xn e quindi

da Sn , con
∫ t
( λn
P Xn+1 > t + x − y) y n−1 e−λy dy.
0 (n − 1)!
Infine, poiché Xn+1 ha densità esponenziale di parametro λ e t + x − y è

positivo, l’integrale precedente si riscrive
∫ t
λn
e−λ(t+x−y) yn−1 e−λy dy.
0 (n − 1)!
In definitiva
∑∫ t
λn
−λ(t+x)
P(γt > x) =e + e−λ(t+x−y) yn−1 e−λy dy =
0 (n − 1)!
n≥1
∫ t ∑ λn
e−λ(t+x) + e−λ(t+x−y) yn−1 e−λy dy =
0 (n − 1)!
n≥1
∫ t ∑ λn−1
e−λ(t+x) + e−λ(t+x−y) λ yn−1 e−λy dy.
0 (n − 1)!
n≥1
Con il cambio di indice n − 1 in m si trasforma la sommatoria in

∑ λm
y m = eλy
m!
m≥0
93
e quindi si conclude
∫ t
P(γt > x) = e−λ(t+x) + λe−λ(t+x−y) dy = e−λx .
0
Come applicazione di quanto esposto si considera il seguente problema.
Problema del taxi

Una vettura è pronta a svolgere il servizio ad una fermata dei taxi. Si as-
sume che i passeggeri in arrivo alla fermata del taxi seguano un flusso di
Poisson e che in media a quella fermata arrivino 20 passeggeri all’ora. Le
vetture partono solo a pieno carico, ovvero con 4 persone, o 10 minuti dopo
l’arrivo del primo passeggero.
a) Con quale probabilità il primo passeggero aspetta 10 minuti?
b) Se altri 2 passeggeri arrivano dopo 8 minuti, con quale probabilità il taxi
non parte a pieno carico?
Soluzione
a) Sia (N (t))t≥0 il processo che conta i passeggeri arrivati dopo il primo,
allora, quando il tempo è calcolato in minuti, N (t) ∼ Poiss(t/3) e gli in-
tertempi tra un arrivo e l’altro sono esponenziali indipendenti di parametro
1/3. Per rispondere alla domanda bisogna calcolare con quale probabilità
arrivano non più di 2 clienti nei successivi 10 minuti, ovvero
2 (
∑ 10 )h e−10/3
P(N (10) ≤ 2) = .
3 h!
h=0
b) Per rispondere alla seconda domanda si utilizza la proprietà di perdita

di memoria del Poisson, perché la probabilità richiesta coincide con la prob-
abilità che tra l’ottavo ed il decimo minuto non vi siano arrivi. Dunque,
indicato con γ8 il tempo occorrente dopo l’ottavo minuto (a partire dall’ar-
rivo del primo passeggero) per vedere arrivare un altro passeggero, bisogna
calcolare P(γ8 > 2) e, poiché per la perdita di memoria γ8 ∼ esp(1/3), il
risultato è e−2/3 .
Si può dimostrare che gli incrementi del processo di Poisson di parametro

λ su intervalli disgiunti sono v.a. indipendenti e che, ciascun incremento ha
legge di Poisson di parametro pari al prodotto del parametro λ per l’ampiez-
za dell’intervallo.
Qui si fa vedere che
(λs)n −λs (λt)k −λt

P(N (s) = n, N (s + t) − N (s) = k) = e e .
n! k!
Questo dimostra al tempo stesso l’indipendenza degli incrementi su due
intervalli disgiunti adiacenti e l’affermazione sulla legge di probabilità di un
94
generico incremento. L’uguaglianza tra eventi
(N (s) = n, N (s + t) − N (s) = k) =
(N (s) = n, N (s + t) − N (s) ≤ k) \ (N (s) = n, N (s + t) − N (s) ≤ k − 1)
riduce la dimostrazione a quella della relazione
(λs)n −λs ∑ (λt)i −λt

k
P(N (s) = n, N (s + t) − N (s) ≤ k) = e e .
n! i!
i=0
Ora
P(N (s) = n, N (s + t) − N (s) ≤ k) =

P(Sn ≤ s < Sn+1 , Sn+1 + Xn+2 + . . . + Xn+k+1 ≥ s + t) =
P(Sn ≤ s, Sn + Xn+1 > s, Sn + Xn+1 + Z ≥ s + t)
ricordando che Sn+1 = Sn +Xn+1 e indicando con Z la v.a.Xn+2 +. . . , Xn+k+1 .

Utilizzando due volte la probabilità condizionata, in particolare condizionan-
do la prima volta al valore di Sn ∼ Erl(n, λ) e la seconda volta al valore di
Xn+1 ∼ esp(λ) e ricordando che le v.a. Sn , Xn+1 e Z sono indipendenti, si
ottiene
P(N (s) = n, N (s + t) − N (s) ≤ k) =

∫ s
λn
P(y + Xn+1 > s, y + Xn+1 + Z > s + t) y n−1 e−λy dy =
0 (n − 1)!
∫ s ( ∫ +∞ ) λn
P(y + x + Z > s + t)λe−λx dx yn−1 e−λy dy
0 s−y (n − 1)!
Si noti che nel primo passaggio è y < s e questo insieme alla condizione
y + Xn+1 > s implica che sia x > s − y > 0. Poiché Z ha legge Erl(k, λ), se
s + t − y − x ≤ 0 ovvero x ≥ s − y + t allora
P(y + x + Z > s + t) = 1,
mentre se x < s − y + t allora
∑
k−1
(λ(s + t − y − x))i
P(y + x + Z > s + t) = e−λ(s+t−y−x) .
i!
i=0
Sostituendo questi valori nell’ultimo integrale si ottiene

∫ s ( ∫ s−y+t ∑
(λ(s + t − y − x))i −λ(s+t−y−x) −λx ) λn yn−1 −λy
k−1
e λe dx e dy+
0 s−y i! (n − 1)!
i=0
∫ s ( ∫ +∞ ) λn yn−1
λe−λx dx e−λy dy
0 s−y+t (n − 1)!
95
espressione che, effettuate nel primo addendo le dovute semplificazioni e
calcolato nel secondo addendo l’integrale in x, diventa
∫ s ( ∫ s−y+t ∑
k−1 ) λn yn−1
(λ(s + t − y − x))i −λ(s+t)
e λ dx dy+
0 s−y i! (n − 1)!
i=0
∫ s n n−1
−λ(s−y+t) λ y
e e−λy dy.
0 (n − 1)!
Per completare il calcolo del primo addendo è sufficiente scambiare somma-
toria ed integrale e quindi integrare prima in x e poi in y. Si ottengono cosı̀
facilmente le uguaglianze seguenti
k−1 i+1 ∫
∫ s(∑ s−y+t ) λn yn−1
−λ(s+t) λ
e (s + t − y − x)i dx dy+
0 i! s−y (n − 1)!
i=0
∫ s
λn
e−λ(s+t) yn−1 dy =
(n − 1)! 0
∑
k−1 ∫ s
−λ(s+t) (λt)i+1 λn (λs)n
e yn−1 dy + e−λ(s+t) =
(i + 1)! (n − 1)! 0 n!
i=0
∑k
(λt)i (λs)n (λs)n
e−λ(s+t) + e−λ(s+t) =
i! n! n!
i=1
(λs)n ∑
k
(λt)i
e−λ(s) e−λt .
n! i!
i=0
La dimostrazione è conclusa.
Dalla densità della variabile N (t + ∆t) − N (t) e dallo sviluppo di Taylor

della funzione esponenziale si ricavano immediatamente anche le proprietà
seguenti:
i) P(N (t + ∆t) − N (t) = 1) = λ ∆t + o(∆t)
ii) P(N (t + ∆t) − N (t) = 0) = 1 − λ∆ t + o(∆ t),
da cui segue naturalmente
P(N (t + ∆t) − N (t) ≥ 2) = o(∆ t).
Riassumendo: se l’intervallo temporale è piccolo, la probabilità che si ver-

ifichi un solo evento, a meno di termini trascurabili, è proporzionale al-
l’ampiezza dell’intervallo temporale secondo il coefficiente λ e il verificarsi
di due o più eventi è trascurabile.
Di fatto si può anche dimostrare (vedi Paragrafo 2.4) che queste regole del
susseguirsi degli eventi, unite al fatto che il numero degli eventi che si ver-
ificano su intervalli disgiunti sono variabili indipendenti e al fatto che si
96
iniziano a contare gli eventi al tempo iniziale, ovvero il processo al tempo
iniziale vale 0, sono assiomi, ovvero costituiscono una definizione alternativa
per il processo di Poisson (vedi il paragrafo seguente sul processo di Poisson
non stazionario).
Problema della multa

Parcheggio in sosta vietata 2 volte al giorno lasciando ferma la vettura ogni
volta per 1 ora; so che i vigili passano mediamente λ volte in un’ora. Come
stimo la probabilità di prendere una multa?
Soluzione
Con una certa approssimazione, per il processo che conta il numero dei pas-
saggi dei vigili si possono ritenere soddisfatte le proprietà che caratterizzano
il processo di Poisson: si assume dunque che il processo che conta il numero
dei passaggi dei vigili con il tempo misurato in ore sia un processo di Poisson
di parametro λ. Indicati con t1 e t2 , t1 ̸= t2 , gli istanti in cui parcheggio, la
probabilità di prendere una multa è la probabilità dell’evento
(N (t1 + 1) − N (t1 ) ≥ 1) ∪ (N (t2 + 1) − N (t2 ) ≥ 1)
probabilità che coincide con

( )
1 − P (N (t1 + 1) − N (t1 ) = 0) ∩ (N (t2 + 1) − N (t2 ) = 0) =
1 − P(N (t1 + 1) − N (t1 ) = 0)P(N (t2 + 1) − N (t2 ) = 0) = 1 − e−2λ
dove per la prima uguaglianza si usa il fatto che le v.a. N (t1 + 1) − N (t1 ) e
N (t2 + 1) − N (t2 ) sono indipendenti e per la seconda che hanno entrambe
legge Poiss(λ).
2.3 Merging e splitting

Siano (N1 (t))t≥0 e (N2 (t))t≥0 due processi di Poisson tra loro indipendenti
rispettivamente di parametri λ1 e λ2 . Ci si domanda se il processo che
conta il numero complessivo degli eventi sia ancora un processo di Poisson.
La risposta è affermativa e la proprietà va sotto il nome di merging.
Definito qualsiasi sia t ≥ 0
N (t) := N1 (t) + N2 (t),
la dimostrazione consiste nell’osservare che il processo (N (t))t≥0 è un pro-

cesso che inizialmente vale 0, ha gli incrementi indipendenti come somma di
v.a. indipendenti e nel dimostrare che (N (t))t≥0 verifica le proprietà i) e ii)
97
del paragrafo precedente.
Per la verifica della i) si osserva che vale l’uguaglianza tra eventi
(N (t + ∆t) − N (t) = 1) =
(N1 (t + ∆t) − N1 (t) = 1, N2 (t + ∆t) − N2 (t) = 0)∪
(N2 (t + ∆t) − N2 (t) = 1, N1 (t + ∆t) − N1 (t) = 0)
dove l’unione è disgiunta. Quindi passando alle probabilità, tenendo conto

dell’indipendenza di (N1 (t))t≥0 e (N2 (t))t≥0 , si ottiene
P(N (t + ∆t) − N (t) = 1) =

P(N1 (t + ∆t) − N1 (t) = 1)P(N2 (t + ∆t) − N2 (t) = 0)+
P(N2 (t + ∆t) − N2 (t) = 1)P(N1 (t + ∆t) − N1 (t) = 0).
Utilizzando allora il fatto che le i) e ii) del paragrafo precedente valgono

per (N1 (t))t≥0 e (N2 (t))t≥0 , con λ sostituito da λ1 e λ2 rispettivamente, e
tenendo conto delle semplici regole sugli infinitesimi, si ottiene la relazione
voluta con λ1 + λ2 al posto di λ.
In modo analogo si verifica che il processo (N (t))t≥0 verifica anche la ii) con
λ1 + λ2 al posto di λ: naturalmente in tal caso si parte dall’uguaglianza tra
eventi
(N (t + ∆t) − N (t) = 0) =
(N1 (t + ∆t) − N1 (t) = 0, N2 (t + ∆t) − N2 (t) = 0).
Dunque il processo (N (t))t≥0 risulta un processo di Poisson di parametro

λ1 + λ2 . Si osservi( che quanto
) dimostrato implica in particolare che per
t > 0 N (t) ∼ Poiss (λ1 + λ2 )t e che questo segue anche direttamente dal
fatto noto che somma di v.a. di Poisson indipendenti è v.a. di Poisson con
parametro la somma dei parametri.
Un esempio di applicazione del merging è la soluzione del seguente problema.
Problema della scorta

Determinare la distribuzione di probabilità del tempo di esaurimento della
scorta complessiva di due prodotti di cui si conosce la richiesta media gior-
naliera, assumendo che i due flussi di richiesta dei prodotti siano indipendenti
e modellizzabili ciascuno con un processo di Poisson e assumendo anche che
in assenza di un prodotto ci si accontenta dell’altro.
Un’altra domanda interessante nella medesima situazione è la seguente: fis-
sato un prodotto, con quale probabilità si esaurisce prima la scorta di quel
prodotto?
Soluzione
Si indichi con λi la richiesta media giornaliera del prodotto i = 1, 2.Per
98
quanto appena detto allora, se la consistenza della scorta è n, il tempo di
esaurimento è il tempo dell’n-mo evento di un Poisson di parametro λ1 + λ2
e quindi ha distribuzione Erlang di parametri n e λ1 + λ2 .
Inoltre per calcolare la probabilità che si esaurisca prima la scorta del prodot-
to 1, si osserva che, assumendo che le singole scorte ammontino a n1 e n2 con
n1 +n2 = n, questo accade se si verificano al più n2 −1 richieste del prodotto 2
(ovvero, almeno n1 richieste del prodotto 1) entro le prime n−1 = n1 +n2 −1
richieste. Infatti indicata con Ri , i = 1, 2 la v.a. che conta le richieste del
prodotto i entro le prime n − 1 richieste, si ha banalmente
R2 ≤ n2 − 1 =⇒ R1 ≥ n1
e R1 ≥ n1 implica che si esaurisce prima la scorta del prodotto 1. Mentre

se R2 > n2 − 1 allora R2 ≥ n2 e quindi si esaurisce prima la scorta del
prodotto 2. Ora, indicata con p2 la probabilità che una generica richiesta
sia del flusso 2, si tratta di calcolare la probabilità di al più n2 − 1 successi
per uno schema di Bernoulli di parametri n − 1 = n1 + n2 − 1 e p2 . Dunque
la probabilità richiesta coincide con
2 −1 (
n∑ )
n−1 k
p2 (1 − p2 )n−1−k .
k
k=0
Infine per calcolare il valore p2 si osservi che dalla proprietà di perdita di

memoria applicata ai singoli flussi segue che a partire dal tempo di una qual-
siasi richiesta occorre attendere un tempo esponenziale di parametro λ1 per
una nuova richiesta del prodotto 1 e un tempo esponenziale di parametro λ2
per una nuova richiesta del prodotto 2. Inoltre questi due tempi esponen-
ziali sono indipendenti poiché si è assunto che i flussi lo siano e quindi hanno
densità congiunta (pari al prodotto delle densità) e dunque non possono as-
sumere lo stesso valore. Cosı̀ il valore p2 deve coincidere con la probabilità
che il tempo esponenziale (strettamente) più piccolo sia quello di parametro
λ2 ovvero λ1λ+λ2
2
. In conclusione
λ2
p2 = .
λ1 + λ2
Per dimostrare l’ultima uguaglianza si procede cosı̀: indicate con X e Y due
v.a. esponenziali rispettivamente di parametri λ e µ
∫ +∞
P(X < Y ) = P(X < Y | Y = y)µe−µy dy =
0
∫ +∞ ∫ +∞
−µy
P(X < y | Y = y)µe dy = P(X < y)µe−µy dy =
0 0
∫ +∞ ∫ +∞
λ
P(X ≤ y)µe−µy dy = (1 − e−λy )µe−µy dy = .
0 0 λ+µ
99
La proprietà del processo di Poisson che va sotto il nome di splitting
lavora al contrario della proprietà del merging: da un processo di Poisson si
generano due processi di Poisson indipendenti.
Si assume che (N (t))t≥0 sia un processo di Poisson di parametro λ e che
ogni evento del processo sia etichettato, in modo indipendente dagli altri,
come evento di tipo i = 1, 2 con probabilità pi , i = 1, 2, p1 + p2 = 1. Allora,
indicati con Ni (t), i = 1, 2, il numero degli eventi di tipo i verificatisi fino al
tempo t, i processi (N1 (t))t≥0 e (N2 (t))t≥0 sono processi di Poisson tra loro
indipendenti rispettivamente di parametri p1 λ e p2 λ.
Per dimostrare la proprietà precedente si verifica che, qualsiasi siano t > 0
e k e m naturali, vale
(p1 λt)k −p1 λt (p2 λt)m −p2 λt
P(N1 (t) = k, N2 (t) = m) = e e .
k! m!
Infatti si calcola
P(N1 (t) = k, N2 (t) = m) =
∑
+∞
P(N1 (t) = k, N2 (t) = m | N (t) = n)P(N (t) = n)
n=0
e, ricordando che N1 (t) + N2 (t) = N (t), risulta evidente che l’unico val-
ore possibile per n, indice della somma, è k + m e l’espressione precedente
coincide con
P(N1 (t) = k, N2 (t) = m | N (t) = k + m)P(N (t) = k + m).
Il primo fattore dell’espressione precedente per ipotesi si calcola come la
probabilità di k successi ciascuno di probabilità p1 su k + m prove indipen-
denti, mentre il secondo è il valore k + m della densità di una v.a. con legge
Poisson di parametro λt = λ(p1 + p2 )t (si ricordi p1 + p2 = 1). Quindi si
scrive ( ) ( )k+m
k + m k m λt
p1 p2 e−λ(p1 +p2 )t .
k (k + m)!
Usando il valore del coefficiente binomiale e riscrivendo l’esponenziale come
e−λp1 t e−λp2 t si ottiene proprio l’espressione voluta e la proprietà di splitting
è dimostrata.
∑N (t)
Si osservi che N1 (0) = 0 e per t > 0 N1 (t) può anche scriversi i=1 Di ,
dove le v.a. D1 , D2 , . . . sono i.i.d. di legge Bernoulli di parametro p1 , in-
dipendenti da (N (t))t≥0 .
Un processo (X(t))t≥0 uscente dallo 0 e definito al tempo t > 0 dalla formula
∑
N (t)
X(t) := Di ,
i=1
100
dove D1 , D2 , . . . sono i.i.d. a valori interi positivi indipendenti dal processo
(N (t))t≥0 , prende il nome di processo di Poisson composto. Si tratta di un
processo a valori in N con traiettorie costanti a tratti e continue a destra,
ma non necessariamente con salti unitari e quindi non necessariamente un
processo di conteggio.
Per esempio si può rappresentare con un processo di questo tipo l’ammontare
delle richieste di un certo prodotto in un generico istante se si assume che i
clienti che cercano il prodotto giungano secondo un flusso di Poisson e ogni
cliente chieda un numero aleatorio di pezzi del prodotto indipendente dal
numero di pezzi richiesti dagli altri clienti ma di stessa legge (la v.a.Di è il
numero di pezzi richiesti dal cliente i-mo).
Per il calcolo del valor medio del processo al tempo t si procede cosı̀
∑
+∞
E[X(t)] = E[X(t) | N (t) = n]P(N (t) = n).
n=1
Allora sostituendo l’espressione di X(t) nella formula, per la linearità della

media condizionata, l’indipendenza delle v.a. D1 , D2 , . . . da (N (t))t≥0 , e
l’uguaglianza in legge delle D1 , D2 , . . ., l’espressione precedente coincide con
∑
+∞ ∑
n ∑
+∞
E[Di ]P(N (t) = n) = E[D1 ] nP(N (t) = n) = E[D1 ]λt.
n=1 i=1 n=1
Si consideri la seguente applicazione della proprietà di splitting.
Problema della coda con flusso di ingresso Poisson, infiniti sportelli e

tempo di servizio a due valori
In un ideale ufficio di servizio il numero degli sportelli è infinito, il flusso di
ingresso dei clienti è Poisson di parametro λ e il tempo di servizio di cias-
cuno sportello è T1 con probabilità p1 e T2 con probabilità p2 = 1 − p1 . Ci si
domanda quanti saranno gli sportelli occupati ad un tempo grande fissato.
Soluzione
Il tempo medio di servizio per ipotesi è pari a T1 p1 + T2 p2 . Indicato con
(Ni (t))t≥0 , i = 1, 2, il flusso dei clienti ad uno sportello di tipo i (ovvero
con tempo di servizio Ti ), si sa, per la proprietà di splitting, che si tratta di
un flusso di Poisson di parametro λpi e che i due flussi sono indipendenti.
Allora, per ogni tempo t maggiore del massimo tra T1 e T2 , il numero degli
sportelli occupati al tempo t sarà uguale al numero dei clienti arrivati ad
uno sportello di tipo 1 nell’intervallo di tempo (t − T1 , t] più il numero dei
clienti arrivati ad uno sportello di tipo 2 nell’intervallo di tempo (t − T2 , t],
ovvero sarà pari a (N1 (t) − N1 (t − T1 )) + (N2 (t) − N2 (t − T2 )) e le v.a.
N1 (t) − N1 (t − T1 ) e N2 (t) − N2 (t − T2 ) sono indipendenti con legge di Pois-
son rispettivamente di parametri λp1 T1 e λp2 T2 . È noto che la somma di
v.a. di Poisson indipendenti è ancora Poisson con parametro la somma dei
101
parametri e dunque (N1 (t) − N1 (t − T1 )) + (N2 (t) − N2 (t − T2 )) è v.a. di
Poisson di parametro λp1 T1 + λp2 T2 = λ(p1 T1 + p2 T2 ). Si conclude che per
tempi grandi, ovvero maggiori del massimo tra T1 e T2 , se la legge del tempo
di servizio è discreta a due valori, il numero degli sportelli occupati è v.a.
di legge Poisson di parametro pari al prodotto del numero medio dei clienti
in ingresso nel tempo unitario per il tempo medio di servizio.
Di fatto si può dimostrare che l’affermazione precedente è vera qualsiasi sia
la legge del tempo di servizio degli sportelli purché comune e di media finita.
2.4 Processo di Poisson non stazionario

Un processo di Poisson non stazionario (N (t))t≥0 è un processo di conteggio
che ha incrementi indipendenti e che verifica le proprietà i) e ii) del paragrafo
2 con al posto della costante λ una funzione t → λ(t), ovvero le proprietà
i′ ) P(N (t + ∆t) − N (t) = 1) = λ(t) ∆t + o(∆t)
e
ii′ ) P(N (t + ∆t) − N (t) = 0) = 1 − λ(t)∆ t + o(∆ t),
da cui segue naturalmente
P(N (t + ∆t) − N (t) ≥ 2) = o(∆ t).
Si determina qui la legge dell’incremento N (s + t) − N (s), per s e t generici,
ovvero si calcola la probabilità che l’incremento assuma un generico valore
k ≥ 0, cioè P(N (s + t) − N (s) = k). Indicata questa probabilità con pk (s, t),
considerando s come costante e t come variabile, poiché in un intervallo
∆t può verificarsi, con probabilità non trascurabile rispetto all’ampiezza
∆t, un evento o nessuno e poiché il numero di eventi su intervalli disgiunti
costituisce una famiglia di v.a. indipendenti, vale, qualsiasi sia k ≥ 1,
pk (s, t + ∆t) =
( )
pk−1 (s, t) λ(s + t)∆t + o(∆t) +
( )
+ pk (s, t) 1 − λ(s + t)∆t + o(∆t) +
∑
P (N (s + t + ∆t) − N (s + t) = j)P (N (s + t) − N (s) = k − j)
1<j≤k
( )
pk (s, t + ∆t) = pk−1 (s, t)λ(s + t)∆t + pk (s, t) 1 − λ(s + t)∆t + o(∆t).
Nel membro di destra dell’uguaglianza l’ultimo termine o(∆t) tiene conto
della trascurabile probabilità che nell’intervallo [s + t, s + t + ∆t) si verifichi
più di un evento. L’espressione precedente si può riscrivere
pk (s, t + ∆t) − pk (s, t) o(∆t)
= pk−1 (s, t)λ(s + t) − pk (s, t)λ(s + t) +
∆t ∆t
102
e mandando ∆t a zero, si ottiene, qualsiasi sia k ≥ 1,
d
pk (s, t) = pk−1 (s, t)λ(s + t) − pk (s, t)λ(s + t).
dt
In modo analogo si ricava che
d
p0 (s, t) = −p0 (s, t)λ(s + t).
dt
Risolvendo l’ultima equazione con dato iniziale p0 (s, 0) = 1 si ottiene
p0 (s, t) = e−(M(s+t)−M(s))
dove ∫ x
M (x) := λ(y) dy
0
e poi procedendo per ricorrenza si calcola, qualsiasi sia k ≥ 1, tenendo conto
che pk (s, 0) = 0,
(M(s + t) − M(s))k
pk (s, t) = e−(M(s+t)−M(s)) .
k!
Dunque l’incremento sull’intervallo (s, s + t] del processo di Poisson non
stazionario ha legge di Poisson di parametro M (s+t)−M (s). In particolare,
scegliendo s = 0, si ricava che la legge al tempo t del processo di∫ t Poisson
non stazionario è Poisson di parametro M (t) e dunque M (t) = 0 λ(y) dy
rappresenta il numero medio degli eventi che si verificano fino al tempo t
(incluso).
Si osserva che se si assume che λ(t) = λ per ogni t > 0 si ritrova la densità
degli incrementi del processo di Poisson stazionario.
2.5 Distribuzione dei tempi di salto in [0, T ] condizionata a

N(T)=n
Una importante proprietà dei tempi di salto di un processo di Poisson si
enuncia a parole cosı̀: condizionatamente al sapere che si verificano n eventi
nell’intervallo [0, T ], i tempi S1 , . . . , Sn sono il riordinamento in senso cres-
cente di n v.a. i.i.d. di legge uniforme in [0, T ].
Qui non si dimostra la proprietà ma si calcola soltanto la k-ma marginale
di questa distribuzione condizionata, ovvero per 1 ≤ k ≤ n si calcola la
funzione di distribuzione di Sk , tempo in cui si verifica il k−mo evento, con-
dizionata al sapere che nell’intervallo [0, T ] si sono verificati n eventi.
Per t ≤ T , utilizzando tra le altre cose l’uguaglianza tra eventi
(Sk ≤ t) = (N (t) ≥ k)
103
e l’indipendenza delle v.a. N (t) e N (T ) − N (t), si calcola
P(Sk ≤ t | N (T ) = n) =
P(N (t) ≥ k | N (T ) = n) =
P(N (t) ≥ k, N (T ) = n)
=
P(N (T ) = n)
∑n
j=k P(N (t) = j, N (T ) − N (t) = n − j)
=
P(N (T ) = n)
∑n
j=k P(N (t) = j)P(N (T ) − N (t) = n − j)
=
P(N (T ) = n)
∑n ( )j −λt ( )n−j
j=k λt e /j! λ(T − t) e−λ(T−t) /(n − j)!
( )n
λT e−λT /n!
e dopo le dovute semplificazioni si ottiene

n ( )( ) (
∑ n t j t )n−j
P(Sk ≤ t | N (T ) = n) = 1−
j T T
j=k
Quanto ottenuto è coerente con la proprietà enunciata inizialmente, che

implica che, condizionatamente all’evento (N (T ) = n), la v.a. Sk ha la
legge della k − ma v.a. del riordinamento crescente di n v.a. i.i.d. uniformi
in [0, T ]. Infatti la probabilità che esattamente j tra n v.a. i.i.d. di legge
uniforme in [0, T ] assumano valore nell’intervallo [0, t] è
( )( ) (
n t j t )n−j
1−
j T T
e quindi la probabilità che almeno k tra n v.a. i.i.d. di legge uniforme in

[0, T ] assumano valore nell’intervallo [0, t] è proprio
n ( )( ) (
∑ n t j t )n−j
1− .
j T T
j=k
Un’applicazione della distribuzione dei tempi di salto condizionata al

numero dei salti è la seguente.
Problema del costo di attesa

Una sequenza di messaggi arriva secondo un flusso di Poisson di parametro
λ alla porta di un canale di comunicazione; il canale viene aperto in tempi
deterministici multipli di un tempo fissato T . Ciascun messaggio che arriva
tra un tempo e l’altro rimane conservato in un buffer ad un certo costo
fisso per ogni unità temporale. All’apertura del canale i messaggi in attesa
104
vengono trasmessi istantaneamente.
Qual è il costo medio per la conservazione di tutti i messaggi arrivati tra
una trasmissione e la successiva?
Soluzione
Indicato con (N (t))t≥0 il processo di Poisson che conta i messaggi, il tempo
totale di conservazione dei messaggi è la v.a.
(T − S1 ) + (T − S2 ) + . . . + (T − SN (T ) )
e dunque, indicato con C il costo fisso per ogni unità temporale per ogni
singolo messaggio, il costo totale per la conservazione è
( )
C T − S1 + T − S2 + . . . + T − SN (T ) .
Dunque essendo C deterministico, condizionando al valore di N (T ) ∼ Poiss(λT)
e considerando che se non vi sono arrivi il costo nullo, si ottiene
[ ( )]
E C T − S1 + T − S2 + . . . + T − SN (T ) =
[ ]
CE T − S1 + T − S2 + . . . + T − SN (T ) =
+∞ [
∑ ] (λT )n
C E T − S1 + T − S2 + . . . + T − Sn | N (T ) = n e−λT =
n!
n=1
+∞ (
∑ [ ]) (λT )n
C nT − E S1 + S2 + . . . + Sn | N (T ) = n e−λT .
n!
n=1
Per quanto enunciato precedentemente, condizionatamente al fatto che vi

siano n arrivi, la somma delle v.a. tempo di arrivo entro il tempo T coincide
con la somma di n v.a. uniformi in [0, T ]. Dunque, poiché il valor medio
condizionato è lineare e il valor medio di una v.a. uniforme in [0, T ] è T /2,
si ottiene [ ] T
E S1 + S2 + . . . + Sn | N (T ) = n = n .
2
Pertanto il valor medio del costo totale risulta
∑
+∞
T (λT )n −λT λT2 ∑ (λT)n−1 −λT
+∞
λT2
C n e =C e =C .
2 n! 2 (n − 1)! 2
n=1 n=1
Si conclude questa sezione dimostrando che per ogni k ≤ n vale la

formula
T
E[Sk − Sk−1 | N (T ) = n] = .
n+1
Si premettono due enunciati
∑ relativi ad una v.a. X non negativa. Se X è
discreta vale E[X] = +∞k=1 P(X ≥ k), essendo
∑
+∞ ∑
+∞ ∑
n ∑
+∞ ∑
+∞
nP(X = n) = P(X = n) = P(X = n).
n=1 n=1 k=1 k=1 n=k
105
Analogamente, se X è continua vale
∫ +∞ ∫ +∞
E[X] = P(X ≥ t) dt = P(X > t) dt.
0 0
Analoghe rappresentazioni valgono per il valor medio condizionato di v.a.
non negative. Dunque per la linearità della media condizionata, dopo aver
notato che per k ≤ n e t > T vale P(Sk > t | N (T ) = n) = 0, si scrive
[ ]
E Sk − Sk−1 | N (T ) = n =
[ ] [ ]
E Sk | N (T ) = n − E Sk−1 | N (T ) = n =
∫ +∞ ( ) ∫ +∞ ( )
P Sk > t | N (T ) = n dt − P Sk−1 > t | N (T ) = n dt =
0 0
∫ T ( ) ∫ T ( )
P Sk > t | N (T ) = n dt − P Sk−1 > t | N (T ) = n dt =
0 0
∫ T[ ]
P(Sk−1 ≤ t | N (T ) = n) − P(Sk ≤ t | N (T ) = n) dt.
0
Andando a sostituire le espressioni della distribuzione condizionata prece-
dentemente dimostrata ci si riduce al calcolo di
∫ T( )( ) (
n t k−1 t )n+1−k
1− dt =
0 k−1 T T
∫ 1( )
n
T sk−1 (1 − s)n+1−k ds
0 k − 1
che integrato per parti dà il risultato.
3 Processi di rinnovo
Si chiamano processi di rinnovo quei processi di conteggio per i quali gli
intertempi tra eventi successivi sono v.a. i.i.d. di media finita. Dunque i
processi di Poisson sono particolari processi di rinnovo. In un processo di rin-
novo gli eventi sono pensati come rinnovi nel senso di nuove inizializzazioni
di situazioni che hanno una durata aleatoria indipendente dalle precedenti
ma sempre statisticamente la stessa. Ad esempio sono processi di rinnovo
quelli che contano le sostituzioni immediate di apparecchiature identiche a
tasso di guasto non necessariamente costante e quindi per esempio soggette
ad usura. Si ricorda la nozione di tasso di guasto di una distribuzione di
v.a. X non negativa continua. Si calcola
P(t < X < t + ∆t | X > t) =
∫ t+∆t
t fX (x) dx fX (t)∆t + o(∆t) fX (t)
= = ∆t + o(∆t),
1 − FX (t) 1 − FX (t) 1 − FX (t)
106
dove la seconda uguaglianza discende dal teorema fondamentale del calco-
lo integrale. Si definisce tasso di guasto o rischio al tempo t (della dis-
tribuzione) di X la quantità
fX (t)
.
1 − FX (t)
Dalle precedenti uguaglianze segue che
fX (t)
∆t
1 − FX (t)
costituisce, a meno di termine trascurabili rispetto a ∆t, un’approssimazione
per la probabilità che un’apparecchiatura con tempo di vita X e ancora in
vita al tempo t, si guasti tra t e t + ∆t. A secondo che il tasso di rischio ri-
manga costante o no nel tempo l’apparecchiatura non è soggetta o è soggetta
all’usura ed in particolare se il tasso di rischio rimane costante, cresce o de-
cresce nel tempo allora l’aspettativa sul tempo di vita dell’apparecchiatura
in seguito all’utilizzo rispettivamente rimane la stessa, peggiora o migliora.
Indicato con r(t) il tasso di rischio al tempo t, integrando l’uguaglianza
fX (t)
r(t) =
1 − FX (t)
si ottiene ∫ t
ln(1 − FX (t)) = − r(s) ds
0
ovvero ∫t
1 − FX (t) = e− 0 r(s) ds
e da ciò segue che la distribuzione esponenziale è l’unica con tasso di rischio

costante.
Imponendo che∫ valga r(t) = Ctβ con C > 0 e β > −1, dalla relazione
t
1 − FX (t) = e− 0 r(s) ds , si ricava
( )
FX (t) = t → I[0,+∞) (t) 1 − e−Ct /(β+1) .
β+1
Si tratta della funzione di distribuzione nota con il nome di Weibull di

parametri C e β: qualsiasi sia C > 0, per β > 0 la funzione t → r(t) è
crescente, per −1 < β < 0 è decrescente, e infine per β = 0 la distribuzione
coincide con l’esponenziale e quindi t → r(t) è costante.
Si dimostra facilmente che la distribuzione Γ(α, λ) ha tasso di rischio vari-
abile crescente per α > 1 e decrescente per α < 1, qualsiasi sia λ > 0.
Per dare una definizione formale di un processo di rinnovo si può ripetere

quella del processo di Poisson sostituendo però alla assunzione che la legge
107
degli intertempi sia esponenziale quella che sia una qualsiasi legge di vari-
abile aleatoria non negativa (non banale) con media finita (non nulla).
Innanzitutto si deve osservare che in un tempo finito il numero dei rin-
novi può soltanto essere finito. Infatti, indicata con µ > 0 la media degli
intertempi, la legge forte dei grandi numeri implica che
X1 + . . . + Xn Sn
lim = lim =µ
n→+∞ n n→+∞ n
con probabilità 1 e questo implica che con probabilità 1
lim Sn = +∞.
n→+∞
Da questo segue che, se si indica con (N (t))t≥0 il processo di rinnovo e si

fissa un tempo t, a meno di un insieme probabilisticamente irrilevante di
traiettorie, esiste un indice n abbastanza grande (che dipende dalla traiet-
toria) tale che è Sn > t e quindi, N (t) ≤ n − 1.
In secondo luogo si nota che esattamente come nel caso del processo di
Poisson vale l’uguaglianza
P(N (t) ≥ k) = P(Sk ≤ t)
che riduce il calcolo della densità di N (t) alla conoscenza della funzione di
ripartizione dei tempi Sn , n ≥ 1. Il valore medio del processo di rinnovo ad
un tempo t fissato, cioè
M (t) := E[N (t)]
si calcola a partire dalla funzione di ripartizione dei tempi Sn , n ≥ 1
per mezzo della formula
∑
+∞
M (t) = P(Sk ≤ t)
k=1
∑
che segue immediatamente dalla formula M (t) = +∞ k=1 P(N (t) ≥ k), vera
essendo N (t) v.a. non negativa (vedi Paragrafo 2.5).
Nel seguito ci si limita a considerazioni asintotiche sul valore medio del
processo di rinnovo ad un tempo t fissato, M (t), e sul valore medio del
tempo che occorre attendere a partire da t affinché si verifichi un rinnovo,
cioè E[γt ] dove, come per il processo di Poisson, si definisce
γt := SN (t)+1 − t.
La funzione t → M (t) si chiama funzione di rinnovo e γt si chiama tempo di

vita residua al tempo t, con riferimento all’interpretazione degli intertempi
dei rinnovi come tempi di guasto di apparecchiature identiche a sostituzione
immediata.
108
Si ricordi subito che nel particolare caso del processo di Poisson di parametro
λ, poiché vale µ = λ1 , valgono le uguaglianze
t
M (t) = E[γt ] = µ,
µ
dove in particolare l’ultima uguaglianza segue dalla proprietà di perdita di
memoria del processo di Poisson. Dunque per il processo di Poisson la fun-
zione di rinnovo è lineare e il tempo medio di vita residuo è costante nel
tempo.
Per i processi di rinnovo con intertempi di rinnovo non esponenziali la fun-
zione di rinnovo non è lineare ma lo è asintoticamente e il tempo medio di
vita residua non è costante ma lo è asintoticamente. Più precisamente si
può dimostrare che quando gli intertempi di rinnovo sono v.a. continue con
momento secondo finito, ovvero E[X12 ] < +∞, valgono per tempi grandi le
due approssimazioni seguenti
t E[X12 ] E[X12 ]
M (t) ≈ + −1 E[γt ] ≈ .
µ 2µ2 2µ
Qui non si dimostra la prima approssimazione, ma si spiega come dalla prima
si ricava la seconda e a questo scopo si introduce e si dimostra un lemma
interessante di per sé: si tratta dell’equazione di Wald che generalizza il
risultato relativo al valore medio della somma di un numero aleatorio di
termini aleatori indipendenti di stessa legge visto per il processo di Poisson
composto.
Si assuma che D1 , D2 , . . . siano v.a. i.i.d. non negative di media finita,

N sia un v.a. a valori naturali con media finita e infine l’evento (N = i) sia
indipendente dalle v.a. Di+1 , Di+2 , . . . (ciò vale in particolare se la v.a. N è
indipendente dalle v.a. D1 , D2 , . . .), allora
[∑
N ]
E Di = E[N ]E[D1 ].
i=1
Per la dimostrazione basta osservare che il primo membro dell’uguaglianza

coincide con
[∑
+∞ ]
E Di Ii≤N
i=1
e, potendo scambiare media e serie poiché i termini sono non negativi,
coincide con
∑
+∞
E[Di Ii≤N ].
i=1
Ora la v.a. Di è indipendente dalla v.a. Ii≤N , essendo l’evento (N ≥ i)
complementare di (N < i) = ∪i−1k=1 (N = k), indipendente dalla v.a.Di in
109
quanto unione di eventi per ipotesi indipendenti dalla v.a.Di . Inoltre si sa
che il valor medio del prodotto di v.a. indipendenti è il prodotto dei valori
medi e quindi l’espressione precedente coincide con
∑
+∞
E[Di ] E[Ii≤N ].
i=1
Si
∑+∞ conclude osservando che le v.a. Di hanno tutte media E[D1 ] e che
i=1 P(N ≥ i) = E[N ].
Dall’equazione di Wald si deriva la relazione tra la funzione di rinnovo e

il tempo medio di vita residua. Infatti si scrive
[ N∑
(t)+1 ]
E[γt ] = E Xi − t
i=1
e applicando l’equazione di Wald si ottiene

( )
E[γt ] = µ 1 + M (t) − t.
( ) ( )
Si noti l’evento N (t) + 1 = i coincide con l’evento Si−1 ≤ t < Si che
chiaramente è indipendente dalle v.a. Xi+1 , Xi+2 , . . ..
Sostituendo a M (t) nel membro di destra dell’ultima uguaglianza la sua
E[X 2 ]
approssimazione µt + 2µ21 − 1 si ottiene subito
E[X12 ]
E[γt ] ≈
2µ
Ricordando che V ar(X1 ) = E[X12 ] − µ2 , l’approssimazione si riscrive
( V ar(X ) )µ
1
E[γt ] ≈ + 1 .
µ2 2
Si osservi che
( V ar(X ) )µ √
1 V ar(X1 ) V ar(X1 )
2
+1 > µ ⇐⇒ 2
> 1 ⇐⇒ > 1.
µ 2 µ µ
Per una generica√ v.a. Z, di media µ e con varianza finita si può leggere
V ar(Z)
il coefficiente , ricordando il significato di media e varianza, come
µ √
V ar(Z)
una misura della regolarità della distribuzione e in particolare µ >
1 indica una distribuzione irregolare. Sono irregolari in questo senso per
esempio le v.a. con distribuzione Γ(α, λ) per α > 1, qualsiasi sia λ > 0.
Il fatto che per distribuzioni degli intertempi irregolari il tempo medio di
vita residua si approssima con un valore che supera la media degli intertempi
si ricorda con il nome di paradosso del tempo di attesa: se le partenze ai
capolinea sono irregolari arrivando a caso ad una fermata si aspetta in media
più del tempo medio tra una partenza e l’altra.
110
4 Catene di Markov a tempo continuo
4.1 Definizione
La generalizzazione al tempo continuo del concetto di catena di Markov a
tempo discreto e a valori discreti è naturale.
Una famiglia di v.a. (X(t))t≥0 a valori in S discreto definite tutte sullo
stesso spazio di probabilità è una catena di Markov a tempo continuo se,
qualsiasi sia n, qualsiasi siano t0 , t1 , . . . tn+1 , qualsiasi siano i, j, i0 , . . . , in−1
in S (quando le probabilità condizionate hanno senso)
P(X(tn+1 ) = j | X(tn ) = i, X(tn−1 ) = in−1 , . . . , X(t0 ) = i0 ) =
P(X(tn+1 ) = j | X(tn ) = i).
Qui si considera il caso omogeneo ovvero quello in cui, fissato t ≥ 0, per ogni
s≥0
pij (t) := P(X(t) = j | X(0) = i) = P(X(s + t) = j | X(s) = i)
e pij (t) è detto probabilità di transizione da i a j nel tempo t. Vale natural-
mente pij (0) = Ii (j).
Si consideri una dinamica stocastica su uno spazio discreto S che segua

due regole: in ogni stato i o si rimane per sempre (stato assorbente) o si
rimane un tempo esponenziale di parametro νi , indipendentemente dal pas-
sato; se lo stato i è non assorbente, quando si lascia lo stato i si salta in un
altro stato j ̸= i con probabilità pij , indipendentemente dal passato.
Sia (X(t))t≥0 il processo che al tempo t assume per valore lo stato in cui ci si
trova al tempo t seguendo questa dinamica, precisando che per stato quan-
do t è un tempo di transizione si intende quello assunto dopo la transizione,
cosicché le traiettorie risultano continue a destra. Si può dimostrare, usando
l’indipendenza tra salti e tempi di permanenza e la perdita di memoria della
distribuzione esponenziale, che (X(t))t≥0 è una catena di Markov a tempo
continuo omogenea.
Viceversa è anche vero il contrario: se un sistema aleatorio si muove in
uno spazio di stati discreto, allora affinché valga la proprietà di Markov è
necessario che il tempo di permanenza negli stati non assorbenti sia espo-
nenziale. Qui si dà un’idea della dimostrazione: la probabilità che il tempo
di permanenza nello stato i (non assorbente) superi t coincide con
P(X(s) = i, s ≤ t | X(0) = i)
e questa probabilità, per la continuità da destra delle traiettorie e per la
densità dei razionali nei reali, coincide con la probabilità che X(q) = i su
tutti i razionali q in [0, t] e per il lemma di continuità della probabilità con
( )
lim P X(s) = i, s = kt/n, k = 1, . . . , n | X(0) = i .
n→+∞
111
Richiedere la proprietà di Markov equivale allora a richiedere che indicata
con f (t) la probabilità cercata valga
( )n
f (t) = lim pii (t/n) .
n→+∞
Segue che per ogni α > 0

f (αt) = f (t)α .
Infatti ( )n
f (αt) = lim pii (αt/n)
n→+∞
e per ogni α razionale esiste una successione divergente di interi della forma
m = n/α da cui
( )n ( )αm
lim pii (αt/n) = lim pii (t/ m) = f (t)α .
n→+∞ m→+∞
Per α reale qualsiasi si usa la monotonia della funzione f .

Fissato t tale che f (t) < 1 (tale t esiste poiché lo stato i non è assorbente),
qualsiasi sia s > 0 si scrive come s = αt per qualche α e si riscrive f (αt) =
f (t)α come
s
f (s) = e t ln f (t)
da cui segue
f (s) = e−c s
posto c := − ln ft (t) . Questo ricordando la definizione di f (s) è quello che si
voleva dimostrare.
Dunque numerati gli elementi di un insieme discreto S, una dinamica di

Markov a tempo continuo su S è data se sono dati: una matrice stocastica
P, di elemento generico pij , che assegna le probabilità con cui avvengono
i salti con la convenzione pij = Ii (j) quando i è assorbente; i parametri
νi > 0, i = 1, 2, . . . delle leggi esponenziali dei tempi di permanenza negli
stati, con la convenzione νi = 0 quando i è assorbente. Si noti che la matrice
P, matrice delle probabilità di salto, ha gli elementi sulla diagonale pari a 1
se lo stato è assorbente e pari a 0 altrimenti.
Si può dimostrare che muovendosi con questa dinamica, se i parametri
νi , i = 1, 2, . . . sono limitati, ovvero se esiste ν tale che νi ≤ ν qualsiasi
sia i, si compiono solo un numero finito di salti su ogni intervallo di tempo
finito (proprietà di non esplosione). In particolare naturalmente i parametri
νi , i = 1, 2, . . . sono limitati quando S è finito.
L’esempio più semplice di catena di Markov a tempo continuo è il pro-

cesso di Poisson di parametro λ: in questo caso S = N, nessuno stato è
assorbente, νi = λ, i = 1, 2, . . . e la matrice P ha per ogni riga un unico
112
elemento non nullo, pi,i+1 = 1. Infine il processo di Poisson, come ogni pro-
cesso di rinnovo, ammette su un intervallo di tempo finito solo un numero
finito di salti.
Viene naturale chiedersi se, dati su di uno stesso spazio di probabilità
un processo di Poisson (N (t))t≥0 di parametro λ e una catena di Markov a
tempo discreto (Zn )n≥0 , il processo definito con
X(t) := Zn , Sn ≤ t < Sn+1 , n ≥ 0
sia una catena di Markov a tempo continuo (qui Sn è come al solito l’n-mo
tempo di salto del processo di Poisson). Si noti che il processo introdotto
si può anche scrivere cosı̀: (ZN (t) )t≥0 . La risposta è affermativa. Il punto
è che se la matrice di transizione di (Zn )n≥0 ha almeno un elemento della
diagonale diverso da 1 e da 0, ovvero la catena (Zn )n≥0 ha almeno uno stato
non assorbente i con probabilità di transizione in se stesso non nulla, i tempi
di salto di (X(t))t≥0 sono un sottoinsieme eventualmente proprio dei tempi
di salto di (N (t))t≥0 e il tempo di soggiorno in i risulta esponenziale di
parametro λ(1−pii ) (in generale si può dimostrare che somma di un numero
aleatorio, con distribuzione geometrica di parametro p di v.a. esponenziali
di parametro λ è esponenziale di parametro λp).
Va anche notato che ogni catena di Markov a tempo continuo, (X(t))t≥0 ,
contiene una catena di Markov a tempo discreto, (Zn )n≥0 : posto S0 := 0 e
detti Sn , n ≥ 1 i tempi di salto di (X(t))t≥0 , si pone Zn := X(Sn ), n ≥ 0.
Naturalmente la matrice dei salti P della catena a tempo continuo coincide
con la matrice di transizione P della catena a tempo discreto e dunque per la
dinamica discreta gli stati non assorbenti hanno probabilità nulla di tornare
dopo un passo in se stessi.
4.2 Funzione di transizione e tassi di salto

Data una catena di Markov a tempo continuo in 1, 2, . . ., in analogia al caso
tempo discreto si indica con πt la densità di probabilità al tempo t ≥ 0,
ovvero per ogni j
πt (j) := P(X(t) = j).
Come calcolare πt , t > 0 a partire dalla densità iniziale π0 e dalla dinamica,
ovvero dai parametri dei tempi di permanenza νi , i = 1, 2, . . . e dalla matrice
delle probabilità di salto P?
Dalla formula delle probabilità totali si ricava
∑
πt (j) = pij (t)π0 (i)
i≥1
e quindi, introdotta la funzione a valori matriciali

( )
t → P(t) := pij (t) ij ,
113
funzione di transizione al tempo t, in analogia al caso discreto, qualsiasi sia
t ≥ 0, si può scrivere
πt = π0 P(t)
(P(0) è la matrice identità). Dunque il problema si sposta su come calcolare
la funzione di transizione P(t), t ≥ 0 a partire dalla dinamica, ovvero dai
parametri dei tempi di permanenza νi , i = 1, 2, . . . e dalla matrice delle
probabilità di salto P.
Si può dimostrare che la funzione di transizione soddisfa le seguenti equazioni
differenziali
P ′ (t) = QP(t)
P ′ (t) = P(t)Q,
dove Q è cosı̀ definita
qij = νi pij , i ̸= j
qii = −νi .
Si può osservare che, con le convenzioni adottate sul valore di νi per i assor-
bente, nella matrice Q una riga corrispondente ad uno stato assorbente è tut-
ta nulla. Del resto, ricordando che P(0) è la matrice identità, dalle equazioni
si ricava che P ′ (0) = Q e se i è assorbente, qualsiasi sia t, pij (t) = Ii (j) per
ogni j e quindi p′ij (t) = 0 per ogni j.
Le precedenti equazioni (matriciali) sono note rispettivamente con il nome
di equazioni all’indietro e all’avanti di Kolmogorov. Riscrivendole in forma
estesa si trova ∑
p′ij (t) = qik pkj (t)
k
∑
p′ij (t) = pik (t)qkj
k
e si nota che l’equazione all’indietro lega in un sistema di equazioni differen-

ziali lineare del I ordine gli elementi di colonna della funzione di transizione,
mentre viceversa quella all’avanti gli elementi di riga. Inoltre per entrambe
le equazioni il dato iniziale è noto: nel primo caso pjj (0) = 1 e pij (0) = 0
per i ̸= j, nel secondo caso pii (0) = 1 e pij (0) = 0 per j ̸= i.
Naturalmente affinché le equazioni enunciate siano utili ai fini del calcolo di
P(t), occorre che esse abbiano un’unica soluzione: ciò accade per esempio
nel caso di parametri νi limitati e quindi in particolare nel caso a stati finiti.
∑
Si dimostra l’equazione all’indietro, p′ij (t) = k qik pkj (t), nel modo
seguente.
Se lo stato i è assorbente p′ij (t) = 0 qualsiasi sia j e qik = 0 qualsiasi sia k e
114
quindi l’equazione è vera. Se lo stato i non è assorbente, indicato con T1 il
tempo di primo salto della catena di Markov, si scrive
pij (t) = P(T1 > t, X(t) = j | X(0) = i) + P(T1 ≤ t, X(t) = j | X(0) = i).
Per il primo termine si osserva che, condizionatamente a partire da i, T1 ∼

esp(νi ) e T1 > t implica X(t) = i e quindi
P(T1 > t, X(t) = j | X(0) = i) = Ii (j)P(T1 > t | X(0) = i) = Ii (j)e−νi t .
Il secondo termine si riscrive condizionando al valore di T1 , avendo indicato

con fT1 la densità di T1
∫ +∞
P(T1 ≤ t, X(t) = j | X(0) = i, T1 = s)fT1 (s) ds =
−∞
∫ t
P(X(t) = j | X(0) = i, T1 = s)νi e−νi s ds
0
Ma per la formula delle probabilità totali, la formula del prodotto e la

proprietà di Markov
P(X(t) = j | X(0) = i, T1 = s) =
∑
P(X(t) = j, X(T1 ) = k | X(0) = i, T1 = s) =
k̸=i
∑
P(X(t) = j | X(T1 ) = k, X(0) = i, T1 = s)P(X(T1 ) = k | X(0) = i, T1 = s) =
k̸=i
∑
P(X(t) = j | X(s) = k)P(X(T1 ) = k | X(0) = i)
k̸=i
∑
pkj (t − s)pik
k̸=i
e quindi l’integrale si riscrive

∫ t∑
pkj (t − s)pik νi e−νi s ds
0 k̸=i
e con il cambio di variabile s in t − u

∫ t∑
−νi t
νi e pkj (u)pik eνi u du.
0 k̸=i
In conclusione
∫ t∑
−νi t −νi t
pij (t) = Ii (j)e + νi e pkj (u)pik eνi u du
0 k̸=i
115
e la funzione t → pij (t) è derivabile in quanto composizione di funzioni
derivabili, con derivata pari a
( ∫ t∑ ) ∑
−νi t
−νi Ii (j)e + νi e
νi t
pkj (u)pik eνi u du + νi pkj (t)pik
0 k̸=i k̸=i
cioè a ∑
−νi pij (t) + νi pkj (t)pik
k̸=i
e ricordando la definizione di qij l’equazione è dimostrata.

∑
A questo punto dimostrare l’equazione all’avanti, p′ij (t) = k pik (t)qkj ,
è più semplice.
Si deriva in s la relazione
∑
pij (t + s) = pik (t)pkj (s)
k
(equazione di Chapman Kolmogorov); la derivata esiste poiché è stata già

dimostrata l’equazione all’indietro e derivando si ottiene
∑
p′ij (t + s) = pik (t)p′kj (s).
k
Inoltre dall’equazione all’indietro già dimostrata segue che P ′ (0) = Q e

quindi l’ultima uguaglianza in s = 0 è l’equazione cercata.
Proprio l’uguaglianza P ′ (0) = Q consente di interpretare gli elementi
della matrice Q, che non sono sulla diagonale, come tassi di salto: infatti
per la formula di Taylor con il resto di Peano, qualsiasi siano i, j con i ̸= j
pii (t) = 1 + qii t + o(t)
pij (t) = qij t + o(t)

e dunque, a meno di termini trascurabili rispetto a t, pij (t) = qij t, ovvero
qij t è l’approssimazione al I ordine della probabilità che in un intervallo di
ampiezza t di tempo si passi da i a j.
Si sottolinea che la matrice Q, detta anche matrice dei parametri in-

finitesimali, non è una matrice stocastica ed in particolare gli elementi non
sono necessariamente in [0, 1] e la somma degli elementi di riga è nulla. In-
fatti se i è assorbente si è già detto che la riga corrispondente in Q è tutta
nulla, mentre se i è non assorbente qii = −νi e inoltre
∑ ∑ ∑
qij = νi pij = νi pij = νi
j̸=i j̸=i j̸=i
116
∑
dove nell’ultima riga si usa j̸=i pij = 1.
Si deve anche notare che dati i parametri infinitesimali, ovvero data Q, la
dinamica è assegnata. Infatti si calcolano i parametri dei tempi di soggiorno
νi , i = 1, 2, . . . e la matrice delle probabilità di salto P nel modo seguente: se
la riga i-ma di Q è nulla allora νi = 0 e la riga i-ma di P ha solo l’elemento
sulla diagonale non nullo, ovvero i è stato assorbente; altrimenti
∑ qij
νi = qij , pij = .
νi
j̸=i
In conclusione cosı̀, come nel caso tempo discreto una dinamica markoviana
è individuata dalla matrice di transizione P, nel caso tempo continuo una
dinamica markoviana è individuata dalla matrice dei parametri infinitesimali
Q.
4.3 Catene di nascita e morte

Le catene di Markov a tempo continuo per le quali
qij ̸= 0 ⇐⇒ |i − j| ≤ 1
sono dette catene di nascita e morte. Esse possono assumere valori su

(0, 1, 2 . . . , d) o (0, 1, 2 . . .), ma il salto possibile da ogni stato è solo ver-
so gli stati adiacenti, ovvero da i solo in i + 1 o in i − 1.
Si pone qualsiasi sia i
λi := qi,i+1 , i ≥ 0 µi := qi,i−1 , i ≥ 1
λi si chiama tasso di nascita e µi tasso di morte e si pone anche µ0 := 0 e

se S è finito λd := 0. Segue che valgono le uguaglianze
νi = λi + µi , ν0 = λ 0
e, nel caso S sia finito, νd = µd e per le probabilità di salto

λi µi
pi,i+1 = , pi,i−1 = , p0,1 = 1
λi + µi λi + µ i
e se S è finito pd,d−1 = 1.
Si considera la catena a due stati, cioè il caso S = (0, 1), e si calcola la

funzione di transizione risolvendo le equazioni all’indietro: per calcolare gli
elementi della prima colonna di P(t) si impostano le equazioni
p′00 (t) = q00 p00 (t) + q01 p10 (t)
p′10 (t) = q11 p10 (t) + q10 p00 (t)
117
ovvero
p′00 (t) = −λp00 (t) + λp10 (t)
p′10 (t) = −µp10 (t) + µp00 (t),
avendo posto per semplicità λ = λ0 e µ = µ1 . Sottraendo la seconda
equazione dalla prima si ottiene
( )′ ( )( )
p00 (t) − p10 (t) = − λ + µ p00 (t) − p10 (t)
e quindi, tenendo conto che p00 (0) − p10 (0) = 1,
p00 (t) − p10 (t) = e−(λ+µ)t .
Sostituendo nella prima equazione l’espressione calcolata si ottiene
p′00 (t) = −λe−(λ+µ)t
e poi integrando con condizione iniziale p00 (0) = 1

µ λ −(λ+µ)t
p00 (t) = + e .
λ+µ λ+µ
Infine
µ µ −(λ+µ)t
p10 (t) = − e .
λ+µ λ+µ
Per evidenti ragioni di simmetria valgono anche
λ λ −(λ+µ)t λ µ −(λ+µ)t
p01 (t) = − e , p11 (t) = + e .
λ+µ λ+µ λ+µ λ+µ
L’analogia con la catena a due stati a tempo discreto è completa se si osserva
che vale ( )
µ λ
lim P(t) = λ+µ
µ
λ+µ
λ .
t→+∞
λ+µ λ+µ
Per una generale catena di nascita e morte le equazioni all’indietro e

all’avanti si scrivono rispettivamente cosı̀
p′ij (t) = qi,i−1 pi−1,j (t) + qii pij (t) + qi,i+1 pi+1,j (t)
p′ij (t) = pi,j−1 (t)qj−1,j + pij (t)qjj + pi,j+1 (t)qj+1,j

ovvero
p′ij (t) = µi pi−1,j (t) − (λi + µi )pij (t) + λi pi+1,j (t)
p′ij (t) = λj−1 pi,j−1 (t) − (λj + µj )pij (t) + µj+1 pi,j+1 (t)
qualsiasi siano i, j ricordandosi di porre µ−1 = 0 e nel caso S sia finito anche
µd+1 := 0.
118
Si chiamano catene di pura nascita le catene di Markov a tempo continuo
con µi = 0 qualsiasi sia i e quindi νi = λi e pi,i+1 = 1. Le equazioni di
Kolmogorov si scrivono
p′ij (t) = −λi pij (t) + λi pi+1,j (t)
p′ij (t) = λj−1 pi,j−1 (t) − λj pij (t)

con le solite convenzioni. Fissati i e t ≥ 0, non essendo ammessi salti
all’indietro, se è j < i vale pij (t) = 0; dalle equazioni di Kolmogorov si
ricava
p′ii (t) = −λi pii (t)
e dunque, essendo pii (0) = 1, segue che
pii (t) = e−λi t ;
per j > i, pij (t) si calcola ricorsivamente da una delle due equazioni di
Kolmogorov. Infatti utilizzando, per esempio, l’equazione all’avanti
∫ t
pij (t) = λj−1 e−λj (t−s) pi,j−1 (s) ds.
0
Nel caso in cui il tasso di nascita sia costante, ovvero λi = λ si ha
pii (t) = e−λt ;

∫ t ∫ t
−λ(t−s) −λs −λt
pi,i+1 (t) = λ e e ds = λe ds = λte−λt
0 0
∫ t ∫ t
( )2
−λ(t−s) −λs 2 −λt λt −λt
pi,i+2 (t) = λ e λse ds = λ e s ds = e
0 0 2
e per induzione
( )k
λt −λt
pi,i+k (t) = e .
k!
Una catena di pura nascita con tasso di nascita λ, uscente dallo zero, ovvero
con π0 (0) = 1, assume valore k al tempo t > 0 con probabilità
( )k
λt −λt
πt (k) = p0k (t) = e
k!
e infatti è un processo di Poisson.
Un esempio di catena di nascita e morte a tempo continuo a valori in N

con tassi lineari è costituito dai processi di ramificazione: sono i processi che
contano il numero di individui di una popolazione in cui: ogni individuo,
dopo un tempo di quiescenza di legge esponenziale di parametro α > 0, si
119
duplica con probabilità p o muore con probabilità 1 − p, indipendentemente
dagli altri; nuovi individui si aggiungono alla popolazione seguendo un flusso
di Poisson di parametro β ≥ 0 indipendente dalle altre variabili aleatorie del
processo. Si determinano i parametri dei tempi di permanenza della catena
nei singoli stati. Se la popolazione non ha individui, ovvero il processo è
nello stato 0, arriverà un nuovo individuo dopo un tempo σ ∼ esp(β) e
quindi
ν0 = β.
Altrimenti se nella popolazione ci sono i ≥ 1 individui (numerati), indicati
con τ1 , τ2 , . . . , τi i tempi di quiescenza degli individui e indicato con T1 il
tempo di primo salto del processo, varrà
T1 = min(σ, τ1 , τ2 , . . . , τi )
e T1 ∼ esp(β + i α) (si ricordi: minimo di esponenziali indipendenti è

esponenziale con parametro la somma dei parametri) e quindi
νi = β + i α, i ≥ 1.
Non sono ammessi salti di ampiezza maggiore di 1 dal momento che le

v.a. σ, τ1 , τ2 , . . . , τi sono v.a. indipendenti con densità e quindi con densità
congiunta (si ricordi: v.a. indipendenti hanno come densità congiunta il
prodotto delle densità e la differenza di due di esse ha densità).
Si calcolano le probabilità di salto. Vale
pi,i−1 =
P(X(T1 ) = i − 1 | X(0) = i) =
P(X(T1 ) = i − 1, T1 ̸= σ | X(0) = i) =
P(X(T1 ) = i − 1 | T1 ̸= σ, X(0) = i)P(T1 ̸= σ | X(0) = i).
Ora P(X(T1 ) = i − 1 | T1 ̸= σ, X(0) = i) è la probabilità che, coincidendo

il tempo di primo salto con la fine del tempo di quiescenza di un individuo,
l’individuo muoia e quindi
P(X(T1 ) = i − 1 | T1 ̸= σ, X(0) = i) = 1 − p.
Inoltre ( )
(T1 ̸= σ) = min(τ1 , τ2 , . . . , τi ) < σ
e, poiché le v.a. σ e min(τ1 , τ2 , . . . , τi ) sono, condizionatamente a X(0) = i,
indipendenti ed esponenziali rispettivamente di parametro β e iα, allora
( ) iα
P T1 ̸= σ | X(0) = i =
β + iα
120
(si ricordi: date due esponenziali indipendenti allora, se X ∼ esp(λ) e Y ∼
esp(µ), si ha Y < X con probabilità µ/(λ + µ)). In definitiva
iα(1 − p)
pi,i−1 = .
β + iα
Di conseguenza
β + iαp
pi,i+1 = 1 − pi,i−1 = .
β + iα
I tassi di nascita e morte sono dunque
λi = β + iαp, µi = iα(1 − p).
4.4 Code markoviane

Un altro esempio di catene di nascita e morte sono le code markoviane,
ovvero i processi che contano il numero dei clienti all’interno di un servizio,
sia quelli serviti che quelli in attesa di servizio. Qui si considera soltanto il
caso semplificato in cui non vi sia uscita dei clienti se non per fine servizio,
corrispondente all’idea che la sala di attesa sia infinita, ovvero il buffer sia
infinito. Si assume che il flusso di arrivo dei clienti sia un processo di Poisson
di parametro λ indipendente dal tempo di servizio ad ogni sportello che si
assume sempre esponenziale di parametro µ. Nel caso in cui il numero degli
sportelli sia finito, N , la coda si indica con M |M |N , altrimenti la coda si
indica con M |M |∞. I salti della catena possono essere solo di ampiezza
unitaria, positivi o negativi, dal momento che i tempi esponenziali in gioco
sono v.a. indipendenti con densità.
I tassi di nascita e morte sono lineari nel caso M |M |∞, in particolare
λi = λ, i ≥ 0 µi = iµ, i ≥ 1 µ0 = 0.
Per calcolarli si usino le uguaglianze λi = νi pi,i+1 e µi = νi pi,i−1 tenendo

presente che ν0 = λ, p01 = 1 e qualsiasi sia i ≥ 1, νi = iλ + µ (per la regola:
il minimo di esponenziali indipendenti ha legge . . . ) e pi,i+1 = λ/(λ + iµ)
e pi,i−1 = iµ/(λ + iµ) (per la regola: la probabilità che di due v.a. la più
piccola sia una fissata delle due è . . . ).
Nel caso M |M |N , i tassi di nascita e morte si calcolano analogamente e sono
{
iµ, 1 ≤ i ≤ N
λi = λ, i ≥ 0 µi = , µ0 = 0.
N µ, i > N
E’ ovvio che, avendo stabilito una regola di precedenza per i clienti in attesa
di servizio (per esempio, first in first out ovvero l’ordine di arrivo diven-
ta ordine di servizio), il primo cliente in attesa nel caso infiniti sportelli
121
viene servito subito mentre in questo caso aspetta un tempo esponenziale di
parametro N µ (si ricordi la perdita di memoria dell’esponenziale). Quanto
tempo in media aspetterà il secondo cliente in fila?
Si calcola ora la funzione di transizione della coda M |M |∞. Indicato

con X(t) il processo al tempo t, si osserva che X(t) = Y (t) + Z(t), dove Y (t)
conta il numero dei clienti presenti al tempo 0 e ancora in servizio al tempo
t, mentre Z(t) conta i clienti arrivati in (0, t] e ancora in servizio al tempo
t. Segue l’uguaglianza tra eventi
( ) ( )
X(t) = j, X(0) = i = ∪i∧j
k=0 Y (t) = k, Z(t) = j − k, X(0) = i
e quindi passando alla probabilità, dopo aver applicato l’additività della

probabilità al secondo membro, dividendo ambo i membri per P(X(0) = i)
si ottiene
∑
i∧j
( )
pij (t) = P Y (t) = k, Z(t) = j − k | X(0) = i .
k=0
Applicando poi l’indipendenza dei tempi di servizio e di ingresso segue
∑
i∧j
( ) )
pij (t) = P Y (t) = k | X(0) = i P(Z(t) = j − k | X(0) = i .
k=0
Per quanto riguarda il primo fattore, poichè un cliente presente al tempo 0

è ancora in servizio al tempo t con probabilità e−µt , si ha
( )
( ) i −kµt
P Y (t) = k | X(0) = i = e (1 − e−µt )i−k .
k
Per quanto riguarda il secondo fattore, per la formula delle probabilità totali,
se N (t) conta tutti i clienti entrati in coda dopo il tempo iniziale ma entro
il tempo t, si ha
( )
P Z(t) = j − k | X(0) = i =
∑
P(Z(t) = j − k | N (t) = n, X(0) = i)P(N (t) = n | X(0) = i)
n≥j−k
e, indicata con qt la probabilità condizionata all’evento (N (t) = n, X(0) = i)

che un cliente entrato in coda dopo il tempo iniziale sia ancora in servizio
122
al tempo t,
( )
P Z(t) = j − k | X(0) = i =
∑ ( n ) j−k
q (1 − qt )n−j+k P(N (t) = n | X(0) = i) =
j−k t
n≥j−k
∑ ( n ) j−k (λt)n −λt
qt (1 − qt )n−j+k e =
j−k n!
n≥j−k
( )
j−k (λt)
j−k ∑ λt(1 − qt ) n−j+k
−λt
qt e =
(j − k)! (n − j + k)!
n≥j−k
(λt)j−k
qtj−k e−λqt t .
(j − k)!
Cosı̀ in definitiva
i∧j ( )
∑ i (λqt t)j−k −λqt t
pij (t) = e−kµt (1 − e−µt )i−k e .
k (j − k)!
k=0
Inoltre, detto τ il tempo di arrivo del generico cliente entrato in coda dopo
il tempo iniziale, si può calcolare qt condizionando al valore di τ cosı̀
∫ +∞
qt = e−µ(t−s) fτ (s) ds.
−∞
Infatti se τ = s affinchè il cliente resti in coda fino al tempo t il suo servizio

deve durare almeno t − s e questo avviene con probabilità e−µ(t−s) . Infine,
poiché si sa che, condizionatamente al numero di arrivi in [0, t] di un Poisson,
i tempi di arrivo sono v.a. uniformi in [0, t], si riscrive
∫ t
1 1 − e−µt
qt = e−µ(t−s) ds = .
0 t µt
Si osservi che
( λ )j e−λ/µ
lim pij (t) =
t→+∞ µ j!
poiché i termini corrispondenti a k ̸= 0 si annullano con e−kµt . Dunque
riassumendo si è calcolato l’elemento generico della funzione di transizione
pij (t) e si è visto che, indipendentemente da i, per tempi grandi approssima
la densità di Poisson di parametro λ/µ calcolata in j. Ricordando che per
una v.a. esponenziale il valore medio coincide con l’inverso del parametro,
si può riformulare la frase precedente dicendo che la generica riga della fun-
zione di transizione converge alla densità di Poisson di parametro pari al
tasso di ingresso per il valore medio del tempo di servizio. Questo risultato
è generale per le code con infiniti sportelli, flusso di ingresso Poisson e tempo
123
di servizio di legge qualsiasi con media finita. In particolare per esempio lo si
è dimostrato come applicazione dello splitting nel caso di tempo di servizio
a due valori.
Si tratta del secondo esempio, dopo quello della catena a due stati, di conver-
genza della funzione di transizione al divergere del tempo ovvero di ciò che,
in analogia con il caso tempo discreto, si definisce comportamento ergodico
delle catene di Markov a tempo continuo.
4.5 Misura invariante

Data su S una dinamica markoviana a tempo continuo Q, in analogia al caso
tempo discreto, una densità di probabilità w su S si dice misura invariante
per Q quando se π0 = w allora vale πt = w qualsiasi sia t > 0. Quindi,
ricordando che πt = π0 P(t), w è una misura invariante se e solo se
w = wP(t),
ovvero w è autovettore con autovalore 1 della funzione di transizione in ogni

tempo.
Si dimostra ora che
w = wP(t), ∀t ⇐⇒ wQ = 0.
Per dimostrare la condizione necessaria basta osservare che derivando a de-

stra e a sinistra la relazione w = wP(t) si ottiene 0 = wP ′ (t) che calcolata
in 0 dà l’uguaglianza wQ = 0, (essendo) P ′ (0) = Q.
′
Viceversa wQ = 0 implica che wP(t) = 0 qualsiasi sia t e quindi wP(t) =
wP(0) = w. Infatti qualsiasi sia i dall’equazione di Kolmogorov all’indietro
segue
∑ ∑ ∑ ∑ ∑
wk p′ki (t) = wk qkj pji (t) = pji (t) wk qkj ,
k k j j k
∑ ∑
ma l’ipotesi dice che k wk qkj = 0 e quindi k wk p′ki (t) = 0.
Esiste un legame tra la misura invariante di una dinamica markoviana a

tempo continuo Q e quella della dinamica a tempo discreto in essa contenuta
definita dalla matrice delle probabilità di salto P? Per esempio: l’esistenza
nel caso continuo è legata in qualche modo all’esistenza nel caso discreto?
E in caso affermativo, le due misure invarianti, w del caso continuo e v del
discreto si scrivono una in termini dell’altra?
Una prima risposta sono le due implicazioni seguenti:
∑ w i νi
wQ = 0, wj νj < +∞ =⇒ vP = v, vi := ∑ , ∀i.
j j w j νj
124
∑ vj vi /νi
v = vP, < +∞ =⇒ wQ = 0, wi := ∑ , ∀i.
νj j vj /νj
j
Si ricava qui soltanto la prima delle due implicazioni. L’ipotesi implica che
qualsiasi sia j ∑ ∑
wk qkj = wk qkj + wj qjj = 0
k k̸=j
da cui ∑
wk qkj = −wj qjj = wj νj .
k̸=j
Ricordando la relazione qkj = νk pkj vera per k ̸= j, si ricava

∑
wk νk pkj = wj νj ,
k̸=j
ovvero in forma compatta detto v il vettore di componente generica wk νk si

ricava
v = vP
ovvero v è autovettore di autovalore 1 per la matrice delle probabilità di
salto P, che è anche matrice di transizione della catena (Zn )n≥0 . Dividendo
il vettore di componente generica wk νk per la somma delle sue componenti
si ottiene una densità invariante per la dinamica a tempo discreto associata
a P.
Dal risultato visto immediatamente segue che nel caso S finito per quanto
riguarda esistenza e unicità della misura invariante la dinamica continua Q e
la dinamica discreta associata a P si equivalgono. Inoltre per il caso S infini-
to con parametri νi , i = 1, 2 . . . limitati se la dinamica discreta associata a
P è persistente positiva e quindi ha un’unica misura invariante allora anche
la dinamica continua Q ammette un’unica misura invariante (segue subito
ragionando per assurdo dalla prima delle precedenti implicazioni). Viene nat-
urale chiedersi, analogamente al caso tempo discreto, sotto quali condizioni
ci sia un comportamento ergodico della dinamica a tempo continuo. Queste
note non affrontano il problema.
Riferimenti bibliografici
[1] P.Baldi, Calcolo delle probabilità e statistica, Milano : McGraw-Hill,
1992
[2] P.Bremaud, Markov Chains, Gibbs fields, Monte Carlo simulation and
queues, New York : Springer, 1999
[3] P.G.Hoel, S.C.Port, C.J.Stone, Introduction to Stochastic Processes,
Boston: Houghton Mifflin, c1972
125
[4] S.M.Ross, Introduction to Probability Models, San Diego [etc.] :
Harcourt Academic Press, 2000
[5] H.C.Tijms, A First Course in Stochastic Models, Wiley, 2003
126

Calcolo Probabilità

Caricato da

Informazioni sul documento

Descrizione:

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Descrizione:

Copyright:

Formati disponibili

Calcolo Probabilità

Titolo originale:

Caricato da

Descrizione:

Copyright:

Formati disponibili

Modelli stocastici a valori discreti

Note del corso di CP per la L.M. in Informatica

3 Processi di rinnovo 106

4 Catene di Markov a tempo continuo 111

1.1 Richiami sull’indipendenza stocastica

Se P(B) ̸= 0, si deﬁnisce la probabilità condizionata di A dato B

Sia {Ai , i = 1, . . . , n} una famiglia di eventi: essi si dicono indipendenti

L’indipendenza implica per ogni k ≤ n e per ogni scelta di indici i1 , . . . , ik

P(Aik | Aik−1 ∩ . . . ∩ Ai1 ) = P(Aik ),

quando la probabilità condizionata ha senso. Una famiglia numerabile di

Vale la seguente formula (formula del prodotto): se è n ≥ 2

P(An | An−1 ∩ An−2 ∩ . . . ∩ A1 )P(An−1 | An−2 ∩ . . . ∩ A1 ) . . . P(A2 | A1 )P(A1 )

P(A1 , A2 , A3 ) = P(A3 | A2 , A1 )P(A2 | A1 )P(A1 ).

P(A1 , A2 , . . . , An , An+1 ) = P(An+1 | An , . . . , A1 )P(An , . . . , A1 )

e si conclude applicando l’ipotesi induttiva.

X1 , . . . , Xm variabili aleatorie reali deﬁnite sullo stesso spazio di proba-

nel caso continuo (cioè quando la funzione di distribuzione è una funzione

P(Xik = xik | Xik−1 = xik−1 , . . . , Xi1 = xi1 ) = P(Xik = xik ).

Indipendenza di famiglie inﬁnite di variabili: è quando qualsiasi sottofamiglia

Si può dimostrare ([1]) che:

P(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X0 =i0 )

Interpretazione: la conoscenza del valore di Xn può dare informazioni sul val-

pij (n) = P(Xn+1 = j | Xn = i).

Il parametro n è interpretato come tempo e il numero pij (n) è detto proba-

Si deﬁniscono catene di Markov omogenee quelle in cui qualsiasi sia n e

Una matrice i cui elementi soddisfano le precedenti proprietà si dice matrice

1.3 Esempio di due successioni di variabili aleatorie

a) (Xn )n≥1 , con Xn =risultato della n-ma estrazione non è in generale

b) (Xn )n≥1 , con Xn =numero di palline bianche nel bussolotto dopo la

dove nella penultima uguaglianza si utilizza il teorema del paragrafo 1 ap-

P(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X0 = i0 ) = f (j − i),

1.5 Catene di Markov per ricorrenza

Xn+1 = h(Xn , ξn+1 ),

(Xn )n≥0 è una catena di Markov omogenea a valori in S.

Xn+1 = gn+1 (X0 , ξ1 , . . . ξn+1 ),

dove la penultima uguaglianza segue dal teorema del paragrafo 1 applicato

P(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X0 = i0 )

per il teorema del paragrafo 1 applicato in modo opportuno alle variabili

P(Xn+1 = j | Xn = i) = P(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X0 = i0 )

ovvero che il processo

Dimostrare che il numero dei successi su n prove bernoulliane è una catena.

(Sn )n≥0 è un caso particolare di passeggiata aleatoria su Z: il valore

1.6 Legge al tempo 0 e legge al tempo 1

π0 (i) = P(X0 = i), i ∈ S,

π0 è la densità di probabilità di X0 che induce una misura di probabilità sui

π1 (j) = P(X1 = j), j ∈ S,

si può ricavare la formula

Si può scrivere con notazione matriciale

dove qui e in seguito si intende esteso il concetto di moltiplicazione di due

La densità al tempo 1 induce una misura di probabilità sui sottoinsiemi

1.7 Matrice di transizione in più passi

P(Xn+r = j | Xn = i, Xn−1 = in−1 , . . . , X0 = i0 ) = P(Xn+r = j | Xn = i).

e, moltiplicando e dividendo il termine generale della serie per

che per la proprietà di Markov coincide con

L’espressione precedente è l’elemento di posto i, j del prodotto righe per

Si consideri ora il caso generale: si dimostra per induzione che

P(Xn+r = j | Xn = i) = P(Xn+r = j | Xn = i, . . . , X0 = i0 ) = (P r )ij ,

assumendolo vero per r − 1 e utilizzando l’ipotesi di Markov (corrispondente

e quindi moltiplicando e dividendo il termine generale della serie per