Sei sulla pagina 1di 79

Catene di Markov a stati finiti

approccio teorico e computazionale

—————

Appunti per l’Insegnamento di Teoria delle Decisioni (Modelli Probabilistici) Anno Accademico 2002/2003

Riccardo Cambini

Dipartimento di Statistica e Matematica Applicata all’Economia Facolt`a di Economia, Universit`a di Pisa, Via Cosimo Ridolfi 10, 56124 Pisa, ITALY E-mail: cambric@ec.unipi.it

Versione Preliminare Marzo 2003

2

Indice

1 Definizioni e risultati iniziali

 

5

1.1 Processi Stocastici

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

5

1.2 Catene di Markov

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

6

1.3 Equazioni di Chapman-Kolmogorov

 
 

e loro applicazioni

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

9

1.3.1 Probabilit`a di transizione in n passi

.

.

.

.

.

.

.

.

.

.

10

1.3.2 Equazioni di Chapman-Kolmogorov

.

.

.

.

.

.

.

.

.

.

11

1.3.3 Distribuzione delle probabilit`a a tempo t

 

13

1.3.4 Costi medi a tempo t

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

14

2 Classificazione degli stati

 

17

2.1 Stati accessibili e stati comunicanti

 

17

2.2 Stati ricorrenti e stati transitori

 

19

2.3 Classi di stati ricorrenti/transitori

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

23

2.4 Analisi di una catena di Markov

 
 

tramite il suo grafo associato

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

24

2.5 Osservazioni finali

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

26

3 Propriet`a di lungo periodo

 

29

3.1 Probabilit`a stabilizzate

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

29

3.2 Tempi medi di primo passaggio

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

32

3.3 Probabilit`a di assorbimento

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

34

3.4 Periodicit`a degli stati di una catena di Markov .

.

.

.

.

.

.

.

37

3.5 Propriet`a nel lungo periodo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

40

 

3.5.1 Matrice di lungo periodo .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

40

3.5.2 Comportamento asintotico

 

42

3.5.3 Costi medi nel lungo periodo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

43

4 Esercizi Svolti

 

47

5 Un approccio computazionale

 

55

5.1

Propriet`a a tempo t

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

55

5.1.1 Determinazione della matrice di transizione

 

55

5.1.2 Stocasticit`a della matrice di transizione

.

.

.

.

.

.

.

.

58

3

4

INDICE

5.1.3 Matrici di transizione in n passi

 

58

5.1.4 Distribuzione delle probabilit`a a tempo t

 

59

5.1.5 Costi medi a tempo t

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

60

5.2 Catene con una unica classe di stati ricorrenti

 

61

5.2.1 Vettori delle probabilit`a stabilizzate

 

.

.

.

.

.

.

.

.

.

.

61

5.2.2 Probabilit`a di primo passaggio

.

.

.

.

.

.

.

.

.

.

.

.

.

62

5.2.3 Tempi medi di primo passaggio

 

62

5.2.4 Matrice di lungo periodo

 

.

.

.

.

.

.

.

.

.

.

.

.

63

5.2.5 Tempi medi di ritorno e costi medi attesi

.

.

.

.

.

.

.

64

5.3 Catene con piu’ classi di stati ricorrenti

 

.

.

.

.

.

.

.

.

.

.

.

.

65

5.3.1 Vettori delle probabilit`a di assorbimento

 

65

5.3.2 Vettori canonici delle probabilit`a stabilizzate

.

.

.

.

.

67

5.3.3 Matrice di lungo periodo

 

.

.

.

.

.

.

.

.

.

.

.

.

69

5.4 Risoluzione esercizi del Capitolo 4

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

71

5.4.1 Esercizio 1

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

71

5.4.2 Esercizio 3

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

72

5.4.3 Esercizio 4

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

73

5.4.4 Esercizio 5

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

75

5.4.5 Esercizio 6

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

76

Capitolo 1

Definizioni e risultati iniziali

1.1 Processi Stocastici

Un Processo Stocastico `e semplicemente definito come una famiglia di

variabili aleatorie {X t }, con t ∈ T . In particolare il processo `e detto a parametro discreto se l’insieme T `e un insieme discreto (ad esempio T =

{1, 2,

intervallo non singolare dei numeri reali (ad esempio T = [0, 1]). I processi stocastici sono altres ` i classificati a seconda della natura delle variabili aleatorie {X t }, si parler`a quindi di processi discreti se esse sono variabili discrete, di processi continui se sono continue. I valori che pos-

sono essere assunti dalle variabili aleatorie sono detti stati , l’insieme degli stati (ovvero il codominio delle variabili stocastiche) si denota con S; qualo-

ra risulti X t = k ∈ S diremo quindi che il sistema al tempo t si trova nello stato k. Il numero degli stati di S pu`o essere finito, infinito e numerabile, infinito e non numerabile. Nel caso in cui gli stati del processo siano in numero finito si denota con N il loro numero. D’ora in avanti si assume che:

a parametro continuo se T `e un

}

oppure T = {1, 2,

,m}),

• T `e l’insieme degli interi non negativi, ovvero T = N = {0, 1, 2,

il processo stocastico {X t } `e discreto,

l’insieme S degli stati del processo `e numerabile.

},

Ad ogni istante di tempo t ∈ T il sistema si trover`a quindi in un deter-

minato stato appartenente ad un insieme numerabile di stati esaustivi e tra

,

loro mutuamente esclusivi; ad esempio, il processo stocastico X 0 ,X 1 ,X 2 , pu`o, ad esempio, rappresentare la disponibilit`a settimanale di un certo bene

in

un dato negozio. Senza perdita di generalit`a rappresenteremo gli stati

di

S = {1, 2,

un processo con delle “etichette” numeriche, in questo modo avremo

N − 1} nel caso di un numero

N }

oppure S = {0, 1, 2,

, finito N di stati e

S

= {1, 2,

}

, oppure S = {0, 1, 2,

} nel caso in cui il

loro numero sia infinito.

5

6

CAPITOLO 1. DEFINIZIONI E RISULTATI INIZIALI

Introduciamo adesso il seguente esempio che verr`a utilizzato nelle varie sezioni successive.

Esempio 1.1.1 (fotocamere) Un negozio di articoli fotografici vende un

particolare modello di fotocamera; sia D 1 ,D 2 ,

la domanda di questa fo-

tocamera rispettivamente nella prima settimana, nella seconda, etc. etc. Si suppone che le variabili aleatorie D i siano indipendenti ed identicamente distribuite con una funzione di distribuzione di probabilit`a nota. Sia X 0 la scorta iniziale di fotocamere (non pi`u di 3), X 1 il numero di fotocamere giacenti alla fine della prima settimana, X 2 il numero di fotocamere giacenti alla fine della seconda settimana e cos ` i via. Se alla fine della settimana il negoziante rimane sprovvisto di fotocamere ne ordina 3 alla casa che gli ver- ranno recapitate entro l’apertura della settimana successiva. Per come sono

}

stati descritti, {D t } e {X t } sono processi stocastici, dove D t ∈ {0,1,2,

rappresenta il numero di acquirenti arrivati nella settimana per acquistare la

fotocamera, mentre X t ∈ {0, 1, 2, 3} rappresentano la giacenza di fotocamere alla fine della settimana. Le variabili aleatorie X t sono chiaramente dipendenti e possono essere calcolate iterativamente dalla seguente espressione:

,

X t+1 =

max{(3 D t+1 ), 0}

se

X t = 0

max{(X t D t+1 ), 0}

se

X t 1

t = 0,1,2,

t + 1 ) , 0 } se X t ≥ 1 t = 0 ,

1.2 Catene di Markov

Le Catene di Markov ( 1 ) sono particolari processi stocastici {X t } che verif- icano alcune particolari propriet`a.

Definizione 1.2.1 (Propriet`a di Markov) Un processo stocastico veri-

fica la propriet`a di Markov se per ogni istante di tempo t ∈ T , per ogni

coppia di stati i, j ∈ S

,k t1 ∈ S, risulta:

e per ogni sequenza di stati k 0 ,

P{X t+1 = j|X 0 = k 0 ,

,X

t1 = k t1 ,X t = i} = P{X t+1 = j|X t = i}

La probabilit`a condizionata ( 2 ) P{X t+1 = j|X t = i} `e detta probabilit`a di transizione a tempo t dallo stato i allo stato j.

1 Lo studio delle probabilit`a delle catene di eventi collegati tra loro fu iniziato nel 1906-

ˇ

1908 dal matematico russo Andrei Andreieviˇc Markov (1856-1922), allievo di Cebiˇcev. Lo studio delle catene di Markov si `e diffuso a partire dalla met`a del XX secolo, grazie alle loro applicazioni nello studio dei fenomeni fisici, biologici, sociali, in cui le probabilit`a di un evento dipendono dal risultato immediatamente precedente.

2 Si ricordi che, dati due eventi A, B Ω, con P{B} > 0, si definisce probabilit`a condizionata il valore P{A|B} = P{A,B}

P{B}

.

1.2.

CATENE DI MARKOV

7

Questa propriet`a indica che la probabilit`a condizionata di un “evento” futuro dati lo stato attuale e tutti gli “eventi” passati dipende esclusivamente dallo stato attuale del processo e non dai precedenti; in pratica `e come se il processo avesse una “perdita di memoria” riguardo al suo passato.

Definizione 1.2.2 (Probabilit`a di transizione stazionarie) Le proba- bilit`a di transizione sono dette stazionarie se per ogni coppia di stati i, j ∈ S si ha:

P{X t+1 = j|X t = i} = P{X 1 = j|X 0 = i}

t 0.

Tali probabilit`a sono indicate con p ij = P{X 1 = j|X 0 = i}.

In pratica la stazionariet`a delle probabilit`a di transizione indica che queste ultime non cambiano nel tempo. Siamo adesso in grado di definire una Catena di Markov.

Definizione 1.2.3 Un processo stocastico discreto {X t }, t ∈ T = {0,1,2, avente un insieme di stati S numerabile, `e detto Catena di Markov se verifica le seguenti propriet`a:

i) propriet`a di Markov;

ii) probabilit`a di transizione stazionarie.

},

Tale processo stocastico viene inoltre detto Catena di Markov a stati finiti nel caso in cui ammetta un numero finito N di stati.

Le catene di Markov a stati finiti possono essere facilmente studiate per mezzo di un approccio basato sulle matrici; le probabilit`a di tran- sizione stazionarie possono essere infatti rappresentate nella seguente forma matriciale.

Definizione 1.2.4 Si consideri una catena di Markov a stati finiti . Si definisce matrice di transizione la seguente matrice P :

P = (p ij ) [0, 1] N ×N

i, j ∈ S

La matrice di transizione P verifica la seguente importante propriet`a ( 3 ):

P u = u

dove

u = [1, 1,

,

1, 1] T

3 Le matrici nonnegative tali che P u = u sono dette matrici stocastiche. Si osservi che per tali matrici il vettore u `e un autovettore corrispondente all’autovalore λ = 1.

8

CAPITOLO 1. DEFINIZIONI E RISULTATI INIZIALI

Esempio 1.2.1 (fotocamere) Si verifica banalmente che {X t } `e una cate- na di Markov a stati finiti. Supponiamo adesso che le variabili aleatorie D t abbiano una distribuzione di Poisson ( 4 ) con parametro λ = 1, ovvero che

sia P{D t = k} = λ k e λ

di transizione P .

ek! con k = 0, 1, 2, e determiniamo la matrice

1

k!

=

,

p 00 = P{X t+1 = 0|X t = 0}: se X t = 0, ovvero sono finite le foto- camere e quindi viene richiesto il rifornimento alla casa, allora X t+1 = max{(3 D t+1 ), 0} = 0 soltanto se D t+1 3, ovvero se vi sono stati almeno 3 acquirenti; di conseguenza

p 00 =

=

P{D t

1

3} = 1 − P{D t = 0} − P{D t = 1} − P{D t = 2}

1

1

5

2e = 1 2e = 0.0803013970714

1

e e

p 10 = P{X t+1 = 0|X t = 1}: se X t = 1, ovvero in magazzino vi `e una sola fotocamera, allora X t+1 = max{(1 D t+1 ), 0} = 0 soltanto se D t+1 1, ovvero se vi `e stato almeno un acquirente; di conseguenza

1

p 10 = P{D t 1} = 1 − P{D t = 0} = 1 e

= 0.632120558829

p 21 = P{X t+1 = 1|X t = 2}: se X t = 2, ovvero in magazzino vi sono 2 fotocamere, allora X t+1 = max{(2 D t+1 ), 1} = 0 soltanto se D t+1 = 1, ovvero se vi `e stato esattamente un acquirente; di conseguenza

p 21 =

1

P{D t = 1} = e = 0.367879441171

Analogamente possiamo determinare tutti gli altri valori fino ad ottenere la seguente matrice di transizione:

P =

1 5

2e

1 1

e

1 2

e

1 5

2e

1

2e

1

e

1

e

1

2e

1

e

0

1

e

1

e

1

e

0

0

1

e

=

0.0802

0.6321

0.2642

0.0802

0.1840

0.3679

0.3679

0.1840

0.3679

0

0.3679

0.3679

0.3679

0

0

0.3679

0 . 3679 0 . 3679 0 . 3679 0 0 0 . 3679  

Uno strumento estremamente efficace per lo studio delle catene di Markov a stati finiti `e il cosiddetto grafo associato alla catena. Tali grafi (rap- presentazioni composte da nodi ed archi) si determinano molto facilmente

4 Ricordando che e λ = +

k=0

λ k

k!

, si verifica facilmente che questa `e una funzione di

densit`a di probabilit`a discreta corretta, infatti risulta

+

k=0

P{D t = k} = e λ

+

k=0

λ

k

k! = 1.

1.3.

EQUAZIONI DI CHAPMAN-KOLMOGOROVE LORO APPLICAZIONI9

facendo in modo tale che ad ogni stato corrisponda un nodo ed ad ogni valore p ij > 0 corrisponda un arco orientato dal nodo i al nodo j.

Esempio 1.2.2 Si consideri una catena di Markov a stati finiti avente un insieme di stati S = {0, 1, 2, 3} composto da 4 stati ed avente la seguente matrice di transizione P :

s0

s000.5

1

s1

0

s2

s3

s1

s2

0

000

0.5

s3

001

00.7

0.30

Il grafo associato a tale matrice risulta:

    Il grafo associato a tale matrice risulta: Figura 1.1: 1.3 Equazioni di

Figura 1.1:

 Il grafo associato a tale matrice risulta: Figura 1.1: 1.3 Equazioni di Chapman-Kolmogorov e loro

1.3 Equazioni di Chapman-Kolmogorov e loro applicazioni

Le equazioni di Chapman-Kolmogorov ( 5 ), che legano tra loro le probabi- lit`a di transizione in tempi diversi, rappresentano forse lo strumento pi`u importante nello studio delle catene di Markov.

5 Le ricerche del matematico russo Andrei Nikolaieviˇc Kolmogorov (1903-1987) hanno permesso alla Teoria della Probabilit`a di compiere progressi fondamentali; in partico- lare, nel suo articolo “Analytical methods in probability theory”, pubblicato nel 1931, Kolmogorov ha sviluppato le basi teorico-matematiche dei processi markoviani. Il geofisico inglese Sydney Chapman (1888-1970) ha utilizzato nelle proprie ricerche delle equazioni, ottenute senza una vera e propria teoria matematica, che sono risultate essere casi particolari di quelle studiate da Kolmogorov per la Teoria della Probabilit`a.

10

CAPITOLO 1. DEFINIZIONI E RISULTATI INIZIALI

1.3.1 Probabilit`a di transizione in n passi

Nelle catene di Markov il concetto di probabilit`a di transizione stazionarie pu`o essere ulteriormente esteso.

Teorema 1.3.1 Si consideri una catena di Markov. Per ogni coppia di stati i, j ∈ S e per ogni intero n 0 risulta:

P{X t+n = j|X t = i} = P{X n = j|X 0 = i}

t 0

Dim. Per n = 0 il risultato `e banale mentre per n = 1 coincide con la stazionariet`a delle probabilit`a di transizione della catena di Markov. Di- mostriamo adesso il risultato per n > 1. Per il Teorema delle Probabilit`a Totali ( 6 ) e per la definizione di probabilit`a condizionata risulta:

P{X t+n = j|X t = i}

=

P{X t+n = j,X t+n1 = k|X t = i}

 

k∈S

 

=

P{X t+n = j|X t+n1 = k,X t = i}P{X t+n1 = k|X t = i}

k∈S

Per la propriet`a di Markov e la stazionariet`a delle probabilit`a di transizione si ha inoltre:

P{X t+n = j|X t+n1 = k,X t = i}

=

P{X t+n = j|X t+n1 = k}

=

P{X n = j|X n1 = k}

=

P{X n = j|X n1 = k,X 0 = i}

da cui si ottiene:

P{X t+n = j|X t = i}

=

P{X n = j|X n1 = k,X 0 = i}P{X n1 = k|X 0 = i}

 

k∈S

 

=

P{X n = j,X n1 = k|X 0 = i}

 

k∈S

 

=

P{X n = j|X 0 = i}

k ∈S   = P{ X n = j | X 0 = i } Le

Le precedenti probabilit`a condizionate, dette probabilit`a di transizione stazionarie in n passi, si indicano con

(n)

p ij

= P{X n = j|X 0 = i},

n ∈ {0,1,2,

6 Si consideri un evento A Ω ed n eventi disgiunti B i , i = 1,

n i=1 B i . Allora, essendo A = i=1

n

{A, B i }, risulta:

P{A} =

n

i=1

P{A, B i } =

n

i=1

P{A|B i }P{B i }

}

,n,

tali che Ω =

tale risultato rimane valido anche per n = +(si veda ad esempio [10]).

1.3.

EQUAZIONI DI CHAPMAN-KOLMOGOROVE LORO APPLICAZIONI11

e rappresentano la probabilit`a condizionata di passare in n passi dallo stato

i allo stato j. Ovviamente risulta p

(1)

ij

= P{X 1 = j|X 0 = i} = p ij , inoltre:

(0)

p ij

= P{X 0 = j|X 0 = i} =

1

se

i = j

0

se

i

= j

Poich´e tali valori sono delle probabilit`a corrette si ha per definizione:

(n)

j∈S p ij

(n)

0 p ij

1

i, j ∈S ∀n 0

= jS P{X n = j|X 0 = i} = 1

i ∈S ∀n 0

Nelle catene di Markov a stati finiti anche le probabilit`a di transizione stazionarie in n passi possono essere rappresentate in forma matriciale.

Definizione 1.3.1 Si consideri una catena di Markov a stati finiti . Si definisce matrice di transizione in n passi la seguente matrice P (n) :

P (n) = (p

(n)

ij

) [0, 1] N ×N

i, j ∈ S

Ovviamente, per quanto detto in precedenza, risulta P (0) = I e P (1) = P.

1.3.2 Equazioni di Chapman-Kolmogorov

La mancanza di memoria delle catene di Markov permette di dimostrare che la probabilit`a di transizione in n + m passi dipende dalla probabilit`a condizionata di arrivare dallo stato di partenza ad un certo stato k in n passi e dalla probabilit`a di passare negli ultimi m passi dallo stato k allo stato finale.

Teorema 1.3.2 (Equazioni di Chapman-Kolmogorov) Si consideri una catena di Markov. Risulta:

p

(n+m)

ij

=

k∈S

p

(n)

ik p kj

(m)

i, j ∈S ∀n, m

1

Dim. Per il Teorema delle Probabilit`a Totali risulta:

(n+m)

p ij

= P{X n+m = j|X 0 = i}

= P{X n+m = j,X n = k|X 0 = i}

k∈S

= P{X n+m = j|X n = k,X 0 = i}P{X n = k|X 0 = i}

k∈S

Per la propriet`a di Markov e la stazionariet`a delle probabilit`a di transizione risulta quindi:

P{X n+m = j|X n = k,X 0 = i}

=

P{X n+m = j|X n = k}

=

P{X m = j|X 0 = k}

12

CAPITOLO 1. DEFINIZIONI E RISULTATI INIZIALI

da cui si ha:

p

(n+m)

ij

= P{X m = j|X 0 = k}P{X n = k|X 0 = i} = p

k∈S

k∈S

(n)

ik p kj

(m)

X 0 = i } = p k ∈S k ∈S ( n ) ik p

Il precedente teorema permette di mostrare come le probabilit`a di tran- sizione in n passi siano date dalla seguente sommatoria:

p

(n)

ij

=

k 1 ,

,k

n1 ∈S

p ik 1 · p k 1 k 2 · p k 2 k 3 ·

·

p k n2 k n1 · p k n1 j

(1.3.1)

Nel caso delle catene di Markov a stati finiti le equazioni di Chapman- Kolmogorov si possono esprimere anche in forma matriciale.

Corollario 1.3.1 Si consideri una catena di Markov a stati finiti. Risul- ta:

P (n+m) = P (n) P (m)

n, m 1

Questa forma matriciale permette di dimostrare, in modo molto sem- plice, che in una catena di Markov a stati finiti la matrice di transizione in n passi non `e altro che la n-esima potenza della matrice di transizione ( 7 ).

Corollario 1.3.2 Si consideri una catena di Markov a stati finiti. Risul- ta:

P (n) = P n

Dim. Basta osservare che per ogni k 1, posto m =1e n = k 1, risulta

P (k) = P (k1) P (1) = P (k1) P,

da cui segue che P (n) = P (n1) P = P (n2) P 2 =

= P (1) P n1 = P n .

2) P 2 = = P (1) P n − 1 = P n . Dalle

Dalle equazioni di Chapman-Kolmogorov si derivano inoltre le seguenti propriet`a che saranno molto utili nei paragrafi successivi.

Propriet`a 1.3.1 Si consideri una catena di Markov. Risulta:

i) p

ii) p

(n+m)

ij

(n·m)

ii

p

(n)

ik

p

(m)

kj

n, m 1 i,j,k ∈ S;

p

(n)

ii

m n, m 1 i ∈ S.

7 Il Corollario 1.3.2 permette di dimostrare che tutte le matrici di transizione in n passi P (n) , con n 0, sono matrici stocastiche. Per n = 0 ed n = 1 il risultato `e banale, per n 2 risulta invece (ricordando che P u = u):

P (n) u = P n u = P n1 (Pu) = P n1 u = P n2 (Pu) = P n2 u =

= Pu = u

1.3.

EQUAZIONI DI CHAPMAN-KOLMOGOROVE LORO APPLICAZIONI13

Dim. i) Basta osservare che dalle equazioni di Chapman-Kolmogorov si ha

p

(n+m)

ij

=

k∈S

p

(n)

ik p

(m)

kj p

(n)

ik p kj

(m)

ii) Direttamente dalla i) si ottiene:

p

(n·m)

ii

= p

(n+n·(m1))

ii

p

(n)

ii

p

(n·(m1))

ii

e procedendo im modo analogo segue che

p

(n·m)

ii

p

(n)

ii

p

(n·(m1))

ii

p

(n)

ii

2 p

(n·(m2))

ii

p

(n)

ii

m .

ii 2 p ( n · ( m − 2)) ii ≥ ≥ p ( n

Esempio 1.3.1 (fotocamere) Le matrici di transizione in 2 ed in 4 passi risultano:

0.2854

0.2516

0.3193

0.2854

0.2495

0.2833

0.3510

0.2495

0.3002

0.2325

0.2325

0.3002

0.1649

0.2325

0.0972

0.1649

P (2) = P 2 =

P (4) = P 4 =

0.2896

0.2816

0.2839

0.2896

0.2859

0.2848

0.2825

0.2859

0.2606

0.2675

0.2629

0.2606

0.1639

0.1662

0.1707

0.1639

Ad esempio, se alla fine di una certa settimana risulta in giacenza una sola fotocamera abbiamo che la probabilit`a di non avere in giacenza alcuna fo-

tocamera dopo 4 settimane p

(4)

10

= 0.282.

alcuna fo- tocamera dopo 4 settimane p (4) 10 = 0 . 282. 1.3.3 Distribuzione delle

1.3.3 Distribuzione delle probabilit`a a tempo t

Le equazioni di Chapman-Kolmogorov permettono di determinare la proba- bilit`a di essere in un determinato stato dopo un certo numero di transizioni del sistema.

=

Definizione 1.3.2 Si consideri una catena di Markov. Si denota con q P{X t = i} la probabilit`a di essere nello stato i al tempo t ∈ T ; in particolare

si denota con q

del processo.

= P{X 0 = i} la probabilit`a di essere nello stato i all’inizio

(t)

i

(0)

i

Definizione 1.3.3 Si consideri una catena di Markov a stati finiti . Le distribuzioni di probabilit`a a tempo t 0 si possono esprimere in forma

vettoriale tramite i vettori q (t) = [q

(t)

i

] e q (0) = [q

(0)

i

], i ∈ S.

14

CAPITOLO 1. DEFINIZIONI E RISULTATI INIZIALI

Si dimostra banalmente che, per ogni stato i ∈ S:

q

(t)

i

= P{X t = i} = P{X 0 = k}P{X t = i|X 0 = k} = q

k∈S

k∈S

(0)

k

p

(t)

ki

ovvero, in forma matriciale per le catene a stati finiti:

[q (t) ] T = [q (0) ] T P (t) = [q (0) ] T P t .

Si osservi inoltre che i vettori q (t) sono dei vettori di distribuzione delle probabilit`a corretti, risulta infatti:

q (t) T u =

k∈S

q

(t)

i

= P{X t = i} = 1.

k∈S

Esempio 1.3.2 (fotocamere) Supponiamo adesso che il negoziante, al- l’inaugurazione dell’esercizio, sia stato rifornito di 3 fotocamere, in questo caso il vettore delle probabilit`a iniziali del processo `e [q (0) ] T = [0, 0, 0, 1]; la probabilit`a di avere una giacenza di 0, 1, 2, 3 fotocamere dopo due settimane risulta quindi essere

[q (2) ] T = [q (0) ] T P 2 = [0.2495,