Processos Estocsticos

Mestrado em Cincias Actuariais

Alexandra Bugalho de Moura

/h

81,9(56,'$'(
( ' 8$ 5 ' 2
021'/$1(


)$&('UHDOL]D
Agosto 2017 6HPLQiULRVRE
,QFOXVLYDQRSD

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 1 / 21

 Outline

Outline

1 Cadeias de Markov a tempo discreto

Classificao dos estados
Teoremas limite

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 2 / 21

 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

Classificao dos estados

Estados comunicantes
Cadeias irredutveis
Estados peridicos e aperidicos
Perodo do estado
Cadeias peridicas
Recorrncia
Estados recorrentes ou persistentes: recorrente positivo ou nulo
Estados no recorrentes, transitrios, transientes

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 3 / 21

 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

Estado acessvel
(n)
O estado j accessvel a partir de i se Pij > 0, para algum n 0: i j.

Estados comunicantes
Os estados i e j so comunicantes se i j.
(n) (n)
Se no, ou Pij = 0, n, ou Pji = 0, n.

Teorema
O conceito de estados comunicantes (i j) define uma relao de equivalncia (reflexiva,
transitiva e simtrica).

Classes de equivalncia ou de comunicao

O conceito de estados comunicantes permite definir classes de comunicao (classes de equivaln-
cia).

Classes fechada
Classe de comunicao, C , tal que no possvel sair da classe:

Pij = 0, i C , i
/C

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 4 / 21

 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

Exemplo
1 2 3 4 5 6
1 1/2 1/2 0 0 0

2 1/4 3/4 0 0 0
P= 3 0 0 0 1 0 .

4 0 0 1/2 0 1/2
5 0 0 0 1 0
As classes C1 = {1, 2} e C2 = {3, 4, 5} so duas classes fechadas.

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 5 / 21

 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

Exemplo
1 2 3 4 5
1 1/2 1/2 0 0 0 0

2 1/4 3/4 0 0 0 0
3 1/4 1/4 1/4 1/4 0 0

P= .
4 1/4 0 1/4 1/4 0 0

5 0 0 0 0 1/2 1/2
6 0 0 0 0 1/2 1/2
As classes C1 = {1, 2} e C2 = {5, 6} so duas classes fechadas, a classe C3 = {3, 4} uma classe
aberta.

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 6 / 21

 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

Exemplo
Seja S = {0, 1, 2, 3, . . . , a 2, a 1, a} tal que

0 1 2 3 a2 a1 a
01 0 0 0 0 0 0

1
q 0 p 0 0 0 0
2
0 q 0 p 0 0 0

P= .




a1 0 0 0 0 q 0 p
a 0 0 0 0 0 0 1

As classes C1 = {0} e C2 = {a} so duas classes fechadas (os estados 0 e a so estados absorven-
tes), a classe C3 = {1, 2, . . . , a 1, a 2} uma classe aberta.

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 7 / 21

 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

Cadeia irredutvel
Um cadeia de Markov irredutvel se S a nica classe fechada no vazia que existe.

Teorema (cadeia irredutvel)

Um cadeia de Markov irredutvel sse todos os estados so comunicantes.

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 8 / 21

 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

Perodo do estado i
(n)
d(i) = mdc{n 1 : Pii > 0}
(n)
Se Pii = 0, n > 1, ento d(i) = 0.

Estado aperidico
Se d(i) = (0), 1, estado i aperidico
Se d(i) 2, peridico.

Cadeia aperidica
Uma cadeia aperidica se todos os estados so aperidicos.

Teorema
Dois estados comunicantes tm o mesmo perodo:

i j = d(i) = d(j)

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 9 / 21

 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

(n)
fii
(n)
fii : Probabilidade do primeiro retorno ao estado i se dar em n passos

(n)
fii = P(Xn = ie Xk 6= i, k = 1, 2, . . . , n 1|X0 = i)

Esta probabilidade pode ser calculada de forma recursiva

n
(n) (k) (nk)
X
Pii = fii Pii , n > 1
k=0

(0)
Assumimos fii =0

(n)
fij
(0) (n)
Assumimos fii = 0 fij : Probabilidade da primeira visita ao estado j, vindo dei, se dar em n
passos
(n)
fij = P(Xn = je Xk 6= i, k = 1, 2, . . . , n 1|X0 = i)
Tambm pode ser calculada de forma recursiva:
n
(n) (k) (nk)
X
Pij = fij Pjj , n > 1
k=0
Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 10 / 21
 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

fii

(n)
X
fii = fii
n=1

Estado recorrente
Se fii = 1, estado i recorrente ou persistente.
Se fii < 1, estado i no recorrente, transitrio ou transiente.

Teorema
Se i comunica com j e i recorrente, ento j tambm recorrente:

i j e i recorrente = j recorrente

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 11 / 21

 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

mi : Nmero esperado de transies at voltar ao estado i

(n)
P
+
n=1 n fii , se i recorrente
mi =
se i transiente

+,

Estado recorrente positivo e recorrente nulo

Seja i um estado recorrente. Ento, se

X (n) < +,
+ ento i recorrente positivo
mi = n fii
+, ento i recorrente nulo

n=1

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 12 / 21

 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

Estado ergdico
Estado recorrente positivo e aperidico.

Estado absorvente

Pii = 1

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 13 / 21

 Cadeias de Markov a tempo discreto Classificao dos estados

Classificao dos estados

Teorema
Seja S o conjunto dos estados de uma cadeia de Markov.
Se S finito ento
Pelo menos um estado recorrente
Todos os estados recorrentes so recorrentes positivos

Teorema
As classes recorrentes so classes fechadas.
Em cadeias finitas, todas as classes fechadas irredutveis so classes recorrentes

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 14 / 21

 Cadeias de Markov a tempo discreto Teoremas limite

Teoremas limite: distribuio estacionria

Cadeias regulares
Uma cadeia de Markov diz-se regular se P regular :
nmero finito de estados;
(n)
existe k tal que Pij > 0 (i, j), para n > k

Uma cadeia regular se nalgum ponto do tempo todos os elementos da matriz de

probabilidade de transio so positivos.

Teorema
Se P finita, irredutvel e aperidica, ento P regular.

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 15 / 21

 Cadeias de Markov a tempo discreto Teoremas limite

Teoremas limite: distribuio estacionria

Exemplo

0 1/2 1/2
P = 1/2 0 1/2
1/2 1/2 0

1 1 1 1 3 3 3 5 5
2 4 4 4 8 8 8 16 16
2 1 1 1 ;P 3 = 3 1 3 ;P 4 = 5 3 5
P =
4 2 4 8 4 8 16 8 16

1 1 1 3 3 1 5 5 3
4 4 2 8 8 4 16 16 8
5 11 11 171 341 341
16 32 32 512 1024 1024

P5
11 5 11
10 341 171 341

=
32 16 32
;P =
1024 512 1024



11 11 5 341 341 171
32 32 16 1024 1024 512

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 16 / 21

 Cadeias de Markov a tempo discreto Teoremas limite

Teoremas limite: distribuio estacionria

Exemplo (cont.)
P 100 =
211 275 100 038 038 233 582 783 867 563
633 825 300 114 114 700 748 351 602 688
422 550 200 076 076 467 165 567 735 125
422 550 200 076 076 467 165 567 735 125 422 550 200 076 076 467 165 567 735 1
1267 650 600 228 229 401 496 703 205 376 1267 650 600 228 229 401 496 703 205
211 275 100 038 038 233 582 783 867 563 422 550 200 076 076 467 165 567 735 1

1267 650 600 228 229 401 496 703 205 376 633 825 300 114 114 700 748 351 602 688 1267 650 600 228 229 401 496 703 205

422 550 200 076 076 467 165 567 735 125 422 550 200 076 076 467 165 567 735 125 211 275 100 038 038 233 582 783 867 5
1267 650 600 228 229 401 496 703 205 376 1267 650 600 228 229 401 496 703 205 376 633 825 300 114 114 700 748 351 602 6

0.33333 0.33333 0.33333
0.33333 0.33333 0.33333
0.33333 0.33333 0.33333

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 17 / 21

 Cadeias de Markov a tempo discreto Teoremas limite

Teoremas limite: distribuio estacionria

Exemplo
Seja uma cadeia de Markov, com a seguinte matriz de transio:

0 1 2 3 4 5 6
0 0.9 0.1 0 0 0 0 0

1 0.9 0 0.1 0 0 0 0
2 0.9 0 0 0.1 0 0 0

P= 3 0.9 0 0 0 0.1 0 0

4 0.9 0 0 0 0 0.1 0

5 0.9 0 0 0 0 0 0.1
6 0.9 0 0 0 0 0 0.1

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 18 / 21

 Cadeias de Markov a tempo discreto Teoremas limite

Teoremas limite: distribuio estacionria

Exemplo (cont.)
Longo prazo:
9.0 106 1.0 106

.9 .0 9 .00 9 .000 9 .0000 9
.9 .0 9 .00 9 .000 9 .0000 9 9.0 106 1.0 106
9.0 106 1.0 106

.9 .0 9 .00 9 .000 9 .0000 9
8
9.0 106 1.0 106

P =
.9 .0 9 .00 9 .000 9 .0000 9


.9 .0 9 .00 9 .000 9 .0000 9 9.0 106 1.0 106

.9 .0 9 .00 9 .000 9 .0000 9 9.0 106 1.0 106
.9 .0 9 .00 9 .000 9 .0000 9 9.0 106 1.0 106

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 19 / 21

 Cadeias de Markov a tempo discreto Teoremas limite

Teoremas limite: distribuio estacionria

Distribuio limite
Existe Distribuio limite

= (0 , 1 , ..., N )
(k)
j = lim Pij > 0.
n

Teorema: cadeias regulares

A distribuio limite (0 , 1 , ..., N ) a nica soluo no negativa de:

N
X
j = k Pkj j = 0, 1, , N = P
k=0

com
N
X
k = 1 e k > 0, k S
k=0

pi o vetor prprio esquerdocorrespondente ao valor prprio 1, normalizado por forma a ser

PN
uma funo de probabilidade k=0 k = 1

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 20 / 21

 Cadeias de Markov a tempo discreto Teoremas limite

Teoremas limite: distribuio estacionria

Exemplo
Considere novamente a matriz
0 1/2 1/2
P = 1/2 0 1/2
1/2 1/2 0
P regular e computacionalmente verifica-se

0.33333 0.33333 0.33333
P 100 0.33333 0.33333 0.33333
0.33333 0.33333 0.33333

Mostre que de facto a distribuio limite

   
= 1 2 3 = 1/3 1/3 1/3

resolvendo a equao
1/22 + 1/23 = 1
P = 1/21 + 1/23 = 2
1/21 + 1/22 = 3

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 21 / 21