Processos Estocsticos

Mestrado em Cincias Actuariais

Alexandra Bugalho de Moura

/h

81,9(56,'$'(
( ' 8$ 5 ' 2
021'/$1(


)$&('UHDOL]D
Agosto 2017 6HPLQiULRVRE
,QFOXVLYDQRSD

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 1 / 20

 Outline

Outline

1 Processos de Markov homogneos em tempo contnuo

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 2 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Processo de Markov homogneo em tempo contnuo

Processo com espao de estados contvel S, contnuo em tempo, com taxas de transio estacio-
nrias:
i, j S P(X (s + t) = j|X (s) = i) = pij (t), s, t > 0
independentemente de s.

Exemplo: Processo de Poisson em tempo contnuo

No processo de Poisson em tempo contnuo tem-se

e t (t)(ji)
pij (t) =
(j i)!

A nica diferena relativamente ao anteriormente exposto, que o tempo no medido em

unidades de tempo (passos), mas em tempo contnuo

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 3 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Observaes
Para um processo de Markov homogneo em tempo contnuo, {X (t)}t>0 , dada a sua evoluo
at qualquer instante s, a descrio probabilstica do seu comportamento para todos os instantes
futuros depende apenas do estado corrente X (s) = i, e no da histria passada do processo (nem
do instante s)

Matriz de probabilidade de transio de estado

Para cada t > 0 a matriz de transio de estado dada por


P(t) = pij (t) i,jS

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 4 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Observaes
Uma vez que num intervalo de tamanho zero no podemos alterar o estado:

1, i =j
pij (0) = ij =
0, i 6= j

ou seja P(0) = I .
Note-se que, para cada t fixo, a matriz P(t) uma matriz estocstica:
X
Pij (t) > 0, i, j S e Pij (t) = 1, i S
jS

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 5 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Equaes de Chapman-Kolmogorov
X
Pij (s + t) = Pik (s)Pkj (t), t, s > 0, i, j S
kS

A matriz de transio fica  

Pij (t + s) = P(t + s) = P(s)P(t)

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 6 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Vamos assumir que as funes de probabilidade pij (t) so diferenciveis.

Intensidade de transio
A taxa de transio, ou intensidade de transio, ou fora de transio, ou intensidade do salto, de
i para j dada por
qij = pij0 (0), i, j S

Exemplo
Determine as intensidades de transio do processo de Poisson

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 7 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Intensidades de transio
Para todo t, h > 0 tem-se

P(X (t + h) = j|X (t) = i) = pij (h) (processo homogneo)

= pij (0) + qij h + o(h), com h 0 (aproximao 1a ordem)
= ij + qij h + o(h), com h 0

ou seja 
1 + qij h + o(h), i =j
pij (h) =
qij h + o(h), i 6= j
P
Como jS pij (h) = 1 e pii (h) = 1 + qii h, ento
X X
qii = qij e qij = 0
j6=i jS

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 8 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Observaes
qij no so probabilidades
qij a taxa de transio instantnea do processo do estado i para o estado j

Matriz intensidade (ou taxa) de transio ou matriz geradora do processo

Q = [qij ]i,jS
Assume-se X
qij = 0, i
jS

0 6 qij < , i 6= j
0 6 qii < , i

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 9 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Observaes
possvel construir a matriz (de probabilidade) de transio a partir da matriz geradora (de
intensidades)
A matriz de intensidades especifica a lei de probabilidade do processo

Exemplos
Construa a matriz geradora do processo de Poisson.
Construa a matriz geradora de um processo de nascimento
Construa a matriz geradora de um processo de nascimento e morte

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 10 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Processo de nascimento (homogneo)

(i): Pr [X (t + h) X (t) = 1|X (t) = k] = k h + o(h), h 0+
(ii): Pr [X (t + h) X (t) = 0|X (t) = k] = 1 k h + o(h), h 0+
(iii): Pr [X (t + h) X (t) 6= 0, 1|X (t) = k] = o(h), h 0+

Processo de nascimento e morte (homogneo)

(i): Pk,k+1 (h) = k h + o(h), h 0+ , i = 0, 1, . . . ;
(ii): Pk,k1 (h) = k h + o(h), h 0+ , i = 1, 2, . . . ;
(iii): Pkk (h) = 1 (k + k )h + o(h), h 0+ , k = 0, 1, . . . .
(iv): 0 = 0

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 11 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Exemplo
Processo com 2 estados. Grafo e Matriz geradora:

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 12 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Equaes diferenciais progressivas

Dada a condio inicial pij (0) = ij , tem-se
X
pij0 (t) = pik (t)qkj
kS

Em forma matricial:
P 0 (t)

= P(t)Q
P(0) = I

Equaes diferenciais regressivas

Dada a condio inicial pij (0) = ij , tem-se
X
pij0 (t) = qik pkj (t)
kS

Em forma matricial:
P 0 (t)

= QP(t)
P(0) = I

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 13 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Exemplo: equaes diferenciais progressivas

d
P01 (t) = P00 (t)01 + P01 (t)11 = 0, 01P00 (t) 0, 10P01 (t)
dt

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 14 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Exemplo
Modelo sade-doena-morte.

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 15 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Exemplo

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 16 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Tempos de espera
Tempo de espera at sair do estado inicial:

T0 = inf{t : X (t) 6= X (0)}

Teorema
O tempo de espera num dado estado i S, Ti , de um processo de Markov homogneo em tempo
1
contnuo com matriz de taxa de transio Q, tem distribuio exponencial com mdia :
qii
 
1
Ti Exp
qii

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 17 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Notao
Probabilidade do processo permanecer no estado i durante o intervalo de tamanho t:

pii (t) = P(T0 > t|X (0) = i)

Relembre-se a probabilidade de passar do estado i no instante 0 para o estado i no instante t

pii (t) = P(X (t) = i|X (0) = i)

Note-se que
pii (t) 6= pii (t)

Tempo de espera
 
1
Dado que Ti Exp , ento
qii

pii (t) = P(T0 > t|X (0) = i) = e qii t

Trata-se de uma generalizao do processo de Poisson.

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 18 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Teorema
A probabilidade do processo ir para o estado j quando sai do estado i dada por
qij
pij =
qii

Teorema
Seja mi o tempo esperado para o processo chegar ao estado k sabendo que se encontra no
estado i.
Ento mi pode ser calculado usando a frmula recursiva:
1 X qij
mi = + mj
qii j6=k,i
qii

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 19 / 20

 Processos de Markov homogneos em tempo contnuo

Processo de Markov homogneos em tempo contnuo

Exemplo
(unidade de tempo: anos)

Qual a probabilidade de ficar doente pela primeira vez apenas ao fim de 3 anos?
Qual a probabilidade de uma pessoa estar doente durante um ano?
Qual a probabilidade de uma pessoa saudvel ficar doente?
Qual o tempo mdio que uma pessoa doente leva a sair desse estado (1/qSS )?
Qual o tempo esperado de vida de uma pessoa saudvel (mH )? E de uma pessoa doente
(mS )? E de uma pessoa com doena terminar (mT )?
Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 20 / 20