Aula 1

Processos Estocsticos Aplicados Computao

Teoria de renovao e Processo Semi-Markoviano
(Captulo 7)
Prof Sandra Mara Torres Mller
Aula 1
Teoria de Renovao
Foi visto que um processo de Poisson um processo de contagem
onde o intervalo entre eventos sucessivos so variveis aleatrias
exponenciais independentes e identicamente distribudas.
Pode-se generalizar um processo de contagem onde o intervalo entre
eventos sucessivos so independentes e identicamente distribudos
com uma distribuio arbitrria. Este processo chamado de
processo de renovao.
Para isso, considere {N(t), t 0} como um processo de contagem e
X
n
o intervalo entre o (n 1)-simo e o n-simo evento deste
processo, n 1.
Aula 1
Teoria de Renovao
Definio 7.1 Se a sequncia de variveis aleatrias no-negativas
{X
1
, X
2
, ...} independente e identicamente distribuda, ento o
processo de contagem {N(t), t 0} dito ser um processo de
renovao.
Assim, um processo de renovao um processo de contagem, tal
que o tempo at o primeiro evento ocorrer tem uma distribuio F, o
tempo entre o primeiro e o segundo evento tem, independente do
tempo do primeiro, a mesma distribuio F, e assim sucessivamente.
Quando um evento ocorre dito que houve uma renovao.
Aula 1
Teoria de Renovao
Um exemplo de processo de renovao: Suponha que se tenha uma
fonte infinita de lmpadas cujos tempos de vida sejam
independentes e identicamente distribudos. Suponha tambm que
uma nica lmpada usada a cada vez e quando ela queima
imediatamente substituda por outra. Sob estas condies {N(t), t
0} um processo de renovao quando N(t) representa o nmero de
lmpadas que queimaram at instante t.
Aula 1
Teoria de Renovao
Para um processo de renovao com intervalos entre chegadas X
1
, X
2
,
..., tem-se
Isto , S
1
= X
1
o tempo da primeira renovao; S
2
= X
1
+ X
2
o tempo
at a primeira renovao mais o tempo entre a primeira e segunda
renovao, ou seja, S
2
o tempo da segunda renovao
Denota-se a distribuio entre chegadas como F e se assume que
Devido a no-negatividade de X
n
e o fato que X
n
no identicamente
nulo ento > 0.
Aula 1
Teoria de Renovao
Uma questo se pode ocorrer um nmero infinito de renovao dentro de
um intervalo finito de tempo. Isto , N(t) pode ser infinito para alguns
valores finitos de t? Para mostrar que isto no pode ocorrer, note que, como
S
n
o tempo da n-sima renovao, N(t) pode ser escrito como
Para se entender a equao 7.1, suponha por exemplo que S
4
t mas S
5
> t.
Da, a quarta renovao ocorreu no intervalo t mas a quinta renovao
ocorre depois do intervalo t, ou seja, N(t), o nmero de renovao que
ocorreu no intervalo t, deve ser igual a 4. Pela lei forte dos grandes nmeros
segue, com probabilidade 1, que
Mas como > 0 significa que S
n
deve ir para infinito quando n tambm vai.
Assim, S
n
pode ser menor ou igual a t para a maioria de nmeros finitos de
valores de n, e da a equao 7.1, N(t) deve ser finita.
Aula 1
Teoria de Renovao
Entretanto, apesar que N(t) < para cada t, verdade, com probabilidade
1, que:
Isto segue j que o nico modo no qual N(), o total de nmero de
renovaes que ocorrem, pode ser finito para um dos tempos entre
chegadas sendo infinito. Portanto
Aula 1
Processos Semi-Markovianos
Considere um processo que pode estar no estado 1 ou estado 2 ou estado 3.
Inicialmente, ele est no estado 1, onde permanece por uma quantidade
aleatria de tempo com mdia
1
, ento ele vai para o estado 2, onde
permanece por uma quantidade aleatria de tempo com mdia
2
, da vai
para o estado 3, onde permanece por uma quantidade aleatria de tempo
com mdia
3
, e por fim volta ao estado 1 e assim sucessivamente. Qual a
proporo de tempo que o processo passa no estado i, i = 1, 2, 3?
Se dito que um ciclo est completo quando o processo retorna ao estado 1,
e a retribuio a quantidade de tempo gasto no estado i durante aquele
ciclo, ento o precedente um processo de renovao. Da, a partir da
proposio 7.3 (no vista) obtm-se P
i
que a proporo de tempo que o
processo est no estado i, como:
Aula 1
Processos Semi-Markovianos
Similarmente, se h um processo que pode estar em qualquer um
dos N estados 1, 2, ..., N e que se move de maneira:
ento a proporo de tempo que o processo gasta no estado i
Generalizando a situao, tem-se aqui um processo que pode estar
em qualquer um dos N estados 1, 2, ..., N, e cada vez que entra no
estado i permanece l por uma quantidade aleatria de tempo com
mdia
i
e ento faz uma transio para o estado j com
probabilidade P
ij
. Tal processo conhecido como processo semi-
markoviano.
Aula 1
Processos Semi-Markovianos
Para calcular P
i
para um processo semi-markoviano, considere
i
a
proporo de transies que levam o processo para o estado i. Agora
considere que X
n
denote o estado do processo depois da n-sima transio,
ento {X
n
, n 0} uma cadeia de Markov com probabilidades de transio
P
ij
, i, j = 1, 2, ..., N. Da
i
ser justamente as probabilidades limitantes (ou
estacionrias) para esta cadeia de Markov (seo 4.4). Isto ,
i
ser a nica
soluo no-negativa de
O que leva ao clculo de P
i
(proporo de tempo no estado i) como uma
mdia ponderada de
i
Aula 1
Processos Semi-Markovianos
Exemplo 7.27 Considere uma mquina que pode estar em um dos trs
estados: condio boa, condio fraca, ou desgastada. Suponha que uma
mquina em boas condies permanecer dessa forma por um tempo mdio

1
e ento passar a uma condio fraca ou desgastada com probabilidades
3/4 e 1/4. A mquina em condio fraca permanecer nesse estado por um
tempo mdio
2
e ento ir se desgastar. Uma mquina desgastada ser
reparada, o que toma um tempo mdio
3
, e quando reparada estar em boas
condies com probabilidade 2/3 e em fracas condies com probabilidade
1/3. Qual a proporo de tempo que a mquina passa em cada estado?
Soluo:
i
deve satisfazer:
O que leva a:
Aula 1
Processos Semi-Markovianos
Da, pode-se obter P
i
como
Por exemplo, se
1
= 5,
2
= 2,
3
= 1, ento a mquina passar 5/9
(55,5%) do tempo em boas condies, 5/18 (27,7%) em condies
fracas e 1/6 (16,7%) do tempo desgastada.
Aula 1
Processos Semi-Markovianos
Quando as distribuies da quantidade de tempo gasto em cada
estado durante uma visita forem contnuas, ento P
i
representa a
probabilidade limitante (quanto t) que o processo estar no
estado i no instante t.
Aula 1
Processos Semi-Markovianos
Exemplo 7.28 Considere um processo de renovao no qual a
distribuio entre chegadas discreta tal que
onde X representa uma varivel aleatria entre chegadas.
Considere L(t) como o comprimento do intervalo de renovao que
contm o ponto t. Isto , se N(t) o nmero de renovaes durante o
intervalo t e X
n
o n-simo intervalo entre chegadas, ento L(t) =
X
N(t)+1
. Imaginando cada renovao correspondendo falha de uma
lmpada, que ento trocada e recomea um prximo perodo para
uma nova lmpada, ento L(t) ser igual a i se a lmpada em uso no
instante t queimar em seu i-simo perodo de uso.
Aula 1
Processos Semi-Markovianos
Pode-se ver que L(t) um processo semi-markoviano. Para
determinar a proporo de tempo que L(t) = j importante observar
que cada vez que um transio ocorre, (isto , cada vez que uma
renovao ocorre) o prximo estado ser j com probabilidade p
j
. Ou
seja, as probabiidades de transio da cadeia de Markov embutida
so P
ij
= p
j
. Da, as probabilidades limitantes desta cadeia so dadas
por
E como o tempo mdio que o processo semi-markoviano gasta no
estado j antes que uma transio ocorra j, segue que o proporo
de tempo no estado j
Aula 1
Exerccios
45 e 48
45. Considere um sistema que pode estar ou no estado 1 ou no 2 ou no 3.
Cada vez que o sistema entra no estado i, ele permanece l por uma
quantidade aleatria de tempo com mdia
i
e ento faz uma transio
para o estado j com probabilidade P
ij
. Suponha que P
12
= 1, P
21
= P
23
=
, P
31
= 1.
a) Qual a proporo de transies feitas pelo sistema para o estado 1?
b) Se
1
= 1,
2
=2,
3
= 3, ento qual a proporo de tempo que o
sistema passa em cada estado?