Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Rui Alves
Catarina Delgado
Setembro de 1997
APRESENTAO
Este texto concretiza uma ideia que j tem alguns anos, mas que vinha sendo
adiada devido a afazeres de diversa natureza.
Dois factos ocorridos no ano lectivo de 1996/97 foram determinantes na concretizao deste projecto: (i) a adopo, nas disciplinas de Investigao Operacional de
ambas as licenciaturas, de um livro (Investigao Operacional, de L. Valadares Tavares
et al., McGraw-Hill, 1996) que, embora cobrindo a matria de Programao Linear e de
Filas de Espera, omisso no que toca Programao Linear Inteira e s Cadeias de
Markov; (ii) a contratao da licenciada Catarina Delgado como assistente estagiria
das referidas disciplinas.
O facto de os alunos disporem de elementos de estudos (no livro adoptado) sobre
alguns pontos do programa tornou mais premente a concluso destes textos com o
objectivo de uma integral cobertura do programa. A disponibilidade da licenciada
Catarina Delgado foi na realidade crucial (sem o seu trabalho e o seu entusiasmo creio
que os textos no teriam ficado prontos), e o seu contributo justifica plenamente a coautoria que lhe devida, pois a ela se devem a primeira verso dos textos, todos os
exemplos profusamente ilustrados, e a incluso de uma maior variedade de problemas
tpicos de Programao Inteira.
Resta-nos desejar que os alunos, destinatrios ltimos destes trabalhos, deles
possam vir a tirar o desejado proveito. Todas as crticas e sugestes so benvindas,
salvaguardando que todos os erros e imprecises que os textos possam ter so da inteira
responsabilidade dos autores.
NDICE
1.
INTRODUO ..................................................................................................... 1
BIBLIOGRAFIA ................................................................................................. 16
1.
INTRODUO
1.1. GENERALIDADES
Qualquer sistema real opera sempre em ambientes onde a incerteza impera, principalmente quando o sistema envolve, pela sua natureza, aces humanas imprevisveis
ou avarias de mquinas. Os modelos determinsticos certamente contribuem para a
compreenso, a um nvel bsico, do comportamento dinmico de um sistema. No entanto, por no poderem lidar com a incerteza, acabam por ser insuficientes nos processos
de tomada de deciso. Assim, recorre-se a Processos Estocsticos como uma forma de
tratar quantitativamente estes fenmenos, aproveitando certas caractersticas de
regularidade que eles apresentam para serem descritos por modelos probabilsticos.
Pode definir-se um Processo Estocstico (em ingls, Stochastic Process ou
Random Process) como um conjunto de variveis aleatrias indexadas a uma varivel
(geralmente a varivel tempo), sendo representado por {X(t), tT}. Estabelecendo o
paralelismo com o caso determinstico, onde uma funo f(t) toma valores bem definidos
ao longo do tempo, um processo estocstico toma valores aleatrios ao longo do tempo.
Aos valores que X(t) pode assumir chamam-se estados e ao seu conjunto X espao de
estados.
Como exemplos de processos estocsticos, poderemos considerar:
1)
2)
3)
4)
5)
6)
(i)
Espao de estados
usualmente referido, uma cadeia. Para qualquer outro caso, o processo designado
por processo de estados contnuos.
Dos exemplos atrs referidos os trs primeiros so cadeias, enquanto que os
restantes podem ser processos de estados contnuos.
2.
2.1. DEFINIO
Uma Cadeia de Markov em Tempo Discreto um processo estocstico em que a
varivel t representa intervalos de tempo, {X(t), t = 0, 1, 2, 3, }, e que goza da propriedade de Markov, ou seja, a probabilidade de X(t) estar no estado j no prximo
perodo depende apenas do estado presente e no dos estados visitados em perodos
passados:
Pij = P{X(t+1) = j | X(t) = i, X(t-1) = kt-1, , X(1) = k1, X(0) = k0} =
P{X(t+1) = j | X(t) = i} , t = 0, 1, 2, i, j, k0, k1, ,kt-1 X
No nosso estudo apenas vamos considerar Cadeias de Markov com as seguintes caractersticas:
1)
2)
2.2. REPRESENTAO
Uma Cadeia de Markov em tempo discreto fica completamente definida se conhecermos os estados X = {0, 1, 2, , s} e as probabilidades de transio entre os estados em um perodo. Existem duas formas de representao: graficamente, atravs do
diagrama de transies, ou atravs da matriz quadrada P que contem as probabilidades
de transio em um perodo.
Num diagrama de transies cada estado representado por um vrtice, e cada
arco orientado ligando dois vrtices representa uma transio possvel entre dois estados
em um perodo, a qual tem uma certa probabilidade de ocorrncia (o coeficiente
associado ao arco).
Na matriz P, cada linha i representa o estado actual e cada coluna j representa o
estado futuro (a ordem dos estados actuais deve ser igual dos estados futuros, respec3
tivamente, nas linhas e nas colunas de P). Deste modo, o elemento pij da matriz representa a probabilidade de ocorrncia da transio do estado i para o estado j em um
perodo. A matriz P uma matriz estocstica, pois sendo os seus elementos probabilidades, pij 0, e contendo cada linha i uma distribuio de probabilidade, j pij = 1.
Para melhor ilustrar o que foi dito, considere-se o exemplo seguinte.
No pequeno pas Verdscamp'sfloridos, a bebida tradicional, um estranho licor
de flores silvestres, produzida apenas por duas famlias concorrentes, a famlia Florescente e a famlia Petalado. Cada famlia introduziu, ao longo das geraes, diferentes alteraes na frmula original, de forma a conferir ao seu licor um sabor especial. Embora as frmulas sejam guardadas no segredo dos deuses, descobriu-se
que uma poro de ptalas de malmequeres pode realmente fazer a diferena, garantindo famlia Florescente a primazia nas preferncias dos verdscamp'sflorideses.
De facto, verificou-se que, para cada pessoa que compre o licor Florescente h 90%
de probabilidade de o prximo licor que comprar seja licor Florescente; j para cada
pessoa que compre o licor Petalado h s 80% de probabilidade de a essncia de
miostis o tornar to inesquecvel que o prximo licor comprado seja ainda o licor
Petalado.
Com base nestes dados, pretende-se construir uma cadeia de Markov que represente a situao descrita.
Se X(t) representar o tipo de licor comprado por uma pessoa na sua t-sima compra, ento a cadeia de Markov limita-se a assumir um dos dois valores seguintes: F
(ltimo licor comprado foi o Florescente) ou P (ltimo licor comprado foi o Petalado).
O espao de estados ser, deste modo, X = {F, P}.
A cadeia de Markov pode ento ser descrita pela seguinte matriz (estocstica) de
transies:
(F)
(P)
0.90
0.10
P = (F)
(P)
0.20
0.80
Uma outra forma de representar a cadeia atravs do diagrama de transies:
0.90
0.80
0.10
P
0.20
FP P P
FFP P
FFFP
FP FP
Relembrando que, se A e B forem independentes, P{A e B} = P{A} P{B}, podemos ento calcular a probabilidade de cada sequncia:
(1)
(2)
(3)
(4)
P3 = (F)
(P)
(F)
0.781
0.438
(P)
0.219
0.562
0.60
0.40
0.30
0
0.40
0.70
0.60
1
Um estado recorrente j diz-se peridico com perodo k > 1 se k for o menor inteiro
tal que todos os caminhos de j para j tiverem um comprimento mltiplo de k (ou seja, k
o mximo divisor comum dos comprimentos de todos os caminhos do estado j para o
estado j). No exemplo seguinte os estados 0 e 1 tm perodo k = 2.
1
0.70
0.30
1
0.25
16
P = (F)
(P)
(F)
0.6677
0.6644
(P)
0.3323
0.3356
A esta probabilidade chama-se probabilidade estacionria do estado j e representa-se por j. Por outras palavras,
pij(n+1) pij(n) j
quando n .
Tendo esta caracterstica presente, e como (pelas equaes de Chapman-Kolmogorov) pij(n+1) pode ser escrito como o produto [linha i de Pn] [coluna j de P], ento, para n muito elevado, podemos escrever
j = [coluna j de P], sendo o vector linha [1, 2, 3, ,s].
Isto corresponde a um sistema de equaes ( = P) em que o nmero de equaes igual ao nmero de variveis, sendo ambos iguais ao nmero de estados. No
entanto este sistema indeterminado, pois uma das equaes redundante; a indeterminao resolvida acrescentando a equao que garante que a soluo seja uma distribuio de probabilidades. Assim, para conhecer as probabilidades estacionrias j
resolve-se o sistema
j = i i pij
j j = 1
(1)
(2).
Subtraindo j pij a ambos os membros das equaes (1) do sistema, elas podem ser
re-escritas da seguinte forma
j (1 - pjj) = ij i pij ,
tendo a seguinte interpretao:
[Probabilidade de uma transio para fora do estado j] =
= [Probabilidade de uma transio para o estado j].
Relembrando o exemplo que nos acompanha desde o incio, quais as probabilidades estacionrias?
F = 0.90 F + 0.20 P
P = 0.10 F + 0.80 P
F + P = 1
F = 0.6666
P = 0.3333
O que estes valores significam que, aps bastante tempo, cerca de dois teros das
pessoas, em mdia, compraro o licor Florescente, enquanto que s um tero delas ir
comprar o licor Petalado. Deste modo as probabilidades estacionrias podem ser usadas
como indicadores das quotas de mercado de cada marca e ser muito teis em processos
de tomada de deciso. De facto, a famlia Petalado sabe que se conseguir aumentar o
grau de fidelizao dos clientes que compram o seu licor aumentar a sua quota de
mercado, servindo o modelo para quantificar estes aumentos.
8
ij = 1 + kj pik kj .
Voltando novamente ao exemplo anterior:
FF = 1 + 0.10 PF
FP = 1 + 0.90 FP
PF = 1 + 0.80 PF
PP = 1 + 0.20 FP
FF = 1.5
FP = 10
PF = 5
PP = 3
No caso dos tempos mdios de recorrncia verifica-se que ii = 1/i. No exemplo considerado, FP significa que uma pessoa que compre o licor Florescente demora,
em mdia, 10 perodos at passar a comprar licor Petalado.
Se pensarmos no que acontece medida que o nmero de perodos vai aumentando (n), concluimos que a probabilidade de o processo estar num estado transiente
(obviamente) tende para zero. Ou seja, no longo prazo o processo estar num estado
absorvente. Neste caso interessa conhecer a probabilidade de, estando num dado estado
transiente, o processo vir a entrar (mais tarde ou mais cedo) num estado absorvente.
Estas probabilidades so chamadas probabilidades estacionrias de absoro, ou seja,
as probabilidades de o processo passar de um qualquer estado transiente para um
qualquer estado absorvente num qualquer nmero de perodos.
Para ilustrar este tipo de cadeia de Markov, consideremos o seguinte exemplo:
Na loja de artigos informticos do Sr. Pague-Depressa, os clientes so divididos
em categorias, consoante o nvel dos pagamentos j efectuados: pagou (categ. 0),
atrasado no mais de 30 dias (categ. 1), atrasado no mais de 60 dias (categ. 2) ou
caloteiro (categ. 3). As contas so verificadas mensalmente e o estado de cada cliente
determinado. Segundo as regras do Sr. Pague-Depressa, os clientes devero pagar
uma conta dentro de 30 dias mas, pagando prestaes, podem-se atrasar no mximo
60 dias; a partir dessa data o Sr. Pague-Depressa entrega os dados do cliente a uma
empresa especializada em cobrana de dvidas.
Aps a anlise dos dados histricos da loja, construiu-se a seguinte matriz de
transies:
(0)
(3)
(1)
(2)
(0)
1
0
0
0
0
1
0
0
P = (3)
(1)
0.7
0
0.2
0.1
(2)
0.5
0.2
0.1
0.2
Com base nestes dados, pretende-se conhecer a probabilidade de um cliente
acabar, eventualmente, na categoria 3 (caloteiro), dado estar actualmente quer na
categoria 1 quer na categoria 2.
O diagrama de transies o seguinte:
0.20
1
0.70
1
0.20
0.10
0.10
2
0.20
0.50
R;
QR ;
Q2 R ;
Qn R .
0.968 0.032
0.747 0.254
1.27 0.16
0.16 1.27
o que significa que uma conta com um dbito at 30 dias demora 1.27 + 0.16 = 1.43
meses at estar totalmente liquidada. Note-se que possvel uma conta rejuvenescer,
ou seja, ter um dbito entre 30 e 60 dias num ms e no ms seguinte ter um dbito at 30
dias (por pagamento do dbito antigo e novas compras).
11
3.
3.1. DEFINIO
Uma cadeia de Markov em tempo contnuo , como a designao indica, uma
cadeia de Markov em que a varivel tempo contnua, representando instantes ou momentos do tempo (e no perodos no tempo como no ponto anterior). Assim, uma
cadeia de Markov em tempo contnuo um processo estocstico {X(t), t 0} com a
propriedade de Markov, ou seja, a probabilidade de o processo estar no estado j num
momento futuro depende apenas do estado presente e no dos estados visitados em
qualquer momento passado:
Pij(t) = P{X(t+s) = j | X(s) = i , X(u) = k para 0 u s} =
P{X(t+s) = j | X(s) = i},
i, j, k X
2)
i X .
12
Como P{X(t+s) = i | X(s) = i} = P{X(t) = i | X(0) = i} ento P{i > t+s | i > s} =
P{i > t}. Por outras palavras, a distribuio da varivel aleatria tempo de permanncia num dado estado independente do tempo que o processo tenha j passado nesse
estado (propriedade da ausncia de memria). Como a nica distribuio contnua que
goza desta propriedade a distribuio exponencial, concluimos que i tem distribuio
exponencial.
Suponhamos que a varivel aleatria i 0 tem distribuio exponencial com
parmetro (taxa) i. Ento a funo distribuio dada por Fi (t) = P{i t} = 1 - e -t
i
t 0. O valor esperado E[i] = 1/ i e a varincia V[i] = 1/ i2, verificando-se
sempre que a mdia igual ao desvio padro, sendo ambos iguais ao inverso do
parmetro.
A distribuio exponencial goza de duas propriedades muito importantes no estudo
das cadeias de Markov em tempo contnuo, as quais sero apresentadas sem qualquer
demonstrao. Uma, que foi j referida a propriedade da ausncia de memria,
segundo a qual P{i > t + s | i > s} = P{i > t} , s,t 0. A outra diz-nos que se a
varivel aleatria min for o mnimo de diferentes variveis aleatrias independentes (1,
2, , N), cada qual com distribuio exponencial de parmetro i (i =1, , N), ento
min tem tambm distribuio exponencial, sendo o parmetro dado por = i i.
3.3.
REPRESENTAO
Uma Cadeia de Markov em tempo contnuo fica completamente definida se conhecermos os estados X = {0, 1, 2, , s}, o parmetro i da distribuio (exponencial)
de cada varivel i (tempo de permanncia em cada estado i) e as probabilidades de o
processo transitar para o estado j, dado que saiu do estado i (pij). Em alternativa a conhecer os parmetros i e as probabilidades pij, basta conhecer as taxas de transio entre os estados, ij.
A interpretao intuitiva de i e de ij de que se trata de taxas de transio.
Concretamente, i a taxa de transio para fora do estado i, significando que i o
nmero esperado de vezes que o processo sai do estado i por unidade de tempo passado
no estado i. Assim, i o inverso do tempo mdio de permanncia no estado i, ou seja,
E[i] = 1/i. De modo semelhante, ij a taxa de transio do estado i para o estado j,
significando isto que ij o nmero esperado de vezes que o processo efectua uma transio de i para j por unidade de tempo passado no estado i.
Existem duas formas de representao: graficamente, atravs do diagrama de
transies, ou atravs de uma matriz quadrada U que contem as taxas de transio.
Num diagrama de transies cada estado representado por um vrtice, e cada
arco orientado ligando dois vrtices representa uma transio possvel entre dois estados,
sendo o coeficiente associado ao arco a respectiva taxa.
13
ji ij = i ji pij = i .
3.4. PROBABILIDADES ESTACIONRIAS
No estudo das cadeias de Markov em tempo contnuo interessa conhecer as probabilidades estacionrias (t) de o processo estar nos diferentes estados (j).
Para se obterem as probabilidades estacionrias, escrevem-se as chamadas equaes de balano que traduzem a ideia de que, em equilbrio, a taxa mdia de sadas de
um qualquer estado deve ser igual taxa mdia de entradas nesse mesmo estado. Essas
equaes constituem o seguinte sistema:
j j = ij i ij .
(1)
j j = 1
(2)
14
2
A matriz que contem as taxas de transio a seguinte:
(0)
U = (1)
(2)
(0)
0
0
2
(1)
4
0
0
(2)
0
4
0
estado 0:
estado 1:
estado 2:
Equao de normalizao:
4 0 = 2 2
4 1 = 4 0
2 2 = 4 1
0 + 1 + 2 = 1
4.
PROCESSOS DE NASCIMENTO-MORTE
4.1. GENERALIDADES
Os Processos de Nascimento-Morte so processos estocsticos muito utilizados na
descrio de Sistemas de Filas de Espera, dada a sua particular estrutura: as transies
de um qualquer estado s so possveis para estados vizinhos (i.e., de um estado i para
os estados i+1 ou i-1). De facto, adoptando um espao de estados X ={0, 1, } e
representando cada estado um certo nvel de populao (nmero de clientes numa loja,
nmero de mensagens num atendedor de chamadas, nmero de produtos a processar,
etc) tais transies podem ser facilmente interpretadas: a transio do estado i para o
estado i+1 ser um nascimento (por exemplo, chegada de um cliente), por significar
um aumento do nvel da populao, enquanto que a transio do estado i para o estado
i-1 ser uma morte (partida de um cliente), por significar um decrscimo do nvel da
populao.
15
12
1
10
23
34
2
21
32
43
estado n:
0 01 = 1 10
1 (10 + 12) = 0 01 + 2 21
2 (21 + 23) = 1 12 + 3 32
Da primeira equao concluimos que 1 = (01/10) 0. Da segunda equao, e substituindo 1 pela sua expresso em termos de 0, tiramos que 2 = (12 01 / 21 10) 0.
Prosseguindo da mesma forma possvel exprimir as restantes probabilidades em termos
de 0, e atravs da equao de normalizao encontrar o valor de 0. As restantes
probabilidades estacionrias so ento muito simples de calcular.
5.
BIBLIOGRAFIA
16