ISSN 0101-7438

UM MODELO MARKOVIANO DE DECISO PARA A OTIMIZAO DE UM SISTEMA DE MANUTENO COM TEMPOS DE REPARO COXIANOS E FASES NO OBSERVVEIS Rita de Cssia Meneses Rodrigues Solon Venncio de Carvalho Laboratrio Associado de Computao e Matemtica Aplicada Instituto Nacional de Pesquisas Espaciais INPE So Jos dos Campos SP
Recebido em 03/2001, aceito em 11/2001 aps 1 reviso

Resumo
Neste artigo analisa-se um sistema de manuteno de mquinas com dois servidores diferentes, tempos at a quebra das mquinas exponencialmente distribudos e tempos de reparo seguindo uma distribuio do tipo fase com configurao de Cox. Consideram-se dois modelos que se diferenciam pela possibilidade ou no de se observar as fases das distribuies do tipo fase: um modelo com informao completa e um modelo com informao parcial. No primeiro caso, modela-se o sistema por um processo markoviano de deciso a tempo contnuo e no segundo por um processo markoviano de deciso com informao parcial, conforme este definido em Hordijk & Loeve (1994). Resultados numricos so apresentados.

Palavras-chave: sistema de manuteno, distribuio do tipo fase, processo markoviano de deciso. Abstract
In this paper we analyse a manufacturing system with two different servers. The times to failure follow an exponential distribution and the machines repair times follow a phase type distribution with Cox configuration. We consider two models: a full information model and a partial information model, which differ themselves by the possibility of observing or not the phases of the phase type distribution. The first one is modelled by a continuous time Markov decision process, and the second one by a decision Markov processes with partial information, as defined in Hordijk & Loeve (1994). Numerical results are presented.

Keywords: manufacturing system, phase type distribution, Markov decision process.

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

159

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

1. Introduo O crescimento do processo produtivo e a busca da diminuio dos custos de produo tm incentivado o estudo de sistemas de manuteno de mquinas. Estes sistemas so intrinsecamente estocsticos devido aleatoriedade inerente aos processos de falhas. Dentre os sistemas estocsticos, os markovianos merecem um lugar de destaque devido sua relativa facilidade de tratamento matemtico e computacional. Atualmente, dispe-se de resultados tericos e de recursos computacionais que permitem a aplicao dos processos markovianos na modelagem de sistemas do porte de sistemas reais. Os processos markovianos podem ser considerados a tempo discreto ou a tempo contnuo. Nos dois casos, deve-se garantir a propriedade da ausncia de memria que caracteriza esses processos. Esta propriedade pode ser resumida em o comportamento probabilstico futuro do processo ser condicionalmente independente do comportamento passado, dado o estado presente. Alguns sistemas esto sujeitos a um controle dinmico onde um supervisor deve observar continuamente o estado corrente do sistema e decidir sobre uma ao que influenciar o comportamento futuro do sistema. Periodicamente ou a cada mudana de estado (instantes de deciso) uma nova ao deve ser escolhida dentre um conjunto de aes disponveis para cada estado observado. Uma regra que dita a forma com que as aes devem ser escolhidas ao longo do tempo define uma poltica de controle para o sistema em estudo. No caso dos sistemas estocsticos, sob a hiptese da ausncia de memria, este tipo de controle dinmico caracteriza o sistema como um processo markoviano de deciso (PMD). A modelagem de sistemas por PMD permite a obteno de uma poltica de controle que minimiza o custo do sistema. Nos modelos a tempo contnuo, uma hiptese necessria para se garantir a propriedade de ausncia de memria dos processos markovianos que o tempo de permanncia do sistema em cada estado seja aleatrio e exponencialmente distribudo. Geralmente, na literatura sobre modelos estocsticos de sistemas de manuteno, admite-se esta hiptese tanto para os tempos at a quebra de mquinas quanto para os tempos de reparo. No entanto, principalmente em relao aos tempos de reparo, esta hiptese nem sempre verificada na prtica. Trabalhando sobre dados de manuteno de centros de usinagens e robs, Carvalho (1991) verificou que, para os dados tratados, a hiptese de tempos at a quebra de mquinas exponencialmente distribudos foi aceitvel mas o mesmo no ocorreu para os tempos de reparo. Nos casos onde as variveis aleatrias exponenciais negativas no modelam bem os processos reais, uma boa alternativa o uso de distribuies do tipo fase (distribuies PH). Em Neuts (1981), define-se uma varivel aleatria do tipo fase como uma varivel aleatria positiva que pode representar o tempo at a absoro numa cadeia de Markov a tempo contnuo composta de um nmero finito de estados transitrios (fases) e um nico estado absorvente. Estas variveis aleatrias generalizam as variveis aleatrias exponenciais negativas e podem ser facilmente inseridas em modelos markovianos a tempo contnuo. Para inseri-las nestes modelos, deve-se acrescentar ao espao de estados do modelo a informao sobre a fase corrente de cada processo modelado por uma varivel aleatria do tipo fase. Nos modelos markovianos de deciso a tempo contnuo, pode-se utilizar o mesmo procedimento acima. No entanto, em cada instante de deciso, deve-se observar o estado corrente do sistema e tomar uma deciso em funo do estado observado. Nesses processos, ao se introduzir no espao de estados as informaes sobre a fase corrente das variveis do tipo fase introduzidas no modelo, pode-se considerar as fases observveis para se garantir a propriedade markoviana do processo. Assim, se possvel observar as fases correntes das

160

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

variveis aleatrias do tipo fase do modelo e dado que o tempo de permanncia do sistema em cada fase exponencial, este sistema facilmente modelado por um processo markoviano de deciso a tempo contnuo (Rodrigues, 1990). Desde sua formalizao em Neuts (1981), a teoria das distribuies PH tem evoludo continuamente. Um importante resultado terico apresentado em Cumani (1982) que qualquer distribuio PH acclica, ou seja, que a soma ou mistura (combinao convexa) de distribuies exponenciais negativas, pode ser reduzida configurao de Cox (Figura 1). Em OCinneide (1991), este resultado estendido a qualquer distribuio PH onde os autovalores da matriz geradora das transies entre os estados transitrios so reais. Uma distribuio PH de ordem N com configurao de Cox definida pelos parmetros {N; 1, 2,...,N; p1, p2,..., pN-1}, onde N o nmero de estados transitrios, i, i = 1, 2,..., N, so as taxas de transies das fases e pi a probabilidade do processo ir da fase i para a prxima fase; o processo vai diretamente para o estado absorvente com probabilidade 1 pi, i = 1, 2,..., N1.

N -1

Figura 1 Distribuio PH com configurao de Cox Note que uma distribuio PH com configurao de Cox um caso particular da distribuio proposta em Cox (1956). Nesse trabalho, Cox considerou que os parmetros da distribuio mostrada na Figura 1 podem ser complexos. Quando distribuies PH so obtidas atravs da aproximao de outras distribuies positivas arbitrrias e so inseridas em processos markovianos de deciso, as fases destas distribuies no so observveis (por terem sido obtidas a partir de um artifcio matemtico). Neste caso, a teoria clssica dos processos markovianos de deciso no pode ser aplicada. Com este trabalho tem-se como objetivo estudar um sistema de manuteno de mquinas considerando os tempos de reparo distribudos segundo uma distribuio PH com configurao de Cox, a qual, por simplificao, ser chamada por todo o texto de distribuio PH. Generalizam-se trabalhos anteriores dos autores, utilizando-se um modelo baseado em processos markovianos de deciso com informao parcial para a otimizao do sistema sem considerar as fases observveis. O sistema de manuteno estudado composto de um nmero finito de mquinas idnticas na linha de produo, um nmero finito de mquinas de reserva e uma estao de reparo com dois servidores. O tempo at a quebra de cada mquina exponencial e os tempos de reparo seguem uma distribuio PH que depende do servidor que est executando o reparo. Os servidores se diferenciam por um ser mais rpido do que o outro, em mdia, e pelo custo de sua utilizao. Deseja-se escolher entre no ativar nenhum servidor, ativar somente o servidor 1, ativar somente o servidor 2 ou ativar ambos os servidores, em funo do estado do sistema, de maneira a minimizar o custo mdio por unidade de tempo do sistema a longo prazo.

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

161

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

Considerando-se a possibilidade ou no de se observar as fases das distribuies PH, modela-se o sistema de manuteno de mquinas em estudo, respectivamente, por um processo markoviano de deciso a tempo contnuo (modelo com informao completa) e por um processo markoviano de deciso com informao parcial (modelo com informao parcial), na forma que este definido em Hordijk & Loeve (1994). Os processos markovianos de deciso com informao parcial so construdos a partir de processos markovianos de deciso, onde o espao de estados particionado e as decises so tomadas com base apenas no elemento da partio em que se encontra o estado corrente do sistema. Hordijk & Loeve (1994) apresentam um algoritmo do tipo aproximao sucessivas que encontra polticas markovianas sub-timas para modelos a tempo discreto (os tempos entre decises so eqidistantes) sob o mesmo critrio de otimalidade adotado neste trabalho, ou seja, o custo esperado mdio a longo prazo. Este algoritmo por todo o texto ser chamado de Algoritmo HL. A apresentao deste trabalho est dividida em seis sees. Na Seo 2, descreve-se o sistema de manuteno em estudo que modelado como um processo markoviano de deciso (modelo com informao completa). Os processos markovianos de deciso com informao parcial e o Algoritmo HL so apresentados na Seo 3. Na Seo 4 modela-se o sistema de manuteno em estudo por um processo markoviano com informao parcial (modelo com informao parcial). Na Seo 5, comparam-se os modelos utilizando-se um conjunto de dados numricos. Comentrios so apresentados na Seo 6. 2. Sistema de Manuteno em Estudo O sistema de manuteno estudado composto de uma linha de produo com M mquinas idnticas e independentes trabalhando em paralelo e Mr mquinas de reserva idnticas s da linha de produo. Quando uma mquina na linha de produo quebra, ela enviada estao de reparo e substituda imediatamente por uma mquina de reserva, se existir alguma disponvel. A estao de reparo dispe de dois servidores. Cada servidor s poder consertar uma mquina quebrada de cada vez, portanto no mximo duas mquinas sero atendidas simultaneamente. O servidor no pode ficar ocioso se estiver ativado e houver mquina quebrada esperando reparo. O tempo at a falha das mquinas em operao exponencialmente distribudo com taxa ; as mquinas de reserva no esto sujeitas a falha enquanto no forem utilizadas. medida que as mquinas quebram, elas so enviadas estao de reparo, formando uma fila com disciplina FIFO (first in, first out). O tempo de reparo de cada mquina executado pelo servidor k, k = 1, 2, segue uma distribuio PH de ordem nk com taxas {kf, k = 1, 2; f = 1, 2..., nk} e probabilidades {pkf, k = 1, 2; f = 1, 2,..., nk}, onde k o servidor que est reparando a mquina e f a fase de reparo. Assim, como o reparo executado pelo servidor k tem nk fases de reparo, k = 1, 2, se este estiver na fase f < nk, com probabilidade 1 pkf o reparo terminar logo aps o trmino da fase corrente e com probabilidade pkf a mquina passar para a fase de reparo seguinte. Supe-se que o servidor 2 seja mais rpido em mdia que o servidor 1. Na Figura 2 apresenta-se uma representao do sistema em estudo.

162

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

Fila para reparo Linha de produo M mquinas Mquinas de reserva Estao de reparo 2 servidores

Figura 2 O sistema de manuteno estudado Como o tempo at a falha das mquinas exponencial e o tempo de reparo tem distribuio PH, que constituda de fases exponenciais, possvel modelar este sistema segundo um processo markoviano de deciso a tempo contnuo. Observa-se o estado do sistema nos instantes de quebra de mquina e final de fase de reparo e, com base nesta observao, uma ao deve ser tomada. Um conjunto de aes forma a poltica que controla o sistema, ou seja, a poltica que determina em cada instante de deciso a ativao ou a desativao de cada servidor. Em cada instante de deciso, o estado do sistema definido pelo conjunto de valores (m, r, q, s1, s2, f1, f2) que so, respectivamente, o nmero de mquinas na linha de produo, o nmero de mquinas de reserva, o nmero de mquinas quebradas, o estado em que se encontra o servidor 1, o estado em que se encontra o servidor 2, a fase de reparo do servidor 1 e a fase de reparo do servidor 2. O estado de cada servidor k dado por sk {D, Ao, Ae}, k = 1, 2, onde D significa desativado, Ao significa servidor ativado mas ocioso (ou imediatamente aps um final de reparo) e Ae significa servidor ativado executando um reparo. A fase de reparo do servidor k definida por fk {0, 1,..., nk}, onde os valores de 1 at nk significam as fases em curso do reparo executado pelo servidor k, e fk = 0 significa que o servidor k est ocioso ou desativado. importante ressaltar que se r 0, ento m = M, isto porque, se existe mquina de reserva disponvel, a linha de produo no pode estar incompleta. Considera-se que, se o servidor k terminou um reparo, seu estado passa a ser sk = Ao, para k = 1, 2. Ento, se q = 0, s1 = Ao e s2 = Ao, tem-se que ambos os servidores esto ociosos porque no existem mquinas quebradas para serem consertadas; q = 1, s1 = Ao e s2 = Ao, significa que um servidor est ocioso porque terminou um reparo e o outro servidor est ocioso pois no existem mquinas para serem consertadas; q > 1 e (s1 = Ao ou s2 = Ao), significa que o servidor k, k = 1 ou k = 2, cujo estado Ao, ou seja, sk = Ao, est ocioso porque terminou um reparo. Considera-se que o espao de estados do sistema dado por:

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

163

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

E={(m,r,q,s1,s2,f1,f2)/ m = 0, 1,..., M; r = 0, 1,..., Mr; q = 0, 1,..., M + Mr; s1 {D, Ao, Ae}; s2 {D, Ao, Ae}; f1 {0,...,n1}; f2 {0,...,n2}; m + r + q = M + Mr; m = M se r > 0; se s1 {D, Ao} ento f1 = 0; se s2 {D, Ao} ento f2 = 0; se s1 = Ae ento f1 0; se s2 = Ae ento f2 0; se q = 0 ento s1 Ae e s2 Ae; se q = 1 ento ((se s1 = Ae ento s2 Ae) ou (se s2 = Ae ento s1 Ae)); se q>1 ento ((se s1 = Ao ento s2 Ao) ou (se s2 = Ao ento s1 Ao))}. O comportamento dinmico do sistema descrito pelas mudanas de estado ao longo do tempo. Cada vez que o sistema muda de estado, deve-se observar o novo estado atingido e decidir sobre ativar ou no cada servidor k, k = 1, 2, em funo do estado observado. Cada ao representada por um par ordenado (a1,a2) onde, para k = 1, 2, ak = A significa ativar ou manter ativado o servidor k e ak = N significa desativar ou manter desativado o servidor k. O espao de aes possveis A = {(A,A), (A,N), (N,A), (N,N)}. Por simplificao, em todo o texto, a ao representada pelo par ordenado (a1,a2) ser denotada por a1a2. Considera-se que se todas as mquinas do sistema esto quebradas, ou seja, se q = M+Mr, a ao a = NN no uma ao possvel pois levaria a um estado absorvente. Considera-se, tambm, que se no existem mquinas quebradas, uma mquina quebra e a ao a = AA escolhida, o servidor 2 (mais rpido) tem prioridade para consertar a mquina que quebrou. A estrutura de custos do sistema inclui um custo de perda de produo dado pelo produto da taxa l (l > 0) pela quantidade de mquinas faltando para completar o nmero mximo M de mquinas na linha de produo; um custo de executar um reparo taxa ek (ek > 0) quando o servidor k estiver reparando uma mquina, k = 1, 2; um custo de espera no sistema de reparo dado pelo produto da taxa h (h > 0) pelo nmero de mquinas quebradas no sistema de reparo (incluindo a mquina que est sendo reparada); um custo taxa cmk (cmk > 0) de manter o servidor k ativado, k = 1, 2, e um custo fixo cak (cak > 0) de ativar o servidor k, k = 1, 2. Deseja-se obter uma poltica estacionria f que minimize o custo mdio por unidade de tempo do sistema a longo prazo. Para obteno desta poltica, utilizou-se o Algoritmo de Iterao de Valores (Tijms, 1994). 2.1 Processos semi-markovianos de deciso e processos markovianos de deciso a tempo contnuo Considera-se um processo estocstico onde um supervisor, em instantes de deciso, deve observar o processo, classific-lo em um estado i pertencente a um espao de estados E e decidir sobre uma ao pertencente a um conjunto de aes A(i) possveis para o estado observado. Este processo de deciso um processo semi-markoviano de deciso (PSMD) se o tempo at o prximo instante de deciso, o estado em que o sistema estar nesse instante e o custo incorrido at esse instante so aleatrios e dependentes somente do estado observado e da ao escolhida. Um PSMD deve ser controlado por uma poltica que escolhe a ao a ser tomada em cada instante de deciso. Uma poltica corresponde aplicao seqencial de regras de deciso que prescrevem a ao a ser escolhida em cada instante de deciso t. De forma geral, uma

164

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

f(i) A(i) escolhida, independente do instante de deciso corrente t. Uma poltica markoviana estacionria determinstica R, caracterizada pela regra de deciso f, prescreve a ao f(i) sempre que o estado i for observado. Denota-se tal poltica R = (f, f, f, ...) ou R = (f ). Para um PSMD, dado que em um instante de deciso o sistema est no estado i E e a ao a A(i) foi escolhida, definem-se:

poltica de controle pode ser escrita como R = (f 0, f 1, f 2, ...), onde f t, t = 0, 1, 2, ..., a regra de deciso a ser aplicada no instante de deciso t. Consideram-se polticas markovianas estacionrias determinsticas, ou seja, polticas que prescrevem em cada instante de deciso uma ao que depende apenas do ltimo estado observado, sem considerar o comportamento do processo no passado. Uma poltica desse tipo construda a partir de uma regra de deciso f : E A, onde A = UiE A( i ) , tal que, se o estado observado i E, ento uma nica ao

i(a) = tempo esperado at o prximo instante de deciso; pij(a) = probabilidade de que no prximo instante de deciso o sistema estar no estado j; Ci(a) = custo esperado incorrido at o prximo instante de deciso.
O problema da otimizao de um PSMD consiste em obter uma poltica de controle que otimiza o processo. No presente trabalho, considera-se como critrio para a otimalidade a minimizao do custo esperado mdio a longo prazo do processo. Para escrever a expresso deste custo, define-se Z(t) como o custo total incorrido at o instante t (t 0). Para uma poltica de controle R e para um estado inicial i, define-se o custo esperado mdio a longo prazo do processo sob esta poltica como: 1 g i ( R ) = lim Ei ,R [Z ( t )] t t onde Ei,R corresponde ao operador valor esperado quando o estado inicial i e a poltica R usada. Tijms (1994) mostrou que o limite acima existe e que no caso unichain, ou seja, quando sob a poltica R o processo possui um nico conjunto fechado de estados, o custo g i (R) independente do estado inicial i e pode ser denotado por g(R). Para os PSMD, provado (Tijms, 1994) que existe uma poltica markoviana estacionria determinstica R* tima, ou seja, que minimiza o custo esperado mdio do sistema a longo prazo dentro do espao de polticas de controle possveis. Quando o sistema controlado por uma poltica markoviana estacionria determinstica R fixada, pode-se considerar a cadeia de Markov imersa no processo {X0 , X1, X2 ,...}. Esta cadeia representa a seqncia de estados visitados pelo processo, ou seja, X0 o estado inicial do processo e, para n = 1, 2,..., Xn o estado atingido pelo processo logo aps a n-sima transio. Esta cadeia de Markov tem o mesmo espao de estados do processo original e probabilidades de transio dadas por pij(Ri), onde Ri a ao prescrita pela poltica R para o estado i. Se sob a poltica R, a cadeia de Markov imersa no processo unichain, ento esta possui probabilidades limites denotadas { xi (R), i E}. Tijms (1994) mostra que o custo g(R) pode ser escrito como:
g ( R ) = Ci ( Ri )xi ( R )
iE iE

i ( Ri )xi ( R )

A expresso do custo de uma poltica R, em funo das probabilidades limites da cadeia de Markov imersa no processo, no utilizada no Algoritmo de Iterao de Valores considerado neste trabalho para a obteno de uma poltica R* de custo mnimo. Apesar disto, esta importante porque pode facilmente ser estendida para a obteno de medidas de desempenho

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

165

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

do sistema sob esta poltica. De forma geral estas medidas representam o valor esperado mdio de funes de estado definidas de forma anloga aos custos. O tratamento computacional do modelo baseado num PSMD apresentado neste trabalho pode ser resumido em trs partes: (1) obteno de uma poltica de controle markoviana estacionria determinstica tima pelo Algoritmo de Iterao de Valores apresentado em Tijms (1994); (2) clculo das probabilidades limite da cadeia de Markov imersa no processo quando a poltica de controle tima utilizada e (3) clculo de medidas de desempenho do processo sob a poltica de controle tima baseado nas probabilidades limite calculadas. Mais especificamente, o modelo apresentado neste trabalho baseia-se num processo markoviano de deciso a tempo contnuo (PMDTC). Os PMDTCs so casos particulares dos PSMD onde o tempo entre decises sucessivas so exponencialmente distribudos com parmetro dependente do ltimo estado observado. Para estes processos, define-se ij(a) como a taxa de transio do estado i ao estado j (i, j E), quando a ltima ao escolhida foi a A(i). A partir das taxas de transio, obtm-se facilmente a taxa total de sada de cada estado dada por i(a) = ji ij(a). Note que i(a) o parmetro da distribuio exponencial negativa que descreve o tempo de permanncia no estado i quando a ao a escolhida. A partir das taxas de transio, as probabilidades de transio so dadas por pij(a) = ij(a)/i(a) e o tempo esperado entre transies dado por i(a) = 1/i(a). Assim, um PMDTC pode ser caracterizado pelo espao de estados E, pelos conjuntos de aes A(i), pelas taxas de transio ij(a) e pelos custos Ci(a). O tratamento matemtico e computacional dos PMDTCs idntico quele dos PSMDs. Na prtica, a diferena entre esses dois processos se encontra na forma que so construdos. Geralmente, para um PSMD, a obteno das probabilidades de transio pij(a) e dos custos Ci(a) envolve a teoria das renovaes (inlar, 1975) e dificilmente os clculos efetuados para um modelo podem ser diretamente reutilizado num outro modelo. Por outro lado, as probabilidades de transio e os custos necessrios construo de um PMDTC possuem expresses simples. A construo de um PMDTC permite o uso direto de uma modelagem por eventos, onde cada taxa de transio ij(a) est associada a um evento. A seguir, apresentam-se dois casos particulares que ilustram o raciocnio usado no clculo das taxas de transio. Se em um instante de deciso o sistema est no estado: i) i = (M, Mr, 0, Ao, D, 0, 0) com Mr 1, o nico evento possvel a quebra de uma mquina. Assim, o nmero de mquinas quebradas, que era zero, aumenta de uma unidade e o nmero de mquinas de reserva diminui de uma unidade. Neste caso, se a ao escolhida for: 1) a = AA, ambos os servidores so ativados, ento s1 = Ao e s2 = Ae, o servidor 2 comea a consertar a mquina quebrada, f2 = 1, e o servidor 1 fica ativado mas ocioso, f1 = 0. O estado do sistema passa a ser j1 = (M, Mr 1, 1, Ao, Ae, 0, 1). 2) a = NA, o servidor 1 desativado, s1 = D e f1 = 0, enquanto o servidor 2 conserta a mquina, s2 = Ae e f2 = 1, o estado do sistema passa a ser j2 = (M, Mr1, 1, D, Ae, 0, 1). 3) a = AN, o servidor 1 comea a consertar a mquina quebrada, s1 = Ae e f1 = 1, o servidor 2 desativado, s2 = D e f2 = 0, e o estado do sistema passa a ser j3 = (M, Mr1, 1, Ae, D, 1, 0). 4) a = NN, ambos os servidores so desativados, s1 = D, s2 = D, f1 = 0 e f2 = 0, e o estado do sistema passa a ser j4 = (M, Mr1, 1, D, D, 0, 0).

166

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

A taxa de transio do estado i para j1, j2, j3 ou j4 M. ii) i = (0, 0, M+Mr, Ae, Ae, f1, f2) com M+Mr 2, 0 < f1 < n1 e 0 < f2 < n2, dois eventos podem ocorrer: o final de um reparo ou a mudana de fase de reparo de uma das mquinas que est sendo consertada. Se ocorrer o final de um reparo, o nmero de mquinas quebradas diminui de uma unidade, o nmero de mquinas na linha de produo aumenta de uma unidade e a fase de reparo do servidor que terminou o reparo passa a ser zero. Caso contrrio, apenas o reparo que mudou de fase acrescido de uma unidade. Assim, se a ao escolhida : 1) a = AA mantm ativados ambos os servidores. Neste caso, existem as seguintes possibilidades: servidor 1 pode acabar o reparo da mquina, s1 = Ao e f1 = 0, e o estado do sistema passa a ser j1 = (1, 0, M+Mr1, Ao, Ae, 0, f2) com taxa de transio ij(a) = (1p1f1)1f1; o servidor 2 pode terminar o reparo, s2 = Ao e f2 = 0, e o estado do sistema passa a ser j3 = (1, 0, M+Mr1, Ae, Ao, f1, 0) com taxa de transio (1p2f2)2f2 ; o reparo executado pelo servidor 1 pode mudar de fase, e o estado do sistema passa a ser j2 = (0, 0, M+Mr, Ae, Ae, f1+1, f2) com taxa de transio ij(a) = p1f11f1; o reparo executado pelo servidor 2 pode mudar de fase, e o estado passa a ser j4 = (0, 0, M+Mr, Ae, Ae, f1, f2+1) com taxa de transio p2f22f2. 2) a = AN mantm ativado o servidor 1 e desativa-se o servidor 2, s2 = D e f2 = 0. Ento, existem as seguintes possibilidades: o reparo executado pelo servidor 1 termina, s1 = Ao e f1 = 0, e o estado passa a ser j5 = (1, 0, M+Mr1, Ao, D, 0, 0) com taxa de transio ij(a) = (1-p1f1)1f1; reparo executado pelo servidor 1 muda de fase e o estado passa a ser j6 = (0, 0, M+Mr, Ae, D, f1+1, 0) com taxa de transio p1f11f1. 3) a = NA desativa-se o servidor 1, s1 = D e f1 = 0, e mantm ativado o servidor 2. Ento, existem as seguintes possibilidades: reparo executado pelo servidor 2 termina, s2 = Ao e f2 = 0, e o estado passa a ser j7 = (1, 0, M+Mr1, D, Ao, 0, 0) com taxa de transio (1p2f2)2f2; reparo executado pelo servidor 2 muda de fase e o estado passa a ser j8 = (0 0, M+Mr, D, Ae, 0, f2+1) com taxa de transio p2f22f2. O custo esperado entre decises Ci(a) composto por todos os custos acarretados ao sistema. Assim, Ci(a) = Cl(i,a) + Ce(i,a) + Ch(i,a) + Cm1(i,a) + Cm2(i,a) + Ca1(i,a) + Ca2(i,a) (4.1)

onde Cl(i,a), Ce(i,a), Ch(i,a), Cm1(i,a), Cm2(i,a), Ca1(i,a) e Ca2(i,a) so, respectivamente, os custos esperados de perda de produo, de reparo, de espera no sistema de reparo, de manter o servidor 1 ativado, de manter o servidor 2 ativado, de ativar o servidor 1 e de ativar o servidor 2 incorridos at o prximo instante de deciso, dado que o estado i = (m, r, q, s1, s2, f1, f2) E e a ao a A(i) foi adotada. Suponha que o sistema est no estado i = (m, r, q, s1, s2, f1, f2). Se q > Mr, isto significa que faltam q Mr mquinas na linha de produo. Ento, tem-se que o custo esperado de perda de produo dado pelo produto entre a taxa de perda de produo, o nmero de mquinas que faltam na linha de produo e o tempo esperado at a prxima deciso. Ou seja,

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

167

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

l ( q M r ) i ( a ), se q > M r Cl ( i , a ) = se 0 q M r 0 , Se q > 0 e a ao escolhida a = AN, ou seja, ativa-se o servidor 1 e desativa-se o servidor 2, o custo esperado de reparo dado pelo produto entre a taxa de execuo de reparo do servidor 1 e o tempo esperado at o prximo instante de deciso. Analogamente, se q > 0 mas escolhe-se a ao a = NA, o custo esperado de reparo o produto entre a taxa de execuo de reparo do servidor 2 e o tempo esperado at o prximo instante de deciso. Se q > 1 e a = AA, tem-se que o custo esperado de reparo dado pelo produto entre a taxa de execuo de reparo do servidor 1 somada a taxa de reparo do servidor 2 e o tempo esperado at o prximo instante de deciso. Finalmente, se q = 1 e a ao escolhida a = AA, ou seja, ambos os servidores so ativados, tem-se que o custo esperado de reparo o produto entre a taxa de execuo de reparo do servidor que est realizando o reparo e o tempo esperado at o prximo instante de deciso. Ento, e1 i ( a ), e ( a ), Ce ( i , a ) = 2 i ( e1 + e2 ) i ( a ), 0 , se ( q > 0 e a = AN ) ou ( q = 1 e a = AA e f 1 > 0 ) se ( q > 0 e a = NA ) ou ( q = 1 e a = AA e f 2 > 0 ) se q > 1 e a = AA caso contrrio

Se q > 0, ou seja, se existem mquinas quebradas, o custo mdio de espera no sistema de reparo dado pelo produto entre a taxa de espera no sistema, o nmero de mquinas quebradas no sistema de reparo (incluindo a mquina em reparo) e o tempo esperado at o prximo instante de deciso. Assim, tem-se que: h q i ( a ), se q > 0 Ch ( i , a ) = se q = 0 0, Se a ao escolhida a = AA ou a = AN, ou seja, ativa-se o servidor 1, o custo esperado de manter o servidor 1 ativado dado pelo produto entre a taxa de manter o servidor 1 ativado cm1 e o tempo esperado at o prximo instante de deciso. Logo, c ( a ), se a = AA ou a = AN C m1( i , a ) = m1 i caso contrrio 0, Se a ao escolhida a = AA ou a = NA, o custo esperado de manter o servidor 2 ativado dado pelo produto entre a taxa de manter o servidor 2 ativado cm2 e o tempo esperado at o prximo instante de deciso. Logo, c ( a ), se a = AA ou a = NA Cm 2 ( i ,a ) = m 2 i caso contrrio 0, O custo de ativar o servidor 1, Ca1(i,a), assume o valor fixo ca1 quando o servidor 1 est desativado e a ao escolhida prescreve sua ativao. Ou seja, c , se s1 = D e ( a = AA ou a = AN ) C a1 ( i , a ) = a1 caso contrrio 0 ,

168

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

Analogamente, o custo de ativar o servidor 2, Ca2(i,a), assume o valor fixo ca2 quando o servidor 2 est desativado e a ao escolhida prescreve sua ativao. Ento, c , se s 2 = D e ( a = AA ou a = NA ) Ca 2 ( i ,a ) = a 2 caso contrrio 0 ,

3. Processo Markoviano de Deciso com Informao Parcial Neste trabalho, para modelar o sistema em estudo, quando no possvel observar as fases das distribuies PH, utilizam-se processos markovianos de deciso com informao parcial. Nestes processos, o espao de estados E particionado em subconjuntos {E1, E2,..., Ek}, onde
i =1

U Ei = E e Ei Ej = se i j, tal que no instante de deciso a nica informao

disponvel o subconjunto Ej no qual o estado est contido. Observa-se Es, s = 1, 2,..., k, e escolhe-se uma ao, ou seja, para todos os estados pertencentes ao subconjunto Es observado a mesma deciso tomada. Isto segue para todos os subconjuntos de estados pertencentes partio. A regra de deciso que satisfaz esta condio chamada markoviana admissvel ou, simplesmente, admissvel. Uma regra de deciso markoviana depende apenas do estado corrente, ou seja, ela determina, para cada estado i E, que ao a A(i) deve ser escolhida se o estado i for observado no instante de deciso t. Logo, em cada instante de deciso t, a regra de deciso t um elemento do conjunto , onde o conjunto de regras de deciso markovianas aleatrias dado por: = : E A [ 0 , 1 ]

a A( i )

i ( a ) = 1, i E

e denota-se por F o conjunto de todas as regras de deciso markovianas determinsticas:

F = { f : E A f ( i ) A( i ), i E } ,

onde A= UiE A ( i ) . Uma regra de deciso aleatria admissvel e uma regra de deciso admissvel determinstica f so, respectivamente, elementos dos conjuntos:

A = { i ( a ) = j ( a ), a As se i , j E s para s { 1, 2 ,..., k }} e
FA = { f F f ( i ) As , f ( j ) As , f ( i ) = f ( j ), se i , j E s para s { 1, 2 ,..., k }}

onde o conjunto de aes possveis A= I A ( i ) .

iE s

Alm das polticas estacionrias consideradas no modelo com informao completa, no modelo com informao parcial deve-se considerar as polticas markovianas peridicas. As polticas markovianas peridicas formam uma subclasse das polticas markovianas definida por: C p = {R C M R = ( 1 ,..., L ) , u ; u = 1, 2 ,..., L; L = 1, 2 , 3 ,...}

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

169

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

onde ( 1, 2,, L ) uma poltica que usa a regra de deciso u , u {1, 2,..., L}, em cada instante de deciso t, u = t (mod L) se t (mod L) > 0 e u = L se t (mod L) = 0, e CM a classe das polticas markovianas. L chamado perodo da poltica. Note que se L = 1 a poltica no realmente peridica, mas uma poltica estacionria. Por todo o texto, u ser chamado de passo do perodo. 3.1 Algoritmo HL Para otimizar os processos markovianos de deciso com informao parcial, Hordijk & Loeve (1994) propem um algoritmo (Algoritmo HL) baseado no Algoritmo de Iterao de Valores. Ao contrrio dos processos markovianos de deciso a tempo contnuo, no se pode garantir a existncia de uma poltica markoviana de custo mnimo para um processo markoviano de deciso com informao parcial pois, como estes processos so um caso particular dos processos markovianos de deciso parcialmente observveis, a poltica tima pode depender de todo o histrico do processo. Portanto, este algoritmo busca uma boa poltica dentro da classe das polticas admissveis. Denotando-se por P(f) = [p ij (f)] i,j E , a matriz de transio do processo e c(f) o vetor do custo at a prxima transio quando a regra de deciso f usada, e V o vetor do custo esperado total mnimo, o Algoritmo HL dado por: Algoritmo HL Escolher uma regra de deciso determinstica admissvel f 1 e > 0 ; Escolher o vetor das probabilidades iniciais x1 e V 1 N ; Para n = 1, 2, 3,... fazer { Para cada s, s = 1, 2,..., k, calcular N g n ( s , a ) xin Ci ( a ) + pij ( a ) V jn , a As . i s j =1 Para cada s, s = 1, 2,..., k, e para i Es se f n(i) minimiza g n ( s , .) ento f n +1 ( i ) f n ( i ); seno f n +1 ( i ) a para algum a arg minb As g n ( s ,b );
x n +1 x n P( f
n +1 n +1

);

V ) + P( f n +1 ) V n . c( f Verificar se critrio de parada atingido.

n +1

} Critrio de Parada: o algoritmo pra se para algum L e m = n L assegurado que:

f m+ L = f
m m

, < e

m+ L

span ( V m + L V m ) < ;

170

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

onde span(V) = maxi Vi mini Vi, para um vetor V, e ||x|| a norma de x, tal que ||x|| < para x N significa que |xi| < , i. O Algoritmo HL foi proposto para modelos markovianos de deciso a tempo discreto. Para utiliz-lo em modelos a tempo contnuo, aplicou-se o mtodo de uniformizao apresentado em Tijms (1994). Dois problemas se apresentam quando se consideram polticas peridicas em modelos a tempo contnuo: Ao se aplicar o mtodo da uniformizao, a equao funcional de um processo a tempo contnuo sob uma poltica markoviana peridica R = ( f 1 , f 2 ,..., f L 1 , f L ) dada por: ~ ~( R ) + P V =~ c ( R ) g ( R)V onde: ~ c ( R ) = c(f 1) + P(f 1)c(f 2) + ... + P(f 1)P(f 2) ... P(f L-1)c(f L) ~( R ) = (f 1) + P(f 1) (f 2) + ... + P(f 1)P(f 2) ... P(f L-1) (f L) ~ P( R ) = P(1) P(2) ... P( L) Esta equao funcional pode ser reduzida quela do processo original somente se os ~( R ) forem iguais para todos os estados do processo. Neste caso, tempos esperados a equao anterior praticamente se reduz quela do tempo discreto. Testes computacionais confirmaram este fato. Quando existem transies no observveis, ou seja, transies entre estados de um mesmo subconjunto da partio do espao de estados, pode ser invivel na prtica a implementao da poltica pela impossibilidade de se saber em que passo do perodo o sistema se encontra. No modelo apresentado neste trabalho, tais transies ocorrem quando h mudanas de fase em uma distribuio PH inserida no modelo. 3.2 Heurstica para obteno de uma poltica admissvel estacionria Para evitar os problemas apresentados na Seo 3.1, se a poltica obtida pelo Algoritmo HL for peridica, ou seja, se R = ( f 1 , f 2 ,..., f L 1 , f L ) , prope-se a seguinte heurstica: extraem-se todas as polticas estacionrias possveis a partir das regras de deciso da poltica peridica obtida, ou seja, f 1 , f 2 ,..., f L 1 , f L ; calcula-se o custo de cada uma destas polticas estacionrias; comparam-se os custos e escolhe-se a poltica estacionria caracterizada pela regra de deciso de menor custo. A poltica assim obtida admissvel e ser adotada como uma soluo sub-tima para o problema.

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

171

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

4. Modelo com Informao Parcial Considera-se um modelo com informao parcial em que nos instantes de deciso as informaes disponveis so o nmero de mquinas na linha de produo, o nmero de mquinas de reserva, o nmero de mquinas quebradas, o estado do servidor 1 e o estado do servidor 2. No se tem nenhuma informao sobre as fases de reparo do servidor 1 e as fases de reparo do servidor 2. Para este modelo consideram-se somente polticas admissveis, ou seja, polticas que determinam a mesma ao para todos os estados de um mesmo subconjunto da partio. Analogamente ao modelo anterior, neste modelo com informao parcial existe a possibilidade de utilizar os dois servidores, lento e rpido, simultaneamente. Ento, quando o sistema muda de um conjunto da partio para outro deve-se escolher entre no utilizar nenhum servidor, utilizar o servidor lento, o servidor rpido (supostamente mais caro) ou ambos os servidores. Portanto, o espao de estados E particionado em subconjuntos E(m,r,q,s1,s2) tal que, para m = 0, 1,..., M; r = 0, 1,..., Mr; q = 0, 1,..., M+Mr; s1 {D, Ao, Ae}; s2 {D, Ao, Ae}, tem-se que: E(m,r,q,s1,s2) = { (m,r,q,s1,s2,f1,f2) E / m = m, r = r, q = q, s1 = s1, s2 = s2} Neste modelo com informao parcial, consideram-se os mesmos custos do modelo com informao completa. Para se obter a poltica admissvel de custo mnimo utiliza-se o Algoritmo HL. 5. Exemplo Nesta seo analisam-se os modelos descritos nas Sees 2 e 4 considerando-se os seguintes parmetros para o sistema modelado: mquinas na linha de produo (M = 8) mquinas de reserva (Mr = 4) quebra de cada mquina: tempo mdio = 3,33 = 0,3 reparo tipo 1: tempo mdio = 0,5; desvio padro = 0,25

11 = 12 = 13 = 14 = 8 p11 = p12 = p13 = p14 = 1 reparo tipo 2: tempo mdio = 0,25; desvio padro = 0,1
n1 = 4 n2 = 7

21 = 22 = 23 = 24 =25 = 26 = 27 = 25 p21 = p22 = p23 = p24 = p25 = 1, p26 = 0,25, p27 = 1

e2 = 400 ca1 = ca2 = 10 cm1 = cm2 = 0

constantes de custo: l = 200 h = 10 e1 = 100

Estes parmetros foram considerados por j terem sido utilizados em trabalhos anteriores do autores (Carvalho, 1987; Rodrigues et al., 1994). Considerando-se os dados anteriores, no modelo com informao completa, o custo mdio do sistema a longo prazo foi de 181,98 sob a poltica tima apresentada na Tabela 1.

172

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

Tabela 1 Poltica tima de controle para o modelo com dois servidores

q 0 0 1 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 4,...,12 Estado do servidor 1 (s1) D Ao D ou Ao D Ao Ae Ae Ae D D ou Ao Ae Ae Ae Ae Ae Ae D ou Ao Ae Ae Ae --Estado do servidor 2 (s2) ------Ae Ae D Ao Ao D --D Ao Ao Ae Ae Ae --D D Ao ou Ae --Fase observada do reparo do servidor 1 (f1) ----0 0 0 --1 2,...,4 0 0 --1 2,...,4 1 2,...,4 2,...,4 0 1, 2 3, 4 ----Fase observada do reparo do servidor 2 (f2) ----0,...,2 3,...,7 3,...,7 0 0 0 0 --0 0 0 --1 2,...,7 --0 0 ----Ao NN AN AN NA AA AN AA AN AN AA AN AA AN AA AN AA AA AA AN AA AA

O smbolo --- utilizado nas tabelas significa que a ao escolhida independe do valor da varivel correspondente coluna.. Por exemplo, na Tabela 1 se existem de 4 a 12 mquinas quebradas, independente dos valores de s1, s2, f1 e f2, a ao escolhida AA, ou seja, ativar ambos os servidores. No modelo com informao parcial, o custo mdio mnimo obtido foi de 182,63 sob a poltica apresentada na Tabela 2. Como esta poltica estacionria, no foi necessrio utilizar a heurstica apresentada na Seo 3.2 deste trabalho.

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

173

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

Tabela 2 Poltica obtida para o modelo com informao parcial

q 0 0 1 1 1 1 1 2 2 2 2 2 2 3 3 3 4,...,12 Estado do servidor 1 (s1) D Ao D D Ao Ao Ae D D Ao Ao Ae Ae D ou Ao Ae Ae --Estado do servidor 2 (s2) D D ou Ao D ou Ao Ae D ou Ao Ae --D Ao ou Ae D Ae D ou Ao Ae --D Ao ou Ae --Ao NN AN AN NA AN AA AN AN AA AN AA AN AA AA AN AA AA

Na Tabela 3 apresenta-se uma comparao de medidas de desempenho obtidas no modelo com informao completa e no modelo com informao parcial sob as polticas apresentadas nas Tabelas 1 e 2. Tabela 3 Comparao de medidas de desempenho dos modelos
Valores mdios dos parmetros Mquinas na produo Mquinas quebradas Mquinas na reserva Uso do reparo tipo 1 Uso do reparo tipo 2 Ativao do servidor 1 Ativao do servidor 2 Custo de perda de produo Custo de espera no reparo Custo do reparo tipo 1 Custo do reparo tipo 2 Custo de troca CUSTO TOTAL Informao Completa 7,98 1,62 2,40 81,86 % do tempo 18,91% do tempo 0 0,392 vezes por unidade de tempo 4,32 16,24 81,86 75,64 3,92 181,98 Informao Parcial 7,97 2,18 1,85 84,87% do tempo 17,31% do tempo 0 0,305 vezes por unidade de tempo 6,96 18,52 84,87 69,23 3,05 182,63

174

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

A poltica descrita na Tabela 2 acarreta um custo 0,36% maior que o obtido ao se aplicar a poltica da Tabela 1. Este aumento se deve ao fato de no modelo com informao parcial, por no se levar em conta a fase do reparo, utilizou-se mais o servidor 1. Este servidor, embora mais barato, mais lento e por isto aumentou-se o nmero de mquinas quebradas e, conseqentemente, o custo de perda de produo e o custo de espera no sistema de reparo. 5.1 Anlise da influncia dos parmetros nos custos Nesta seo analisam-se os modelos descrito nas Sees 2 e 4 variando-se alguns parmetros considerados na Seo 6.1. Inicialmente, variou-se o nmero de mquinas de reserva. Na Tabela 4 so apresentados os custos obtidos para ambos os modelos quando se variou o nmero de mquinas de reserva de zero (sistema sem mquinas de reserva) at oito (nmero de maquinas de reserva igual ao nmero de mquinas na linha de produo). Tabela 4 Custos incorridos variando-se o nmero de mquinas de reserva
Mr 0 1 2 3 4 5 6 7 8 Custo Total Informao Completa 342,44 249,04 208,23 190,30 181,98 178,23 176,80 176,31 176,18 Custo Total Informao Parcial 342,44 249,94 212,17 190,96 182,63 178,32 177,17 176,60 176,41 Diferena % -----0,36 1,89 0,35 0,36 0,05 0,21 0,16 0,13

Na Tabela 5 apresentam-se os custos obtidos quando se considerou o sistema com quatro mquinas de reserva e variou-se a taxa de quebra das mquinas. Tabela 5 Custos incorridos variando-se a taxa de quebra das mquinas
0,1 0,2 0,25 0,3 0,35 0,4 0,5 0,6 0,7 0,8 Custo Total Informao Completa 45,90 105,12 142,03 181,98 223,83 267,28 359,35 462,21 581,77 713,31 Custo Total Informao Parcial 45,91 105,36 142,17 182,63 225,01 268,88 361,05 462,99 581,92 713,31 Diferena % 0,02 0,23 0,10 0,36 0,53 0,60 0,47 0,17 0,03 -------

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

175

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

Como a maior diferena observada entres os custos obtidos para ambos os modelos foi quando se considerou o sistema com duas mquinas de reserva, realizou-se um experimento variando-se a taxa de quebra de mquinas para este sistema. Os resultados obtidos esto apresentados na Tabela 6. Tabela 6 Custos incorridos variando-se a taxa de quebra quando se dispe de somente duas mquinas de reserva
0,2 0,25 0,3 0,35 0,4 0,5 Custo Total Informao Completa 121,88 163,94 208,23 254,62 302,57 404,64 Custo Total Informao Parcial 122,21 166,20 212,17 257,13 304,22 405,42 Diferena % 0,27 1,01 1,89 0,99 0,55 0,19

Dos exemplos apresentados, aquele em que se obteve a maior diferena entre os custos obtidos para o modelo com informao completa e para o modelo com informao parcial foi quando se considerou o sistema com duas mquinas de reserva e taxa de quebra das mquinas igual a 0,3. Na Tabela 7 so apresentadas as medidas de desempenho para este sistema. Tabela 7 Comparao de medidas de desempenho quando se considera Mr = 2 e = 0,3
Valores mdios dos parmetros Mquinas na produo Mquinas quebradas Mquinas na reserva Uso do reparo tipo 1 Uso do reparo tipo 2 Ativao do servidor 1 Ativao do servidor 2 Custo de perda de produo Custo de espera no reparo Custo do reparo tipo 1 Custo do reparo tipo 2 Custo de troca CUSTO TOTAL Informao Completa 7,88 1,10 1,01 68,2 % do tempo 25,04 % do tempo 0 0,579 vezes por unidade de tempo 23,04 11,05 68,20 100,15 5,79 208,23 Informao Parcial 7,85 1,22 0,93 69,3 % do tempo 24,2 % do tempo 0 0,326 vezes por unidade de tempo 30,56 12,24 69,30 96,81 3,26 212,17

Observando-se os custos incorridos com os diversos experimentos realizados, nos quais vrios parmetros foram variados, nota-se que as diferenas no foram significativas, sendo que no mximo o custo incorrido com o modelo de informao parcial foi 1,89% maior que o incorrido com o modelo com informao total.

176

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

6. Comentrios O tratamento matemtico analtico e computacional de sistemas onde os eventos relevantes ocorrem em intervalos de tempos no exponenciais so muitos complexos. Para contornar algumas dificuldades de modelagem prope-se a utilizao da distribuio PH com configurao de Cox para modelar estes tempos. A distribuio PH com configurao de Cox uma mistura de distribuies exponenciais com diferentes mdias. A grande vantagem da utilizao destas distribuies o fato de elas aproximarem bem qualquer varivel aleatria contnua positiva. Por ser a distribuio PH construda a partir de componentes exponenciais (fases) pode-se modelar sistemas por processos markovianos de deciso, bastando para isto supor que as fases so observveis e tomar as decises nos instantes de final de fases. Em sistemas reais dois casos podem ocorrer: as fases so realmente observveis (por exemplo, no sistema analisado neste trabalho, o reparo seria executado em duas etapas: 1 diagnstico do defeito e reparo menores e 2 reparos maiores) ou as fases so um artifcio matemtico para aproximar distribuies no exponenciais negativas. No primeiro caso, a hiptese de se observar as fases realstica mas no segundo no corresponde realidade. A questo que se coloca, portanto, como tomar decises em final de fases que no so observveis. A soluo proposta neste trabalho modelar o sistema por um processo markoviano de deciso com informao parcial e utilizar o algoritmo apresentado em Hordijk & Loeve (1994) para obteno da poltica admissvel de custo mnimo. Quando esta poltica peridica, prope-se uma heurstica para obteno de uma poltica admissvel estacionria. Deste modo, neste trabalho, considerou-se um sistema que foi modelado admitindo-se que as fases de reparo so observadas modelo com informao completa e que estas no so observadas modelo com informao parcial. Testes computacionais foram realizados utilizando dados numricos e observou-se que, no modelo com informao parcial, o custo mdio a longo prazo do sistema teve um aumento de no mximo 1,89% quando comparado com o custo obtido no modelo com informao completa. Este aumento pode ser dependente dos dados considerados e se deve ao fato que as fases no so observveis. Finalmente salienta-se que para os experimentos computacionais realizados, utilizou-se uma biblioteca de classes desenvolvida por um dos autores em linguagem C++. Talvez seja interessante comentar que para obteno dos parmetros das distribuies PH vrias autores tm utilizado o mtodo dos momentos, o mtodo da mxima verossimilhana e o mtodo da minimizao de distncias. Os procedimentos baseados em ajustes de momentos podem ser divididos em dois grupos distintos: o mtodo dos momentos tradicional onde se utiliza os momentos de baixa ordem, mdia e desvio padro (Tijms, 1994 e Lima, 1997), e as tcnicas nas quais momentos de mais alta ordem so ajustados (Carvalho, 1991). O mtodo dos momentos pode ser usado tanto para estimar parmetros a partir de dados amostrais como para obter parmetros para uma distribuio PH que aproxime uma distribuio contnua e positiva dada. O mtodo da mxima verossimilhana foi empregado em Carvalho (1991) para estimao de parmetros a partir de dados amostrais e em Bobbio & Cumani (1992) para obteno de parmetros a partir de uma distribuio dada, para isso, esta referncia se serve da gerao de amostras sistemticas. Em Miranda (1996) proposto um mtodo de minimizao de distncia estocstica para obteno dos parmetros de uma distribuio PH a partir de uma distribuio dada.

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001

177

Rodrigues & Carvalho Um modelo markoviano de deciso para a otimizao de um sistema de manuteno com tempos de reparo coxianos e fases no observveis

O problema da obteno de parmetros das distribuies PH foge do escopo deste trabalho. Assim, para a construo dos modelos apresentados, optou-se por supor conhecidos os parmetros e fornec-los aos modelos. Agradecimentos Agradecemos aos revisores pelas sugestes que melhoraram a apresentao deste trabalho. Referncias Bibliogrficas (1) Bobbio, A. & Cumani, A. (1992). ML estimation of the parameters os a PH distribution in triangular canonical form. Computer Performance and Evaluation, 33-48. (2) Carvalho, S.V. (1987). Controle da taxa de reparo em um sistema de manuteno com mquina de reserva. Tese (Doutorado) INPE-4337-TDL/292, Instituto Nacional de Pesquisas Espaciais, So Jos dos Campos. (3) Carvalho, S.V. (1991). Modles stochastiques appliqus a loptimisation de la performance et de la sret de fonctionnement des systmes de production. Tese (Doutorado) No. 1032, Universit Paul Sabatier, Toulouse. (4) inlar, E. (1975). Introduction to Stochastic Processes. Prentice-Hall, Inc., New Jersey. (5) Cumani, A. (1982). On the canonical representation of homogeneous Markov processes modeling failure-time distributions. Microelectronics and Reliability, 22, 583-602. (6) Hordijk, A. & Loeve, J.A. (1994). Undiscounted Markov decision chain with partial information; an algorithm for computing a locally optimal periodic policy. ZOR-Mathematical Methods of Operations Research, 40, 163-181. (7) Lima, L.G.F. (1997). Modelagem e validao estatstica do uso de mtodos de estgio em modelos markovianos. Dissertao (Mestrado), Instituto Tecnolgico de Aeronutica, So Jos dos Campos. (8) Miranda, M.N. Aproximao de distribuies de probabilidades no exponenciais por distribuio do tipo fase. Dissertao (Mestrado), Instituto Nacional de Pesquisas Espaciais, So Jos dos Campos. (9) Neuts, M.F. (1981). Matrix-geometric Solutions in Stochastic Models. John Hopkins, Baltimore. (10) OCinneide, C.A. (1991). Phase-type distributions and invariant polytopes. Advances in Applied Probability, 23, n. 3, 515-535. (11) Rodrigues, R.C.M. (1990). Controle de um sistema de manuteno quando os tempos de falha e reparo tm distribuio do tipo fase. Dissertao (Mestrado) INPE-5104TDL/418, Instituto Nacional de Pesquisas Espaciais, So Jos dos Campos. (12) Rodrigues, R.C.M.; Morais, P.R. & Carvalho, S.V. (1994). Um modelo markoviano para o controle da taxa de reparo de um sistema de manuteno com um nico servidor. Publicado nos anais do XIV Encontro Nacional de Engenharia de Produo (ENEGEP), 2, 745-750, Joo Pessoa, PB. (13) Tijms, H.C. (1994). Stochastic Modelling and Analysis: A Computational Approach. Wiley, New York.

178

Pesquisa Operacional, v.21, n.2, p.159-178, julho a dezembro de 2001