INVESTIGACION OPERACIONAL II

PROBLEMAS DE CADENAS DE MARKOV

PROF. JAVIER ARIAS OSORIO

En logística Hospitalaria

Gestión de inventarios farmacéuticos

Por otro lado, Lawrence, Asoo, y Selcuk [4], analizan la conveniencia de la externalización de gestión de inventarios de productos no
críticos mediante la comparación de dos escenarios de acción, el primero con una gestión interna de tres eslabones, y el segundo, enfocado
a la consolidación de funciones de almacenamiento y abastecimiento operado por un distribuidor externo en una red de dos eslabones. En
ambos casos se implementa una política de inventario de revisión periódica (OUL) y como estrategia de solución se desarrollan heurísticas
viables, encontrando en la implementación de la externalización, un ahorro en los costos. Por otro lado, de manera análoga, Yeung, T. et
al. [5], presentan una propuesta de modelo de inventarios, por medio de un sistema desarrollado como una cadena de Markov, con el
objetivo de minimizar el costo de mantenimiento de inventarios en el sistema. Para su desarrollo y solución es empleado un algoritmo
heurístico con el que se consigue una reducción de aproximadamente del 45% en el costo total de mantenimiento de inventarios.

Programación de admisiones
Garg, L. et al. [31], dividen el flujo de pacientes en fases de atención para modelar el proceso de programación de admisión y
planificación de recursos como una cadena de Markov de tiempo discreto, mediante la inclusión de covariantes dependientes del tiempo.

De manera similar, en la programación de pacientes para tomografías computarizadas en un centro de diagnóstico, Gocgun, Y. et al. [32],
estudian un proceso de decisión de Markov multinivel de horizonte finito, con el objetivo de determinar una política de planificación
óptima en la que se maximice el total de ingresos netos esperados.

Atención de salud domiciliaria

En un entorno estocástico, Koeleman, P.M. et al. [39], estudian el problema de la planificación de personal modelando el sistema como un
proceso de decisión de Markov en el que se incluye la duración de tratamiento por paciente, el modelo se considera lo suficientemente
flexible para adaptarse a los diferentes perfiles de los pacientes y servicios. En experimentos se demuestra que una heurística trunk
reservation proporciona muy buenos resultados para ser utilizados en la práctica. De otro modo, Carello, G. & Lanzarone, E. [40],
desarrollan un modelo de asignación robusto con restricciones de cardinalidad, que tiene como objetivo reducir la utilización de horas
extras del personal de atención. Frente al mismo problema a gran escala, Lanzarone, E. & Matta, A. [41], realizan la búsqueda de una
política de gestión óptima con el fin de minimizar la utilización de horas extras incurridas por las enfermeras, enfocados en la probabilidad
de que la carga de trabajo supere la capacidad por enfermera.

Ejercicio 1

Escribir una matriz de transición para una cadena de Markov que tenga un espacio de estados S =1, 2, 3, 4, 5,
6, 7, 8, 9, donde los estados 1, 4 y 7 forman una clase que tiene periodicidad 2, los estados 2, 3 y 5 forman una
clase aperiódica, el estado 9 es absorbente y el resto de los estados son transitorios.

PROBLEMA 1

Dos switches tienen las posiciones de ON y OFF. En el día n-ésimo, cada switch actúa independientemente y
estará en ON con probabilidad
[1+ número de switches en ON el día (n-1)-ésimo] / 4

En el límite, ¿qué proporción de días están ambos en ON? ¿Y ambos en OFF?

PROBLEMA 2

Un sistema está formado por dos componentes dispuestas en paralelo, es decir, el sistema funciona si al menos
funciona una de las componentes. Cada hora se observa el sistema puesto que existe la posibilidad de que
alguna componente se haya estropeado, en cuyo caso se manda al servicio de reparación. La probabilidad de
que un componente que está funcionando al observar el sistema siga funcionando en la siguiente observación es
de 0.9. Sin embargo, si se ve un componente que está averiado, se envía a reparar y la probabilidad de que esté
funcionando ya en la siguiente hora es de 0.6.

Nos interesa estudiar el funcionamiento del sistema. Supongamos que tanto la duración de las componentes
como los tiempos de reparación de las mismas tienen distribución exponencial.

a) Plantear el problema mediante un proceso estocástico definiendo expresamente el proceso. Razonar si el

proceso definido es una cadena de Markov de parámetro discreto. Describir el espacio de estados.
b) Sabiendo que inicialmente las dos componentes funcionan, calcular la probabilidad de que el sistema no esté
funcionando 3 horas después.
c) Estudiar si se verifican las condiciones para la existencia de distribución estacionaria. En caso afirmativo,
plantear el sistema de ecuaciones que habría que resolver y obtener la distribución límite.
d) Obtener la probabilidad de que el sistema funcione en estado estacionario.

PROBLEMA 3

Se tiene una población con 300.000 personas inválidas de edad X y 700.000 activos de la misma edad. No
existen nacimientos ni migraciones.

Se estima que de todas las personas activas de cualquier edad el 70% sigue en esa condición a la edad X+1, el
20% se invalida y el resto fallece. De los inválidos de edad X se estima que el 50% siga en ese estado, que el
20% se rehabilite y que el resto fallezca.

Determine la matriz de probabilidades de transición.

a. ¿Qué proporción de los activos hoy serán activos dentro de 3 años?
b. ¿Cuál es la probabilidad de que una persona fallezca como inválido a la edad X+5? ¿Y qué cantidad de
personas se espera que fallezcan como inválidos entre X y X+5?
c. ¿Qué proporción de los inválidos se espera que fallezca como activos y cuál como inválidos?
1. Al principio de cada año mi automóvil esta en buen, regular o mal estado. Un buen automóvil será bueno al
principio del año siguiente, con probabilidad 0.85, regular con probabilidad 0.10 y mal con probabilidad
0.05. Un automóvil regular estará regular al principio del año siguiente con probabilidad 0.70 y mal con
probabilidad 0.30. Cuesta 6000 dólares comprar un buen automóvil, uno regular se puede conseguir por
2000 dólares; uno malo no tiene valor de venta, y se debe reemplazar de inmediato por uno bueno. Cuesta
1000 dólares al año el funcionamiento de un buen automóvil, y 1.500 dólares el de uno regular. ¿Debo
reemplazar mi automóvil tan pronto como se vuelve regular o debo esperar hasta que se descomponga?.
Suponga que el costo de funcionamiento de un automóvil durante un año depende del tipo vehículo que se
tiene a la mano al principio del año (después de llegar cualquier auto nuevo, sí es el caso).

2. Una empresa tiene un programa de adiestramiento que contempla dos fases, la fase 1 de 3 semanas de
adiestramiento en aula. la fase 2 de 3 semanas de apredizaje ya trabajado bajo supervicion. estudios
realizados por la empresa han determinado que de la fase de aula 60% pasan a la fese de aprendizaje y 40%
abandonan completamente el programa. de la fase de aprendizaje 70% se gradúan de supervisores 10%
repiten la fase 2 y 20% quedan fuera del programa. la compañía se ha fijado un plazo de 9 semanas. cuantos
supervisores espera graduar la compañía se tiene actualmente 45 personas en fase de aula y 21 personas en
fase de aprendizaje. las personas quedan fuera del programa nuca vuelve.

3. Cada familia norteamericana se puede clasificar como habitante de zona urbana, rural o suburbana. Durante
un año determinado, el 15% de todas las familias urbanas se cambian a una zona suburbana y el 5% se
cambia a una zona rural. También, el 6% de la familia suburbanas pasan a zona urbana y el 4% se mudan a
 zona rural. Por ultimo, el 4% de las familias rurales pasan a una zona urbana y el 6% se mudan a una zona
suburbana.

a) Si una familia actualmente vive en una zona urbana ¿Cuál es la probabilidad que después de dos
años viva en una zona urbana?¿en zona rural?
b) Supongamos que en la actualidad el 40% de las familias viven en zona urbana, el 35% en zona
suburbana y el 25% en zona rural. Después de dos años ¿qué porcentajes de las familias
norteamericanas vivirá en zona urbana?
c) ¿Qué problemas se pueden presentar si este modelo se usara para predecir la distribución futura de
la población en los Estados Unidos?

4. Se tiene la siguiente matriz transición

0 0 1 0 0 0
0 0 0 0 0 1
0 0 0 0 1 0
1/4 ¼ 0 1/2 0 0
1 0 0 0 0 0
0 1/3 0 0 0 2/3

a) ¿Cuáles estados son transitorios?

b) ¿Cuáles estados son recurrentes?
c) Identifique todos los conjuntos cerrados de estados
d) ¿Es ergódica esta cadena? (demuestre)
e) Defina los estados de una cadena de Markov
f) ¿A que se llama distribución de estado estable?