Ejercicios Cadenas de Markov

Javier Parra Peña

Septiembre de 2017

1. Cadenas de Markov
1.1. Población, adaptado de Winston 2005, basado en Babich (1992)
La probabilidad de que un colombiano muera en función de su edad está dada en la tabla 1. Por ejemplo un
individuo de un año tiene una probabilidad de 0.000383 de morir antes de alcanzar su segundo año. Suponga que
cada año nacen 662883 niños y nadie sobrevive por encima de los 110 años de edad.

1. ¿Cuál es el promedio de edad de las personas en Colombia?

2. Suponga que las personas entre los 18 y los 62 años trabajan y las mayores de 62 están retiradas. Si se quiere
pagar a cada retirado un valor de 10 millones de pesos por año ¿Cuánto debe pagar cada trabajador para
asegurar que durante cada año el plan de retiro sea autofinanciable?

Edad Probabilidad de muerte

0 0.007557
1-4 0.000383
5-9 0.000217
10-14 0.000896
15-24 0.001267
25-34 0.002213
35-44 0.004459
45-54 0.010941
55-64 0.025384
65-84 0.058031
85 o más 0.153270

Tabla 1: Tasa de mortalidad por grupos de edad

1.2. Máquinas (Winston, 2005)

Una compañı́a tiene dos máquinas. Durante cualquier dı́a, cada máquina que está trabajando al comienzo del
dı́a tiene una probabilidad de 1/3 de descomponerse. Si durante el dı́a se descompone una máquina, se envı́a a
la instalación de reparación y estará funcionando dos dı́as después de que se descompuso (Ası́, si una máquina se
descompone durante el dı́a tres, estará funcionando el dı́a cinco).
Haciendo que el estado del sistema sea el número de máquinas que funcionan al principio del dı́a
1. Determine las probabilidades de transición para cada uno de los estados.
2. Determine en el largo plazo cual es la probabilidad de tener operando cero, una o dos máquinas.
Explique el procedimiento empleado.
3. Escriba la matriz de transición para el problema teniendo en cuenta que la probabilidad de que se descomponga
la máquina 1 es p1 y la probabilidad de que se descomponga la máquina 2 es p2 .

1
2. Procesos Markovianos de decisión (MDP)
2.1. Financiamiento (Winston, 2005)
Priceler Auto Corporación debe determinar si debe o no dar a los consumidores 8 % o 11 % de financiamiento en
los coches nuevos. Si Priceler da financiación de 8 % durante el mes en curso, la distribución de probabilidad de las
ventas durante el mes en curso será como se muestra en la Tabla 7. Si Priceler da la financiación del 11 % durante
el mes en curso, la distribución de probabilidad de las ventas durante el mes en curso será como se muestra en la
Tabla 8. Buenas ventas representan 400.000 ventas por mes, las malas ventas representan 300.000 ventas por mes.
Por ejemplo, si las ventas del mes pasado eran malas y Priceler da financiación 8 % durante el mes en curso, existe
la posibilidad de 0,40 de que las ventas de sean buenas durante el mes en curso. En 11 % las tasas de financiación,
Priceler gana $ 1.000 por auto, y en el 8 % de financiamiento, Priceler gana $ 800 por coche. El objetivo de Priceler
es maximizar el beneficio descontado esperado sobre un horizonte infinito (beta = 0,98).
1. Utilice el método de iteración de polı́tica para determinar una polı́tica estacionaria óptima.
2. Utilice la programación lineal para determinar una polı́tica estacionaria óptima.
3. Realice dos iteraciones del método de iteración de valores.
4. Encuentre una polı́tica que maximiza la ganancia media por mes.

Ventas último mes Ventas Mes actual

Buenas Malas
Buenas 0.95 0.05
Malas 0.40 0.60

Tabla 2: Probabilidades de transición con financiación del 8 %

Ventas último mes Ventas Mes actual

Buenas Malas
Buenas 0.80 0.20
Malas 0.20 0.80

Tabla 3: Probabilidades de transición con financiación del 11 %

2.2. MDP
Una máquina en condición excelente obtiene una ganancia de 100 dólares por semana, una máquina en condición
buena obtiene 70 dólares por semana y una máquina en condición mala obtiene 20 dólares por semana. Al comienzo
de cualquier semana se podrı́a enviar una máquina a reparación a un coste de 90 doláres o cambiarla por una nueva
a un coste de 250. Una máquina enviada a reparación vuelve en condición excelente al comienzo de la siguiente
semana y una nueva llega en estado excelente de manera instantánea. Si no se repara la máquina, la condición de
la máquina evoluciona según la cadena de Markov mostrada en la tabla 2.5.

Siguiente semana
Esta semana Excelente Buena Mala
Excelente 0.7 0.2 0.1
Buena 0.0 0.7 0.3
Mala 0.0 0.1 0.9

Tabla 4: Probabilidades de transición para la máquina

La compañı́a quiere maximizar su ganancia descontada esperada en un horizonte infinito (β = 0.9).

1. Determine la matriz de recompensas si se toma la decisión d en el estado i
2. Utilice la programación lineal para obtener una polı́tica estacionaria óptima (Instancia del modelo).

2
 3. Utilice la iteración de polı́ticas para determinar una polı́tica estacionaria óptima. (Polı́tica estacionaria inicial
y una iteración)

2.3. Publicidad, basado en Taha (1991)

Una compañı́a puede valerse de la publicidad en tres medios: radio, televisión o prensa escrita. Los costes sema-
nales de publicidad en los tres medios son de 250, 900 y 300 unidades monetarias, respectivamente. La compañı́a
puede clasificar su volumen de ventas durante cada semana como (1) regular, (2) bueno o (3) excelente. A conti-
nuación se presenta un resumen de las probabilidades de transición asociadas con cada medio de publicidad. Los

Radio Televisión Prensa

1 2 3 1 2 3 1 2 3
1 0.4 0.5 0.1 0.7 0.2 0.1 0.2 0.5 0.3
2 0.1 0.7 0.2 0.3 0.6 0.1 0.0 0.7 0.3
3 0.1 0.2 0.7 0.1 0.7 0.2 0.0 0.2 0.8

Tabla 5: Probabilidades de transición para diferentes tipos de publicidad

rendimientos semanales correspondientes (en cientos de unidades monetarias) son:

Radio Televisión Prensa

1 2 3 1 2 3 1 2 3
1 400 520 600 1000 1300 1600 400 530 710
2 300 400 700 800 1000 1700 350 450 800
3 200 250 500 600 700 1100 250 400 650

Tabla 6: Árbol de decisión

1. Determine la polı́tica de publicidad óptima para las próximas tres semanas.

2. Determine la polı́tica estacionaria de publicidad en el largo plazo.

3. Teniendo en cuenta un factor de descuento de 0.95 determine la polı́tica estacionaria óptima de largo plazo,
mediante:
a) Iteración de Polı́ticas
b) Iteración de valores
c) Programación lineal