CADENAS DE MARKOV

INTRODUCCION A LA INVESTIGACION DE OPERACIONES

 PROPOSITO
Al terminar, el alumno será capaz de:
1. Determinar los estados o las condiciones futuras utilizando
análisis de Markov.
2. Calcular las condiciones a largo plazo o de estado estable,
usando la matriz de probabilidades de transición.
3. Entender el uso del análisis de estado absorbente en la
predicción de condiciones futuras.
 CONTENIDO
• Introducción
• Estados y probabilidades de estado
• Matriz de probabilidades de transición
• Condiciones de equilibrio
• Estados absorbentes y la matriz fundamental
 Introducción
• El análisis de Markov es una técnica que maneja las probabilidades
de ocurrencias futuras mediante el análisis de las probabilidad
conocidas en el presente.
• Tiene diversas aplicaciones en los negocios, participación en el mercado, predicción de
deudas incobrables, predicción de la matrícula universitaria y determinación de si una
máquina se descompondrá en el futuro.
• El análisis de Markov hace la suposición de que el sistema comienza
en un estado o una condición inicial.
• Ejemplo, dos fabricantes competidores pueden tener respectivamente 40% y 60% de las
ventas del mercado. Tal vez en dos meses las participaciones del mercado de las dos
empresas cambiarían a 45% y 55% del mercado, respectivamente.
 Introducción
• Predecir los estados futuros implica conocer las posibilidades o
probabilidades de cambio del sistema de un estado a otro.
• Tales probabilidades se recolectan en la matriz de probabilidades de
transición que muestra la probabilidad de que el sistema cambie de
un periodo al siguiente.
• Este es el proceso de Markov que nos permite predecir los estados o
las condiciones futuras.
 Introducción
Enfocamos nuestra presentación a los procesos de Markov que
cumplen con cuatro suposiciones:
1. Existe un número limitado o finito de estados posibles.
2. La probabilidad de cambiar de estados permanece igual con el
paso del tiempo.
3. Podemos predecir cualquier estado futuro a partir de los
estados anteriores y de la matriz de probabilidades de
transición.
4. El tamaño y la composición del sistema (es decir, el número
total de fabricantes y clientes) no cambia durante el análisis.
 Estados y probabilidades de los estados
Después de identificar los estados, el siguiente paso consiste en
determinar la probabilidad de que el sistema esté en dicho estado,
cuya información se coloca entonces en un vector de probabilidades
de estado.
! " : vector de probabilidades de estado para el periodo i
! " = !$ , !& , !' , … , !)
donde
• n número de estados
• !$ , !& , … , !) probabilidad de estar en el estado 1, …, estado n
 Estados y probabilidades de los estados
• Cuando manejamos un solo artículo, como una máquina, es posible saber
con total certidumbre en qué estado se encuentra el artículo.
Por ejemplo, si investigamos tan solo una máquina, sabríamos que en este momento
funciona correctamente. Entonces, el vector de estado se representa como:
! 0 = 1, 0
donde
! 1 vector de estado para la máquina en el periodo 1
!& = 1 = probabilidad de estar en el primer estado
!' = 0 = probabilidad de estar en el segundo estado
• Esto muestra que la probabilidad de que la máquina funcione
correctamente, (estado 1), es 1; y que la probabilidad de que la máquina
funcione de manera incorrecta, (estado 2), es 0 para el primer periodo.
 Estados y probabilidades de los estados
Vector de probabilidades de estado para el caso de 3 tiendas de abarrotes
• Un total de 100,000 personas que compran en las tres tiendas durante un
mes dado. 40,000 personas compran en American, que se llamará estado
1. Por otro lado, 30,000 compran en Mart, que se llamará estado 2; y
30,000 pueden comprar en Atlas, que será el estado 3.
• La probabilidad de que una persona compre en una de las 3 tiendas es:
• Estado 1: American 40,000/100,000 = 0.40 = 40%
• Estado 2: Mart 30,000/100,000 = 0.30 = 30%
• Estado 3: Atlas 30,000/100,000 = 0.30 = 30%
 Estados y probabilidades de los estados
• Estas probabilidades forman el vector de probabilidades de estado como:
! 0 = 0.4, 0.3, 0.3
donde
! 0 vector de probabilidades de estado para tres tiendas en el periodo 0
!( = 0.4 = probabilidad de que una persona compre en American, estado 1
!) = 0.3 = probabilidad de que una persona compre en Mart, estado 2
!* = 0.3 = probabilidad de que una persona compre en Atlas, estado 3
• También debería observarse que las probabilidades en el vector de estado
para las tres tiendas de abarrotes representan la participación en el
mercado para las mismas en el primer periodo.
Así, en el periodo 1 American tiene 40% el mercado; Mart, 30%; y Atlas, 30%.
 Estados y probabilidades de los estados
La gerencia está interesada en la manera en que cambian sus
participaciones de mercado con el paso del tiempo. Los clientes no
siempre compran en una tienda, sino que van a una tienda diferente
para su siguiente compra. Un estudio determinó la lealtad de los
clientes.
• Un 80% de los clientes que compran en American un mes regresan el
siguiente mes. Del 20% de los clientes, 10% cambia a Mart y 10% a Atlas en
su siguiente compra.
• Los clientes que compran este mes en Mart, 70% regresan, 10% cambia a
American y 20% a Atlas.
• Los clientes que compran este mes en Atlas, 60% regresan, pero 20%
cambiará a American y 20% a Mart.
Estados y probabilidades de los estados
Diagrama de árbol.
Observe que de la participación de
mercado de 40% para American este
mes, 32% (0.40 x 0.80 = 0.32) regresa,
4% compra en Mart y 4% compra en
Atlas.
Para encontrar la participación de
mercado de American el siguiente
mes, sumamos este 32% de clientes
que regresan al 3% de quienes vienen
de Mart y al 6% de quienes vienen de
Atlas.
Entonces, American tendrá 41% del
mercado el próximo mes.
 Matriz de probabilidades de transición
• El concepto que nos permite ir de un estado actual, como las
participaciones en el mercado, a un estado futuro es la matriz de
probabilidades de transición.
• Es una matriz de probabilidades condicionales de estar en un estado futuro
dado que estamos en el estado actual. La siguiente definición es útil:
!## !#$ !#% ⋯ !#'
!$# !$$ !$% ⋯ !$'
!= = !+,
⋮ ⋮ ⋮ ⋱ ⋮
!)# !)$ !)% ⋯ !)'
• !+, es la probabilidad condicional de estar en el estado j en el futuro, dado que el
estado actual es i
• Por ejemplo, !#$ es la probabilidad de estar en el estado 2 en el futuro, dado que el
evento estaba en el estado 1 en el periodo anterior.
• Definimos P matriz de probabilidades de transición
 Matriz de probabilidades de transición
• Probabilidades de transición para las tres tiendas de abarrotes
• Usamos los datos históricos de las tres tiendas para determinar qué
porcentaje de clientes cambiaría cada mes. Ponemos estas
probabilidades de transición en la siguiente matriz:
0.8 0.1 0.1
! = 0.1 0.7 0.2
0.2 0.2 0.6
• Recuerde que American representa el estado 1, Mart es el estado 2 y
Atlas es el estado 3.
 Predicción de participación futura en
mercado
Uno de los propósitos del análisis de Markov es predecir el futuro.
• Dado el vector de probabilidades de estado y la matriz de probabilidades de
transición, no es muy difícil determinar las probabilidades de estado en una fecha
futura. Con ese tipo de análisis, podemos comparar la probabilidad de que un
individuo compre en una de las tiendas en el futuro. Como tal probabilidad es
equivalente a la participación en el mercado, es posible determinar participación
futura en el mercado para American, Mart y Atlas.
Cuando el periodo actual es 0, calcular las probabilidades de estado para el
siguiente periodo (periodo 1) se hace como sigue:
! 1 =! 0 %
Si estamos en cualquier periodo n, calculamos las probabilidades de estado
para el periodo n + 1 como:
! &+1 =! & %
 Predicción de participación futura en
mercado
• La ecuación sirve para contestar la pregunta de las participaciones de mercado del
siguiente periodo, para las tiendas. Los cálculos son:
! 1 =! 0 %
0.8 0.1 0.1
! 1 = 0.4 0.3 0.3 0.1 0.7 0.2
0.2 0.2 0.6
! 1 = (04)(08) + (03)(0.1) + (0.3)(0.2) (0.4)(0.1) + (0.3)(0.7) + (0.3)(0.2) (0.4)(0.1) + (0.3)(0.2) + (0.3)(0.6)

! 1 = 0.41 0.31 0.28

Como se observa, la participación de mercado para American y Mart aumenta, en tanto que la
de Atlas disminuye. ¿Continuará esta tendencia en el siguiente periodo y en el que le sigue?
 Predicción de participación futura en
mercado
• Derivamos un modelo que nos dirá cuáles serán las probabilidades en
cualquier periodo futuro. Considere dos periodos a partir de ahora:
! 2 =! 1 %
• Como sabemos que
! 1 =! 0 %
• Tenemos
! 2 = ! 1 % = ! 0 % % = ! 0 %% = ! 0 %'
• En general,
! ( = ! 0 %)
 Análisis de Markov en operación de
maquinaria
Paul, dueño de Tolsky Works, registró durante varios años la operación de
sus fresadoras.
• En los dos últimos años, 80% de las veces la fresadora funcionaba
correctamente en el mes actual, si había funcionado correctamente el mes
anterior.
• Esto también significa que tan solo 20% del tiempo el funcionamiento de la
máquina era incorrecto para cualquier mes, cuando estaba funcionando
correctamente el mes anterior.
• Además, se observó que el 90% de las veces la máquina funcionaba mal en
cualquier mes dado, si funcionaba mal el mes anterior.
• Solamente el 10% del tiempo funciono bien en un mes dado que el mes
anterior no funcionaba correctamente. En otras palabras, esta máquina puede
corregirse cuando no ha funcionado bien en el pasado y esto ocurre 10% de las veces.
 Análisis de Markov en operación de
maquinaria
Estos valores ahora se utilizan para construir la matriz de probabilidades de
transición. De nuevo, el estado 1 es una situación donde la máquina funciona
correctamente; y el estado 2, donde la máquina no lo hace. La matriz de transición
para esta máquina es:
0.8 0.2
!=
0.1 0.9
donde
• P11 = 0.8 probabilidad de que la máquina funcione correctamente este mes, dado que funcionaba correctamente el mes pasado
• P12 = 0.2 probabilidad de que la máquina no funcione correctamente este mes, dado que funcionaba correctamente el mes
pasado
• P21 = 0.1 probabilidad de que la máquina funcione correctamente este mes, dado que no funcionaba correctamente el mes
pasado
• P22 = 0.9 probabilidad de que la máquina no funcione correctamente este mes, dado que no funcionaba correctamente el mes
pasado
 Análisis de Markov en operación de
maquinaria
Las dos probabilidades del renglón superior son las probabilidades de funcionamiento
correcto y funcionamiento incorrecto, dado que la máquina funcionaba correctamente el
periodo anterior. Como son mutuamente excluyentes y colectivamente exhaustivas, el
renglón de probabilidades de nuevo suma 1.
¿Cuál es la probabilidad de que la máquina de Tolsky funcione correctamente dentro de un
mes? ¿Cuál es la probabilidad de que la máquina funcione correctamente dentro de dos
meses?:

! 1 =! 0 %
0.8 0.2
1 0
0.1 0.9
1 0.8 + 0 0.1 , 1 0.2 + 0 0.9 = 0.8, 0.2
 Análisis de Markov en operación de
maquinaria
Por consiguiente, la probabilidad de que la máquina funcione correctamente dentro de un
mes, dado que ahora funciona correctamente, es de 0.80. La probabilidad de que no funcione
correctamente en un mes es de 0.20. Utilizando estos resultados para determinar la
probabilidad de que la máquina funcione correctamente dentro de dos meses. El análisis es
exactamente el mismo:

! 2 =! 1 %
0.8 0.2
0.8 0.2
0.1 0.9
0.8 0.8 + 0.2 0.1 , 0.8 0.2 + 0.2 0.9 = 0.66, 0.34

• lo cual significa que dentro de dos meses hay una probabilidad de 0.66 de que la máquina todavía
funcione correctamente. La probabilidad de que la máquina no funcione correctamente es de 0.34.
Desde luego, podríamos continuar este análisis cuantas veces queramos, calculando las
probabilidades de estado para los meses futuros.
 Condiciones de equilibrio
• Es normal encontrar el porcentaje de equilibrio de los valores o las probabilidades
de mercado. Las probabilidades se llaman probabilidades de estado estable o
probabilidades de equilibrio.
• Una manera de calcular el estado estable del mercado es utilizar el análisis de
Markov para un número grande de periodos. Es posible ver si los valores futuros
se acercan a un valor estable. Por ejemplo, repetir el análisis de Markov para la
máquina de Tolsky durante 15 periodos. No es difícil hacerlo a mano.
• La máquina comienza con un funcionamiento correcto (en el estado 1) en el primer periodo.
• En el periodo 5, hay una probabilidad de tan solo 0.4934 de que la máquina todavía funcione
correctamente y, para el periodo 10, esta probabilidad es solamente de 0.360235.
• En el periodo 15, la probabilidad de que la máquina todavía tenga un funcionamiento
correcto es cercana a 0.34. La probabilidad de que la máquina todavía funcione bien en un
periodo futuro disminuye, pero lo hace a una tasa determinada.
• ¿Qué se esperaría a la larga? Si hacemos los cálculos para 100 periodos, ¿qué pasaría?
¿Habrá un equilibrio en este caso? Si la respuesta es sí, ¿cuál sería? Viendo la tabla 15.1,
parece que habrá un equilibrio en 0.333333, o bien, 1/3. Pero, ¿cómo estaríamos seguros?
 Condiciones de equilibrio
Por definición, una condición de equilibrio existe si las probabilidades de
estado o las participaciones de mercado no cambian después de muchos
periodos.
Entonces, el equilibrio, en este caso las probabilidades de estado para un
periodo futuro, debe ser igual que las probabilidades de estado para el
periodo actual.
Este hecho es la clave para obtener las probabilidades de estado estable,
cuya relación se expresa como:
! "#$%#&'(& )&*#+,+ = ! &"(& )&*#+,+ .

De la ecuación siempre es cierto que

! '+1 =! ' .
Condiciones de equilibrio
• En el equilibrio, vemos que
! "+1 =! "
• Por lo tanto, en el equilibrio,
! "+1 =! " & =! "
• De manera que
! " =! " &
• o, eliminando el término en n,
! " + 1 = !&
 Condiciones de equilibrio
La ecuación establece que, en el equilibrio, las probabilidades de estado para
el siguiente periodo son las mismas que las probabilidades de estado para el
periodo actual:
! = !#
!$ !% = !$ !% 0.8 0.2
0.1 0.9
!$ !% = !$ 0.8 + !% 0.1 , !$ 0.2 + !% 0.9
!$ = 0.8!$ + 0.1!% (a)
!% = 0.2!$ + 0.9!% (b)
!$ + !% + ⋯ + !/ = 1
!$ + !% = 1 (c)
 Condiciones de equilibrio
Ahora tenemos tres ecuaciones (a, b y c) para la máquina. Sabemos que debe
cumplirse la ecuación c.
• Entonces, eliminamos la ecuación a o la b, y resolvemos las dos ecuaciones que quedan para
obtener !" y !# . Es necesario eliminar una de las ecuaciones, de manera que tengamos dos
incógnitas y dos ecuaciones.
• Si estuviéramos buscando las condiciones de equilibrio que incluyeran tres estados,
tendríamos cuatro ecuaciones. De nuevo, será necesario eliminar una de las ecuaciones para
terminar con tres ecuaciones y tres incógnitas.
• En general, cuando se encuentran las condiciones de equilibrio, siempre será necesario
eliminar una ecuación, con la finalidad de que el número total de ecuaciones sea el mismo
que el número total de las variables que queremos obtener. El motivo por el cual podemos
eliminar una de las ecuaciones es que están matemáticamente interrelacionadas.
En otras palabras, una de las ecuaciones es redundante al especificar las relaciones
entre las diferentes ecuaciones de equilibrio.
Eliminemos de manera arbitraria la ecuación a. Así, resolveremos las siguientes dos
ecuaciones:
 Condiciones de equilibrio
• !" = 0.2!' + 0.9!" (b) • Reemplazando en (c):

• !' + !" = 1 (c) • !' + !" = 1

• !' + 2!' = 1
• A partir de (b): 0.1!" = 0.2!' • !' = '⁄, = 0.3333333
• !" = 2!' • !" = "⁄, = 0.6666666
 Condiciones de equilibrio
• Compare estos resultados con la tabla. Como se observa, la probabilidad
del estado estable para el estado 1 es 0.33333333, y la probabilidad del
estado de equilibrio para el estado 2 es 0.66666667, que son los valores
que se esperan al ver los resultados de la tabla.
• El análisis indica que tan solo es necesario conocer la matriz de transición para
determinar las participaciones en el mercado en equilibrio.
• Los valores iniciales para las probabilidades de estado o la participación en el
mercado no influyen en las probabilidades del estado en equilibrio.
• El análisis para determinar las probabilidades del estado en equilibrio o las
participaciones en el mercado es el mismo cuando hay más de tres estados. Si hay
tres estados (como en el ejemplo de las tiendas de abarrotes), tenemos que resolver
tres ecuaciones para encontrar los tres estados de equilibrio; si hay cuatro estados,
tenemos que resolver cuatro ecuaciones simultáneas para los cuatro valores de las
incógnitas de equilibrio, y así sucesivamente.
 Condiciones de equilibrio
• Tal vez usted desee probar por sí mismo que los estados de equilibrio
que acabamos de calcular sean, de hecho, los estados de equilibrio.
• Esto se hace multiplicando los estados de equilibrio por la matriz de
transición original. Los resultados serán los mismos estados de
equilibrio.
• Realizar este análisis también es una excelente manera de verificar
sus respuestas.
 centro de cómputo
• El centro de cómputo de la Universidad UC ha experimentado tiempo de inactividad de
computadoras. Suponga que los ensayos de un proceso de Markov asociado se definen como
periodos de una hora y que la probabilidad de que el sistema esté activo o inactivo está basada
en el estado del sistema en el periodo previo. Datos históricos muestran las siguientes
probabilidades de transición.

• a. Si el sistema inicialmente está funcionando, ¿cuál es la probabilidad de que deje de hacerlo en

la siguiente hora de operación?
• b. ¿Cuáles son las probabilidades de estado estacionario de que el sistema esté funcionando y o
de que no?
 Problema de tráfico
• Un importante problema implica el tráfico que intenta cruzar el Río Ohio, de
Cincinnati a Kentucky por la carretera interestatal 75. Suponga que la
probabilidad de que no haya un embotellamiento de tráfico en un periodo, dado
que no lo hubo en el periodo precedente, es de 0.85, y que la probabilidad de
encontrar un embotellamiento de tráfico en un periodo, dado un
embotellamiento en el periodo precedente, es de 0.75. El tráfico se clasifica como
en estado de embotellamiento o como estado de no embotellamiento, y el
periodo considerado es de 30 minutos.
• a. Suponga que es un conductor que se incorpora al sistema de tráfico y que
recibe un aviso por radio de un embotellamiento. ¿Cuál es la probabilidad de que
durante los siguientes 60 minutos el sistema esté en el estado de
embotellamiento?
• b. ¿Cuál es la probabilidad de que en largo plazo el tráfico no esté en estado de
embotellamiento?
 Áreas metropolitanas
• Datos reunidos de áreas metropolitanas importantes de la ciudad muestran
que 2% de los individuos que vive dentro de los límites de las ciudades se
cambian al campo durante un periodo de un año, mientras que el 1% que
vive en el campo se cambia a la ciudad durante un periodo de un año.
Responda las siguientes preguntas,
• Suponiendo que este proceso está modelado por un proceso de Markov
con dos estados: ciudad y campo:
• a. Prepare la matriz de probabilidades de transición.
• b. Calcule las probabilidades de estado estacionario.
• c. En un área metropolitana particular, 40% de la población vive en la
ciudad y 60% en el campo. ¿Qué población cambia su proyecto de
probabilidades de estado estacionario en esta área metropolitana?
 Pasta dental I
• Los patrones de compra de dos marcas de pasta dental pueden
expresarse como un proceso de Markov con las siguientes
probabilidades de transición:

• a. ¿Qué marca parece tener la mayor lealtad de los clientes? Explique.

• b. ¿Cuáles son las cuotas de mercado proyectadas para las dos
marcas?
 Pasta dental II
• Suponga que en el problema 8 una nueva marca de pasta dental entra
al mercado, de modo que existen las siguientes probabilidades de
transición:

• ¿Cuáles son las nuevas cuotas de mercado a largo plazo? ¿Qué marca
sufrirá más por la introducción de la nueva marca de pasta dental?