Investigación de

Operaciones II
UNIDAD 4. Cadenas de Markov
INTRODUCCIÓN

Algunas situaciones en los que se utilizan

los procesos de Markov, son las
predicciones de algún meteorólogo a
través de la radio o la televisión, o una
certificación de datos para el estudio y
aprobación de un crédito.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Analicemos lo que en ambos casos se da: el
meteorólogo seguramente consulta las
imágenes satelitales; pero también sabe que
el clima en un día del año corresponde de
alguna manera a un fenómeno aleatorio, es
así como hoy puede ser soleado
(temperaturas altas), ser lluvioso o fresco
sin lluvia, y que el clima estaría en una y
solo una de estas tres posibilidades y que la
ocurrencia de una de ellas excluye a las
demás.
4.2.1. Probabilidad de transiciones
estacionarias de n pasos 
También es fácil ver que la probabilidad
de que en un día específico llueva, o sea
soleado o fresco sin lluvia, está muy
relacionada con lo ocurrido al clima el día
anterior.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
En la situación de verificación de datos, las
entidades financieras saben que sus clientes
pueden ser fácilmente clasificados de
acuerdo al manejo de sus créditos en
excelentes, buenos o deficientes, y que si un
cliente es clasificado en alguna de ellas en
un mes específico, entonces se excluye de
las otras posibilidades; y que estas
clasificaciones obedecen a cierta
aleatoriedad.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Se puede pensar que si un cliente en
cierto mes es clasificado como deficiente,
lo más seguro es que su crédito sea
negado ya que se piensa que para el mes
siguiente es muy probable que su
comportamiento no cambie…

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
… lo que deja ver que la probabilidad de
estar en alguno de estos estados
(excelente, bueno, deficiente), un mes
cualquiera depende de la clasificación del
mes anterior, y que es razonable en el
análisis del crédito concluir que un manejo
deficiente en cierto mes, asegura un mal
manejo en el mes siguiente.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
En los ejemplos expuestos se observa que
se está haciendo proyecciones de ciertos
comportamientos con base a lo que está
ocurriendo o ha ocurrido en un periodo
anterior.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Con las Cadenas de Markov podremos
hacer predicciones de comportamientos
futuros como las que se observaron en las
situaciones anteriores.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Así, si llamamos estados a cada una de
estas posibilidades que se pueden presentar
en un experimento o situación especifica,
entonces podemos visualizar en las Cadenas
de Markov una herramienta que nos
permitiría conocer a corto y largo plazo los
estados en que se encontrarían en periodos
o tiempos futuros y tomar decisiones que
afectarán o favorecerán nuestros intereses.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
¿Qué es una cadena de Markov?

Llamemos E1, E2…, Ek los estados

(resultados) exhaustivos y mutuamente
excluyentes de un experimento aleatorio
en cualquier tiempo.

Inicialmente en el tiempo t0, el sistema

puede estar en cualquiera de estos
estados.
4.2.1. Probabilidad de transiciones
estacionarias de n pasos 
Sea a0j (j = 0, 1,. . ., k) la probabilidad
absoluta de que el sistema se encuentre
en el estado Ej en t0.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Definamos pij como la probabilidad de
transición de un paso de ir al estado i en
tn-1, al estado j en tn, es decir, la
probabilidad de que en el siguiente
periodo (paso) se encuentre en Ej, dado
que en el periodo (paso) inmediatamente
anterior estuvo en Ei.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Supongamos que estas probabilidades son
estacionarias (no cambian) a través del
tiempo.

Las probabilidades de transición del

estado Ei al estado Ej se describen de
manera más conveniente en forma
matricial como sigue:

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Por ejemplo p21 es la probabilidad de estar
en el estado 1 en el siguiente paso, dado
que en este momento se encuentra en el
estado 2.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
La matriz P se llama matriz de
transición homogénea porque todas las
probabilidades pij son fijas, independientes
del tiempo.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Las probabilidades pij deben satisfacer las
condiciones:
Definición 1. Una Cadena de Markov es:
1. Un conjunto de estados E1, E2…, Ek
exhaustivos y mutuamente excluyentes
de un experimento aleatorio en cualquier
tiempo.
2. Una matriz de transición P.
3. Unas probabilidades iniciales a0j (j = 0,
1,. . . k)

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Ejemplo 1. En un país lejano sólo existen
dos posibilidades en el clima, seco y
mojado. Un estudiante de meteorología
sabe que la probabilidad de que el clima
sea seco el 1º de Enero del año en curso
es a y la probabilidad de que en dos días
consecutivos el clima sea el mismo, tiene
un valor p, 0 < p < 1.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Escribamos los elementos que identifican
en este problema una cadena de Markov.

Solución. Solo hay dos posibles estados

E1: Seco y E2: Mojado.
Tenemos a01 = a, a02 = 1 - a.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
La matriz P de transición de un paso será:

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Se observa en P que las probabilidades de
clima seco un día, dado que el anterior fue
seco; y de mojado un día, dado que el día
anterior fue mojado son iguales a p. En
cualquier otro caso tenemos una
probabilidad de 1 - p.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Las probabilidades a01 y a02 , junto con P,
determinan en este ejemplo una cadena
de Markov.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
¿Qué son las probabilidades
absolutas y de transición para n
pasos?

Dados {a0j} y P de una cadena de Markov,

nos interesa conocer la probabilidad de
que ocurra Ej en la transición n.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Estas se conocen como las probabilidades
absolutas del sistema después de un
número Específico n de transiciones.
Llamemos {anj } estas probabilidades
absolutas después de n transiciones.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
La expresión general de {anj} en términos
de {a0j} y P se puede calcular de la
siguiente manera:

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
También

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Donde p(2)kj = Σpkipij es la probabilidad de
transición de dos pasos o de segundo
orden, es decir, la probabilidad de ir del
estado k al estado j en exactamente dos
transiciones.
Por inducción se puede ver que:

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Donde pij es la probabilidad de transición
de n pasos u orden n dada por la formula
recursiva:

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
En general para todo i y j,

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Los elementos de una matriz de transición
más alta p(n)ij se obtienen de forma
directa por multiplicación matricial. Así:

Y en general:

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Por tanto, si las probabilidades absolutas
se definen en forma vectorial

Como:

Entonces:

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Ejemplo 2. Retomemos la situación que se
presenta en el ejemplo 1. Si βn es la
probabilidad de clima seco el día n-ésimo
de año, n = 0, 1, 2, . . . (n = 0
corresponde al 1º de Enero). Calcular:
1. Una expresión general para βn
2. El límite de βn cuando n tiende a ∞

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Solución: La matriz de estado inicial es
A(0) = [a 1- a] y la matriz

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Es la matriz de transición de un solo paso.
Sabemos que la matriz de probabilidades
absolutas para n pasos está dada por:

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Si llamamos:

Donde βn corresponde a la probabilidad

de seco en el n-ésimo día, y 1 -βn a la
probabilidad de mojado, entonces:

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Para calcular la n-ésima potencia de P, se
puede proceder por inducción; veamos:
para n = 1,

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Para n = 2,

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Para n = k,

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Usando este último resultado se tiene
que:

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
de donde:

Esto nos permite concluir que la expresión

general para βn es:

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Se responde así el primer interrogante.
La expresión anterior tiende a 1/2 cuando
n tiende a ∞, lo que responde el Segundo
interrogante.

4.2.1. Probabilidad de transiciones

estacionarias de n pasos 
Ejemplo de Probabilidad de transición
de un solo paso.
“Estacionarias”

Una tienda de cámaras tiene en almacén

un modelo especial de cámara que se
puede ordenar cada semana.

4.3.1. Estado estable 

Sean D1, D2, ... las demandas de esta
cámara durante la primera, segunda, ... ,
semana, respectivamente. Se supone que
las Di son variables aleatorias
independientes e idénticamente
distribuidas que tienen una distribución de
probabilidad conocida.

4.3.1. Estado estable 

Sea X0 el número de cámaras que se tiene
en el momento de iniciar el proceso, X1 el
número de cámaras que se tienen al final
de la semana uno, X2 el número de
cámaras al final de la semana dos, etc.
Suponga que X0 = 3 .

4.3.1. Estado estable 

El sábado en la noche la tienda hace un
pedido que le entregan el lunes en el
momento de abrir la tienda. La tienda
hace un pedido que le entregan el lunes
en el momento de abrir la tienda.

4.3.1. Estado estable 

La tienda usa la siguiente política ( s, S)1
para ordenar : si el número de cámaras
en inventario al final de la semana es
menor que s =1 (no hay cámaras en la
tienda), ordenar (hasta) S=3. De otra
manera, no coloca la orden (si se cuenta
con una o más cámaras en el almacén, no
se hace el pedido).

4.3.1. Estado estable 

Se supone que las ventas se pierden
cuando la demanda excede el inventario.
Entonces, {X1} para t = 0, 1, .. es un
proceso estocástico de la forma que se
acaba de describir. Los estados posibles
del proceso son los enteros 0, 1, 2, 3 que
representan el número posible de cámaras
en inventario al final de la semana.

4.3.1. Estado estable 

Observe que {Xi}, en donde Xi es el
número de cámaras en el almacén al final
de la semana t ( antes de recibir el pedido
}), es una cadena de Markov. Se verá
ahora cómo obtener las probabilidades de
transición (de un paso), es decir, los
elementos de la matriz de transición ( de
un paso).

4.3.1. Estado estable 

4.3.1. Estado estable 
Suponiendo que cada Dt tiene una
distribución Poisson con parámetro  .

 Para obtener  p00 es necesario evaluar 

Si Xt-1=0 ,

Entonces

4.3.1. Estado estable 

Por lo tanto, Xt=0 significa que la
demanda durante la semana fue de tres o
más cámaras.
Así,  , la probabilidad
de que una variable aleatoria Poisson con
parámetro l=1 tome el valor de 3 o más;
y  se puede obtener de una
manera parecida.

4.3.1. Estado estable 

Si Xt-1=1 entonces Xt=max{1-Dt,0}.

Para obtener Xt=0 la demanda durante la

semana debe ser 1 o más.

Por esto,  
Para encontrar  observe
que si  

4.3.1. Estado estable 

En consecuencia, si Xt=1 , entonces la
demanda durante la semana tiene que ser
exactamente 1. Por ende, 

4.3.1. Estado estable 

Los elementos restantes se obtienen en
forma similar, lo que lleva a la siguiente a
la siguiente matriz de transición ( de un
paso):

4.3.1. Estado estable