Investigación

Operativa 2

CADENAS DE MARKOV
Introducción
El proceso de toma de decisiones asocia situaciones que
muestran variabilidad.

Dicha variabilidad se debe a la naturaleza misma de la

fuente o a inconsistencias de los fenómenos naturales.

Queremos cuantificar esa variabilidad.

Para ello, debe existir cierta regularidad que permita

describir dicha variación en un modelo probabilístico.
Procesos estocásticos
Un proceso estocástico de tiempo discreto es una
descripción de la relación entre las variables aleatorias
X0, X1, X2, .....Xn

Ejemplos:
 El estado del tiempo
 La ruina de un jugador
Caso 1: El estado del tiempo
Ud sabe que el día 27 de marzo fue un día soleado y la
probabilidad de que el día siguiente lloviera fue de un 20%.

27 / 03 28 / 03
20%

10 / 10 11/ 10

¿p?
 Caso 2: La ruina del jugador
Cierto juego tiene las siguientes características:
• Se dispone de $2 para jugar.
• Se apuesta $1 por jugada.
• En cada jugada se gana $1 o se pierde $1 (no hay empate).
• Se gana $1 con probabilidad p y se pierde $1 con
probabilidad 1 – p.
• La meta es tener la máxima cantidad de dinero posible.

 El juego termina cuando se llega a

$4 o cuando el capital se reduce a $0.
 Caso 2: La ruina del jugador
 Se define Xt como el capital después del juego cuando
el tiempo es t.
 Sabemos que:
X0 = 2 (constante)
X1, X2 y las demás Xt son desconocidas (VA)
 Se puede considerar que X0, X1, X2, X3, .... Xt son
procesos estocásticos
1 juego 0
de tiempo
1 2
discreto.
3 4
0 1 0 0 0 0
1 1-p 0 p 0 0
P= 2 0 1-p 0 p 0
3 0 0 1-p 0 p
4 0 0 0 0 1
 Caso 2: La ruina del jugador
1 juego 0 1 2 3 4
0 1 0 0 0 0
1 1-p 0 p 0 0
P= 2 0 1-p 0 p 0
3 0 0 1-p 0 p
4 0 0 0 0 1
Gráficamente: 1-p
1-p 1
1 p
0 2

1-p p
4 3
1
p
Caso 2: La ruina del jugador
Usando diagramas de árbol:
1
0
1-p 1-p

p
1 2 3
1-p p

1-p
1
2 2
1-p
p p
3 3

p
4

1 juego 1 juego 1 juego

 Caso 2: La ruina del jugador
1-p 1 1-p
1 p
0 2

1-p p
4 3
Para 2 jugadas: 1 p

2 juegos 0 1 2 3 4
0 1 0 0 0 0
1 1-p p(1-p) 0 p2 0
P= 2 (1-p)2 0 2p(1-p) 0 p2
3 0 (1-p)2 0 p(1-p) p
4 0 0 0 0 1
Definición de Cadenas de Markov
• El proceso estocástico de tiempo discreto puede estar
en uno de un número finito de estados identificados por 1,
2,...,s.
• Un proceso estocástico de tiempo discreto es una
CADENA DE MARKOV sí, para t = 0,1,2,... y todos los
estados,
P(Xt+1=it+1/Xt=it) =
P(Xt+1=it+1/X0=i0, X1=i1,...Xt-1=it-1, Xt=it)
• Además para todos los estados i y j y toda t,
P(Xt+1=j / Xt=i) es independiente de t. Esta hipótesis
permite escribir:
pij = P(Xt+1=j / Xt=i)
Definición de Cadenas de Markov
• Con frecuencia se llaman probabilidades de transición
a las pij en una cadena de Markov.

• La ecuación: pij = P(Xt+1=j / Xt=i)

Indica que la ley de probabilidad que relaciona el estado
del siguiente período con el estado actual no cambia, o
que permanece estacionaria en el tiempo.

• Toda cadena de Markov que cumple con esta

condición se llama cadena estacionaria de Markov.
 Definición de Cadenas de Markov

• Se necesita saber las probabilidades de encontrar la

cadena en el estado i en el tiempo “0”, es decir, P(X0=i) = qi

• Al vector q = [q1 q2 .....qn] se le llama

vector de condiciones iniciales

o distribución inicial de probabilidad.
 Definición de Cadenas de Markov
• Las probabilidades de transición se presentan como una
matriz P de probabilidad de transición s x s. La matriz de
probabilidad de transición se puede escribir como:

1 2 3 ... S
1 p11 p12 p13 ... p1s
2 p21 p22 p23 ... P2s
P= 3 p31 p32 p33 ... P3s
... ... ... ... ... ...
S ps1 ps2 ps3 ... pss
 Dado que el estado es i en el tiempo t, el proceso debe
estar en algún lugar en el tiempo t+1. Esto significa que
para cada i: Σ j=1,s P(Xt+1=j / Xt=i) = Σ j=1,s pij = 1 (pij  0)
Probabilidad de transición de n pasos
• Si una cadena de markov se encuentra en el estado i en el
tiempo m, la probabilidad que n períodos después la cadena
de markov esté en el estado j, es:
pij (n) = P(Xm+n= j / Xm=i) = P(Xn= j / X0=i)
Donde pij (1) = pij
• Las pij(n) se pueden representar en la matriz P(n):
1 2 3 ... S
1 P11(n) P12(n) P13(n) ... P1s(n)
2 P21(n) P22(n) P23(n) ... P2s(n)
P(n) = 3 P31(n) P32(n) P33(n) ... P3s(n)
... ... ... ... ... ...
S Ps1(n) Ps2(n) Ps3(n) ... Pss(n)
Probabilidad de transición de n pasos

• Se puede demostrar que pij(n) es el elemento ij-ésimo de

la matriz Pn. Entonces:
pij (n) = Σ k=1,s pik(v)pkj(n-v)

• Para n=0, pij(0) = P(X0= j / X0=i) y por lo tanto:

pij (0) = 1, si i = j
pij (0) = 0, si i  j
 Ejemplo
• Una fotocopiadora de oficina tiene uno de dos posibles
comportamientos: FUNCIONA o NO FUNCIONA
 Si funciona durante un día, la probabilidad de que al día
siguiente siga funcionando es de un 75%.
 Si no funciona durante un día cualquiera, hay un 75% de
probabilidad de que tampoco funcione al día siguiente.

 Si actualmente funciona, ¿Cuál es la probabilidad de que

esté funcionando dentro de dos días?
 Si actualmente no funciona, ¿Cuál es la probabiliad que no
está funcionando dentro de tres días?
Ejemplo - solución
Estado Descripción
1 FUNCIONA
2 NO FUNCIONA

1 2 0.75 0.75
P= 1 0.75 0.25
0.25
2 0.25 0.75 1 2
0.25
Ejemplo - solución
1 2 0.75 0.75
P= 1 0.75 0.25
0.25
2 0.25 0.75 1 2
0.25

1 2 1 2
P2 = 1 0.625
0.625 0.325 P3 = 1 0.567 0.433
2 0.325 0.625 2 0.433 0.567
 Clasificación de estados de una
Cadena de Markov
Definición:

Dados dos estados i y j, la trayectoria de i a j es la

sucesión de transiciones que comienza en i y termina en j,
de modo que cada transición tenga probabilidad positiva
de presentarse.

j
i
 Clasificación de estados de una
Cadena de Markov
Definición:

Un estado j es alcanzable desde el estado i, si hay una

trayectoria que vaya de i a j.

j
i
 Clasificación de estados de una
Cadena de Markov
Definición:

Dos estados, i y j se comunican, si el estado j es

alcanzable desde el estado i, y además el estado i es
alcanzable desde el estado j.

j
i
 Clasificación de estados de una
Cadena de Markov
Definición:

Un conjunto de estados S en una Cadena de Markov es

conjunto cerrado, si ningún estado fuera de S es
alcanzable desde un estado S.

j
k
i

l
 Ejemplo
• Dada la siguiente matriz de transición:

1 2 3 4 5
1 0.4 0.6 0 0 0
2 0.5 0.5 0 0 0
P= 3 0 0 0.3 0.7 0
4 0 0 0.5 0.4 0.1
5 0 0 0 0.8 0.2

 Identifique los estados.

 Ejemplo 1 2 3 4 5
1 0.4 0.6 0 0 0
2 0.5 0.5 0 0 0
P= 3 0 0 0.3 0.7 0
4 0 0 0.5 0.4 0.1
5 0 0 0 0.8 0.2

0.5 2 0.5  El estado 5 no es

0.3 alcanzable desde 1
0.4
1 0.5 3  El estado 5 es
0.6 alcanzable desde 3
0.8 0.7  1 y 2 se

5 4 comunican
0.2  {1,2} y {3,4,5} son
0.4 conjuntos cerrados
0.1
 Ejemplo
0 1 2 3 4
0
1 1 0 0 0 0
1 1-p 0 p 0 0
P= 2 0 1-p 0 p 0
3 0 0 1-p 0 p
4 0 0 0 0 1
Gráficamente: 1-p
1-p 1
1 p
0 2

1-p p
4 3
1
p
 Clasificación de estados de una
Cadena de Markov
Definición:

Un estado i, es estado absorbente si pii = 1

i
 Clasificación de estados de una
Cadena de Markov
Definición:

Un estado i es estado transitorio si hay un estado j

alcanzable desde i, pero el estado i no es alcanzable
desde el estado j.
j
i

Definición:

Si un estado no es transitorio, se llama estado recurrente.

 Ejemplo
• Dada la siguiente matriz de transición:

1 2 3 4 5
1 0.25 0.75 0 0 0
2 0.5 0.5 0 0 0
P= 3 0 0 1 0 0
4 0 0 0.33 0.67 0
5 1 0 0 0 0

 Clasifique los estados

 Ejemplo 1 2 3 4 5
1 0.25 0.75 0 0 0
2 0.5 0.5 0 0 0
P= 3 0 0 1 0 0
4 0 0 0.33 0.67 0
5 1 0 0 0 0

0.5 2 0.5
0.25 1  {3} es absorbente.
1 0.33 3
0.75
 {4,5} son transitorios.
1
5 4  {1,2} son recurrentes.
0.67
 Clasificación de estados de una
Cadena de Markov
Definición:

Un estado i es periódico con período k > 1, si k es el menor

número tal que todas las trayectorias que parten del
estado i y regresan al estado i tienen una longitud múltiplo
de k.

Definición:

Si un estado recurrente no es periódico, se llama aperiódico.

 Ejemplo
• Determinar si los estados de la cadena de Markov
mostrada son aperiódicos o no.
1 2 3
1 0 1 0
P= 2 0 0 1
3 1 0 0

1
1 Cada estado
2 tiene período 3.

1 1
3
 Clasificación de estados de una
Cadena de Markov

Definición:

Si todos los estados de una cadena de Markov son

recurrentes, aperiódicos y se comunican entre sí, se dice
que la cadena es ergódica.
 Ejemplo
• Evaluar la siguiente cadena de Markov

1 2 3
1 0.33 0.67 0
P= 2 0.50 0 0.50
3 0 0.25 0.75
0.33

1
0.67 Estados recurrentes 
2
Estados aperiódicos 
0.5 0.25
Se comunican entre sí. 
0.5
0.75 3 La cadena de Markov
es ergódica.
 Probabilidades de estado estable
Teorema:

Sea P la matriz de transición de una cadena ergódica de “s”

estados.
Existe un vector   [1 2 .... s] tal que:

1 2 3 ... S
1 1 2 3 ... s
2 1 2 3 ... s
lim Pn = 3 1 2 3 ... s
n ... ... ... ... ... ...
S 1 2 3 ... s
Probabilidades de estado estable
Teorema:
1 2 3 ... S
1 1 2 3 ... s
2 1 2 3 ... s
lim Pn = 3 1 2 3 ... s
n ... ... ... ... ... ...
S 1 2 3 ... s

El vector   [1 2 .... s], se llama distribución de estado

estable o también distribución de equilibrio para la cadena
de Markov.
Probabilidades de estado estable
Teorema:
1 2 3 ... S
1 1 2 3 ... s
2 1 2 3 ... s
lim Pn = 3 1 2 3 ... s
n ... ... ... ... ... ...
S 1 2 3 ... s

Las j satisfacen el siguiente sistema de ecuaciones:

j   k1,s (k pkj) para j = 1, 2, ....s (   P)
 k1,s k = 1 ( = 1)
 Ejemplo
• Un factor clave en las compras de los consumidores es
la última compra.
 Si alguien compra un refrigerador marca X, y se le da un
buen servicio, quedará dispuesto a comprar otro refrigerador
marca X (lealtad a la marca).
 A es la marca de interés.
 B representa a todas las marcas de la competencia.
 El 80% de los clientes son leales. La oposición conserva el
70% de sus clientes.

¿Que porcentaje del mercado esperará recibir el fabricante

de la marca A en el largo plazo?
 Ejemplo - solución
Estado Descripción A B
A MARCA A P= A 0.8 0.2

B MARCA B B 0.3 0.7

Hay que resolver el [A B]  [A B] P

siguiente sistema: = [0.8A  0.3B 0.2A  0.7B ]
P A  0.8A  0.3B
 = 1 B  0.2A  0.7B
A  B = 1
Donde:   [A B]
De donde: A  0.6 B  0.4
El fabricante A esperará recibir el 60% del mercado en el LP
 Cadenas de markov con
recompensa
El costo promedio a largo plazo, por unidad de tiempo está
dado por:

g   j1,s (j Cj)

Donde:
Cj = Inventarios
Nivel de ventas
Máquinas malogradas, etc.
 Tiempos promedios de primera
pasada
 En una cadena ergódica, sea ij el número esperado de
transiciones antes de alcanzar por primera vez el estado j,
dado que estamos actualmente en el estado i. ij se llama
tiempo promedio de primera pasada del estado i al estado j.

 Se tiene que resolver el siguiente sistema de ecuaciones:

ij  1   k  j pik kj

 Cuando i  j, ij se llama tiempo promedio de recurrencia:

ij  1/i
 Ejemplo
• Una computadora se inspecciona cada hora y puede
estar: TRABAJANDO o DESCOMPUESTA
 Si está trabajando, la probabilidad de que la siguiente
hora siga trabajando es de un 90%.
 Si está descompuesta, se repara, lo que puede llevar más
de una hora.
 Siempre que está descompuesta, la probabilidad de que
siga descompuesta la siguiente hora es 35%.

 Hallar las ij para todo i y j

 Ejemplo - solución
Estado Descripción 1 2
1 FUNCIONA 0.90 0.10
P= 1
2 DESCOMPUESTA
2 0.65 0.35
Las ecuaciones para hallar los  son: Hay que resolver el
1  0.91  0.652 siguiente sistema:
2  0.11  0.352 ij  1   k  j pik kj
1  2 = 1 12  1  p11 12
21  1  p22 21
De donde: 1  13/15 2  2/15

Por tanto: 11  1.15 horas Donde: 12 10 horas

Cadenas de markov absorbentes
 Una CM es absorbente, si tiene por lo menos un estado
absorbente, y es posible ir de cada estado no absorbente
hasta por lo menos un estado absorbente.

 En una CM absorbente se puede calcular:

 Número esperado de veces que se estará en un estado

transitorio antes de llegar a un estado absorbente

 Probabilidad de terminar en estados absorbentes

Cadenas de markov absorbentes
Se requiere una matriz de transición ordenada como la
que se muestra a continuación:
Transitorios Absorbentes
s-m columnas m columnas
Transitorios s-m filas Q R
Absorbentes m filas 0 I

 Se puede entonces determinar:

 Número esperado de veces en un estado antes de la
absorción: (I – Q)-1
 Probabilidad de terminar en cada uno de los estados
absorbentes: (I – Q)-1R
Ejemplo
• A través del análisis de cuentas por cobrar pasadas, un
contralor proporciona la siguiente información:
0-30 días 31-90 días pagadas Morosas
0-30 días 0.4 0.1 0.5 0
31-90 días 0.1 0.2 0.6 0.1
Pagadas 0 0 1 0
morosas 0 0 0 1

 El balance de cuentas por cobrar indica que se tiene

$60000 en cuentas por cobrar con retraso entre 0 y 30 días
y $40000 en cuentas por cobrar con retraso entre 31 y 90
días.
 ¿Cuál debe ser la concesión?
 Ejemplo - solución
Estado Descripción 1 2 3 4
1 CxC conretraso entre 0 y 30 días 1 0.4 0.1 0.5 0
2 CxC con retraso entre 31 y 90 días Q R
P= 2 0.1 0.2 0.6 0.1
3 Cuentas pagadas 3 0 0 1 0
4 Cuentas morosas 0 I
4 0 0 0 1
Paso = 1 día

3 4 1 2 1 2
R= 1 0.5 0 Q= 1 0.4 0.1 (I - Q)-1 = 1 1.702 0.213
2 0.6 0.1 2 0.1 0.2 2 0.213 1.277

3 4
La concesión será:
(I - Q)-1R= 1 0.979 0.021 60000(0.021)
 6380
2 0.872 0.128
 40000(0.128)
Problemas
Resueltos:
 Problema 1: Movimiento de agua
 Problema 2: Venta de artesanías
 Problema 3: Mercado compartido
 Problema 4: Taller de producción (2 máquinas)

Propuestos:
 Problema 5: seis bolas en dos urnas
 Problema 6: Una rata en el laberinto
 Problema 1
Movimiento de agua
 Sea Xi = cantidad de agua que fluye a una represa en el
período i.
 Xi tiene la siguiente función de densidad:

Xi 1 2 3 4 5 Para todo i
independientes.
F(Xi) 1/8 1/4 1/4 1/4 1/8
 Capacidad de la represa: 5 unidades.
 Si la represa se llena, el flujo siguiente se pierde.
 Al final de un período se dejan escapar 3 unidades de agua
(si están disponibles), cc se deja escapar toda el agua.
 Sea: Yt = cantidad de aguna en la represa al final del
período t, luego de dejar escapar el agua.
 Problema 1
Movimiento de agua
 Encontrar la matriz de probabilidades de transición.
 Clasificar los estados.
 Calcular las probabilidades de estado estable.
 ¿Cuál es el valor esperado de agua que se pierde a la larga?
 Si en un período dado no hay 3 unidades de agua, ésta se
debe comprar en otra parte. ¿Cuál es el valor esperado de
este faltante por período?
 Problema 2
Venta de artesanías
 Producción: 1 tapiz al día (para vender al día siguiente)
 II = 1, entonces: P(V=1) = 1/3
 II = 2, entonces: P(V1)  ½, P(V2)  ¼
 II = 3, entonces: P(V1)  2/3, P(V2)  1/3, P(V3)  1/5
 Si II 3, el artesano no produce, sólo vende.
Hallar:
 La matriz de transición asociada al proceso
 La fracción promedio de tardes en que el artesano tendrá
sólo el tapiz producido durante ese día y ningún otro
 Fracción de tardes en que el artesano no produce
 Nivel promedio de inventario al final de un día
 Problema 3
Mercado compartido
El mercado de un producto lo comparten 4 marcas. La
tabla siguiente nos muestra la distrib. Actual del
mercado compartido y el porcentaje de personas que
cambian de marca luego de compras consecutivas:

A la A la A la A la Mercado
marca 1 marca 2 marca 3 marca 4 compartid
o
De la marca 1 60 8 20 12 40%
De la marca 2 15 40 25 20 20%
De la marca 3 25 16 50 9 30%
De la marca 4 28 12 20 40 10%
 Problema 3
Mercado compartido
 Si en promedio se realiza una compra cada 2 meses,
realizar una predicción del mercado luego de 6 meses.
 ¿Cuál es la participación promerdio a largo plazo del
mercado para cada marca si los patrones actuales de
compra nose alteran?
A la A la A la A la Mercado
marca 1 marca 2 marca 3 marca 4 compartid
o
De la marca 1 60 8 20 12 40%
De la marca 2 15 40 25 20 20%
De la marca 3 25 16 50 9 30%
De la marca 4 28 12 20 40 10%
Problema 4
Taller de producción
 Un taller opera dos máquinas idénticas
 Cada máquina requiere de la atención del operador en
momentos aleatorios.
 La probabilildad de que la máquina requiera servicio en un
período de 5 minutos es p = 0.4
 El operador es capaz de dar servicio a una máquina en 5
minutos.
 Una máquina requiere servicio siempre al inicio de un
intervalo de 5 minutos.
 Problema 5
Seis bolas en dos urnas
 Se tienen tres bolas blancas y tres bolas negras en dos
urnas (tres bolas en cada urna).
 El sistema está en el estado i, i = 0,1,2,3, si la primera urna
contiene i bolas blancas.
 En cada paso se saca una bola de cada urna y se
intercambian (de urnas).
 Sea Xn el estado del sistema después del n-ésimo paso:

 ¿Por qué {Xn, n = 0, 1, ....} es una CM?

 Calcular la matriz de transición.
 Se tienen beneficios de 10, 20, 30 y 40 dólares por estar en
los estados 0, 1, 2 y 3 respectivamente. ¿Cuál será el
beneficio esperado a largo plazo?
 Problema 6
Una rata en el laberinto
 Se coloca una rata en el laberinto como se indica:

1 3

5 4
 Problema 6
Una rata en el laberinto
 Describir los estados y hallar la matriz de transición
correspondiente, asumir que la rata se mueve diariamente
de un compartimiento a otro (no permanece en el mismo
compartimiento dos días seguidos).
 Clasificar los estados.
 Hallar, para cada estado, el tiempo medio que tarda la rata
en volver a ese estado.
 Determinar la probabilidad de que la rata esté en cada uno
de los correspondientes estados en el día 3, si en el día 1 se
encuentra en el compartimiento 2 .
Bibliografía
 DAELLENBACH. Cap. 13, páginas 379-399. (1990)

 HILLIER1. Cap. 16, páginas 802-827. (2002)

 SHAMBLIN. Cap. 4, páginas 56-86. (1975)

 TAHA. Cap. 19, páginas 711-740. (1997)