CADENAS

DE MARKOV
 CONCEPTO
Una cadena de Markov es una forma de analizar el movimiento
actual de una variable a fin de pronosticar el movimiento futuro de
la misma.
Conocido el estado del proceso en un momento dado, su comportamiento futuro
no depende del pasado. Dicho de otro modo, “dado el presente, el futuro es
independiente del pasado”
PROCESO ESTOCÁSTICO : Es un conjunto de variables al azar
indexados que varían con el tiempo
Una cadena de Markov es un proceso estocástico incluye las siguientes
características:
1. Existe un número limitado o finito de estados posibles
2. La probabilidad de que los estados cambien permanece igual a lo largo del
tiempo
3. Se puede predecir cualquier estado futuro a partir del estado anterior y de la
matriz de probabilidades de transición
4. El tamaño y constitución del sistema no cambian durante el análisis
 PROBABILIDAD DE ESTADO: ES LA
PROBABILIDAD DE QUE OCURRA UN EVENTO
EN UN PUNTO DEL TIEMPO.

PROBABILIDAD DE TRANSICIÓN: ES LA
PROBABILIDAD CONDICIONAL DE ESTAR EN UN
ESTADO FUTURO CUANDO SE ESTA EN UN
ESTADO ACTUAL O EXISTENTE

MATRIZ DE PROBABILIDADES DE TRANSICIÓN:

ES LA MATRIZ QUE CONTIENE TODAS LAS
PROBABILIDADES DE TRANSICION DE UN
CIERTO PROCESO O SISTEMA
 EJEMPLO : Línea Telefónica
Sea una línea telefónica de estados:
Ocupado = 1
Estado t+1
Desocupado = 0.
Desocupado Ocupado
Estado Desocupado 0,9 0,1
Si en el instante t está ocupada, en el t Ocupado 0,3 0,7
instante (t+1) estará ocupada con
probabilidad 0,7 y desocupada con
probabilidad 0,3.

Si en el instante t está desocupada,

en el (t+1) estará ocupada con
probabilidad 0,1 y desocupada con 0,1
probabilidad 0,9.
0,9 0 1 0,7

0,3
 CASO: TIENDAS DE CADENA…
Cierta ciudad intermedia cuenta con tres MATRIZ DE PROBABILIDAD DE
grandes almacenes de cadena. TRANSICIÓN
Alrededor de 100.000 personas visitan
Pij : Probabilidad condicional
estas tiendas durante un mes de encontrarse en el estado j,
determinado. De ellas 40.000 van de en el futuro, si se encuentra
compras al almacén TRIUNFO. 30.000 actualmente en estado i
personas compran en la tienda La 41 y
30.000 personas compran en la tienda
FRESCA.
Probabilidad de que una
TIENDA persona se encuentre en
P12: Probabilidad de llegar al
cada Tienda
esto 2 (en el futuro), dado que
Estado 1 TRIUNFO 0,40 se encuentra en el estado 1
durante el periodo anterior.
Estado 2 LA 41 0,30
Son empíricas
Estado 3 FRESCA 0,30
Adaptado de Métodos Cuantitativos para los Negocios. Render, Stair,
Hanna. 9ª edición
 …CASO: TIENDAS DE CADENA
Un cliente que hoy prefiere una tienda para sus compras podría
realizar las compras del mes siguiente en otro almacén. Luego de
un estudio histórico (observado a lo largo del tiempo) se construyó
la siguiente matriz de probabilidades de transición

TRIUNFO LA 41 FRESCA
P23 = 0.2 Probabilidad de
TRIUNFO 0,8 0,1 0,1
encontrase en el estado 3,
0,1 0,7 0,2 después de haber estado en el
P= LA 41 estado 2 en el periodo anterior
FRESCA 0,2 0,2 0,6
PRONOSTICO DE PARTICIPACIÓN EN EL
MERCADO PARA EL PERIODO 1
Las probabilidades del periodo 1 pueden obtenerse mediante

0,8 0,1 0,1

0,4 0,3 0,3 * 0,1 0,7 0,2 = 0,41 0,31 0,28
0,2 0,2 0,6

Los resultados muestran que las tiendas TRIUNFO y LA 41,

aumentarán su participación en el mercado, mientras que
FRESCA la disminuye (0,3 pasa a 0,28)

EN GENERAL : Las probabilidades en el estado i se obtienen mediante

el producto de la matriz de probabilidades en el estado (i-1) por la
Matriz de Transición: P1 = P0 * P
CASO: FUNCIONAMIENTO DE MÁQUINA
Alexander, propietario de Maquindustria tiene un registro sobre el
funcionamiento de su máquina fresadora y ha encontrado que en
los últimos dos años, en el 80% del tiempo, la máquina funcionó
muy bien durante el mes actual si había funcionado bien durante
el mes anterior. Lo anterior significa que solo el 20% del tiempo la
maquina NO funcionó bien durante el mes determinado cuando
funcionaba bien en el mes anterior.
Además observó que el 90% del tiempo la máquina permaneció
ajustada de forma incorrecta durante un mes determinado si no
estaba bien ajustada el mes anterior. Solo el 10% del tiempo operó
de forma correcta en un mes determinado cuando NO operó
correctamente durante el mes anterior. Lo anterior muestra que la
maquina puede corregirse a sí misma cuando no ha funcionado bien
en el pasado, situación que se presenta el 10% de las veces.
 MATRIZ DE 1. ¿Cuál es la probabilidad de que la
PROBABILIDADES DE máquina de Alexander funcione
correctamente dentro de un mes?
TRANSICIÓN
0,8 0,2
Mes Actual 1 0 * = 0,8 0,2
0,1 0,9
Correcta Incorrecta
Incorrecta Correcta

0,8 0,2
Mes Anterior

2. ¿Qué probabilidad existe de que la

P= máquina funcione correctamente
dentro de dos meses?
0,1 0,9

0,8 0,2
0,8 0,2 * = 0,66 0,34
0,1 0,9
P21: Probabilidad de que la
máquina funcione correctamente
en el mes actual, dado que NO
funcionó correctamente en el mes En 2 meses existe una probabilidad del
anterior 66% de que la máquina siga funcionando
correctamente
 NO
PERIODO
FUNCIONE
FUNCIONA CONDICIONES DE ESTABILIDAD
(ESTADO 1)
(ESTADO 2)
1 1 0
Periodo 1 Periodo 2
2 0,8 0,2
0,8 0,2
3 0,66 0,34 1 0 * = 0,8 0,2
0,1 0,9
4 0,562 0,438 Periodo 2 Periodo 3
5 0,4934 0,5066 0,8 0,2
0,8 0,2 * = 0,66 0,34
6 0,4454 0,5546 0,1 0,9
7 0,4118 0,5882 Periodo 3 Periodo 4
8 0,3882 0,6118 0,8 0,2
0,66 0,34 * = 0,562 0,438
0,1 0,9
9 0,3718 0,6282
Periodo 4 Periodo 5
10 0,3602 0,6398 0,8 0,2
11 0,3522 0,6478 0,562 0,438 * = 0,4934 0,5066
0,1 0,9
12 0,3465 0,6535 Periodo 5 Periodo 6
13 0,3426 0,6574 0,8 0,2
0,4934 0,507 * = 0,4454 0,5546
14 0,3398 0,6602 0,1 0,9
15 0,3379 0,6621
16 0,3365 0,6635
 NO
FUNCIONE
PERIODO FUNCIONA
(ESTADO 1) MAQUINDUSTRIA
(ESTADO 2)
CONDICIONES DE ESTABILIDAD
1 1 0 1.2

2 0,8 0,2 1
3 0,66 0,34
0.8
4 0,562 0,438
5 0,4934 0,5066 0.6

6 0,4454 0,5546 0.4

7 0,4118 0,5882 0.2
8 0,3882 0,6118
0
9 0,3718 0,6282
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
10 0,3602 0,6398
11 0,3522 0,6478
12 0,3465 0,6535
13 0,3426 0,6574
¿Qué puede esperarse a largo plazo?
14 0,3398 0,6602
15 0,3379 0,6621 ¿Existe un equilibrio?
16 0,3365 0,6635 ¿Cuál es el valor del equilibrio?
 ¿Cuándo se alcanza el equilibrio?
R/ Cuando las probabilidades calculadas NO CAMBIAN CON
EL TIEMPO después de un gran número de periodos.
Cuando se logra el equilibrio las probabilidades en el
estado t son iguales a las probabilidades en el estado (t+1)

P(t+1) = P(t)*R , donde R es la matriz de transición

Pero es estado de equilibrio P(t+1) = P(t)  P(t+1) P(t) = P(t)*R
0,8 0,2
p1 p2 = p1 p2 * Caso MAQUINDUSTRIA
0,1 0,9

PRODUCTO MATRICIAL
p1 = 0.8 p1 + 0.1 p2 0.2p1 = 0.1p2  0.2p1 = 0.1( 1 – p1 )  0.3 p1 = 0.1
p2 = 0.2 p1 + 0.9 p2 p1 = 1/3 = 0.3333  p2 = 2/3 =0.6666
Además: p1 + p2 = 1
A Alirio, director del Instituto Técnico de Occidente (ITO) se encuentra
preocupado por el número decreciente de inscripciones. Este instituto ofrece
“Capacitación técnica en programación y soporte de computadores”. En el
P sector se encuentran dos instituciones que representan competencia fuerte:
la Corporación Técnica en Sistemas (CTS) y El Centro de Sistemas del Sur
L (CSS). Para comprender cuál de estas instituciones será la líder en el área,
Alirio decidió llevar a cabo una encuesta. En ella analizó el número de
I estudiantes que se cambiarán de institución durante la duración de su carrera
técnica. En promedio, ITO fue capaz de retener el 65% de los estudiantes
C inscritos originalmente. Sin embargo, 20% que al principio se inscribieron en
ITO se fueron para CTS y 15% para CSS. CTS tuvo una tasa de retención más
A alta: 90% de sus estudiantes se quedaron en ella hasta terminar su
capacitación. Alirio estima que, alrededor de la mitad de los estudiantes que
abandonaron CTS, entraron a ITO y la otra mitad al CSS. CSS pudo retener
C 80% de sus estudiantes después de que se inscribieron. Por otra parte, 10%
de los estudiantes inscritos originalmente se cambiaron a CTS y 10% a ITO.
I Actualmente ITO tiene el 40% del mercado, CTS que es la más nueva y tiene
el 35% del mercado. La participación del mercado restante corresponde a
Ó estudiantes que asisten a CSS. A Alirio le gustaría determinar la participación
del mercado de ITO en el próximo año. ¿Cuáles son las participaciones de
N mercado en equilibrio para estas tres instituciones?
 Actualmente ITO tiene el 40% del mercado, CTS que es la más
PARTICIPACION INICIAL nueva y tiene el 35% del mercado. La participación del
ITO CTS CSS mercado restante corresponde a estudiantes que asisten a CSS
0,4 0,35 0,25
MATRIZ DE TRANSICION
ITO
ITO 0,65
CTS
0,20
CSS
0,15
S
CTS 0,05
CSS 0,10
0,90
0,10
0,05
0,80 O
EnPARTICIPACIÓN
promedio, ITOENfueELcapaz
originalmente. PROXIMO
de retener
MECADO
Sin embargo,
el 65% de los estudiantes inscritos
DE ITO EL L
AÑO20% que al principio se inscribieron en ITO se
fueron para CTS y 15% para CSS. CTS tuvo una tasa de retención más alta:
90% de sus estudiantes se quedaron en ella hasta terminar su
U
0,65 0,20 0,15
capacitación. Alirio estima que, alrededor de la mitad de los estudiantes
que0,4abandonaron
0,35 0,25CTS, * 0,05 0,90
entraron
0,10 0,10
0,05
a ITO y la=otra
0,303 0,420
mitad 0,278 CSS pudo
al CSS.
0,80 de que se inscribieron. Por otra
C
retener 80% de sus estudiantes después
parte, 10% de los estudiantes inscritos originalmente se cambiaron a CTS y
10% a ITO.
I
Participación en el mercado de ITO: 30.3% Ó
Participación en el mercado de CTS: 42% N
Participación en el mercado de CSS: 27.8%
¿Cuáles son las participaciones de mercado en
equilibrio para estas tres instituciones?
PARTICIPACION INICIAL
S
P(t) = P(t) * R 
X1:Participación en el mercado de ITO
ITO
0,4
CTS
0,35
CSS
0,25
O
X2: Participación en el mercado de CTS
X3: Participación en el mercado de CSS L
0,65 0,20 0,15
X1 X2 X3 = X1 X2 X3 * 0,05 0,90 0,05 U
0,10 0,10 0,80

Se genera un sistema de ecuaciones lineales: C

X1 = 0.65X1 + 0.05X2 + 0.10X3 I
X2 = 0.20X1 + 0.90X2 + 0.10X3
X3 = 0.15X1 + 0.05X2 + 0.80X3 ITO: X1 = 0.158 (15.8%)
Ó
X1 + X2 + X3 = 1
CTS: X2 = 0.579 (57.9%) N
INTERPRETAR CSS: X3 = 0.263 (26.3%)
 EJERCICIO EN CLASE
En un pueblo, al 90% de los días soleados le
siguen días soleados, y al 80% de los días
nublados le siguen días nublados. Con esta
información modelar el clima del pueblo como
una cadena de Markov.

SOLEADO NUBLADO

SOLEADO 0,9 0,1

NUBLADO 0,2 0,8
 EJERCICIO EN CLASE
La cervecería más importante del mundo (Guiness) ha contratado a un
analista de investigación de operaciones para evaluar su posición en el
mercado. Están preocupados en especial por su mayor competidor
(Heineken).
El analista piensa que esta situación puede modelar como una cadena de
Markov incluyendo tres estados, los estados G y H representan a los
clientes que beben cerveza producida por las mencionadas cervecerías y
el estado O representa todas las demás marcas. Los datos se toman cada
mes y el analista ha construido la siguiente matriz de transición de los
datos históricos.
G H O ¿Cuáles son los porcentajes
G 0,8 0,15 0,05 de mercado en el estado
estable para las dos
H 0,2 0,6 0,2 cervecerías grandes?
O 0,3 0,2 0,5
 G H 0 0,8 0,15 0,05
G 0,8 0,15 0,05 X1 X2 X3 = X1 X2 X3 * 0,2 0,6 0,2
H 0,2 0,6 0,2 0,3 0,2 0,5
O 0,3 0,2 0,5 G H O
Sistema de ecuaciones lineales:
1 1 1 1 X1 + X2 + X3 = 1
MÉTODO
-0,2 0,2 0,3 0 DE X1 = 0.8X1 + 0.2X2 + 0.3X3
0,15 -0,4 0,2 0 GAUSS X2 = 0.15X1 + 0.6X2 + 0.2X3
X3 = 0.05X1 + 0.2X2 + 0.5X3
1 1 1 1 F1 - F2 1 0 -0,25 0,5
F2 + 0,2 F1 0 0,4 0,5 0,2 F2/0,4 0 1 1,25 0,5
F3 - 0,15 F1 0 -0,55 0,05 -0,15 F3 + 0,55F2 0 0 0,7375 0,125

1 0 0 0,542
F1 + 0,25 F3 1 0 0 0,542
0 1 0 0,288
F2 -1,25*F3 0 1 0 0,288
0 0 1 0,169
F3/0,7375 0 0 1 0,169
G(X1) = 0.542 H(X2) = 0.288
 EJEMPLO : Uso de Máquina
Se describen los estados de una máquina como una cadena de Markov, donde
los estados posibles pueden ser:
A) La máquina está funcionando.
B) La máquina está recibiendo reparación.
C) La máquina está parada esperando recibir reparación.
De acuerdo a la siguiente matriz de transición.
1-Encontrar la probabilidad de que
ESTADO ACTUAL estando en el estado B) llegue al
estado A) en el segundo período.
A B C
A 0,7 0,5 0,0 2- Encontrar la probabilidad de
que estando en el estado A) llegue
B 0,1 0,5 0,6
al estado C) al tercer período.
C 0,2 0,0 0,4
3- Encontrar la probabilidad de
que estando en el estado C) llegue
al estado B) al cuarto período
1-Encontrar la probabilidad de que estando en el estado B) llegue al
estado A) en el segundo período.
0,7 A 0,35
A B C 0,5 A B
C
A 0,7 0,1 0,2
ACTUAL
ESTDO

B 0,5 0,5 0,0 0,5 0,5 A 0,25

B B B
C 0,0 0,6 0,4 C
0,0
0,0 A
MEDIANTE PROCESO DE MARKOV 0,0
C B
C
Paso 1 Paso 2 0,6

A B C Paso 2
A 0,7 0,1 0,2
0,5 0,5 0 * B 0,5 0,5 0 = 0,6 0,3 0,1
C 0 0,6 0,4
La probabilidad es
del 60%
2- Encontrar la probabilidad de A B C
que estando en el estado A) A 0,7 0,1 0,2

ACTUAL
llegue al estado C) al tercer

ESTDO
B 0,5 0,5 0,0
período.
C 0,0 0,6 0,4

A B C
PASO 1 A 0,7 0,1 0,2 PASO 2
0,7 0,1 0,2 * B 0,5 0,5 0 = 0,54 0,24 0,22
C 0 0,6 0,4

A B C

PASO 2 A 0,7 0,1 0,2 Paso 3

0,54 0,24 0,22 * B 0,5 0,5 0 = 0,498 0,306 0,196

C 0 0,6 0,4 La probabilidad es del
19.6%
 A B C 3- Encontrar la probabilidad de
A 0,7 0,1 0,2 que estando en el estado C) llegue
ACTUAL

al estado B) al cuarto período

ESTDO

B 0,5 0,5 0,0

C 0,0 0,6 0,4

A B C
A 0,7 0,1 0,2 PASO 2
0 0,6 0,4 * B 0,5 0,5 0 = 0,3 0,54 0,16
C 0 0,6 0,4
A B C
PASO 2 A 0,7 0,1 0,2 Paso 3
0,3 0,54 0,16 * B 0,5 0,5 0 = 0,48 0,396 0,124
C 0 0,6 0,4
La probabilidad es 32.0%
A B C
Paso 3 A 0,7 0,1 0,2
0,48 0,396 0,124 * B 0,5 0,5 0 = 0,534 0,32 0,146
C 0 0,6 0,4
 APLICACIÓN
Un ejecutivo comercial realiza su trabajo en tres ciudades A, B y C. Para evitar
desplazamientos innecesarios está todo el día en la misma ciudad y allí pernocta,
desplazándose a otra ciudad al día siguiente, si no tiene suficiente trabajo.
Después de estar trabajando un día en C, la probabilidad de tener que seguir
trabajando en ella al día siguiente es 0,4, la de tener que viajar a B es 0,4 y la de
tener que ir a la ciudad A es 0,2.
Si el viajante duerme un día en B, con probabilidad de un 20% tendrá que seguir
trabajando en la misma ciudad al día siguiente, en el 60% de los casos viajará a C,
mientras que irá a A con probabilidad 0,2.
Por último si el ejecutivo comercial trabaja todo un día en A, permanecerá en esa
misma ciudad, al día siguiente, con una probabilidad 0,1, irá a B con una
probabilidad de 0,3 y a C con una probabilidad de 0,6.
a) Si hoy el viajante está en C, ¿cuál es la probabilidad de que también tenga que
trabajar en C al cabo de cuatro días?
b) ¿Cuales son los porcentajes de días en los que el ejecutivo comercial está en
cada una de las tres ciudades?
Después de estar trabajando un día en C, la probabilidad a) Si hoy el viajante está en C,
de tener que seguir trabajando en ella al día siguiente es ¿cuál es la probabilidad de que
0,4, la de tener que viajar a B es 0,4 y la de tener que ir a también tenga que trabajar en
la ciudad A es 0,2. Si el viajante duerme un día en B, con C al cabo de cuatro días?
probabilidad de un 20% tendrá que seguir trabajando en b) ¿Cuales son los porcentajes
la misma ciudad al día siguiente, en el 60% de los casos de días en los que el ejecutivo
viajará a C, mientras que irá a A con probabilidad 0,2. Por comercial está en cada una de
último si el ejecutivo comercial trabaja todo un día en A, las tres ciudades?
permanecerá en esa misma ciudad, al día siguiente, con
una probabilidad 0,1, irá a B con una probabilidad de 0,3 MATRIZ DE TRANSICIÓN
y a C con una probabilidad de 0,6.
0,1 0,3 0,6
0,2 0,2 0,6
A) Dia 0  1  2  3 4 = P⁴ 0,2 0,4 0,4
0,1 0,3 0,6 0,1 0,3 0,6 0,1 0,3 0,6 0,1 0,3 0,6
0,2 0,2 0,6 * 0,2 0,2 0,6 * 0,2 0,2 0,6 * 0,2 0,2 0,6
0,2 0,4 0,4 0,2 0,4 0,4 0,2 0,4 0,4 0,2 0,4 0,4

X1 = 0,1818 (18.18%)
B) Probabilidades estacionarias (equilibrio) X2 = 0,3181 (31.18%)
X3 = 0,50 (50%)
 APLICACIÓN
Suponga que toda la industria de refresco produce dos colas:
FRESCOOL y ENERFRES. Cuando una persona ha comprado
FRESCOOL hay una probabilidad de 90% de que siga comprándola
en su compra siguiente. Si una persona compró ENERFRES, hay 80%
de que repita la vez siguiente. Determinar:
a) Si una persona actualmente es comprador de ENERFRES. ¿Cuál
es la probabilidad de que compre FRESCOOL dos compras
después?
b) Suponga que actualmente el 60% de toda la gente toma hoy
FRESCOOL y el 40% ENERFRES. Después de dos compras a partir
de hoy, ¿Qué fracción de los compradores estará tomando
FRESCOOL.
c) Calcule e interpretar las probabilidades en estado estable.
SOLUCIÓN MATRIZ DE TRANSICIÓN

F
F
0,9
E
0,1
E 0,2 0,8

a) Si una persona actualmente

es comprador de ENERFRES. F E
¿Cuál es la probabilidad de F 0,9 0,1 0,9 0,1 0,83 0,17
que compre FRESCOOL dos * =
E 0,2 0,8 0,2 0,8 0,34 0,66
compras después?
b) Suponga que actualmente el 60% de toda la gente toma hoy FRESCOOL y el
40% ENERFRES. Después de dos compras a partir de hoy, ¿Qué fracción de los
compradores estará tomando FRESCOOL.
0,83 0,17
0,6 0,4 * = 0,63 0,37
0,34 0,66

ESTADO ESTABLE: X1 = 2/3 X2 = 1/3