UNIVERSIDAD NACIONAL DE SAN CRISTÓBAL DE HUAMANGA

FACULTAD DE INGENIERÍA DE MINAS GEOLOGÍA Y CIVIL

ESCUELA DE PROFESIONAL DE INGENIERÍA DE SISTEMAS

CADENAS DE MARCOV

CURSO : INVESTIGACIÓN DE OPERACIONES II

DOCENTE : ING. ELOY VILA HUAMÁN

INTEGRANTES : ARAUJO RODRIGUEZ, Elias job

: JORGE MISARAYME, Raquel
; LAGOS AGUILAR, Jheslyn Andiela
: QUISPE CABALLA, Clever
: SINCHITULLO ORELLANA, Bryan

AYACUCHO – PERÚ
2019
 Contenido
RESUMEN ......................................................................................................................... 3
INSTRUCCIÓN ................................................................................................................. 4
MARCO TEÓRICO ................................................................................................................... 5
RESEÑA HISTÓRICA ...................................................................................................... 6
CADENAS DE MARKOV ......................................................................................................... 7
LAS CADENAS DE MÁRKOV ................................................................................................ 8
DEFINICIÓN FORMAL............................................................................................................ 8
DESCRIPCIÓN DE UNA CADENA DE MARKOV .............................................................. 9
PROBABILIDADES D TRANSICIÓN .................................................................................... 9
MATRIZ DE TRANSICIÓN ................................................................................................... 10
CLASES DE CADENAS DE MARKOV ................................................................................ 13
APLICACIONES ...................................................................................................................... 18
EJERCICIOS DE CADEMA DE MARCOV ......................................................................... 19
CONCLUSIÓN.......................................................................................................................... 27
BIBLIOGRAFÍA ....................................................................................................................... 28

2
 RESUMEN

En la teoría de la probabilidad, se conoce como cadena de Márkov a un tipo especial de

proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende
del evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria.
"Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros.
Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de
eventos independientes, como tirar una moneda al aire o un dado.
Reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922), que
las introdujo en 1907.

3
 INSTRUCCIÓN

En el presente trabajo hablaremos sobre las cadenas de Markov, en donde antes de definir
este concepto encontraremos la estrecha relación que tiene con el proceso estocástico, el
cual es entendido como una sucesión de variables aleatorias que evolucionan en función
de otra variable, es decir, cada variable o conjunto de variables sometidas a impactos
aleatorios constituirán este proceso de acuerdo al tiempo.
Entonces, la cadena de Markov será entendida como un tipo especial de procesos
estocásticos de tiempo discreto, la característica principal es que los estados futuros son
independientes de los últimos estados y las probabilidades no son las mismas de acuerdo
a la distribución. El campo de aplicación de las cadenas de Markov es amplio, es utilizada
en el proceso industrial de fabricación de tejas, en los negocios para analizar los patrones
de compra de los deudores, para planear las necesidades de personal, para analizar el
reemplazo de equipo, entre otros. También se usa en disciplinas como la física, ingeniería,
biología, medicina y otras ramas de la matemática. Los temas que se presentan a
continuación nos describirán el proceso de las cadenas con la ayuda de los ejemplos que
se desarrollarán más adelante.

4
 MARCO TEÓRICO
Según Gustavo Mesa las cadenas de Markov son descritas como una forma sencilla de
encontrar probabilidades haciendo uso del álgebra matricial. Se le conoce como un
proceso sencillo, ya que una persona común en donde su especialidad no sean las
matemáticas o el algebra matricial podría resultarle sencillo el poder entender el concepto
de hallar probabilidades utilizando las cadenas de Markov. Lo esencial del concepto de
las Cadenas de Markov se basa en buscar la probabilidad que ocurra un evento
dependiendo del evento inmediato anterior. Un ejemplo a utilizarse para comprobar lo
dicho anteriormente lo es el sistema utilizado por los meteorólogos en los centros
climatológicos y en los centros informáticos contra desastres. Los meteorólogos hacen
uso de las cadenas de Markov y pueden hallar la probabilidad de lluvia o de sequía
dependiendo de lo que ocurre en días anteriores en una región de tierra específica. Las
cadenas de Markov no solo se utilizan para buscar probabilidades en situaciones
climatológicas, también se utilizan en el servicio de finanza sobre la Data – Crédito. La
Data-Crédito es un sistema que evalúa las acciones de las personas en cuanto a pagos de
deudas se refiere. La clasificación que se le da a las personas en base a su crédito es una
excelente, buena o deficiente, todo depende del comportamiento financiero de la persona.
Si mantiene sus deudas sin atrasos, su crédito es excelente, y si la persona tiene un largo
historial de atrasos en sus deudas entonces su crédito es deficiente.
Se puede pensar que si un cliente en cierto mes es clasificado como deficiente, lo más
seguro es que su crédito sea negado ya que se estima que para el mes siguiente lo mas
probable es que su comportamiento sea el mismo, lo que deja por entendido que la
probabilidad de estar en alguno de estos estados (excelente, bueno, deficiente), un mes
cualquiera depende de la clasificación del mes anterior, y que es razonable en el análisis
del crédito concluir que un manejo deficiente en cierto mes, asegura un mal manejo en el
mes siguiente. Se puede observar que en los dos casos, meteorología y Data-Crédito, se
busca la probabilidad de un evento basándose en los eventos anteriores. Pero las cadenas
de Markov también son utilizadas en la demografía o censo. Esto tiene un gran significado
en el momento de clasificar a las personas en tres clases sociales. Las clases sociales se
distinguen de acuerdo a los ingresos económicos de cada familia, estas clases sociales
son: rico, pobre y clase media. Según Juan Espinoza estas clases sociales en una población
determinada, se pude predecir de acuerdo a la clasificación de la clase social anterior.
Estos estudios ayudan grandemente al movimiento de la sociedad ante los avances
históricos y culturales, ya que si notamos como la población se va comportando con el
pasar del tiempo podemos mejorar la calidad de vida de las poblaciones en general y hacer
que las clases vayan mejorando por el bien de la sociedad. La sociedad no solo mejora
cambiando su nivel socioeconómico también mejoramos la calidad de vida buscando los
intereses de una población.

5
 RESEÑA HISTÓRICA
Márkov nació en Riazán, Rusia. Antes de los 10 años su padre, un funcionario estatal, fue
trasladado a San Petersburgo donde Andréi entró a estudiar en un instituto de la ciudad.
Desde el principio mostró cierto talento para las matemáticas y cuando se graduó en 1874
ya conocía a varios matemáticos de la Universidad de San Petersburgo, donde ingresó
tras su graduación. El nombre de cadenas de Markov se definió por primera vez en un
artículo de 1906 que trataba la ley de los grandes números y posteriormente demostró
muchos resultados estándar sobre ellas. Su interés en estás sucesiones se originó en las
necesidades de la teoría de la probabilidad; Markov nunca trató sus aplicaciones a las
ciencias. Los únicos ejemplos reales que utilizó eran de textos literarios, donde los dos
estados posibles eran vocales y consonantes. Para ilustrar sus resultados, hizo un estudio
estadístico de la alternancia de las vocales y las consonantes en el libro de Pushkin Eugene
Onegin. Andrei Markov dio clase en la universidad de San Petersburgo de 1880 a 1905,
y se retiró para dar paso a matemáticos más jóvenes.

6
 CADENAS DE MARKOV
Concepto de un Proceso Estocástico
Es un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado
en cualquier etapa contiene algún elemento que depende del azar. Frederick & Liberman
(9ª Ed), introducción a la investigación de operaciones, pag 673, Nos afirma que “Es una
colección indexada de variables aleatorias {Xt}, donde el índice t toma valores de un
conjunto T dado. Con frecuencia T se considera el conjunto de enteros no negativos
mientras que Xt representa una característica de interés cuantificable en el tiempo t. Por
ejemplo, Xt puede representar los niveles de inventario al final de la semana t”.
Ejemplo:
La tienda de fotografía de Dave tiene el siguiente problema de inventario. El negocio
tiene en almacén un modelo especial de cámara que se puede solicitar cada semana. Sean
D1, D2, . . . representan las demandas respectivas de esta cámara (el número de unidades
que se venderían si el inventario no se agota) durante la primera, segunda semanas, . . .,
respectivamente, entonces, la variable aleatoria Dt (para t = 1, 2, . . .) es:
Dt = número de cámaras que se venderían en la semana t si el inventario no se agota.
(Este número incluye las ventas perdidas cuando se agota el inventario).
Se supone que las Dt son variables aleatorias independientes e idénticamente distribuidas
que tienen una distribución Poisson con media de 1. Sea X0 el número de cámaras que se
tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen al final
de la semana 1, X2 el número de cámaras al final de la semana 2, etc., entonces la variable
aleatoria Xt (para t = 0, 1, 2, . . .) es:
Xt = número de cámaras disponibles al final de la semana t.
Suponga que X0 = 3, de manera que la semana 1 se inicia con tres cámaras a mano.
{Xt} = {X0, X1, X2,. . .}
Es un proceso estocástico donde la variable aleatoria Xt representa el estado del sistema
en el tiempo t, a saber
Estado en el tiempo t = número de cámaras disponibles al final de la semana t.
Como propietario de la tienda, Dave desearía aprender más acerca de cómo evoluciona
este proceso estocástico a través del tiempo mientras se utilice la política de pedidos
actual que se describe a continuación.
Al final de cada semana t (sábado en la noche), la tienda hace un pedido que le entregan
en el momento de abrir la tienda el lunes. La tienda usa la siguiente política para ordenar:

Si Xt = 0, ordena 3 cámaras.
Si Xt > 0, no ordena ninguna cámara.

7
En consecuencia, el nivel de inventarios fluctúa entre un mínimo de cero y un máximo de
tres cámaras, por lo que los estados posibles del sistema en el tiempo t (al final de la
semana t) son:
Estados posibles = 0, 1, 2, o 3 cámaras disponibles.
Como cada variable aleatoria Xt (t = 0, 1, 2, . . .) representa el estado del sistema al final
de la semana t, sus únicos valores posibles son 0, 1, 2, 3. Las variables aleatorias Xt son
dependientes y se pueden evaluar en forma iterativa por medio de la expresión

Para t = 0, 1, 2, . . .

LAS CADENAS DE MÁRKOV

Tienen la propiedad de que la probabilidad de que la variable aleatoria en cuestión se
encuentre en un estado j en el instante t sólo depende del estado en que se encontraba el
sistema en el instante t-1, y no de los anteriores a este último. En este sentido, las cadenas
de Márkov tienen memoria, si bien dicha memoria está restringida al último estado de la
variable. A modo de ejemplo: La probabilidad de que el valor de una acción bursátil
evolucione al alza, a la baja o repita en una determinada sesión bursátil depende
únicamente de si subió, bajó o permaneció constante en la sesión precedente. Las cadenas
de Márkov han sido ampliamente utilizadas en numerosos campos de la Ciencia, y en
particular en el de las Ciencias Sociales.
DEFINICIÓN FORMAL
En la teoría de la probabilidad, se conoce como cadena de Márkov a un tipo especial de
proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende
del evento inmediatamente anterior. Esta dependencia del evento anterior distingue a las
cadenas de Márkov de las series de eventos independientes, como tirar una moneda al
aire o un dado. Una secuencia {Xn}n de variables aleatorias con valores en un espacio
finito Ω se denomina cadena de Márkov en tiempo discreto cuando
P(Xn+1 = xn+1|X1 = x1, . . . , Xn = xn) = P(Xn+1 = xn+1|Xn = xn),
donde xi se denomina estado del sistema en el instante i.
Para simplificar la notación, supondremos que el espacio finito de estados es Ω = {1, . .
., n}. En esta práctica consideraremos cadenas de Márkov homogéneas, en las que la
probabilidad de pasar del estado i al j no depende del instante de tiempo en que nos
encontramos:
P(Xn+1 = j|Xn = i) = P(X2 = j|X1 = i).
En ese caso, las probabilidades de pasar de un estado i a otro estado j pueden resumirse
mediante la llamada matriz de transición T, donde Tij = P(Xn+1 = j|Xn = i).

8
 DESCRIPCIÓN DE UNA CADENA DE MARKOV
En la figura 11-1 se muestra el proceso para generar una cadena de Mar-kov. El generador
de Markov produce uno de n eventos posibles, Ej, donde j = 1, 2, . . . , n, a intervalos
discretos de tiempo (que no tienen que ser iguales). Las probabilidades de ocurrencia para
cada uno de estos eventos dependen del estado del generador.

Generador de Markov.

Este estado se describe por el último evento generado. En la figura 11-1, el último evento
generado fue Ej de manera que el generador se encuentra en el estado Sj.
La probabilidad de que Ek sea el siguiente evento generado es una pro-babilidad
condicional: P(Ek/Sj). Esto se llama probabilidad de transición del estado Sj al estado Ek
.. Para describir completamente una cadena de Markov es necesario saber el estado actual
y todas las probabilidades de transición.
En esta sección se presentan dos formas fáciles de exponer las probabilidades de
transición.
PROBABILIDADES D TRANSICIÓN
Una forma para describir una cadena de Markov es con un diagrama de estados, como el
que se muestra en la figura 11-2. En ésta se ilustra un sistema de Markov con cuatro
estados posibles: S1; S2, S3 y S4. La probabilidad condicional o de transición de moverse
de un estado a otro se indica en el diagrama. Para simplificar la notación se usan
subíndices para el estado actual y el siguiente. Es decir, p14 = P(S4/S1). Las flechas
muestran las trayectorias de transición que son posibles. Nótese que no aparecen algunas
trayectorias como la de S2 a S3. Su ausencia significa que esas trayectorias tienen
probabilidad de ocurrencia igual que cero.

9
Un diagrama de estados.

Otro método para exhibir las probabilidades de transición es usar una matriz de
transición. La matriz de transición para el ejemplo del diagrama de estados se muestra en
la tabal 11-1. Nótese que, como existen cuatro estados posibles, se necesitan 4 x 4 = 16
probabilidades. También nótese que cada renglón de la matriz suma 1. Esto se debe a que
el sistema debe hacer una transición.

Las probabilidades de transición son datos para el análisis. Se deben conocer, no existe
manera de derivarlas. En algunas aplicaciones esto puede ser una limitación.

MATRIZ DE TRANSICIÓN
Una matriz de transición para una cadena de Markov de n estado es una matriz de n X n
con todos los registros no negativos y con la propiedad adicional de que la suma de los
registros de cada columna (o fila) es 1.
Por ejemplo: las siguientes son matrices de transición.

10
Representación gráfica.

Representación gráfica de una matriz de transición:

Es el arreglo numérico donde se condensa las probabilidades de un estado a otro. A través
de una gráfica de matriz de transición se puede observar el comportamiento estacionario
representado por una cadena de Markov tal que los estados representan la categoría en
que se encuentre clasificado. Como se aprecia a continuación:

PROPIEDADES:
1- la suma de las probabilidades de los estados debe ser igual a 1.
2- la matriz de transición debe ser cuadrada.
3- las probabilidades de transición deben estar entre 0 y 1.

11
Ejemplo:
El comportamiento de cambo de marca de los consumidores h sido modelado como una
cadena de Markov, para ayudar a desarrollar las estrategias de mercadotecnia. A manera
de ejemplo, obsérvese el siguiente comportamiento de cambio de marca descrito en la
siguiente tabla para una muestra de 250 consumidores de un producto. Número de
consumidores que cambian la marca i en la semana 6 j en la semana 7.

El primer renglón indica que, de 80 personas que compraron la marca 1 en la semana 6,

72 volvieron a adquirirla en la semana 7, 4 prefirieron la marca 2 y 4 la marca 3. Sin
embargo, nótese que 12 personas cambiaron la marca 2 por la marca 1 y 2 personas
cambiaron la marca 3 por la marca 1. A si pues, para la marca 1, la pérdida de 8 clientes
se compensó con creces por la conquista de 14 clientes. Entre la sexta y la séptima
semanas, la marca 1 aumentó su participación en el mercado de 32%(80/250) a 34,4%
(86/250).

La matriz de probabilidades de transición para la tabla de contingencia es P:

La matriz P es una estimación de la matriz verdadera, pues solamente representa el

comportamiento de una muestra de 250 consumidores, durante a un periodo de dos
semanas. Los elementos P11, P22 y P33 de la matriz P son medidas del “poder de
retención” de las tres marcas; los restantes elementos Pij reflejan el “poder de atracción”
de la marca j, suponiendo que la compra anterior haya sido a favor de la marca i. Los
elementos de cada fila reflejan la probabilidad de que una marca retenga a sus clientes o
los pierda frente a otras marcas. Los elementos de cada columna resumen la probabilidad
de que una marca retenga a sus clientes o conquiste a otros a costa de cada marca de la
competencia.
Suponiendo que la participación en los mercados que tienen la tres marcas del ejemplo
son 30%, 38% y 32&, respectivamente, durante la séptima semana. Si la matriz de
transición P (maestral), se considera una buena estimación de la verdadera matriz de
transición (poblacional), es posible predecir las participaciones de mercado esperada en
la octava semana por medio de la multiplicación de matrices. Así entonces:

12
Generalizando:

Ya que en este caso X0 corresponde al vector X7.

CLASES DE CADENAS DE MARKOV

➢ Cadenas irreducibles
Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes
condiciones (equivalentes entre sí):
1. Desde cualquier estado de E se puede acceder a cualquier otro.
2. Todos los estados se comunican entre sí.
3. C(x)=E para algún x∈E.
4. C(x)=E para todo x∈E.
5. El único conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos de
cadenas de Markov irreducibles.
➢ Cadenas positivo-recurrentes
Una cadena de Markov se dice positivo-recurrente si todos sus estados son positivo-
recurrentes. Si la cadena es además irreducible es posible demostrar que existe un único
vector de probabilidad invariante y está dado por:
𝜋𝑥 = 1/𝑢𝑥

13
 ➢ Cadenas de Márkov en tiempo continuo

Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. Con i indexado en el
conjunto N de números naturales, se consideran las variables Aleatorias Xt con t que varía
en un intervalo continuo del conjunto R de números reales, tendremos una cadena en
tiempo continuo.
Para este tipo de cadenas en tiempo continuo la propiedad de Markov se expresa de la
siguiente manera:

Para una cadena de Markov continua con un número finito de estados puede definirse una
matriz estocástica dada por:

La cadena se denomina homogénea si:

Para una cadena de Markov en tiempo continuo homogénea y con un número finito de
estados puede definirse el llamado generador infinitesimal como:

Y puede demostrarse que la matriz estocástica viene dada por:

➢ Cadenas absorbentes
Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las
dos condiciones siguientes:
1. La cadena tiene al menos un estado absorbente.
2. De cualquier estado no absorbente se accede a algún estado absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento
como D, tenemos los siguientes resultados:
Su matriz de transición siempre se puede llevar a una de la forma

14
Donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad,
0 es la matriz nula y R alguna submatriz.

esto es, no importa en donde se encuentre la cadena, eventualmente terminará en un

estado absorbente.

➢ Cadenas ergódicas o regulares

La cadena de Markov C1, de dos estados, tiene la matriz de probabilidades de transición:

Calculemos la potencia decimosexta de esa matriz para aproximar la matriz de

probabilidades estacionarias:

jazmin.jeni201@gmail.com

Se observa que las probabilidades de estado estable de los diferentes estados son
independientes del estado de origen, razón por la que la matriz de probabilidades.
Estacionarias tiene todas las filas iguales. Tenemos entonces una cadena de Markov
regular en la que las probabilidades estacionarias no dependen del estado inicial. Además,
ninguna de las probabilidades vale cero. Tenemos entonces una cadena de Markov
ergódica.
➢ Cadenas Semiérgodicas
Tenemos ahora una cadena de C2 de cuatro estados, de matriz de probabilidades de
transición.

Si se observa la matriz de la transición decimosexta, se observa como todas las filas

tienden a ser iguales (aunque no completamente, especialmente las dos primeras), con
una diferencia respecto de las cadenas ergódicas: existen estados cuya probabilidad de
estado estable tiende a ser cero (esto es, que no aparecerán den el comportamiento a largo
15
plazo). Por lo tanto, no se trata de una cadena ergódica. Sin embargo, sigue siendo cierto
que todas las filas tienden hacia un mismo valor, por lo que sigue siendo regular. Las
cadenas de Markov regulares (y también otras que veremos más adelante) con algunas de
las columnas de la matriz de probabilidades estacionarias igual a cero se llaman
semiergódicas. Las cadenas ergódicas pueden considerarse como un caso particular de
las cadenas semiergódicas, en las que no existen probabilidades de estado iguales a cero.

➢ Cadenas no ergódicas
La cadena C3, de cuatro estados, tiene la siguiente matriz de transición:

Si observamos la matriz de la transición 16, podemos ver que, mientras algunas filas
tienen el mismo comportamiento que las de los casos anteriores, vemos que otras tienden
a ciertos valores, diferentes de los de las otras filas. Ello quiero decir que, al contrario de
lo que sucede con el caso regular, las probabilidades de estado estable si dependen de cuál
ha sido el estado inicial de la cadena. Se trata de una cadena semirregular.

➢ Cadenas Cíclicas
La cadena C4, cuya matriz de probabilidades de transición se muestra a continuación,
después de un número elevado de transiciones presenta un comportamiento diferente del
de las cadenas anteriores.

16
Al ir obteniendo matrices de transición, se observa que estas no convergen a un valor
concreto, sino que muestran un comportamiento cíclico. En este caso, las transiciones
impares tienden a un valor y las pares a otro.

Este tipo de cadenas son cadenas son cadenas cíclicas. En este caso particular, nos
encontramos ante una cadena de periodo p=2.
La columna es siempre cero, por lo que el estado I no aparecerá en las probabilidades a
largo plazo; quiere ello decir que la cadena considerada no es ergódica, aunque es claro
que pueden existir cadenas cíclicas ergódicas.
También debemos preguntarnos qué ocurre con las probabilidades estacionarias en las
cadenas cíclicas, ya que si las sucesivas potencias de P no tienden hacia unos valores
determinados. Más adelante, cuando estudiamos el cálculo sistemático de P*.

17
 APLICACIONES
El método de las cadenas de Markov consiste en emplear la información probabilística en
el análisis de tendencias con el fin de predecir sus resultados.
Por ejemplo
En los negocios: las cadenas de Markov son útiles para el análisis de los datos referentes
a la satisfacción de un cliente con un producto y para el efecto de la publicidad del
producto, así como predecir que sector del mercado el producto dominara finalmente.
En sociología: las cadenas de markov se aplican por una parte al análisis de tendencias
sociológicas, como la reducción de la clase media de Estados Unidos y el crecimiento de
los suburbios a expensas de las ciudades del centro y las áreas rurales, así como para la
predicción del resultado final de dichas tendencias. Además también sirven para
pronosticar el clima, para analizar la herencia genética, y para predecir la fluctuación
diaria de los precios de las acciones negociables.
Meteorología: Si consideramos el tiempo atmosférico de una región a través de distintos
días, es plausible asumir que el estado actual sólo depende del último estado y no de toda
la historia en sí, de modo que se pueden usar cadenas de Márkov para formular modelos
climatológicos básicos. Por ejemplo, se han desarrollado modelos de recurrencia de las
lluvias basados en cadenas de Márkov.
Internet: El pagerank de una página web (usado por Google en sus motores de búsqueda)
se define a través de una cadena de Márkov, donde la posición que tendrá una página en
el buscador será determinada por su peso en la distribución estacionaria de la cadena.
Juegos de azar: Son muchos los juegos de azar que se pueden modelar a través de una
cadena de Márkov. El modelo de la ruina del jugador, (Gambler's ruin), que establece la
probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin
dinero, es una de las aplicaciones de las cadenas de Márkov en este rubro.
Economía y finanzas: Las cadenas de Márkov se pueden utilizar en modelos simples de
valuación de opciones para determinar cuándo existe oportunidad de arbitraje, así como
en el modelo de colapsos de una bolsa de valores o para determinar la volatilidad de los
precios. En los negocios, las cadenas de Márkov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de personal y
para analizar el reemplazo de equipo.
Genética: Se emplean cadenas de Márkov en teoría de genética de poblaciones, para
describir el cambio de frecuencias génicas en una población pequeña con generaciones
discretas, sometida a deriva genética. Ha sido empleada en la construcción del modelo de
difusión de Motō Kimura.

18
 EJERCICIOS DE CADEMA DE MARCOV

Ejercicio N°1

Una empresa está considerando utilizar Cadenas de Markov para analizar los cambios en
las preferencias de los usuarios por tres marcas distintas de un determinado producto. El
estudio ha arrojado la siguiente estimación de la matriz de probabilidades de cambiarse
de una marca a otra cada mes:

Si en la actualidad la participación de mercado es de 45%, 25% y 30%, respectivamente.

a) ¿Cuáles serán las participaciones de mercado de cada marca en dos meses
más?.
En primer lugar definimos la variable aleatoria que representa la marca que adquiere
un cliente cualquiera en el mes n. Dicha variable aleatoria puede adoptar los valores 1,2,3
en el mes n=0,1,2,3,..

Adicionalmente conocemos cuál es la distribución inicial y la matriz de probabilidades

de transición en una etapa tal como se observa a continuación:

Luego para conocer la distribución de las participaciones de mercado al cabo de 2 meses

(2 etapas) podemos utilizar la fórmula :

19
Se concluye que las cuotas de mercado (participaciones de mercado) en dos meses a
cambiado de un 45% a un 40.59%; de un 25% a un 33.91% y de un 30% a un 25.50%,
para las marcas 1,2 y 3 respectivamente.

Ejercicio N°2

En una Unidad de Cuidados Intensivos en un determinado hospital, cada paciente

es clasificado de acuerdo a un estado crítico, serio o estable. Estas clasificaciones
son actualizadas cada mañana por un médico internista, de acuerdo a la
evaluación experimentada por el paciente. Las probabilidades con las cuales cada
paciente se mueve de un estado a otro se resumen en la tabla que sigue:

a) ¿Cuál es la probabilidad que un paciente en estado crítico un día Jueves esté

estable el día Sábado?

Sea la variable aleatoria que indica el estado que se encuentra un paciente cualquiera
en el hospital en el día n. Los valores posibles para dicha variable son C, S y E,
representando los estados crítico, serio y estable, respectivamente. Un grafo que
representa dicho proceso estocástico dada la tabla anterior es:

20
La probabilidad de que un paciente esté en estado crítico el día Jueves y que el día Sábado
esté estable, esta dado por: , es decir, la probabilidad de pasar del estado crítico al
estado estable al cabo de 2 etapas (días).

Notar que de forma equivalente se pueden utilizar las ecuaciones

matriciales :

Se comprueba que la probabilidad de pasar del estado crítico al estado estable al cabo de
2 etapas es de un 17%.

b) ¿Cuál es la probabilidad que un paciente que está en estado estable el lunes

experimente alguna complicación y no esté estable nuevamente el miércoles?
En este caso cambia la distribución inicial respecto al escenario anterior (ahora el paciente
está en estado estable), no obstante, también resulta de nuestro interés analizar qué sucede
al cabo de 2 etapas.

21
Con color verde se marca la probabilidad de que comenzando en un estado estable al cabo
de 2 días un paciente se encuentre en estado crítico o serio. La suma de dichas
probabilidades es un 66% que da respuesta a la interrogante anterior.

C) ¿Qué porcentaje de la Unidad de Cuidados Intensivos usted diseñaría y equiparía

para pacientes en estado crítico?

Naturalmente se desea estimar las probabilidades de estado en el largo plazo

independiente de la distribución inicial. La cadena es irreducible con estados recurrentes
positivos aperiódicos. Utilizando las ecuaciones de estado estable presentadas en el
Ejercicio N°2 se obtiene que , y , que
representan la probabilidad de que un individuo se encuentre en estado crítico, serio y
estable, respectivamente.

Ejercicio N°3

El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro piso. El piso
en el que finaliza el viaje n-ésimo del ascensor sigue una cadena de Markov. Se sabe que
la mitad de los viajes que parten del bajo se dirigen a cada uno de los otros dos pisos,
mientras que si un viaje comienza en el primer piso, sólo el 25% delas veces finaliza en
el segundo. Por último, si un trayecto comienza en el segundo piso, siempre finaliza en el
bajo. Se pide:
a) Calcular la matriz de probabilidades de transición de la cadena
b) Dibujar el grafo asociado
c) ¿Cuál es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada uno de
los tres pisos?
SOLUCIÓN:
a) Los estados de la cadena los denotaremos por { 0, 1 , 2} haciendo corresponder
el 0 al bajo y 1 y 2 al primer y segundo piso respectivamente.

Las probabilidades de transición son:

p00= P(Rn=0 / Rn-1=0), esto es la probabilidad de que el ascensor se encuentre

en la planta baja si en la etapa anterior estaba en la planta baja. Obviamente es 0,
porque se supone que de etapa a etapa el ascensor se mueve.
p01= P(Rn=1 / Rn-1=0), esto es la probabilidad de que el ascensor se encuentre
en la planta primera si en la etapa anterior estaba en la planta baja. Obviamente
es½. Basta leer el enunciado. Y así sucesivamente vamos obteniendo las distintas
probabilidades de transición cuya matriz es:

22
 b)

Ejercicio N°4

Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar

desplazamientos innecesarios está todo el día en la misma ciudad y allí pernocta,
desplazándose a otra ciudad al día siguiente, si no tiene suficiente trabajo. Después de
estar trabajando un día en C. La probabilidad de tener que seguir trabajando en ella. al día
siguiente es 0,4, la de tener que viajar a B es 0,4 y la de tener que ir a A es 0,2. Si el
viajante duerme un día en B, con probabilidad de 20% tendrá que seguir trabajando en la
misma ciudad al día siguiente, en el 60% de los casos viajará a C, mientras que irá a A
con probabilidad 0,2. Por último, el agente comercial trabaja todo el día en A,
permanecerá en esa misma ciudad, al día siguiente, con una probabilidad de 0,1, irá a B
con una probabilidad de 0,3 y C con una probabilidad de 0,6. una)

Si hoy el viajante está en C, ¿cuál es la probabilidad de que también tenga que trabajar en
C al cabo de cuatro días?
segundo)

a) ¿Cuáles son los porcentajes de días en que el agente comercial está en cada
una de las tres ciudades?

Solución.
La matriz de transición P es la siguiente para el orden A,B,C

0.1 0.3 0.6

PAG=(0.2 0.2 0.6) ;El apartado a consiste en averiguar el término 𝑃4 33, es
0.2 0.4 0.4

decir el término que ocupa la fila 3 y la columna 3 de la matriz 𝑃4 .Lo que se obtiene con
la fila 3 y la columna 3 de 𝑃2 , cuyos valores son:

− − 0.48
PAG=( − − 0.48)por tanto, el término buscado es:
0.18 0.30 0.52
23
0.18x0.48+0.30x0.48+0.52x0.52=0.5008

Nos piden las probabilidades estacionarias. Para ello hay que resolver el siguiente
sistema:

Ejercicio N°5

En un país como Colombia existen 3 operadores principales de telefonía móvil como lo

son Tigo, Comcel y movistar (estados).
Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo 0.4
para Comcel 0.25 y para movistar 0.35. (estado inicial)
Se tiene la siguiente información un usuario actualmente de tigo tiene una probabilidad
de permanecer en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de 0.2; si
en la actualidad el usuario es cliente de Comcel tiene una probabilidad de mantenerse en

24
Comcel del 0.5 de que esta persona se cambie a tigo 0.3 y que se pase a movistar de 0.2;
si el usuario es cliente en la actualidad de movistar la probabilidad que permanezca en
movistar es de 0.4 de que se cambie a tigo de 0.3 y a Comcel de 0.3.
Partiendo de esta información podemos elaborar la matriz de transición.

La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1
Po= (0.4 0.25 0.35) → estado inicial
También se puede mostrar la transición por un método grafico

Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto se
realiza multiplicando la matriz de transición por el estado inicial y así sucesivamente,
pero multiplicando por el estado inmediatamente anterior.

25
 Como podemos ver la variación en el periodo 4 al 5 es muy mínima casi
insignificante podemos decir que ya se ha llegado al vector o estado
estable.

Ejercicio N°6

Un estudiante está cursando las asignaturas álgebra lineal y cálculo durante este semestre.
Para estudiar estas asignaturas el estudiante decide seguir las siguientes reglas:
1. Si un día estudia algebra lineal, al día siguiente estudiara algebra lineal con
probabilidad ½ y calculo con probabilidad ½.
2. Si un día estudia cálculo, al día siguiente estudiara álgebra lineal con probabilidad
2/3 y cálculo con probabilidad 1/3.
La anterior información se puede resumir en el siguiente esquema:

Álgebra lineal
Cálculo

Si el estudiante estudia cálculo el lunes de una semana, ¿Cuál es la probabilidad de

que el estudiante estudie álgebra lineal el jueves de esa misma semana?
Solución:
Estado de salida
Estado de Algebra lineal Calculo
llegada Algebra lineal 1/2 2/3
calculo 1/2 1/3

1/2 2/3 0
De esto; 𝑃=[ ], 𝑋0 = [ ]
1/2 1/3 1
K= 0 lunes
K=3 jueves
𝑿𝟑 = 𝑷𝟑 𝑿𝟎

𝟏/𝟐 𝟐/𝟑 𝟑 𝟎 𝑶. 𝟓𝟕𝟒𝟏

𝑿𝟑 = [ ] [ ] = [ ]
𝟏/𝟐 𝟏/𝟑 𝟏 𝟎. 𝟒𝟐𝟓𝟗
La probabilidad de estudiar algebra lineal el jueves es 0.5741.

26
 CONCLUSIÓN

En conclusión, podemos decir que las cadenas de Markov son una herramienta de gran
ayuda mediante para la solución de problemas de la vida diaria, ya que podemos encontrar
su implementación en los juegos de azar, en los algoritmos para la composición musical,
en la medicina para modelar el desarrollo de una epidemia, en la formulación de modelos
climatológicos y hasta en internet en el uso de una página web.
Esta herramienta nos es de gran ayuda para todos los ingenieros industriales, ya que nos
facilita la toma de decisiones, ya que nos permite analizar los riesgos, agilizar los procesos
y ayudar a mejorar los planes trazados.

27
 BIBLIOGRAFÍA
➢ JOHNSON David B, MOWRY Thomas A. Matemáticas finitas: aplicaciones
prácticas. Año 2000. Editorial Thomson. pág. 331

➢ WAYNE L. WINSTON; Investigación de operaciones aplicaciones y algoritmos;

Editorial Thomson; 4a Edición (2004)

➢ HILLIER, FREDERICK S & LIBERMAN, GERALD J.; Introducción a la

Investigación de Operaciones; Editorial McGraw Hill; 9a Edición (2010).

➢ WAYNE L. WINSTON; Investigación de operaciones aplicaciones y algoritmos;

Editorial Thomson; 4a Edición (2004)

➢ http://investigaciondeoperaciones2.wordpress.com

➢ http://invoperacionesid2.blogspot.com/2011/06/cadenas-de-markov.html

28