Una cadena de Markov es una serie de eventos, en la cual la probabilidad de

que ocurra un evento depende del evento inmediato anterior.

El análisis de Markov ,
• Permite encontrar la probabilidad de que un
sistema se encuentre en un estado en particular
en un momento dado.
• Encontrando el promedio a la larga o las
probabilidades de un estado estable para cada
estado.
• Con esta información se puede predecir el
comportamiento del sistema a través del tiempo.

La característica más importante: Que hay que buscar en la memoria

de un evento a otro.
 Planear las
necesidades de
Analizar los personal Analizar el
patrones de reemplazo de
compra, los equipo
deudores
morosos

En los negocios, las

cadenas de Markov
se han utilizado
para:
 CADENAS ERRÁTICAS
Se dice irreducible si se cumple cualquiera de las siguientes
condiciones (equivalentes entre sí):
 Desde cualquier estado de E se puede acceder a cualquier
otro.
 Todos los estados se comunican entre sí.
 C(x)=E para algún x∈E.
 C(x)=E para todo x∈E.
 El único conjunto cerrado es el total.
 La cadena de Ehrenfest o la camita aleatoria sin barreras
absorbentes son ejemplos de cadenas de Márkov irreducibles.
• Son cadenas de Markov en las cuales todos los estados se
comunican
• Eso implica que los estados conforman una única clase
 CADENAS POSITIVO-RECURRENTES

Una cadena de Markov se dice positivo-recurrente si

todos sus estados son positivo-recurrentes. Si la
cadena es además irreducible es posible demostrar
que existe un único vector de probabilidad
invariante y está dado por la formula:

𝜋2=1/μ2
 CADENAS REGULARES
Una cadena de Markov se dice regular (también primitiva o ergódica) si
existe alguna potencia positiva de la matriz de transición cuyas entradas
sean todas estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de
transición de la cadena se tiene que:
Lim Pn = W
n 1

donde W es una matriz con todos sus renglones iguales a un mismo vector
de probabilidad w, que resulta ser el vector de probabilidad invariante de la
cadena.

En el caso de cadenas regulares, éste vector invariante es único.

 CADENAS ABSORBENTES
Se dice que un estado es absorbente si es cero la probabilidad de
hacer una transición fuera de ese estado. Por tanto, una vez que el
sistema hace una transición hacia un estado absorbente, permanece
en el siempre
Algunos ejemplos son:

1.- En control de calidad, después de encontrar un número

predeterminado de partes que pueden ser aceptadas o rechazadas.

2.- Después de “x” horas de funcionamiento, una máquina se

detiene para repararla o reemplazarla.

3.- Después de que una persona ha trabajado en una empresa,

puede jubilarse o recontratarse.
 CARACTERÍSTICAS.
a) Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual a
cero, o sea que una vez comenzado es imposible dejarlo y el proceso se detiene
completamente o se detiene para luego comenzar a partir de algún otro estado.
b) Una cadena de Markov es absorbente si:
1) Tiene por lo menos un estado absorbente.
2) Es posible ir desde cada estado no absorbente hasta por lo menos un estado
absorbente.
 EJEMPLO:
 Una empresa emplea a tres tipos de ingenieros: principiantes, con experiencia
y socios. Durante un año determinado hay una probabilidad de 0.15 que un
ingeniero principiante sea ascendido a ingeniero con experiencia y una
probabilidad de 0.05 que deje la empresa sin ser socio. También hay una
probabilidad de 0.20 que un ingeniero con experiencia sea ascendido a socio y
una probabilidad de 0.10 que deje la empresa sin ser socio. También hay una
probabilidad de 0.05 de que un socio deje la empresa. Determine:
a) ¿Cuál es la duración promedio de un ingeniero recién contratado?
b) ¿cuál es la probabilidad de que un ingeniero principiante llegue a
ser Socio?
c) ¿Cuál es la duración promedio que pasa un socio en la empresa?
SOLUCION
Determinamos la matriz de transición en la cual se observa que
hay dos estados absorbentes: el ingeniero deje la empresa sin
ser socio y que un socio deje la empresa.

IP IE IS IDS IDSS
IP 0.8 0.15 0 0 0.05 1
IE 0 0.7 0.2 0 0.1 1
IS 0 0 0.95 0.05 0 1
IDS 0 0 1 0 1
IDSS 0 0 0 1 1
Luego hallamos la matriz I-N, donde I es la matriz de identidad y N
la matriz no absorbente identificada en el paso anterior.

I N
1 0 0 0.8 0.15 0
0 1 0 0 0.7 0.2
0 0 1 0 0 0.95

I-N
0.2 -0.15 0
0 0.3 -0.2
0 0 0.05
Luego a través de Gauss-Jordan, hallamos la matriz
inversa como se muestra a continuación.
F1 0.2 -0.15 0 1 0 0
F2 0 0.3 -0.2 0 1 0
F3 0 0 0.05 0 0 1 F3/0.05
F1 0.2 -0.15 0 1 0 0
F2 0 0.3 -0.2 0 1 0 0.2F3+F2
F3 0 0 1 0 0 20
F1 0.2 -0.15 0 1 0 0
F2 0 0.3 -0.2 0 1 4 F2/0.3
F3 0 0 1 0 0 20
F1 0.2 -0.15 0 1 0 0 0.15F2+F1
F2 0 1 0 0 1/0.3 4/0.3
F3 0 0 1 0 0 20
F1 1 0 0 5 2.5 10 F1/0.2
F2 0 1 0 0 1/0.3 4/0.3
F3 0 0 1 0 0 20

IP IE IS
IP 5 2.5 10
IE 0 1/0.3 4/0.3
IS 0 0 20
 Para responder la primera pregunta debemos tener presente un nuevo
concepto que es el valor esperado que es el tiempo en que un estado
demora antes de ser absorbido. Este valor esperado se obtiene a través de la
matriz inversa. De esta forma, la duración promedio de un recién
contratado seria:
a) ¿Cuál es la duración promedio de un
ingeniero recién contratado?
 Para hallar la probabilidad de que un ingeniero principiante llegue a ser
socio se debe multiplicar la matriz inversa por la matriz absorbente, de la
siguiente manera
b) ¿cuál es la probabilidad de que un ingeniero principiante llegue
a ser Socio?

(I - N)-1 G
5 2.5 10 0 0.05
0 1/0.3 4/0.3 0 0.1
0 0 20 0.05 0

(I - N)-1*A IDS IDSS

Obsérvese que esta
IP 0.5 0.5 probabilidad es igual a
IE 0.67 0.3 0.5.
IS 1 0
c) ¿Cuál es la duración promedio que pasa un
socio en la empresa?

IP IE IS
IP 5 2.5 10
IE 0 1/0.3 4/0.3
IS 0 0 20
 Cadena de Markov en tiempo continuo

Una Cadena de Markov en Tiempo Continuo corresponde a un modelo matemático donde

una variable aleatoria toma valores en un espacio finito y donde el tiempo en que la variable
se encuentra en un determinado estado adopta valores reales no negativos que siguen
una Distribución Exponencial. Dicha característica denominada Propiedad de No
Memoria determina que el comportamiento a futuro del proceso estocástico depende sólo
del estado actual y no del comportamiento.
Es simplemente un proceso estocástico en el cual los estados del sistema pueden ser
observados en cualquier instante no solo en instantes discretos.
Por ejemplo: el número de personas en un supermercado t. minutos después de abrir la
tienda es un proceso estocástico de tiempo continuo.
La Cadena de Markov en tiempo continuo verifica la propiedad de Markov que dado el
estado del proceso en un conjunto de tiempos anteriores al instante t, la distribución del
proceso en el instante t depende sólo del instante de tiempo anterior más próximo a t.
Consideremos ahora los procesos de Markov donde:
● El espacio de estados es discreto (finito o infinito)
● El espacio de parámetros es continuo (un subconjunto de los reales; e.g. {tϵR: t ≥ 0})
– Esta es la diferencia con las cadenas de Markov que
manejamos hasta ahora.
– Una posible interpretación intuitiva es que los
cambios de estado ahora se pueden dar en
“cualquier instante”
 Existen ciertos casos ( como en algunos modelos de líneas de espera) en los que se requiere un parámetro (llamado
t´) de tiempo continuo, debido a que la evolución de un proceso se está observando de manera continua a través del
tiempo.
 Un proceso estocástico de tiempo continuo{X(t´);t´≥ 0} es una cadena de Markov de tiempo continuo si tiene la
propiedad Markoviana.

 Se estudiaran las cadenas de Markov de tiempo continuo con las siguientes propiedades:

1. Un número finito de estados.

2. Probabilidades de transición estacionarias
 CADENAS DE MARKOV (MATRIZ DE TRANSICIÓN)

En un pueblito el clima puede cambiar un día para otro , considere solo 2 estados del
tiempo clima húmedo y clima seco . La probalidad de tener un clima seco al día
siguiente es de 0.8 si el día actual es seco , pero si el clima es húmedo la probabilidad
de tener un clima seco es de 0.6 , supongamos que dichos valores no cambian en el
tiempo , se pide determinar :

a) Elaborar la matriz de transición.

b) Elaborar el diagrama de transición .
c) Las probabilidades de estados estables del sistema .