Cadenas de Markov Investigacin de Operaciones II

Captulo 17
Cadenas de Markov
El estudio de cmo una variable aleatoria cambia con el tiempo incluye procesos
estocsticos, en particular se pone mucha atencin en un tipo de proceso
estocstico llamado cadena de Markov; las cadenas de Markov han sido aplicadas
en reas como educacin, comercializacin, servicios de salud, finanzas,
contabilidad y produccin.
Algunas aplicaciones y usos de las cadenas de Markov usualmente son , podemos
saber cmo el precio de las acciones de una empresa evoluciona en el mercado.
El estudio de cmo cambia una variable aleatoria con el tiempo incluye los
procesos estocsticos. En particular, nos centramos en un tipo de proceso
estocstico conocido como cadena de Markov. Estas se han aplicado en reas
como la educacin, la comercializacin, la salud servicios, finanzas, contabilidad y
produccin.

Proceso Estocstico
Un proceso estocstico discreto en el tiempo es una descripcin de la relacin
entre las variables aleatorias X0, X1, X2.
Podemos concluir diciendo que un proceso estocstico continuo en el tiempo,
es simplemente un proceso estocstico en el que el estado del sistema se puede
ver en cualquier instante, no slo en instantes discretos del tiempo.

Captulo 17

Pgina 1 de 16

Cadenas de Markov Investigacin de Operaciones II

Cadena de Markov
Un tipo especial de proceso estocstico en tiempo discreto es llamado cadena de
Markov. Para simplificar nuestra exposicin, suponemos que en cualquier
momento, el proceso estocstico en tiempo discreto puede estar en uno de un
nmero finito de estados marcados como 1, 2,. . . , S. Definicin: Proceso
estocstico de tiempo discreto si, para t= 0, 1, 2,.y todos los estados. En esencia,
dice que la distribucin de probabilidad del estado en el tiempo t+1 depende del
estado en el tiempo t (it) y no depende de los estados de la cadena pasados a
travs de la manera que en el tiempo t. En nuestro estudio de las cadenas de
Markov, hacemos el supuesto adicional de que para todo estado
i y j y toda t , P (Xt +1=j|Xt =i)es independiente det. Este supuesto nos permite
escribir P (Xt +1= j|Xt i) _ pij donde pij es la probabilidad de que, dado el sistema
se encuentra en el estado i en el tiempo t, ser en un estado j en el tiempo t+1. Si
el sistema se mueve desde el estado i durante un perodo de al estado j durante el
prximo perodo, se dice que una transicin de i a j se ha producido.
La Pij a menudo hace referencia a las probabilidades de transicin de la cadena
de Markov. La ecuacin implica que la ley de probabilidades sobre el estado el
prximo perodo de la actual estado no cambia (o se mantiene estacionaria) con el
tiempo. Por esta razn, es a menudo llama la Asuncin de estacionalidad.
Cualquier cadena de Markov que satisface la ecuacin se llama cadena
estacionaria de Markov. Nuestro estudio de las cadenas de Markov tambin nos
obliga a definir el qi que la probabilidad de que la cadena se encuentra en el
estado i en el tiempo 0, es decir, P (X0=i)=qi. Llamamos al vector q=[q1q2.qs]
la distribucin de probabilidad inicial de la cadena de Markov. En la mayora de las
aplicaciones, las probabilidades de transicin se muestra como un s X
s probabilidad de transicin de la matriz P.

Captulo 17

Pgina 2 de 16

Cadenas de Markov Investigacin de Operaciones II

Un tipo especial de proceso discreto en el tiempo se llama cadena de Markov.
Para simplificar la exposicin, se supone que en cualquier instante, el proceso
estocstico discreto en el tiempo puede estar en un nmero finito de estados
identificados con 1, 2, ,s.
En el estudio de las cadenas de Markov, se hace la suposicin adicional de que
para los estados i y j toda t, P(Xt+1= jXt =i) =pij
Donde pij es la probabilidad de que dado que el sistema est en el estado i en el
tiempo t, estar en un estado j en el tiempo t+1. Si el sistema se mueve del estado
durante un periodo al estado j durante el siguiente periodo, se dice que ocurri una
transicin para la cadena de Markov.

Probabilidades de transicin en la n-sima etapa

Imagine que se est estudiando una cadena de Markov con una matriz de
probabilidad de transicin conocida P. (Puesto que las cadenas con las se tratara
son estacionarias, no nos molestaremos en marcar nuestras cadenas de Markov
como estacionarias). Una pregunta de inters es: si una cadena de Markov est
en estado i en el tiempo m, Cul es la probabilidad de que n periodos despus la
cadena est en el estado j? Puesto que se trata con una cadena de Markov
estacionaria, esta probabilidad es independiente de m, as que se podra escribir
P=( X m+ n= j|X m=i )=P ( X n= j| X 0=i ) =P ij (n)

Donde

Pij (n)

se llama probabilidad del n-simo paso de una transicin del

estado i al estado j.
Resulta claro que

Pij ( 1 )= pij . Para determinar

Pij ( 2) , observe que si el

sistema ahora est en el estado i, entonces para que el sistema termine en el

estado j dos periodos a partir de ahora, se debe ir del estado i a algn estado k y
Captulo 17

Pgina 3 de 16

Cadenas de Markov Investigacin de Operaciones II

luego del estado k al estado j (vase la figura 3). Este razonamiento nos permite
escribir
( probabilidad de transicin de i a k )

X ( probabilidad de transicinde k a j)
Usando la definicin de P, la matriz de probabilidad de transicin, se reescribe la
ltima

ecuacin

como

El lado dere3cho de (3) es solo el producto escalar del rengln i de la matriz P con
la columna J de la matriz P. por consiguiente,
la matriz

Pij (2)

es el ij-simo elemento de

. Al ampliar este razonamiento, se puede demostrar que para

n>1 ,

Pij ( n ) =ijsimo elemento de P

Por supuesto, para

n=0, Pij ( 0 )=P ( X 0 = j|X 0=i )

, as que se debe escribir

Pij ( 0 ) = 1 si j=i
0 si j i

Clasificacin de los estados en una cadena de Markov.

Dados dos estados i y j, una trayectoria de i a j es una secuencia de transiciones
que comienza en i y termina en j; tal que cada transicin en la secuencia tiene una
probabilidad positiva de ocurrir.

Captulo 17

Pgina 4 de 16

Cadenas de Markov Investigacin de Operaciones II

Un estado j es alcanzable desde el estado i si hay una trayectoria que conduzca
de i a j.
Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i es
alcanzable desde j.
Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si
ningn estado fuera de S es alcanzable desde cualquier estado en S.
Un estado i es peridico con periodo k >1 si k es el nmero ms pequeo tal que
las trayectorias que conducen del estado i de regreso al estado i tienen una
longitud que es un mltiplo de k. Si un estado recurrente no es peridico, se
conoce como aperidico.

Si los estados en una cadena son recurrentes, aperidicos y se comunican entre

s, se dice que la cadena es ergdica.

Cadena Irreductible
Se dice que una cadena de Markov es irreducible si cada estado
alcanzar desde cualquier otro estado
transiciones; o sea, para

Ei

Ej

se puede

despus de un nmero finito de

i j ,

P(ijn )> 0, para 1 n<

En este caso, todos los estados de la cadena se comunican.

Cadenas Ergodicas

Captulo 17

Pgina 5 de 16

Cadenas de Markov Investigacin de Operaciones II

Una cadena de Markov irreducible es ergdica si todos sus estados son ergdicos.
En este caso la distribucin de probabilidad absoluta
a( n)=a(0 ) Pn
n , donde

Siempre converge unvocamente a una distribucin lmite cuando

la distribucin lmite es independiente de las probabilidades inciales

( 0)

Ahora podemos anunciar el siguiente teorema:

Teorema 18.6-1 Todos los estados en una cadena de Markov infinita irreducible
pueden pertenecer a una, y solo una, de las siguientes tres clases: estados
transitorios, estados recurrentes nulos o estados recurrentes no nulos. En cada
caso, todos los estados se comunican y tienen el mismo periodo. En el caso
especial cuando la cadena tenga un nmero finito de estados, la cadena no puede
constar solo de estados transitorios, ni tampoco puede contener algn estado
nulo.

Probabilidades de estado estable y tiempos promedio de primer

paso
Sea P la matriz de probabilidades de transicin para una cadena de Markov
ergdica con estados 1, 2, , s(con ij-simo elemento p ij ). Despus de
transcurrido

un

gran

nmero

de

periodos, la probabilidad de que la

cadena de Markov est en el estado j es
independiente del estado inicial. La probabilidad de largo plazo, o estado estable,
j se determina resolviendo el siguiente conjunto de ecuaciones lineales:

Captulo 17

Pgina 6 de 16

Cadenas de Markov Investigacin de Operaciones II

Teorema 1

ij -esimo elemento de

Recordemos que el

es

Pij ( n ) . El teorema 1

i ,

establece que para cualquier estado inicial

lim Pij ( n )= j
n

Observe que para

grande,

tiende a una matriz con renglones idnticos.

Esto significa que despus de un largo tiempo, la cadena de Markov se estabiliza,

e (independientemente del estado inicial
est en el estado
Dadas

{a oj }

) hay una probabilidad

de que se

.
P

de una cadena de Markov, las probabilidades absolutas del

sistema despus de un nmero especfico de transicin se determina como sigue.

Sean
sea, en

{a (jn )}
tn

las probabilidades absolutas del sistema despus

. La expresin general para

{a (jn )}

en trminos de

{a (j0 )}

transicin, o
y

P , se

puede encontrar como sigue:

Captulo 17

Pgina 7 de 16

Cadenas de Markov Investigacin de Operaciones II

a j =a 1 P1 j +a2 P 2 j +a3 P3 j += ai Pij
( 1)

( 0)

( 0)

( 0)

( 0)

Tambin
a(j2)= a(i1) Pij =
i

Donde

( a P )=P = a ( P P )= a
(0 )
k

ki

( 0)
k

ij

P2kj= Pki P ij

ki

ij

(0 )
k

P2kj

es la probabilidad de transicin de segundo orden o de

dos pasos, o sea, es la probabilidad de pasar del estado

al estado

en

exactamente dos transiciones.

De igual manera se puede demostrar por induccin que
a(jn)= a(i0 )
i

P(ijn )

Donde

( P

( n1)
ik

P kj = a(i0) P(ijn)

es la probabilidad de transicin de orden

o de

pasos dada

por la formula recursiva

(n )

( n1 )

pij = Pik
k

Pkj

En general, para toda

(n )

( nm )

Pij = Pik
k

iy j ,

( m)

P kj , 0<m<n

Estas son las ecuaciones de Chapman-Kolomogorov.

Determinacin de la probabilidad de estar en el estado j en el tiempo n cuando se
desconoce el estado inicial.
En muchas situaciones, no se conoce el estado de la cadena de Markov en el
tiempo 0. Como se define en la seccin 17.2, sea qi la probabilidad de que la
Captulo 17

Pgina 8 de 16

Cadenas de Markov Investigacin de Operaciones II

cadena este en el estado i en el tiempo 0. Entonces se puede determinar la
probabilidad de que el sistema est en el estado i en el tiempo n por medio del
siguiente razonamiento.
La Probabilidad de estar en el estado j en el tiempo n
i=s

( probabilidad de qu el estado sea originalmente i)

i=1

X ( probabilidad de ir de i a j en n transiciones)
i=s

q i Pij (n) = q (columna j of

i=1

Donde

q=[q 1 q 2 qs ]

Pn )

Tiempos Promedios de Primer Paso

Para una cadena ergdica, sea m ij = nmero esperado de transiciones antes de
llegar primero al estado j, dado que en la actualidad nos encontramos en el estado
i; mij se llama tiempo promedio de primer paso del estado i al estado j.

Captulo 17

Pgina 9 de 16

Cadenas de Markov Investigacin de Operaciones II

Clculo de las probabilidades de estado estable y tiempos promedio de
primero paso en la computadora.
Puesto que al resolver un sistema de ecuaciones se obtienen las probabilidades
de estado estable y los tiempos promedio de primer paso, se podra usar LINDO
para determinar estos valores. Simplemente teclee la funcin objetivo de 0 e
introduzca las ecuaciones que necesite para resolver como sus restricciones.
Por otro lado se podra usar el siguiente modelo de LINGO para determinar las
probabilidades de estado estable y los tiempos promedio de primer paso para una
cadena ergdica.
MODEL:
1)
2)SETS:
3)STATE/1..2/: PI;

Cadenas Absorbentes.
Variedad de aplicaciones interesantes de la cadena de Markov tienen que ver con
cadenas en las que algunos de los estados son absorbentes y el resto son
estados transitorios, Este tipo de cadena se llama cadena absorbente.
Consideremos una cadena de Markov absorbente: si se comienza en un estado
Captulo 17

Pgina 10 de 16

Cadenas de Markov Investigacin de Operaciones II

transitorio, entonces finalmente se est seguro de salir del estado transitorio y
terminar en uno de los estados absorbentes.
En una cadena de Markov un conjunto C de estados se denomina cerrado si el
sistema, una vez en uno de los estados de C, pertenece en C indefinidamente. Un
ejemplo especial de un conjunto cerrado es un estado particular
una probabilidad de transicin

pij =1

. En este caso

Ej

Ej

que tenga

se denomina estado

absorbente.
Todos los estado de una cadena irreducible deben formar un conjunto cerrado y
ningn otro subconjunto puede ser cerrado. El conjunto cerrado C tambin debe
satisfacer todas las condiciones de una cadena de Markov y por ello, puede
estudiarse de forma independiente.
Una cadena de Markov en la que una o ms estados es un estado absorbente es
una cadena de Markov absorbente. Para contestar preguntas importantes acerca
de una cadena de Markov absorbente, se listan los estados en el siguiente orden:
primero los estados transitorios, luego los estados absorbentes.
Suponga que hay s m estados transitorios (t 1, t2, , ts-m )y m estados absorbentes
(a1 , a2 ,, am ). Se escribe la matriz de probabilidades de transicin P como sigue:

Captulo 17

Pgina 11 de 16

Cadenas de Markov Investigacin de Operaciones II

Modelos para planificar la fuerza de trabajo.

Algunas organizaciones, usan varias categoras de trabajadores. Para fines de
planificacin a largo plazo, suele ser til predecir el nmero de empleados de cada
tipo que estar disponible (si contina la tendencia actual) en el estado estable.
De manera ms formal, considere una organizacin cuyos miembros se clasifican
en cualquier punto del tiempo en uno de s grupos (identificados como 1, 2, , s).
Durante cada perodo, una fraccin p ij de quienes comienzan un periodo en el
grupo i comienza el siguiente periodo en el grupo j. Tambin, durante cada
periodo, una fraccin pi,s+1 de los miembros del grupo i salen de la organizacin.
Sea P la matriz de s x (s+1) cuyo ij-simo elemento es p ij.. Al comienzo de cada
periodo, la organizacin contrata H i miembros del grupo i. Sea N i (t) no tiende a un
lmite, se llama a N=(N1, N2, , Ns ) el censo de estado estable de la organizacin.

Captulo 17

Pgina 12 de 16

Cadenas de Markov Investigacin de Operaciones II

Si existe un censo de estado estable, se puede determinar al resolver el sistema
de s ecuaciones que se obtiene como sigue: simplemente observe que para que
exista un censo de estado estable, debe ser cierto que en el estado estable, para
i= 1, 2, , s.

Para una organizacin en la que cada miembro se clasifica en uno de s grupos,

Pij = fraccin de miembros que comienzan un periodo en el grupo i que empiezan
el siguiente periodo en el grupo j.
Pi,s+1= fraccin de los miembros del grupo i que dejan la organizacin durante un
periodo.
P= matriz de s x (s+1) cuyo ij-simo elemento es Pij
Hi= nmero de miembros del grupo i contratados al comienzo de cada periodo
Ni= nmero lmite (si existe) de miembros del grupo i.
Ni se podra calcular igualando el nmero de personas por periodo que entran al
grupo i con el nmero de personas por periodo que salen del grupo i. As, (N1, N2,
, Ns ) se puede calcular resolviendo

Uso de LINGO
Captulo 17

Pgina 13 de 16

Cadenas de Markov Investigacin de Operaciones II

El siguiente modelo de LINGO se puede usar para determinar el censo de estado
estable para un problema de planificacin de fuerza de trabajo:

En la lnea 2, se crean los posibles estados y se define para cada estado I el nivel
de censo de estado estable y el nmero contratado, N(I) y H(I), respectivamente.
En la lnea 3, se crea para cada par de estados (I,J) la probabilidad TPROB (I,J)
de ir del estadoI en un periodo al estado j durante el siguiente periodo.En la lnea
6, se introduce el valor de H(I) para cada estado I. En las lneas 7 a 9, se introduce
la TPROB (I,J) para el ejemplo 9. En las lneas 11 a 13, se crea para cada estado I
la ecuacin (14).Observe que usamos el hecho de que

Captulo 17

Pgina 14 de 16

Cadenas de Markov Investigacin de Operaciones II

Al

introducir la instruccin GO se obtendr el nivel de censo de estado estable (NI)

para el estado I. Observe que al modificar la porcin DATA del programa, tambin
se podra introducir un censo de estado estable deseado (N(I)) y pedir a LINGO
que determine un conjunto de niveles de contratacin (H(I)) con el que obtiene el
censo de estado estable deseado.
En una cadena de Markov irreducible aperidica, (a) Si los estados son todos

transitorios o todos nulos, entonces

(n)

pij 0

como

n ,

para toda y y j y,

no existe una distribucin limite.

(b) Si todos los estados son ergdico, entonces
(n)

lim a j = j ,

j=0,1, 2,

Captulo 17

Pgina 15 de 16

Cadenas de Markov Investigacin de Operaciones II

Donde

es la distribucin limite (estado estable). Las probabilidades

existen en forma nica y son independiente de

a(0)
j .

puede determinar a partir del conjunto de ecuaciones

en este caso,

se

j= i pij
i

1= j
j

El tiempo medio de recurrencia para el estado j esta dado entonces por

jj =

1
j

Bibliografa
Investigacin de Operaciones
Autor: Wayne L. Winston
Indiana University

Captulo 17

Pgina 16 de 16