CADENAS DE MARKOV

Definicin: (proceso estocstico) Un proceso estocstico es una coleccin

indexada de variables aleatorias: { X
t
} donde tT (conjunto de enteros no
negativos) y X
t
Z (conjunto de caractersticas medibles en t. Z = {0, 1,
2, ..., M).
Definicin: (cadena de Markov) Una cadena de Markov es un proceso
estocstico que cumple la siguiente propiedad (llamada propiedad
Markoviana)
P[X
t+1
= j1 X
0
= k
0
, X
1
= k
1
, , X
t-1
= k
t-1
, X
t
= i] = P[X
t+1
= j1 X
t
= i],
para todo t=0, 1, y cualesquiera estados i, j, k
r
Z; a la probabilidad
P[X
t+1
= j1 X
t
= i] = p
ij
la llamaremos probabilidad de transicin del estado
i al estado j.
Definicin: Si se cumple que P[X
t+1
= j1 X
t
= i] = P[X
1
= j1 X
0
= i] para
todo i, j Z. y todo t = 0,1, entonces se dice que las probabilidades de
transicin, de un paso, son estacionarias.
Se puede demostrar que lo anterior implica que
P[X
t+n
= j1 X
t
= i] = P[X
n
= j1 X
0
= i], para todo t = 0,1,
Esta probabilidad la denotamos p
ij
(n)
= probabilidad de transicin de n
pasos, la cual cumple adems que:
1) p
ij
(n)
0, 2)
i, 1; p
M
0 j
(n)
ij

las cuales se presentan en la Matriz de probabilidades de transicin

1
1
1
1
1
]
1

(n)
MM
(n)
M1
(n)
M0
(n)
1M
(n)
11
(n)
10
(n)
0M
(n)
01
(n)
00
p p p
p p p
p p p

ECUACIONES CHAPMAN-KOLMOGOROV:
La siguiente relacin se cumple para las probabilidades de una cadena de
Markov finita con probabilidades estacionarias:
n m n,0 j, i, ; p p p
M
0 k
m n
kj
(m)
ik
(n)
ij

Para m = 1 tenemos
; p p p
M
0 k
1 n
kj ik
(n)
ij

resulta que las probabilidades de

transicin de n pasos las podemos obtener a partir de las probabilidades
de transicin de un paso de manera recursiva. Por ejemplo para n = 2
tenemos:
; p p p
M
0 k
kj ik
(2)
ij

que corresponde a la expresin que calcula, por

definicin, el producto de matrices. Por lo tanto P
(2)
= PxP = P
2
. Por
induccin obtenemos P
(n)
= PxP
n-1
= P
n
.
PROBABILIDADES NO CONDICIONALES DE UN ESTADO
En una cadena de Markov, las probabilidades de transicin son
probabilidades condicionales. Si se desea la probabilidad no condicional
P[X
n
= j]. Especifiquemos P[X
0
= i] =
i
para i = 0, 1, 2. entonces:
P[X
n
= j] = P[X
0
= 0].p
n
0J
+ P[X
0
= 1].p
n
1J
+ P[X
0
= 2].p
n
2J
+ +
+ P[X
0
= M].p
n
MJ
+
CLASIFICACION DE ESTADOS:
Definiciones: 1) El estado j es accesible desde el estado i si existe n tal
que p
ij
(n)
> 0.
2) Si i es accesible desde j y j es accesible desde i se dice que i y j se
comunican (i C j)
La relacin C cumple las siguientes propiedades:
i C i
si i C j entonces j C i
si i C j y j C k entonces i C k.
Recordar que si A es un conjunto no vaco y R es una relacin en A, se
dice que R es una relacin de equivalencia en A si R es reflexiva,
simtrica y transitiva. Adems toda relacin de equivalencia induce una
particin en el conjunto donde se define.
C es una relacin de equivalencia en el conjunto de estados de una
cadena de Markov, entonces ella define clases (o una particin) en dicho
conjunto de estados.
3) Si existe solo una clase entonces se dice que la cadena de Markov es
irreducible
4) Un proceso que est en estado i regresar a l?
Sea f
ii
la probabilidad de que un proceso regrese al estado i estando en
dicho estado.
i se llama recurrente si f
ii
= 1
i se llama transitorio si f
ii
< 1
i se llama absorbente si p
ii
= 1
PROPIEDADES DE f
ii
El nmero esperado de perodos que el proceso est en estado i es
infinito si un estado es recurrente.
Si un estado es transitorio y la probabilidad de que regrese al estado i
es f
ii
entonces la probabilidad de que no regrese al estado i ser 1 - f
ii
y
el nmero esperado de perodos en que el proceso est en estado i es
1/(1 - f
ii
).
La recurrencia es una propiedad de clase es decir todos los estados de
una clase son recurrentes (o transitorios).
No todos los estados pueden ser transitorios. Esto implica que en una
cadena de Markov irreducible todos los estados son recurrentes.
Proposicin: El estado i es recurrente si

1 n
n
ii
p
y es transitorio si
<

1 n
n
ii
p
.
Corolario: Si el estado i es recurrente y se comunica con el estado j
entonces j es recurrente.
PROPIEDADES A LARGO PLAZO:
Consideramos dos propiedades adicionales de las cadenas de Markov.
Definicin: El estado i se dice que tiene perodo d si
0 P
n
ii

cuando quiera
que n no es divisible por d y d es el mayor entero con esta propiedad. Un
estado con perodo 1 se dice que es aperidico. Se puede demostrar que
la periodicidad es una propiedad de clase, es decir, si el estado i tiene
perodo d y los estado i y j se comunican entonces j tambin tiene perodo
d.
Ejemplo: Comenzando en estado i. Puede ser posible que el proceso
entre en el estado i en los tiempos 2, 4, 6, 8, , en este caso decimos
que el estado i tiene perodo 2.
Definicin: Si un estado i es recurrente, se dice que es recurrente positivo
si, comenzando en i el tiempo esperado hasta que el proceso retorne al
estado i es finito. Se puede demostrar que la recurrencia positiva es una
propiedad de clase. Pueden existir estados recurrentes que no son
recurrentes positivos.
Estados recurrentes positivos aperidicos son llamados ergdicos.
Enunciado:
Para una cadena de Markov irreducible y ergdica el j
(n)
ij
n
p lim

existe y es
independiente de i. Adems
J
es solucin nica no negativa de:
M 0,1,2,..., j ; p
M
0 i
ij i j

, as como
1
M
0 j
j

Los
j

se llaman probabilidades de estado estable de la cadena de

Markov y se cumple que
jj
j

1

donde JJ

es el tiempo esperado de
recurrencia.
TIEMPOS DE PRIMERA PASADA
Algunas veces es necesario referirse al nmero de transiciones que hace
el proceso al ir del estado i al estado j por primera vez. A este lapso
de tiempo se le llama tiempo de primera pasada. Si i = j se llama
tiempo de recurrencia del estado i.
Los tiempos de primera pasada son variables aleatorias cuyas
distribuciones de probabilidad dependen de las probabilidades de
transicin.
Si f
ij
(n)
denota la probabilidad de que el tiempo de primera pasada del
estado i al estado j es n, tenemos las siguientes frmulas recursivas:
f
ij
(1)
= p
ij
(1)
= p
ij
; f
ij
(2)
=

j k
(1)
kj ik
f p
; f
ij
(n)
=

j k
1) - (n
kj ik
f p
Para i y j fijos f
ij
(n)
son nmeros no negativos tales que
1 f
1 n
n
ij

El tiempo esperado de primera pasada del estado al estado j, se define

as:

'

<

1 f si , nf
1 f si ,

1 n
(n)
ij
1 n
(n)
ij
1 n
(n)
ij
ij

Siempre que
1 f
1 n
n
ij

ij
satisface la ecuacin

+
j k
kj ik ij
p 1
. Lo que
significa que la primera transicin desde el estado i puede ser al estado j
o algn otro estado k. Si es al estado j el tiempo de primera pasada es 1.
Ahora si la primera transicin es a un estado k, (k j) lo que ocurre con
probabilidad p
ik
, el tiempo esperado de primera pasada condicional del
estado i al estado j es 1 + p
ik

kJ
, al sumar todas las posibilidades se
obtiene la frmula:

+
j k
kj ik ij
p 1
UNIVERSIDAD DEL VALLE. FACULTAD DE INGENIERIA
ESCUELA DE INGENIERIA INDUSTRIAL Y ESTADISTICA
CURSO : MODELACION ESTOCASTICA. SEPTIEMBRE/2003
PROFESORES: VICTOR GONZALEZ Y GABRIEL CONDE
TEMA: CADENAS DE MARKOV.
UN PROBLEMA DE INVENTARIOS. Tomado del libro Introduccin a la
Investigacin de Operaciones. De Hillier y Lieberman (2001).
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D
1
, D
2
, las demandas de sta cmara durante
la primera, segunda, ., semana, respectivamente. Se supone que las Di son
variables aleatorias independientes e idnticamente distribuidas con distribucin
conocida. Sea X
0
el nmero de cmaras que se tienen en el momento de iniciar el
proceso, X
1
el nmero de cmaras que se tienen al finalizar la semana 1, X
2
el
nmero de cmaras que se tienen al finalizar la semana 2, etc. El sbado en la
noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la
tienda. La tienda usa la siguiente poltica para ordenar: si el nmero de cmaras en
inventario al final de la semana es menor que uno entonces ordena 3 cmaras. De
otra manera no coloca la orden. Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces la serie { X
t
, t = 0, 1, .} define lo que se
llama un proceso estocstico. Los estados posibles del proceso son los enteros 0, 1,
2, 3 que representan el nmero posible de cmaras en inventario al final de la
semana. Las variables aleatorias X
t
son dependientes y se pueden evaluar en forma
iterativa por medio de la expresin:

Mx {(3 D
t+1
), 0 } si X
t
< 1
X
t+1
=
Mx {( X
t
D
t+1
), 0 } si X
t
1
Para t = 0, 1, 2, . Podemos estar interesados en preguntas tales como Cual es
la probabilidad de que hayan tres cmaras en inventario dos semanas despus de
que el sistema se puso en marcha? O cul es le estado del inventario despus de
un tiempo determinado?. Esta y otras preguntas podrn ser contestadas utilizando
los modelos de Markov que sern parte del desarrollo del curso.
COLAS O LINEAS
Hay dos actores principales que conforman el sistema: los cliente y los
servidores. Estos sistemas se consideran como casos especiales de un
estudio ms general: simulacin de eventos discretos. As que
consideraremos el sistema como < la fila ms los servidores >
En estos casos hay tres variables que se utilizan: 1) de tiempo, 2) de
conteo y 3) las variables de estado del sistema. Cuando ocurre un
evento los valores de estas variables se modifican
Caractersticas:
La llegada de los clientes se genera de una fuente entrando en el
sistema. (Poblacin de clientes = finita o infinita)
Se consideran dos variables temporales: 1) tiempo entre llegadas de
los clientes y 2) tiempo de servicio por cliente.
Tamao de la cola : finita o infinita
La disciplina de la cola: orden en que se seleccionan los clientes de la
cola, (FIFO = FCFS, LIFO = LCFS, SIRO, Prioridad)
Pueden haber uno o varios servidores. En paralelo, en serie o en red.
Los modelos ms sencillos y ms utilizados constan de una cola y
varios servidores.
Cantidades en que usualmente podremos estar interesados en un estudio
de colas (las cuales llamaremos medidas de desempeo del sistema):
Estado del sistema = n = nmero de clientes en el sistema.
Longitud de la cola = nmero de clientes que esperan servicio.
L
s
= nmero esperado de clientes en el sistema.
L
q
= nmero esperado de clientes en la cola.
w
s
= tiempo aproximado de espera en el sistema.
w
q
= tiempo aproximado de espera en la cola.
c = nmero esperado de servidores ocupados.
P
n
= probabilidad de que n clientes estn en el sistema.
Nota: Estas cantidades son relativamente fciles de calcular cuando el
sistema entra en lo que llamaremos estado estable que se presenta
despus de que ha transcurrido un tiempo suficientemente grande. En
contraste est el estado transitorio las cuales prevalecen cuando el
comportamiento del sistema depende del tiempo.
MODELO GENERALIZADO DE POISSON
Usamos tasa de llegada (
n
) y tasa de servicio (
n
) dependientes del
estado del sistema.
Aclaracin de tasa dependiente del estado del sistema:
Si representa la tasa unitaria de llegada entonces cuando hay n
clientes en el sistema la tasa de llegada ser:

n
= n .
Si un sistema de colas tiene c servidores en paralelo y es la tasa de
servicio por servidor, para n clientes en el sistema la tasa de salida del
sistema ser:

'

<

c n si , c
c n si , n

n
Se quiere deducir una expresin para el clculo de la probabilidad (de
estado estable) p
n
de n clientes en el sistema.
Ojo! de esta probabilidad dependen prcticamente todas las medidas de
desempeo del sistema.
Deduccin de una expresin para p
n
Diagrama de tasas de transicin:
El sistema se considera una cadena de Markov donde n = 0, 1, 2, ....
(nmero de clientes en el sistema) representa los estados del sistema.
Si T
n
es la tasa esperada de flujo desde el estado n, entonces
T
n
=
n-1
p
n-1
+
n+1
p
n+1
Desde otro lado: T
n
= (
n
+
n
)p
n
Entonces la ecuacin de equilibrio ser:

n-1
p
n-1
+
n+1
p
n+1
= (
n
+
n
)p
n
, n > 1
Segn el diagrama siguiente para n = 0 tenemos:
0
p
0
=
1
p
1.
Actuando recursivamente obtenemos:
si n = 0, 0
1
0
1
p

p
; si n = 1, 0
1 2
0 1
1
p


p
y 0
1 2 1 n n
0 1 2 n 1 n
n
p


p

Utilizando
1 p
0 n
n

podemos calcular p
0
y despus los p
i
i
MEDIDAS DE DESEMPEO DE ESTADO ESTABLE
Teniendo en cuenta la notacin anteriormente establecida deducimos las
siguientes relaciones importantes:

1 n
n s
nP L
;

1 n
n q
c)P - (n L
c
; L
s
=
ef
w
s
; L
q
=
ef
w
q


n
= tasa media de llegadas de clientes cuando hay n clientes en el
sistema. (
n
= si es constante).

ef
= tasa promedio efectiva =

0 n
n n
p

n
= tasa media de servicio cuando hay n clientes en el sistema (
n
=
si es constante).
Adems: w
s
= w
q
+ 1/ de donde L
s
= L
q
+
ef
/ y c = L
s
- L
q
=
ef
/
COLAS ESPECIALIZADAS DE POISSON
(M/M/1):(DG//)
Suponemos
n
= y
n
= , n y definimos adems = /
Las expresiones del modelo generalizado se reducen a:
p
n
=
n
p
0
n = 0, 1, 2 .... ;
sabiendo que: p
0
(1 + +
2
+ .... ) = 1 y suponiendo que < 1
entonces:
1
1
1
p
0

,
_

o sea p
0
= 1 - . De aqu que: p
n
= (1 - )p
n
; n = 0, 1, 2, ...
que es una distribucin geomtrica.
Para las medidas de desempeo se obtiene:
1

E(n) L
s

;
1

L L
2
s q

;
) (1
1

L
W
S
S

;
) (1

L
W
q
q

(M/M/1)(DG/N/)
Si hay N clientes en el sistema, se impide nuevas llegadas. En trminos
del modelo generalizado esto se traduce en :

1, N N, n 0;
1 N , 0,1,2, n ;

n
n

'

Haciendo = / obtenemos las siguientes relaciones para p

n
y las
diferentes medidas de desempeo

'

+
1 ,
1 N
1
1 ,
1
1
p
n
1 N
n

'

+ +

+
+
1 ,
2
N
1 ,
) ) ( 1 ( 1
} N 1 ) ( n { 1
L
1 N
1 N N
s
) p (1
N ef

) p (1
L

L L
N
s
ef
s q


) p (1
L

L
W
N
q
ef
q
q

) p (1
L

1
W W
N
s
q s

+
Ver desarrollos de estas expresiones en el libro Investigacin de
Operaciones, Taha H. A. referenciado en el programa del curso con [4]




(M/M/c)(DG//)
Caractersticas:
- Los clientes llegan con una tasa constante , por lo que
ef
=
- Un mximo c de clientes pueden ser atendidos simultneamente
- La tasa de servicio , en cada servidor, es tambin constante
- Usar c servidores paralelos = acelerar la tasa de servicio. As que:
0 n
n

y

'

<

c n si , c
c n si , n

n
Las expresiones para p
n
y las medidas de desempeo pueden verse en
[4].
(M/M/c)(DG/N/), c N
Caractersticas:
Difiere del caso anterior en que se impone un lmite para la capacidad del
sistema (tamao mximo de la cola es N c).
Del modelo generalizado tenemos entonces que:

'

<

N n si 0,
N n 0 si ,

n y

'

N n c si , c
c n 0 si , n

n
Ver en [4] las expresiones para p
n
y las medidas de desempeo
(M/M/)(DG//), Modelo de autoservicio
Caracteristicas:
(M/M/R)(DG/K/K), R < K, Modelo de servicio de mquinas
Caracteristicas:
(M/G/1)(DG//)
Caracteristicas:
(M/G/1)(NPRP//)
Caracteristicas:
(M/G/c)(NPRP//)
Caracteristicas:
(G/M/1)(DG//)
Caracteristicas:
(G/M/K)(DG//)
Caracteristicas: