CAPITULO 2

CADENAS DE MARCOV

CADENAS DE MARCOV

I. Procesos estocásticos

Un proceso estocástico se define como una colección indexada de variables

Cadenas de aleatorias {Xt}, donde el índice t toma valores de un conjunto T
dado. Con frecuencia T se considera el conjunto de enteros no negativos
mientras que Xt representa una característica de interés cuantificable en el
tiempo t.
Por ejemplo, Xt puede representar los niveles de inventario al final de la
semana t. Los procesos estocásticos son de interés para describir el
comportamiento de un sistema en operación durante algunos periodos. Un
proceso estocástico tiene la siguiente estructura

La condición actual del sistema puede estar en una de M + 1 categorías

mutuamente excluyentes llamadas estados. Por conveniencia en la notación,
estos estados se etiquetan 0, 1, 2, . . ., M. La variable aleatoria Xt representa el
estado del sistema en el tiempo t, de manera que sus únicos valores posibles
son 0, 1, . . ., M. El sistema se observa en puntos del tiempo dados,
etiquetados t= 0, 1, 2, . . . De esta forma, los procesos estocásticos {Xt} = {X0,
X1, X2, . . .} proporcionan una representación matemática de la forma en que
evoluciona la condición del sistema físico a través del tiempo.

Este tipo de procesos se conocen como procesos estocásticos de tiempo

discreto con espacio de estados finito.

II. Cadenas de Markov

Es necesario hacer algunos supuestos sobre la distribución conjunta de X0,

X1, . . . para obtener resultados analíticos. Un supuesto que conduce al manejo
analítico es que el proceso estocástico es una cadena de Markov, que tiene la
siguiente propiedad esencial:

Se dice que un proceso estocástico {Xt} tiene la propiedad markoviana si P{Xt+1

=j|X0 = k0,= kt–1, Xt= i}= P{Xt+1 = j|Xt = i},para t = 0, 1, . . . y toda sucesión i, j, k0,
k1, . . ., kt–1.
En palabras, esta propiedad markoviana establece que la probabilidad
condicional de cualquier “evento” futuro dados cualquier “evento” pasado y el
estado actual Xt = i, es independiente de los eventos pasados y solo depende
del estado actual del proceso.

Un proceso estocástico {Xt} (t = 0, 1, . . .) es una cadena de Markov si presenta

la propiedad markoviana.
Las probabilidades condicionales P{Xt+1 = j|Xt = i} de una cadena de Markov se
llaman probabilidades de transición (de un paso). Si para cada i y j,

P{Xt+1 = j|Xt = i} =P{X1 = j|X0 = i}, para toda t = 1, 2, . . . ,

entonces se dice que las probabilidades de transición (de un paso) son

estacionarias. Así, tener probabilidades de transición estacionarias implica que
las probabilidades de transición no cambian con el tiempo. La existencia de
probabilidades de transición (de un paso) estacionarias también implica que,
para cada i, j y n (n = 0, 1, 2, . . .),

P{Xt+n = jcXt = i} = P{Xn =j|X0 = i}

para toda t = 0, 1, . . . Estas probabilidades condicionales se llaman

probabilidades de transición de n pasos.

Para simplificar la notación de las probabilidades de transición estacionarias,

sea
pij = P{Xt+1 = j|Xt = i},
pij(n) = P{Xt+n = j|Xt = i}.

Así, las probabilidades de transición de n pasos pij(n) son simplemente la

probabilidad condicional de que el sistema se encuentre en el estado j
exactamente después de n pasos (unidades de tiempo), dado que comenzó en
el estado i en cualquier tiempo t. Cuando n = 1 observe que pij(1) = pij.
Como las pij(n) son probabilidades condicionales, deben ser no negativas y,
como el proceso debe hacer una transicion a algún estado, deben satisfacer
las propiedades
pij(n) >= 0, para toda i y j; n = 0, 1, 2, . . . ,
y
M

∑ p(n)
ij =1 para toda i y j; n = 0, 1, 2, . . .
j=0

Una notación conveniente para representar las probabilidades de transicion de

n pasos es la matriz de transicion de n pasos

Observe que la probabilidad de transicion en un renglón y columna dados es la

de la transicion del estado en ese renglón al estado en la columna. Cuando n =
1, el superíndice n no se escribe y se hace referencia a esta como una matriz
de transicion.
Las cadenas de Markov que se estudian tienen las siguientes propiedades:

1. Un número finito de estados.

2. Probabilidades de transicion estacionarias.
 También se supondrá que se conocen las probabilidades iniciales P{X0 = i} para
toda i.

III. Ecuaciones de Chapman-Kolmogorov

Chapman-Kolmogorov proporcionan un metodo para calcular probabilidades de
transicion de n pasos:
M
p(nij )=∑ p(m) (n−m)
ik p kj ,para toda i = 0, 1, …, M,
k=0
j =0, 1, . . . , M,
y cualquier m = 1, 2, . . . , n _-1,
n = m + 1, m + 2, . . . 3

Estas ecuaciones simplemente señalan que al ir del estado i al estado j en n

pasos, el proceso estará en algún estado k después de exactamente m (menor
que n) pasos. Así, pik(m) pkj(n–m) es solo la probabilidad condicional de que, si
comienza en el estado i, el proceso vaya al estado k después de m pasos y
después al estado j en (n – m) pasos. Por lo tanto, al resumir estas
probabilidades condicionales sobre todos los estados posibles k se debe
obtener pij(n). Los casos especiales de m = 1 y m=n – 1 conducen a las
expresiones

M
p(nij )=∑ p❑ (n−1)
ik p kj
k=0
M
p(nij )=∑ p(n−1)
ik p❑kj
k=0

para todos los estados i y j. Estas expresiones permiten que las probabilidades
de transicion de n pasos se puedan obtener a partir de las probabilidades de
transicion de un paso de manera recursiva Para n=2, estas expresiones se
convierten en
M
p =∑ p❑
(2 ) ❑
ij ik p kj para todos los estados i y j
k=0

donde las pij(2) son los elementos de la matriz P(2). También note que estos
elementos se obtienen al multiplicar la matriz de transicion de un paso por si
misma; esto es,
P(2) = P . P = P2.

De la misma manera, las expresiones anteriores de pij(n) cuando m =1 y m=n–1

indican que la matriz de probabilidades de transicion de n pasos es

P(n) = PP(n-1) =P(n-1)P

=PPn-1=Pn-1P
=Pn.
Entonces, la matriz de probabilidades de transicion de n pasos Pn se puede
obtener al calcular la n-esima potencia de la matriz de transicion de un paso P.

IV. Clasificación de estados en una cadena de Markov

Acabamos de ver en la parte final de la sección anterior que las probabilidades
de transicion de n pasos del ejemplo del inventario convergen hacia las
probabilidades del estado estable después de un número de pasos suficiente.
Sin embargo, esto no es válido para todas las cadenas de Markov.
Las propiedades a largo plazo de una cadena de Markov dependen en gran
medida de las características de sus estados y de la matriz de transicion. Para
describir con más detalle las propiedades de una cadena de Markov es
necesario presentar algunos conceptos y definiciones que se refieren a estos
estados.
Se dice que el estado j es accesible desde el estado i si pij(n) >0 para alguna n
>= 0. (Recuerde que pij(n) es solo la probabilidad condicional de llegar al estado j
después de n pasos, si el sistema está en el estado i.) Entonces, que el estado
j sea accesible desde el estado i significa que es posible que el sistema llegue
finalmente al estado j si comienza en el estado i.