Captulo 8

CADENAS DE MARKOV
por Jorge Yazlle
Un proceso estocstico es una familia arbitraria de variables aleatorias {X
t
}
tT
, en donde
cada X
t
es una funcin del espacio muestral en algn conjunto E (el espacio de estados). Se
distinguen diferentes casos, segn T sea un conjunto continuo (generalmente R) o discreto (en
general N), y segn la cardinalidad de E. Es usual interpretar a t como el tiempo transcurrido
desde el instante inicial (t = 0), y que en cada instante t T se lleva a cabo un experimento
de cuyo resultado queda determinado el valor de X
t
. Principalmente, interesa saber con qu
probabilidad cada X
t
asume valores en ciertos subconjuntos de E, y tambin si esta probabi-
lidad est inuenciada de alguna manera por los valores observados en los instantes de tiempo
anteriores (la historia del proceso). Nos interesa aqu el caso en que T = N = {0, 1, 2, 3, . . .} y
E es un conjunto a lo sumo numerable.
Definicin 8.1. Sea E un conjunto a lo sumo numerable (de estados) y {X
n
}
nN
un proceso
estocstico a valores en E. Se dice que el proceso satisface la propiedad markoviana si para
todo entero n 0 y todos j, i
n
, . . . , i
0
E, se cumple:
P(X
n+1
= j | X
n
= i
n
, . . . , X
0
= i
0
) = P(X
n+1
= j | X
n
= i
n
)
Una cadena de Markov es un proceso estocstico que satisface la condicin markoviana.
Es decir, en una cadena de Markov el conocimiento de los valores de X
0
, . . . , X
n1
no agrega
informacin a lo que puede esperarse como valor de X
n+1
si se sabe el valor de X
n
.
Si X
0
= e, se dice que la cadena empez en e. Si X
n
= e, decimos que, en el instante n, la
cadena est en e, o que la cadena visita e. Si X
0
= i
0
, X
1
= i
1
, . . ., X
n
= i
n
, decimos que la
sucesin de estados i
0
, i
1
, . . . , i
n
es una historia completa de la cadena hasta el instante n. La
propiedad markoviana establece que la probabilidad de que en el instante n +1 la cadena pase
al estado j habiendo ocurrido una historia completa i
0
, . . . , i
n
slo depende del estado i
n
.
Notar que, en general, P(X
n+1
= j | X
n
= i) podra depender no slo de i y de j, sino
tambin de n. Aquellas cadenas en las que P(X
n+1
= j | X
n
= i) depende slo de i y de j
constituyen una importante clase.
Definicin 8.2. Una cadena de Markov se dice homognea si para todo n 0 y todos i, j
E, es P(X
n+1
= j | X
n
= i) = P(X
1
= j | X
0
= i). En este caso, el nmero P(X
n+1
= j | X
n
= i)
es denotado mediante p
ij
, y se denomina matriz de transicin de la cadena a la matriz
P = (p
ij
)
i,jE
.
Aqu trabajaremos slo con cadenas homogneas. En estos casos, es usual interpretar a E
como el conjunto de estados en que puede estar un sistema dinmico discreto (es decir, un
sistema que cambia a intervalos de tiempo igualmente espaciados), y a X
n
como el estado del
sistema al momento n, de modo que p
ij
representa la probabilidad de cambiar al estado j en
la prxima etapa, suponiendo que en la etapa actual el sistema est en el estado i. Una buena
representacin para una cadena homognea es a travs de un grafo cuyos vrtices son los estados
de E, habiendo arista desde i E hasta j E si, y slo si, p
ij
> 0. De haber arista de i a j,
se le asocia el valor numrico p
ij
, y representa la probabilidad de transicin (en un paso) del
estado i al estado j. A su vez, una interpretacin conveniente para este grafo es que los vrtices
son ciudades, las aristas son autopistas entre ellas (habiendo a lo sumo una autopista entre dos
119
120 8. CADENAS DE MARKOV
ciudades, y pudiendo una autopista empezar y nalizar en una misma ciudad), y un automvil
recorre esta red yendo de ciudad en ciudad da tras da, de modo que, estando en alguna ciudad,
debe elegir alguna de las autopistas que salen de esa ciudad, de manera aleatoria, de acuerdo a
las probabilidades que las aristas tienen asignadas. La ciudad en la que el auto se encuentra al
da n equivaldra al estado del sistema en el instante n. La propiedad markoviana establece que
la siguiente ciudad visitada depende slo de cul es la ciudad actual, ignorando completamente
la sucesin de ciudades anteriormente visitadas. En este grafo, la probabilidad de recorrer un
camino i
0
i
1
i
2
i
n1
i
n
que va desde la ciudad i
0
a la i
n
, sabiendo que empezamos en i
0
, es
p
i
0
i
1
p
i
1
i
2
p
i
n1
in
. Si estamos en una ciudad i y queremos saber por la probabilidad de que n
das ms tarde estemos en la ciudad j, debemos sumar las probabilidades de todos los caminos
de longitud n desde i hasta j.
Surgen entonces preguntas naturales respecto de la evolucin del sistema:
Dado que la evolucin es aleatoria, no se espera saber exactamente el estado del sistema
al momento n, pero s probabilsticamente: cul es la que probabilidad de que el sistema,
al instante n, se encuentre en un cierto estado i?
Suponiendo que en el instante 0 el estado del sistema es i E, cunto tarda, en
promedio, en retornar al estado i en algn instante posterior, si es que eso ocurre? O
bien, cunto tarda, en promedio, en pasar a un cierto estado j?
Ejemplo 8.3. Una moneda honesta se revolea reiteradamente y se asigna a X
n
el valor mos-
trado por la cara superior de la moneda en el n-simo tiro. Entonces, {X
n
}
n0
es una cadena
de Markov con E = {C, X} (cara, cruz), teniendo que p
CX
= p
CC
= p
XC
= p
XX
= 1/2, por lo
que para este proceso es
P =
_
1/2 1/2
1/2 1/2
_

Ejemplo 8.4. Un dado honesto se arroja repetidamente y se asigna a X

n
el mximo de los
valores salidos hasta el n-simo tiro. Entonces, {X
n
}
n0
es una cadena de Markov con E =
{1, 2, 3, 4, 5, 6}, teniendo la siguiente matriz de transicin:
P =
_
_
_
_
_
_
_
1/6 1/6 1/6 1/6 1/6 1/6
0 1/3 1/6 1/6 1/6 1/6
0 0 1/2 1/6 1/6 1/6
0 0 0 2/3 1/6 1/6
0 0 0 0 5/6 1/6
0 0 0 0 0 1
_
_
_
_
_
_
_

Ejemplo 8.5. Una compaa con sedes en Tucumn y Salta alquila autos por da, con la
siguiente modalidad: un cliente alquila un auto en alguna de las dos ciudades, y lo devuelve al
da siguiente en una de esas dos ciudades, a su propia eleccin. La compaa posee 2000 autos,
disponiendo inicialmente 1000 en cada ciudad. De los registros histricos, se determina que, de
los autos alquilados en Salta, el 60 % es devuelto en Salta, y el 40 % en Tucumn; y de los autos
alquilados en Tucumn, el 70 % es devuelto en Tucumn, y el 30 % restante en Salta. Se desea
analizar cmo vara la proporcin de los autos que la compaa tiene en ambas ciudades.
Ese anlisis puede hacerse considerando itinerarios de un auto promedio, que va recorriendo
las dos ciudades (E = {S, T}), asignando a X
n
la ciudad en que el auto est al n-simo da
(con P(X
0
= S) = P(X
0
= T) = 1/2, ya que la compaa arranca con iguales cantidades de
autos en ambas ciudades). {X
n
}
n0
es una cadena de Markov con matriz de probabilidades de
transicin dada por: p
SS
= 0,6, p
ST
= 0,4, p
TS
= 0,3, p
TT
= 0,7.
Ejemplo 8.6. (Paseo aleatorio) Un caminante se encuentra sobre la recta numrica Z (origi-
nalmente en 0) y tiene una moneda honesta. En cada unidad de tiempo la revolea; si sale cara,
8. CADENAS DE MARKOV 121
se mueve una unidad en el sentido positivo, y en caso contrario una unidad en sentido negativo.
Interesa saber qu posiciones de la recta visita. Llamando X
n
a la posicin en el instante n, se
tiene que {X
n
}
n0
es una cadena de Markov con E = Z y matriz de transicin como sigue:
P =
_
_
_
_
_
_
_
.
.
.
0 0 1/2 0 1/2 0
0 1/2 0 1/2 0 0
1/2 0 1/2 0 0 0
.
.
.
_
_
_
_
_
_
_
(Comparar con el ejemplo 7.2.) Este ejemplo muestra que E podra ser un conjunto innito.
La intuicin seguramente indica al lector que, en relacin al ejemplo 8.3, la probabilidad de
que X
n
= C es 1/2, independientemente de n. En relacin al ejemplo 8.4, para un n grande
es de sospechar que P(X
n
= 1) es pequea y P(X
n
= 6) es cercana a 1. A no aigirse si, en
relacin al ejemplo 8.5, la intuicin no arroja pistas sobre la probabilidad de que un auto, al
da 50, est en Tucumn. Ms adelante veremos cmo, en muchos casos, los interrogantes que
se plantean respecto de la evolucin del sistema pueden responderse mediante manipulacin
algebraica de la correspondiente matriz de transicin.
Observacin 8.7. La matriz de transicin de un proceso de Markov es una matriz estocstica,
lo cual quiere decir que es una matriz a valores no negativos (pues corresponden a probabilidades
de paso de un estado a otro) y que la suma de los elementos de cualquier la da 1: para cualquier
i E, tenemos

jE
p
ij
=

jE
P(X
1
= j | X
0
= i) = P
_
X
1

_
jE
j | X
0
= i
_
=
P(X
1
E, X
0
= i)
P(X
0
= i)
=
P(X
0
= i)
P(X
0
= i)
= 1
Queda como ejercicio mostrar que cualquier potencia natural de una matriz estocstica es
otra matriz estocstica.
La condicin markoviana se reere a probabilidades de cambios de estado que involucran
historias completas de la cadena. Veremos ahora una condicin equivalente pero que tiene que
ver con historias incompletas, mostrando que, de alguna manera, las probabilidades de cambios
hacia nuevos estados estn inuenciadas slo por el ltimo estado conocido de la historia.
Lema 8.8. Sean {X
n
}
n0
una cadena de Markov, n
0
, n
1
, . . . , n
k
(k 0) enteros tales que
0 n
0
< n
1
< < n
k
, e i
n
0
, i
n
1
, . . . , i
n
k
, j estados cualesquiera. Entonces,
P(X
n
k
+1
= j | X
n
k
= i
n
k
, . . . , X
n
1
= i
n
1
, X
n
0
= i
n
0
) = P(X
n
k
+1
= j | X
n
k
= i
n
k
)
Demostracin. Llamemos F al conjunto de instantes que faltan para completar la historia hasta
el momento n
k
, es decir,
F = {x Z : 0 x n
k
} {n
k
, . . . , n
1
, n
0
}
y veamos, por induccin en la cantidad de elementos de F, el cumplimiento de la proposicin.
Si |F| = 0, es F = y el enunciado es verdadero pues corresponde a la condicin markoviana.
Ahora supongamos F = . Sea n

un elemento de F, debiendo ser n

< n
k
. Usando el hecho
de que P((A B) | C) = P(A| (B C)) P(B| C), resulta que
P(X
n
k
+1
= j | X
n
k
= i
n
k
, . . . , X
n
1
= i
n
1
, X
n
0
= i
n
0
) =
=

eE
P(X
n
k
+1
= j , X
n
= e | X
n
k
= i
n
k
, . . . , X
n
1
= i
n
1
, X
n
0
= i
n
0
)
=

eE
P(X
n
k
+1
= j | X
n
k
= i
n
k
, . . . , X
n
1
= i
n
1
, X
n
0
= i
n
0
, X
n
= e)
P(X
n
= e | X
n
k
= i
n
k
, . . . , X
n
1
= i
n
1
, X
n
0
= i
n
0
)
122 8. CADENAS DE MARKOV
Por hiptesis inductiva, tenemos que, para cualquier e E,
P(X
n
k
+1
= j | X
n
k
= i
n
k
, . . . , X
n
0
= i
n
0
, X
n
= e ) = P(X
n
k
+1
= j | X
n
k
= i
n
k
)
y, por lo tanto,
P(X
n
k
+1
= j | X
n
k
= i
n
k
, . . . , X
n
0
= i
n
0
) =
=

eE
P(X
n
k
+1
= j | X
n
k
= i
n
k
) P(X
n
= e | X
n
k
= i
n
k
, . . . , X
n
0
= i
n
0
)
= P(X
n
k
+1
= j | X
n
k
= i
n
k
)

eE
P(X
n
= e | X
n
k
= i
n
k
, . . . , X
n
0
= i
n
0
)
= P(X
n
k
+1
= j | X
n
k
= i
n
k
) P(X
n
E | X
n
k
= i
n
k
, . . . , X
n
0
= i
n
0
)
= P(X
n
k
+1
= j| X
n
k
= i
n
k
)
segn queramos demostrar.
Teorema 8.9. El proceso estocstico {X
n
}
n0
es una cadena de Markov si, y slo si, para
cualquier sucesin nita de enteros 0 n
0
< n
1
< < n
k
, cualquier entero m 1 y
cualquier seleccin de estados i
n
0
, i
n
1
, . . . , i
n
k
, j E, se cumple que
P(X
n
k
+m
= j | X
n
k
= i
n
k
, . . . , X
n
1
= i
n
1
, X
n
0
= i
n
0
) = P(X
n
k
+m
= j | X
n
k
= i
n
k
)
Demostracin. Primero veamos la ida por induccin en m 1. El caso m = 1 es el lema 8.8.
Suponiendo ahora la propiedad vlida para m, tenemos:
P(X
n
k
+m+1
= j | X
n
k
= i
n
k
, . . . , X
n
0
= i
n
0
) =
=

eE
P(X
n
k
+m+1
= j , X
n
k
+m
= e | X
n
k
= i
n
k
, . . . , X
n
0
= i
n
0
)
=

eE
P(X
n
k
+m+1
= j | X
n
k
+m
= e, X
n
k
= i
n
k
, . . . , X
n
0
= i
n
0
)
P(X
n
k
+m
= e | X
n
k
= i
n
k
, . . . , X
n
0
= i
n
0
)
=

eE
P(X
n
k
+m+1
= j | X
n
k
+m
= e) P(X
n
k
+m
= e | X
n
k
= i
n
k
)
=

eE
P(X
n
k
+m+1
= j | X
n
k
+m
= e, X
n
k
= i
n
k
) P(X
n
k
+m
= e | X
n
k
= i
n
k
)
=

eE
P(X
n
k
+m+1
= j, X
n
k
+m
= e | X
n
k
= i
n
k
)
= P(X
n
k
+m+1
= j | X
n
k
= i
n
k
)
con lo que queda demostrada la ida.
Para la vuelta, supongamos vlida la condicin, y consideremos dados n 0, j, i
n
, . . . , i
0

E; tomando m = 1, n
k
= n, . . ., n
1
= 1, n
0
= 0, y reemplazando en la condicin, queda la
propiedad markoviana, completando as la demostracin del teorema.
En lo sucesivo, {X
n
}
n0
representar una cadena de Markov con conjunto de estados E (a
lo sumo numerable) y matriz de transicin P.
0.3. Las Ecuaciones de Chapman-Kolmogorov.
Para lo que sigue,
ij
representar el delta de Kronecker, es decir,
ii
= 1, y
ij
= 0 para
i = j.
Suponiendo que una cadena de Markov homognea est en un estado i en el instante m 0,
interesa conocer cul es la probabilidad de que, n unidades de tiempo despus, est en un dado
estado j. Designaremos por p
ij
(n) a esta probabilidad, es decir,
p
ij
(n) = P(X
m+n
= j | X
m
= i)
8. CADENAS DE MARKOV 123
y por P
n
a la matriz con ndices en E cuya posicin i, j es p
ij
(n). Por la suposicin de homoge-
neidad, P(X
m+n
= j | X
m
= i) no depende de m (su demostracin queda de ejercicio) as que
p
ij
(n) est bien denida, y se cumple que p
ij
(n) = P(X
n
= j | X
0
= i). Obviamente, se cumple
que p
ij
(0) =
ij
y que P
1
= P. Por otro lado, para cualquier n 1 y cualesquiera i, j E,
tenemos que, de acuerdo al teorema 8.9,
(P
n+1
)
ij
= p
ij
(n + 1) = P(X
n+1
= j | X
0
= i)
=

eE
P(X
n+1
= j, X
n
= e | X
0
= i)
=

eE
P(X
n+1
= j | X
n
= e, X
0
= i) P(X
n
= e | X
0
= i)
=

eE
P(X
n+1
= j | X
n
= e) P(X
n
= e | X
0
= i)
=

eE
p
ie
(n) p
ej
= (P
n
P)
ij
y, por lo tanto, P
n+1
= P
n
P (producto matricial de P
n
y P). De aqu se puede ver que, para
cualquier n 1, es P
n
= P
n
(la n-sima potencia de la matriz P) y, en consecuencia, para todos
m, n 1, es P
m+n
= P
m
P
n
. Estas dos ltimas expresiones son las denominadas ecuaciones
de Chapman-Kolmogorov, claves para el entendimiento de la evolucin del sistema.
Observacin 8.10. Con las ecuaciones, es directo ver que p
ij
(m+n) p
ik
(m) p
kj
(n) cuales-
quiera sean i, j, k E, m, n 1, pues
p
ij
(m+n) = (P
m+n
)
ij
= (P
m
P
n
)
ij
=

eE
p
ie
(m) p
ej
(n) p
ik
(m) p
kj
(n)
Ms generalmente, p
ij
(m
1
+m
2
+ +m
r
) p
ik
1
(m
1
) p
k
1
k
2
(m
2
) p
k
r1
j
(m
r
) cualesquiera
sean los enteros m
1
, m
2
, . . . , m
r
1 y los estados i, j, k
1
, k
2
, . . . , k
r1
.
En muchos sistemas, es conocido el estado del mismo en el instante 0 (en el cual comienza el
proceso). En otros, slo se conoce la distribucin de X
0
. Designemos por
(0)
al correspondiente
vector de distribucin, es decir,
(0)
i
= P(X
0
= i). Ms generalmente, designemos
(n)
al vector
de distribucin de X
n
, vale decir,
(n)
i
= P(X
n
= i).
Lema 8.11. Para todo n 1, se tiene que
(n)
=
(0)
P
n
.
Demostracin. Para cualquier j E,

(n)
j
= P(X
n
= j) =

eE
P(X
n
= j | X
0
= e) P(X
0
= e) =

eE

(0)
e
P
n
ej
=
_

(0)
P
n
_
j

Una cuestin central es saber si

(n)
converge a algo cuando n tiende a innito. Para ello,
nos preguntamos si P
n
converge a alguna matriz ja. Habr casos en que no. Por ejemplo, para
la matriz estocstica
P =
_
0 1
1 0
_
tenemos que
P
2k
=
_
1 0
0 1
_
P
2k+1
=
_
0 1
1 0
_
Para la matriz P del ejemplo 8.3, es P
n
= P, cualquiera sea n.
Para la matriz P del ejemplo 8.5, tenemos las siguientes aproximaciones:
P
5
=
_
0,42996 0,57004
0,42753 0,57247
_
P
10
=
_
0,428575 0,571425
0,428569 0,571431
_
P
14
=
_
0,428571 0,571429
0,428571 0,571429
_
124 8. CADENAS DE MARKOV
y para n 14, P
n
est estabilizada (dentro de esas aproximaciones).
A n de obtener condiciones para la convergencia de P
n
, es necesario desarrollar nuevas
herramientas, tarea que llevaremos a cabo en las prximas dos secciones.
0.4. Clasicacin de estados.
Un estado e E se dice persistente (o recurrente) si, con probabilidad 1, la cadena vuelve
a e habiendo empezado en e; es decir, si P(X
n
= e para algn n 1 | X
0
= e) = 1. Esto es lo
mismo que decir que P((X
1
= e X
2
= e . . .) | X
0
= e) = 1. Un estado que no es persistente
se denomina transitorio.
Ejemplo 8.12. Sea E = {i, j}, y tomemos p
ii
= 0,25, p
ij
= 0,75, p
ji
= 0, p
jj
= 1. Veriquemos
por induccin en n 1 que p
ii
(n) = 4
n
: p
ii
(1) = p
ii
= 4
1
y, suponiendo que vale para n,
p
ii
(n + 1) = P
n+1
ii
= (P
n
P)
ii
= P
n
ii
P
ii
+P
n
ij
P
ji
= 4
n
4
1
+P
n
ij
0 = 4
n1
Ahora mostremos que el estado i es transitorio:
P((X
1
= i X
2
= i . . .) | X
0
= i)

n=1
P(X
n
= i | X
0
= i) =

n=1
4
n
< 1
Por otro lado, el estado j es persistente, pues
1 P((X
1
= j X
2
= j . . .) | X
0
= j) P(X
1
= j | X
0
= j) = p
jj
= 1
resultando entonces P((X
1
= j X
2
= j . . .) | X
0
= j) = 1.
Buscamos ahora criterios para caracterizar a los estados persistentes y transitorios.
Definicin 8.13. Para i, j E y n 1, f
ij
(n) denota a P(X
n
= j, X
n1
= j, . . . , X
1
= j| X
0
=
i). Es decir, f
ij
(n) es la probabilidad de que la cadena, habiendo empezado en el estado i, en el
instante n est en el estado j por primera vez (sin considerar el instante inicial). Convenimos
que f
ij
(0) = 0 cualesquiera sean i, j E. Designamos f
ij
a la probabilidad de que la cadena,
habiendo empezado en i, visite j en algn instante posterior. Es decir,
f
ij
=

n=1
f
ij
(n)
(por nuestra convencin, la suma puede empezar desde 0).
Se tiene que j es persistente si, y slo si, f
jj
= 1: el evento X
1
= j X
2
= j es
equivalente al evento
_
n1
(X
1
= j, . . . , X
n1
= j, X
n
= j)
en donde la unin es disjunta, y entonces j es persistente si, y slo si,
1 =

n=1
P(X
1
= j, . . . , X
n1
= j, X
n
= j| X
0
= j) =

n=1
f
jj
(n) = f
jj
Dados i, j E, designaremos P
ij
(x) a la funcin generatriz de la sucesin {p
ij
(n)}
n0
, y
F
ij
(x) a la de {f
ij
(n)}
n0
. Es decir,
P
ij
(x) =

n=0
p
ij
(n) x
n
F
ij
(x) =

n=0
f
ij
(n) x
n
Ntese que F
ij
(1) = f
ij
.
Lema 8.14. Para todos i, j E, P
ij
(x) =
ij
+ F
ij
(x) P
jj
(x) (donde el producto de series es
el que se deni en el captulo de funciones generadoras, siguiendo la idea de la distributividad
del producto de polinomios).
8. CADENAS DE MARKOV 125
Demostracin. Para n 1, designemos por A
n
al evento {X
n
= j} y por B
n
al evento {X
n
= j,
X
n1
= j, . . . , X
1
= j}. La familia de los B
n
es dos a dos disjunta. El evento A
n
es equivalente
al evento A
n

n
r=1
B
r
, por lo que, por propiedades de las probabilidades condicionales y por
la propiedad markoviana, resulta
P(A
n
| X
0
= i) = P
_
n
_
r=1
(A
n
B
r
) | X
0
= i
_
=
n

r=1
P(A
n
| B
r
, X
0
= i) P(B
r
| X
0
= i)
=
n

r=1
P(X
n
= j | X
r
= j) P(X
r
= j, X
r1
= j, . . . , X
1
= j | X
0
= i)
=
n

r=1
p
jj
(n r) f
ij
(r)
es decir, p
ij
(n) =

n
r=1
p
jj
(n r) f
ij
(r). Por lo tanto,
P
ij
(x) =
ij
+

n=1
p
ij
(n) x
n
=
ij
+

n=1
n

r=1
p
jj
(n r) f
ij
(r) x
n
=
ij
+P
jj
(x) F
ij
(x)
segn desebamos demostrar.
Teorema 8.15. Un estado j es persistente si, y slo si,

n=1
p
jj
(n) = . Consecuentemente,
un estado j es transitorio si, y slo si,

n=1
p
jj
(n) < .
Demostracin. Usaremos, sin demostrarlo, el Lema de Abel:
Si {a
n
}
nN
es una sucesin de reales no negativos tal que lm sup
n
n

a
n
1,
entonces lm
x1

n=0
a
n
x
n
=

n=0
a
n
.
Notar que, siendo 0 f
jj
(n) 1 y 0 p
jj
(n) 1, se cumplen para ambas sucesiones las
hiptesis del Lema de Abel, por lo que
lm
x1

F
jj
(x) = lm
x1

n=0
f
jj
(n) x
n
=

n=0
f
jj
(n)
lm
x1

P
jj
(x) = lm
x1

n=0
p
jj
(n) x
n
=

n=0
p
jj
(n)
Para la ida del teorema, supongamos j persistente. Entonces, por propiedad demostrada
anteriormente, es f
jj
= 1, es decir,

n=0
f
jj
(n) = 1. Luego lm
x1
F
jj
(x) = 1. Del lema 8.14,
se tiene que
P
jj
(x) =
1
1 F
jj
(x)
as que lm
x1
P
jj
(x) = , por lo que

n=0
p
jj
(n) = .
La armacin recproca se obtiene de manera anloga.
Corolario 8.16. Sean i, j E.
1. Si j es persistente y f
ij
> 0, entonces

n=0
p
ij
(n) = .
2. Si j es transitorio, entonces

n=0
p
ij
(n) < .
Demostracin. Del lema 8.14, tenemos que

n=0
p
ij
(n) = P
ij
(1) =
ij
+F
ij
(1) P
jj
(1) =
ij
+f
ij

n=1
p
jj
(n)
126 8. CADENAS DE MARKOV
Si j es persistente y f
ij
> 0, se tiene, por el teorema 8.15, que

n=1
p
jj
(n) = , y entonces

n=0
p
ij
(n) = .
Si j es transitorio, entonces

n=1
p
jj
(n) < , de donde

n=0
p
ij
(n) < .
Corolario 8.17. Cualquier cadena de Markov con cantidad nita de estados posee al menos
un estado persistente.
Demostracin. Supongamos que todos los estados de la cadena son transitorios. Entonces,

n=0
p
ij
(n) < para todos i, j E (corolario 8.16). Consideremos i E jo. Ocurrira que

jE

n=0
p
ij
(n) < . Sin embargo, esto no puede ser pues P
n
es una matriz estocstica
y entonces

jE

n=0
p
ij
(n) =

n=0

jE
p
ij
(n) =

n=0

jE
(P
n
)
ij
=

n=0
1 = . La
contradiccin proviene de suponer que no hay estados persistentes.
Cada estado persistente de una cadena cae en una de dos categoras de acuerdo al tiempo
promedio que tarda la cadena en regresar a ese estado, suponiendo que empez en l.
Definicin 8.18. Dado e E, el tiempo de la primera visita a e, denotado T
e
, es el menor
de los enteros positivos n tales que X
n
= e, con la convencin de que T
e
= si no existe tal
n. En smbolos,
T
e
=
_
mn {n 1 : X
n
= e} si existe n tal que X
n
= e
si no
Es decir, T
e
es lo que demora la cadena en visitar a e en un instante posterior al del inicio
de la cadena (la cadena podra o no empezar en e). Por supuesto, T
e
es una variable aleatoria,
por lo que podemos preguntarnos por su valor medio si suponemos que la cadena empieza en e.
Definicin 8.19. El tiempo medio de retorno a e, denotado R
e
, se dene mediante
R
e
= E(T
e
| X
0
= e) =
_

n=0
nf
ee
(n) si e es persistente
si e es transitorio
Obsrvese que, an siendo e persistente, la suma innita podra divergir a innito. Por esta
razn, distinguiremos dos clases de estados persistentes.
Definicin 8.20. Un estado persistente e se dice nulo si R
e
= , y positivo (o no nulo) si
R
e
< .
Ms adelante (observacin 8.26) enunciaremos un criterio para decidir si un estado persis-
tente es positivo o nulo, en trminos de la matriz P.
0.5. Comunicacin de estados.
Veremos ahora una importante relacin de equivalencia en el conjunto de estados de una cadena
de Markov, en funcin de las probabilidades de pasar de un estado a otro. Posteriormente,
deduciremos propiedades fundamentales de las respectivas clases de equivalencia.
Definicin 8.21. Dados i, j E, decimos que i se comunica con j (denotado i j) si existe
n 0 tal que p
ij
(n) > 0, es decir, si la cadena visita j (con probabilidad positiva) habiendo
empezado en i. Si i j y j i, decimos que i se intercomunica con j, y escribimos i j.
Se tiene que es una relacin de equivalencia en E, quedando como ejercicio la demostra-
cin de este hecho.
Proposicin 8.22. Si i j, entonces son ambos transitorios o ambos persistentes.
Demostracin. Supongamos que i j. Tomemos m y n tales que p
ij
(m) > 0 y p
ji
(n) > 0.
Designemos = p
ij
(m) p
ji
(n) > 0. Sea k cualquier entero mayor o igual que 0. Tenemos
que p
ii
(m+k +n) p
ij
(m) p
jj
(k) p
ji
(n) = p
jj
(k) (observacin 8.10), y simtricamente
p
jj
(m+k +n) p
ii
(k). En consecuencia, las series

k0
p
ii
(k) y

k0
p
jj
(k) son ambas
convergentes, o bien ambas divergentes, y el resultado se sigue del teorema 8.15.
8. CADENAS DE MARKOV 127
Definicin 8.23. El perodo de un estado e, denotado d (e), es el mximo comn divisor de
todos los enteros positivos n tales que el retorno de e a e en n pasos tiene probabilidad positiva:
d (e) = mcd {n 1 : p
ee
(n) > 0}
(si n 1, p
ee
(n) = 0, se dene d (e) = ). En el caso en que d (e) = 1, e se dice aperidico.
Si e es persistente positivo y aperidico, se dice que e es ergdico.
De la denicin, vemos que p
ee
(n) = 0 si n no es mltiplo de d (e) (aunque podra ser
p
ee
(n) = 0 an siendo n mltiplo de d (e)).
Proposicin 8.24. Si i j, entonces d (i) = d (j).
Demostracin. Sean m, n tales que p
ij
(m) > 0 y p
ji
(n) > 0. Designemos por R(i) al
conjunto {k N : p
ii
(k) > 0}, y similarmente R(j) = {k N : p
jj
(k) > 0}, siendo entonces
d (i) = mcd (R(i)) y d (j) = mcd (R(j)). Notemos que p
jj
(m+n) p
ji
(n) p
ij
(m) > 0, por lo
que m + n R(j), de donde d (j) divide a m + n. Adems, sea k R(i) cualquiera. Se tiene
que p
jj
(m+k +n) p
ji
(n) p
ii
(k) p
ij
(m) > 0. Luego m+k+n R(j), y entonces d (j) divide
tambin a m+k +n. Por lo tanto, d (j) divide a k. Ya que k se eligi arbitrariamente en R(i),
vemos que d (j) es divisor comn de todos los elementos de R(i), y, por lo tanto, d (j) d (i).
Anlogamente, d (i) d (j) y, en consecuencia, d (i) = d (j).
Un subconjunto C E se dice irreducible si todos sus estados estn intercomunicados. Si
E es irreducible, la cadena se dice irreducible (y a su correspondiente matriz de transicin se
le llama tambin irreducible). Por nuestro resultado anterior, en una cadena irreducible todos
los estados tienen igual perodo. Una cadena aperidica es una que tiene todos sus estados
aperidicos; en tal caso, decimos tambin que su matriz es aperidica. Como es de esperarse,
una cadena irreducible que tiene todos sus estados persistentes positivos y aperidicos se dice
ergdica.
Un subconjunto C E se dice cerrado si p
ij
= 0 para todos i C, j / C.
Si juntamos nuestras dos proposiciones anteriores, tenemos el siguiente resultado, conocido
como el Teorema de la Descomposicin.
Teorema 8.25. El conjunto E de estados de una cadena de Markov se puede particionar de
manera nica como
E = T C
1
C
2

en donde T es el conjunto de estados transitorios de la cadena, y C
1
, C
2
, . . . son conjuntos
irreducibles y cerrados de estados persistentes.
Demostracin. De la Proposicin 8.22, resulta E = T R, donde T es el conjunto de estados
transitorios y R el de estados recurrentes. Sean C
1
, C
2
, . . . las clases de equivalencia (denidas
de manera nica) de la relacin de intercomunicacin cuyos estados son persistentes. Entonces
R = C
1
C
2
, por lo que slo resta probar que cada C
k
es cerrado. Supongamos que
existen i C
k
y j / C
k
tales que p
ij
> 0. No puede ser que j i (pues i y j no estn
intercomunicados), as que
P(X
2
= i X
3
= i . . . | X
1
= j, X
0
= i)

n=2
P(X
n
= i | X
1
= j, X
0
= i)
=

n=2
P(X
n
= i | X
1
= j)
=

n=2
p
ji
(n 1) = 0
De all,
P(X
2
= i, X
3
= i, . . . | X
1
= j, X
0
= i) = 1
128 8. CADENAS DE MARKOV
y entonces
P(X
1
= i X
2
= i X
3
= i . . . | X
0
= i) =
= 1 P(X
1
= i, X
2
= i, X
3
= i, . . . | X
0
= i)
1 P(X
1
= j, X
2
= i, X
3
= i, . . . | X
0
= i)
= 1 P(X
2
= i, X
3
= i, . . . | X
1
= j, X
0
= i) P(X
1
= j | X
0
= i)
= 1 p
ij
< 1
contradiciendo que el estado i es persistente.
Observacin 8.26. Aunque no lo haremos aqu, es posible probar que si i j y j es peridico
de perodo nito d, entonces lm
n
p
ij
(n) = d/R
j
. Luego, un estado persistente j es nulo si,
y slo si, lm
n
p
jj
(n) = 0, y, si esto se cumple, entonces lm
n
p
ij
(n) = 0 para todo i E.
Usando el resultado de la observacin anterior, queda de ejercicio probar que una cadena
con cantidad nita de estados no tiene estados persistentes nulos.
0.6. Distribuciones estacionarias y comportamiento lmite.
Definicin 8.27. Sea v un vector con ndices en E. Se dice que v es un vector de distri-
bucin si para todo i E, 0 v
i
1 y

iE
v
i
= 1. Un vector de distribucin v es una
distribucin estacionaria para una cadena de Markov si vP = v, donde P es la matriz de
transicin de la cadena.
Por qu se denomina estacionario a tal vector, si es que existe? Porque supongamos que

(0)
= v. Entonces, por el lema 8.11, tenemos que

(1)
=
(0)
P = vP = v

(2)
=
(0)
P
2
= (vP) P = vP = v
y, en general,
(n)
= v. Como vemos, en ese caso es lm
n

(n)
= v, es decir que para cualquier
j E tenemos lm
n
P(X
n
= j) = v
j
.
Hay cadenas que no admiten una distribucin estacionaria, como es el caso de la del ejem-
plo 8.6 (ejercicio). Hay tambin cadenas que poseen ms de una; por ejemplo si E = {i, j} con
p
ii
= p
jj
= 1 y p
ij
= p
ji
= 0, cualquier vector de distribucin es una distribucin estacionaria
para la cadena. El siguiente resultado nos da una condicin suciente para que una cadena ad-
mita distribucin estacionaria nica, garantizando que
(n)
siempre converge a esa distribucin
(independientemente de la distribucin inicial).
Teorema 8.28. Sea {X
n
}
nN
una cadena de Markov irreducible y aperidica con matriz de
transicin P, con todos sus estados persistentes positivos. Para cada estado j, hagamos v
j
=
1/R
j
, y consideremos v = (v
j
)
jE
. Entonces, v es la nica distribucin estacionaria que posee
la cadena.
Demostracin. Sin prdida de generalidad, y para simplicar notacin, podemos suponer que
E = N (y si E fuese nito, considerar p
ij
= 0 si i |E| o j |E|). Por hiptesis, y de acuerdo a
la observacin 8.26, para cualquier j E, lm
n
p
ij
(n) = v
j
, independientemente del estado
i.
Consideremos j arbitrario en E. Ntese que, para cualquier M E,
M

j=0
v
j
=
M

j=0
lm
n
p
ij
(n) = lm
n
M

j=0
p
ij
(n) lm
n

j=0
p
ij
(n) = 1
8. CADENAS DE MARKOV 129
as que

j=0
v
j
1. Por otra parte, para cualesquiera i, M E y n 0, p
ij
(n + 1) =

e=0
p
ie
(n) p
ej

M
e=0
p
ie
(n) p
ej
, de modo que
v
j
= lm
n
p
ij
(n) = lm
n
p
ij
(n + 1) lm
n
M

e=0
p
ie
(n) p
ej
=
M

e=0
p
ej
lm
n
p
ie
(n) =
M

e=0
v
e
p
ej
de donde v
j

e=0
v
e
p
ej
, cualquiera sea j E. Para mostrar que esta desigualdad es en
realidad una igualdad, supongamos que fuese estricta para algn j E. Tendramos entonces

j=0
v
j
>

j=0

e=0
v
e
p
ej
=

e=0
v
e

j=0
p
ej
=

e=0
v
e
lo cual es una contradiccin. Luego, cualquiera sea j E, es v
j
=

e=0
v
e
p
ej
. Si denimos el
vector u mediante u
j
= v
j
/

e=0
v
e
, vemos que se cumple
u
j
=
v
j

e=0
v
e
=

k=0
v
k
p
kj

e=0
v
e
=

k=0
v
k
p
kj

e=0
v
e
=

k=0
u
k
p
kj
= (uP)
j
y que

j=0
u
j
=

j=0
v
j

e=0
v
e
=

j=0
v
j

e=0
v
e
= 1
mostrando as que u es vector de distribucin estacionaria, es decir, la cadena admite una
distribucin estacionaria.
Ahora sea w cualquier distribucin estacionaria para la cadena. Ya vimos que esto implica
que wP
n
= w cualquiera sea n 1. Luego, w
j
=

e=0
w
e
p
ej
(n)

M
e=0
w
e
p
ej
(n) cualesquiera
sean j, M E y n 1, y, por lo tanto,
w
j
lm
n
M

e=0
w
e
p
ej
(n) =
M

e=0
w
e
lm
n
p
ej
(n) =
M

e=0
w
e
v
j
= v
j
M

e=0
w
e
para todo M, de donde
w
j
v
j

e=0
w
e
= v
j
Pero tambin, para cualquier n 1 y M E,
w
j
=

e=0
w
e
p
ej
(n) =
M

e=0
w
e
p
ej
(n) +

e=M+1
w
e
p
ej
(n)
M

e=0
w
e
p
ej
(n) +

e=M+1
w
e
as que
w
j
lm
n
M

e=0
w
e
p
ej
(n) +

e=M+1
w
e
=
M

e=0
w
e
v
j
+

e=M+1
w
e
= v
j
M

e=0
w
e
+

e=M+1
w
e
cualquiera sea M E. Por lo tanto, haciendo tender M a , y teniendo en cuenta que

e=0
w
e
= 1, tenemos que
w
j
v
j
lm
M
M

e=0
w
e
+ lm
M
M

e=0
w
e
= v
j
Hemos probado entonces que w
j
= v
j
, es decir, que la cadena posee una nica distribucin
estacionaria, que es v.
Por lo tanto, para una cadena irreducible y aperidica con estados persistentes positivos,
la matriz P
n
converge a una matriz cuyas las son idnticas, e iguales al vector de distribucin
estacionaria. Esto proporciona un mtodo para encontrar la distribucin estacionaria en tales
130 8. CADENAS DE MARKOV
cadenas: multiplicar por s misma la matriz un nmero de veces sucientemente grande, y
observar cualquiera de sus las.
0.7. Una aplicacin de cadenas de Markov.
La pgina web de Google es famosa, entre otras cosas, por su motor de bsqueda de informacin
en Internet. Al realizar all una bsqueda mediante palabras clave, se devuelve una lista con
una serie de sitios web que contienen las palabras clave, y resulta sorprendente la inteligencia
en la enumeracin: generalmente, las primeras pginas de la lista devuelta siempre son ms
relevantes que las otras, en relacin al tpico buscado. Esto es porque los sitios web de Internet
que Google reconoce estn rankeados, y ese ranking es el que se utiliza para confeccionar el
orden de las pginas devueltas como resultado de la bsqueda. Lo asombroso es que el ranking
es elaborado automticamente sin intervencin humana por un software de Google en base
a una cadena de Markov, como explicaremos a continuacin.
Aclaremos primero que Google lleva un registro de direcciones web que se actualiza pe-
ridicamente (a travs de programas robot que tienen la misin de buscar automticamente e
incorporar pginas al registro, o a solicitud expresa del dueo de un sitio web). Las bsquedas
ordenadas por un usuario se hacen en las pginas cuyas direcciones guran en este registro, y
no en todas las pginas web existentes. Digamos que el registro de Google posee las direcciones
de N sitios (actualmente, N vale del orden de miles de millones).
Google asocia entonces biyectivamente, a cada pgina web registrada en su base de datos, un
nmero desde 1 hasta N, y se construye un grafo G con conjunto de vrtices E = {0, 1, . . . , N}
y aristas de acuerdo a lo siguiente:
No hay aristas desde un nodo hacia ese mismo nodo.
Hay una nica arista desde 0 hasta cada i {1, . . . , N}.
Hay una nica arista desde cada i {1, . . . , N} hasta 0.
Para i, j positivos y distintos, hay una nica arista de i a j si, y slo si, en la pgina
web i hay algn enlace referenciando a la pgina web j.
Como puede verse, en G hay a lo sumo una arista entre dos nodos.
Para i E, se dene S (i) como la cantidad de aristas que salen del vrtice i en G. Es decir,
S (i) es una unidad mayor que la cantidad de pginas web a las que puede accederse por enlace
desde la pgina i, siendo, por denicin de G, S (0) = N. Obsrvese que S (i) 1 para todo
i E.
A continuacin, se selecciona un parmetro de amortiguamiento p entre 0 y 1 (por ejemplo,
p = 0,75) y se dene la matriz P con ndices en E del siguiente modo:
Para todo i E, P
ii
= 0.
Para todo i {1, . . . , N}, P
0i
= 1/N.
Para todo i {1, . . . , N},
P
i0
=
_
1 si S (i) = 1
1 p si S (i) > 1
Para todos i, j {1, . . . , N} con i = j,
P
ij
=
_
p
S(i)1
si hay arista de i a j en G
0 en caso contrario
(Por supuesto, Google no necesita construir el grafo, sino slo la matriz P en base a los
enlaces entre las pginas.) La matriz P as denida es estocstica, y corresponde a una cadena de
Markov irreducible y aperidica (por qu?) que tiene todos sus estados persistentes positivos,
de donde, por teorema 8.28, admite una nica distribucin estacionaria v. Google interpreta a
v
j
como el ranking de la pgina j, ya que supone que, cuanto ms relevante es la pgina, mayor
es la cantidad de visitas a ella en un recorrido aleatorio largo por el grafo G (empezando en
cualquier nodo y escogiendo cada arista en cada paso de acuerdo a su probabilidad), siendo la
frecuencia de esas visitas medida por v
j
.
8. CADENAS DE MARKOV 131
Cabe destacar que la distribucin estacionaria v no se encuentra resolviendo la ecuacin
vectorial vP = v (pues esto llevara a un sistema de N N, con N enorme) sino calculando
P
n
para n sucientemente grande y observando su primera la (teorema 8.28). Esto es, compu-
tacionalmente, mucho ms rpido que resolver la ecuacin. Adems, la construccin de v no se
efecta cada vez que un usuario ordena una bsqueda, sino peridicamente, despus de dar de
alta a nuevas pginas en los registros y de actualizar la matriz P, de modo que el ranking ya
est disponible cuando se ordena una bsqueda.