1

Apuntes de la asignatura
ESTAD

ISTICA
Titulacion: Ingeniera de Telecomunicaciones
Centro: Escuela Politecnica Superior
Departamento: Matematicas
Autor: Angel Blasco
Tema 5
CADENAS DE MARKOV
Una cadena de Markov es un proceso de Markov que toma valores en
un conjunto I Z. A estos valores que puede tomar se les llama esta-
dos de la cadena e I es el espacio de estados. La propiedad esencial
de estos procesos es que, dados k instantes t
1
< < t
k
cualesquiera y
k estados i
1
, ..., i
k
(k N), se tiene:
P(X(t
1
) = i
1
, ..., X(t
k
) = i
k
) =
P(X(t
1
) = i
1
)P(X(t
2
) = i
2
|X(t
1
) = i
1
) P(X(t
k
) = i
k
|X(t
k1
) = i
k1
)
(5.1)
El esquema es:
(Prob. en el primer instante) (Cadena de probs. de transicion)
5.1. Cadenas en tiempo discreto
Como se deduce de lo anterior, un elemento fundamental en el estu-
dio de las cadenas de Markov son las probabilidades de transicion entre
estados. En el momento en que hablamos de tiempo discreto aparece el
concepto de instantes consecutivos, lo que nos lleva a distinguir entre
2
TEMA 5. CADENAS DE MARKOV 3
probabilidades de transicion en un solo paso y en varios pasos. Co-
mo veremos las segundas se pueden obtener facilmente a partir de las
primeras.
5.1.1. Probabilidades de transicion en un solo paso
En lo que sigue designaremos los diferentes estados de la cadena
mediante n umeros naturales, es decir, I N.
Decimos que una cadena tiene probabilidades de transicion ho-
mogeneas si las probabilidades del tipo P(X(n) = j|X(n1) = i) son
independientes de n. Nosotros trabajaremos siempre bajo este supuesto.
Se dene entonces la probabilidad de transicion del estado i al j en
un solo paso como
p
ij
= P(X(n) = j|X(n 1) = i)
Observese que, seg un lo dicho, esta probabilidad sera la misma para
todo valor de n. A partir de ahora nos referiremos a las probabilidades
de transicion en un solo paso simplemente como probabilidades de tran-
sicion de la cadena.
Con esta nueva notacion la propiedad 5.1 se puede expresar como:
P(X(0) = i
0
, X(1) = i
1
, ..., X(n 1) = i
n1
, X(n) = i
n
)
= P(X(0) = i
0
)p
i
0
i
1
p
i
n1
i
n
A la hora de aplicar esta propiedad nos sera util trabajar con la
llamada matriz de probabilidades de transicion:
P =
_
_
p
11
p
12
p
13

p
21
p
22
p
23

.
.
.
.
.
.
.
.
.
_
_
TEMA 5. CADENAS DE MARKOV 4
Observacion: Por la forma en que la hemos denido, las las de esta
matriz sumaran siempre 1, es lo que se llama una matriz estocastica.
Como veremos, las probabilidades de transicion en k pasos se ob-
tienen a partir de estas, por lo que la distribucion de una cadena de
Markov en tiempo discreto queda determinada por P y las probabili-
dades del tipo P(X(0) = i) (distribucion inicial).
Ejemplo 5.1. Una cadena con dos estados presentara el siguiente di-
agrama de transicion:
1 2

y la siguiente matriz de probabilidades de transicion:

P =
_
1
1
_
Ejemplo 5.2. El proceso binomial es una cadena de Markov con dia-
grama de transicion:
0 1 2 3
q q
q q
p p p p

y matriz de probabilidades de transicion:
P =
_
_
_
_
_
q p 0 0
0 q p 0
0 0 q p
.
.
.
.
.
.
.
.
.
.
.
.
_
_
_
_
_
TEMA 5. CADENAS DE MARKOV 5
5.1.2. Probabilidades de transicion en k pasos
Podemos calcular una probabilidad de transicion en dos pasos del
siguiente modo:
P(X(n + 2) = j|X(n) = i) =
P(X(n) = i, X(n + 2) = j)
P(X(n) = i)
=
P(

kI
(X(n) = i X(n + 1) = k X(n + 2) = j))
P(X(n) = i)
=

kI
P(X(n) = i)P(X(n + 1) = k|X(n) = i)P(X(n + 2) = j|X(n + 1) = k)
P(X(n) = i)
Cancelando terminos llegamos a que:
P(X
n+2
= j|X
n
= i) =

kI
p
ik
p
kj
que resulta ser precisamente el elemento (i, j) de la matriz P
2
.
Razonando de forma similar se observa que, en general, la probabilidad
P(X
n+k
= j|X
n
= i) coincide ser el elemento (i, j) de la matriz P
k
.
Como acabamos de ver, estas probabilidades no dependen de n. A
partir de ahora denotaremos la probabilidad de transicion del estado i
al j en k pasos como p
ij
(k).
Ejemplo 5.3. En el sistema con dos estados del ejemplo 5.1, sean
= 1/4 y = 1/2. Entonces:
P =
_
3/4 1/4
1/2 1/2
_
P
2
=
_
11/16 5/16
5/8 3/8
_
Podemos decir ahora, por ejemplo, que P
12
(2) = 5/16.
TEMA 5. CADENAS DE MARKOV 6
5.1.3. Probabilidades de estado
Se denen las probabilidades de estado en el instante n como los
valores de la forma p
i
(n) P(X(n) = i) para cada i I. Asmismo, se
dene el vector de probabilidades de estado en el instante n como:
p(n) = (p
1
(n), p
2
(n), ..., p
i
(n), ...)
Logicamente los elementos de este vector deben vericar

iI
p
i
(n) = 1
Por otra parte se tiene que:
p
j
(n) = P(X(n) = j)
=

iI
P(X(n 1) = i)P(X(n) = j|X(n 1) = i) =

iI
p
i
(n 1)p
ij
que resulta ser el elemento j-esimo del vector p(n 1)P, es decir:
p(n) = p(n 1)P
Desarrollando esta recurrencia llegamos a:
p(n) = p(0)P
n
5.1.4. Estado estacionario
Como ya hemos comentado, la matriz de probabilides de transicion P
es estocastica, es decir, todas sus las suman 1. Esto se puede expresar
como:
P1
T
= 1
T
donde 1 = (1, ..., 1). Es decir, 1 es un autovector por la derecha de P
con autovalor 1. Sea el correspondiente autovector por la izquierda
TEMA 5. CADENAS DE MARKOV 7
(es decir, P = ) reescalado de modo que 1
T
= 1. Entonces dene
un estado estacionariode la cadena ya que si p(0) = se tiene que
p(n) = p(0)P
n
= para todo n.
Observacion: En este caso la cadena resultante es estacionaria. Por un
lado, al tener probabilidades de transicion homogeneas sera:
P(X
k
= i
0
, ..., X
k+n
= i
n
) = P(X
k
= i
0
)p
i
0
i
1
p
i
n1
i
n
pero ahora tenemos ademas que P(X
k
= i
0
) =
i
0
lo cual es inde-
pendiente de k. Observese que este mismo razonamiento es valido si
consideramos instantes no consecutivos.
Ejemplo 5.4. En la cadena del ejemplo 5.1, calculamos el autovector
por la izquierda:
(u
1
, u
2
)
_


_
= (0, 0)
obteniendo u = (, ). Reescalando para que sus elementos sumen 1
concluimos que la distribucion estacionaria de esta cadena viene dada
por:
=
_

+
,

+
_
5.1.5. Cadenas ergodicas
En el ejemplo anterior hemos visto una cadena que era estacionar-
ia, siempre que su distribucion inicial fuese p(0) = . Si consideramos
una distribucion inicial distinta la cadena deja de ser estacionaria, sin
embargo presenta un comportamiento muy interesante ya que, a largo
plazo, cuando pasa mucho tiempo, se alcanza una distribucion esta-
cionaria que ademas resulta ser , es decir:
TEMA 5. CADENAS DE MARKOV 8
lm
n
p(n) =
De hecho, esta distribucion estacionaria es siempre la misma independi-
entemente de c ual haya sido la distribucion inicial. Cuando una cadena
de Markov se comporta de esta manera decimos que es ergodica
1
. El
siguiente resultado nos dice como reconocer cuando una cadena tiene
esta propiedad:
Teorema 5.1. Una cadena de Markov es ergodica si y solo si es irre-
ducible, positivamente recurrente y aperiodica.
A continuaci on veremos que signica cada uno de estos adjetivos.
Cadenas irreducibles
Decimos que el estado j es accesible desde el i si es posible transitar
desde i a j en un n umero nito de pasos, es decir, si p
ij
(n) > 0 para
alg un n 0. Esto equivale a decir que existe, sobre el diagrama de
transicion, alg un camino que lleva de i a j. Si es posible el transito en
ambos sentidos decimos que los dos estados estan comunicados.
Ejemplo 5.5. En este ejemplo los estados 1 y 2 estan comunicados.
Ademas 1, 2 y 3 son accesibles desde 0, pero este ultimo no es accesible
desde ning un otro estado.
0
1 2 3
Cuando un subconjunto de estados es tal que todos ellos estan comu-
nicados unos con otros decimos que dicho subconjunto constituye una
1
Realmente para que sea ergodica se exige ademas que todos los elementos de sean positivos,
si alguno de ellos es cero se dice que la cadena es semiergodica
TEMA 5. CADENAS DE MARKOV 9
clase comunicante. Estas clases deben ser ademas conjuntos maxi-
males, lo que implica que cada estado solo puede estar en una clase y
que dos estados que comunican deben estar siempre en la misma clase.
En el ejemplo anterior hay dos clases comunicantes, una formada por
los estados 1 y 2, y otra por el estado 3.
Decimos que una cadena es irreduciblesi todos sus estados comu-
nican unos con otros, es decir, si estan todos contenidos en una unica
clase comunicante.
Ejemplo 5.6. El proceso binomial tiene una clase por cada estado. Sin
embargo, el paseo aleatorio constituye una cadena irreducible.
Cadenas recurrentes
Supongamos que estamos en el estado i y sea f
i
la probabilidad de
volver en alg un momento a dicho estado. Decimos que el estado i es
recurrente si f
i
= 1 y que es transitorio si f
i
< 1. Es decir, un estado
es transitorio si, estando en el, existe la posibilidad de salir y no volver
a pasar por el.
Ejemplo 5.7. En la cadena del ejemplo 5.5 los estados 1, 2 y 3 son
recurrentes, el 0 es transitorio.
Observacion: Todos los estados en una misma clase comunicante son
del mismo tipo, recurrentes o transitorios. Como consecuencia, en una
cadena nita e irreducible todos los estados seran recurrentes.
Ejemplo 5.8. En el proceso binomial todos los estados son transitorios.
Sin embargo, se puede demostrar (ver el libro de Alberto Leon-Garca)
que en un paseo aleatorio simetrico todos los estados son recurrentes,
si bien dejan de serlo si el paseo no es simetrico.
Supongamos que nuestra cadena esta en este momento en un es-
tado recurrente i. Sabemos entonces que tarde o temprano la cadena
TEMA 5. CADENAS DE MARKOV 10
volvera a dicho estado con probabilidad 1. Nos interesa ahora estudiar
la variable T
i
tiempo que se tarda en volver al estado i. En particu-
lar es importante conocer la esperanza de esta variable, E[T
i
] (lo cual
puede no ser facil). Cuando dicha esperanza es nita decimos que el es-
tado es positivamente recurrente. Asmismo diremos que la cadena
es positivamente recurrente cuando todos sus estados lo son.
Observacion: Toda cadena nita y recurrente es positivamente recur-
rente.
Cadenas aperiodicas
Consideremos un estado recurrente i. Sabemos que la cadena volver a a
pasar por el innitas veces. La informacion sobre los instantes en que es-
to puede ocurrir viene dada por p
ii
(n), la probabilidad de que se vuelva
a el en n pasos. Decimos que dicho estado tiene periodo d si
d = mcd{n : p
ii
(n)}
.
Ejemplo 5.9. La siguiente cadena es periodica con periodo d = 3:
2 3
1
Observacion: Notese que todos los estados en una misma clase comu-
nicante tendran siempre el mismo periodo, por tanto, cuando tenemos
una cadena irreducible podemos hablar del periodo de dicha cadena.
Decimos que una cadena irreducible es aperiodica cuando sus estados
tienen periodo d = 1.
Ejemplo 5.10. La siguiente cadena es aperi odica:
TEMA 5. CADENAS DE MARKOV 11
0
1 2 3
Por tanto tenemos ya una serie de ideas para reconocer cuando nos
encontramos ante una cadena ergodica. En este tipo de cadenas ocurre
que:
lm
n
P
n
= 1
T

lo cual implica:
lm
n
p(n) = lm
n
p(0)P
n
= p(0)1
T
=
ya que p(0)1
T
= 1.
Observacion: Si P tiene dimension nita y no contiene ceros, la cadena
de Markov asociada sera ergodica.
5.2. Cadenas en tiempo continuo
La propiedad esencial de las cadenas en tiempo continuo es que dados
k instantes t
1
< < t
k
cualesquiera y k estados i
1
, ..., i
k
(k N), se
tiene:
P(X(t
1
) = i
1
, ..., X(t
k
) = i
k
) =
P(X(t
1
) = i
1
)P(X(t
2
) = i
2
|X(t
1
) = i
1
) P(X(t
k
) = i
k
|X(t
k1
) = i
k1
)
En este caso decimos que las probabilidades de transicion son ho-
mogeneas si P(X(s + t) = j|X(s) = i) es independiente de s para
todo t. Denotaremos esta probabilidad por p
ij
(t).
TEMA 5. CADENAS DE MARKOV 12
Se dene la matriz de probabilidades de transicion en t unidades de
tiempo como P(t) = (p
ij
(t))
ij
. Logicamente P(0) = I (Matriz Identi-
dad).
Ejemplo 5.11. En el proceso de Poisson se tiene, para todo par de esta-
dos i < j, que p
ij
(t) = {probabilidad de que se produzcan j i sucesos en t unidades de tiempo}.
Sera por tanto:
p
ij
(t) =
(t)
ji
(j i)!
e
t
La matriz de probabilidades de transicion queda entonces:
P(t) =
_
_
_
e
t
te
t
(t)
2
2!
e
t

0 e
t
te
t

.
.
.
.
.
.
.
.
.
_
_
_
Ejemplo 5.12. En el telegrafo aleatorio se tiene:
P(t) =
_
1
2
(1 + e
2t
)
1
2
(1 e
2t
)
1
2
(1 e
2t
)
1
2
(1 + e
2t
)
_
5.2.1. Tiempos de permanencia
Consideremos una cadena de Markov en tiempo continuo con prob-
abilidades de transicion homogeneas y sea X(0) = i. Denotaremos por
T
i
el tiempo que transcurre hasta que la cadena cambia de estado. Se
tiene que:
P(T
i
> s+t|T
i
> s) = P(X(l) = i, , 0 l s+t|X(l) = i, , 0 l s) =
P(X(l) = i, , s l s + t|X(l) = i, , 0 l s)
Por la propiedad markoviana esto resulta ser:
P(X(l) = i, , s l s + t|X(s) = i)
TEMA 5. CADENAS DE MARKOV 13
= P(X(l) = i, , 0 l t|X(0) = i) = P(T
i
> t)
Esto quiere decir que los tiempos de permanencia T
i
no tienen memoria,
pero en el captulo 2 dijimos que la unica distribucion continua sin
memoria era la exponencial, luego T
i
exp(
i
).
Observacion: Ponemos
i
porque el parametro de estas exponenciales
puede variar de unos estados a otros. Decimos que
i
es la tasa de
salida del estado i.
Por tanto una cadena de Markov en tiempo continuo act ua del sigu-
iente modo: Una vez que se llega a un estado cualquiera i la cadena
permanece en dicho estado durante un tiempo aleatorio T
i
exp(
i
).
A continuaci on se produce una transicion aleatoria conforme a unas
probabilidades de transicion dadas por una cierta matriz de probabili-
dades de transicion Q. Alcanzado un nuevo estado j se espera un tiempo
T
j
exp(
j
) hasta que se vuelve a cambiar de estado del mismo modo,
etc.
Ejemplo 5.13. En el telegrafo aleatorio la matriz de transicion sera
Q =
_
0 1
1 0
_
donde I = {i
1
= 1, i
2
= 1}.
Observacion: Al denir de este modo la cadena la matriz de transicion
correspondiente tendra ceros en toda su diagonal principal.
5.2.2. Tasas de permanencia y transicion
Teniendo en cuenta lo visto en el apartado anterior, queremos ahora
calcular p(t) = (p
0
(t), p
1
(t), ..., p
i
(t), ...). Sea > 0 peque no, entonces:
P(T
i
> ) = e

= 1
i
+
(
i
)
2
2!
= 1
i
+ o()
TEMA 5. CADENAS DE MARKOV 14
Pero esto coincide ser p
ii
() si descartamos la posibilidad de que se
produzca mas de una transicion en unidades de tiempo, lo que nos
lleva a 1 p
ii
() =
i
+ o(). Deniendo
ii
=
i
tenemos:
p
ii
() 1 =
ii
+ o()
Por otro lado tenemos que p
ij
() = (1 p
ii
())q
ij
=
i
q
ij
+ o(),
con lo cual, si denimos
ij
=
i
q
ij
, tenemos:
p
ij
() =
ij
+ o()
y
ij
se puede interpretar como la velocidad con que la cadena pasa del
estado i al j.
Observacion: Las
ii
y las
ij
no son velocidades en el sentido estricto
de la palabra, nosotros nos referiremos a ellas como tasas de perma-
nencia y tasas de transicion respectivamente.
Observacion: Notese que

j=i

ij
=

j=i

i
q
ij
=
i

j=i
q
ij
=
i
=
ii

ij
= 0 (5.2)
donde hemos utilizado que

j=i
q
ij
= 1.
Por la forma en que hemos denido estas tasas se tiene:
lm
0
p
ii
() 1

=
ii
lm
0
p
ij
()

=
ij
(5.3)
Tenemos entonces que:
p
j
(t+) P(X(t+) = j) =

iI
P(X(t) = i)P(X(t+) = j|X(t) = i)
TEMA 5. CADENAS DE MARKOV 15
lo cual puede expresarse como

iI
p
i
(t)p
ij
(). Ahora, restando p
j
(t)
en ambos lados:
p
j
(t + ) p
j
(t) =

i=j
p
i
(t)p
ij
() + p
j
(t)(p
jj
() 1)
Por ultimo dividimos todo por y hacemos 0. Teniendo ahora en
cuenta 5.3 llegamos a que
p

j
(t) =

iI

ij
p
i
(t)
Esto se puede hacer para cada j, lo que nos lleva a un sistema lineal
de ecuaciones diferenciales conocido como ecuaciones de Chapman-
Kolmogorov, que se puede expresar matricialmente como:
p

= p
siendo = (
ij
)
ij
la denominada matriz de tasas de transicion.
Observacion: Para resolver este sistema necesitamos conocer la distribu-
cion inicial de la cadena. Por tanto la distribucion del proceso en un
instante t queda determinada por su distribucion inicial, las proba-
bilidades de transicion (q
ij
) y las tasas de salida (
i
) de los distintos
estados.
Observacion: A partir de las probabilidades de estado en el instante t
(p
i
(t)) podemos conocer las probabilidades de transicion en t unidades
de tiempo (p
ij
(t)). Para ello debemos jar i como estado inicial (p
i
(0) =
1). Ahora resulta ser p
ij
(t) = p
j
(t).
Ejemplo 5.14. Consideremos un sistema con dos estados (0-vaco,1-
ocupado) y sean los tiempos de permanencia en cada uno T
0
exp()
y T
1
exp() respectivamente. Estamos interesados en calcular p(t)
en terminos de p(0) = (p
0
(0), p
1
(0)). Las tasas de permanencia y de
transicion seran:
TEMA 5. CADENAS DE MARKOV 16

00
=
01
=

10
=
11
=
y las ecuaciones de Chapman-Kolmogorov
(p

0
(t), p

1
(t)) = (p
0
(t), p
1
(t))
_


_
Resolviendolas obtenemos:
p
0
(t) =

+
+
_

+
p
1
(0)
_
e
(+)t
p
1
(t) =

+

_

+
p
1
(0)
_
e
(+)t
Observacion: A partir de esta solucion general podemos calcular por
ejemplo p
01
(t), que coincide ser p
1
(t) supuesto que la cadena ha em-
pezado en estado cero, es decir, p(0) = (1, 0). Entonces, sustituyendo
p
1
(0) = 0 en la solucion anterior, tenemos que
p
01
(t) = p
1
(t) =

+
_
1 e
(+)t
_
Observacion: Observese que esta cadena tiene una distribucion esta-
cionaria dada por:
lm
t
p(t) =
_

+
,

+
_
Observacion: Observese tambien que este proceso generaliza al telegrafo
aleatorio, que se obtendra asignando valores = = .
5.2.3. Estado estacionario
Las distribuciones estacionarias seran las soluciones, si las hay, del
sistema p = 0, cuyas ecuaciones son de la forma

ij
p
i
= 0 para
TEMA 5. CADENAS DE MARKOV 17
cada j (ademas, por ser distribuciones de probabilidad, deberan satis-
facer la condicion

i
p
i
= 1). Estas son las llamadas ecuaciones de
Equilibrio Global (GBE).
Observese que

i
p
i

ij
= 0

i=j
p
i

ij
= p
j

jj
=

i=j
p
j

ji
donde hemos utilizado que, seg un 5.2,
jj
=

i=j

ji
. Tenemos en-
tonces que:

i=j
p
i

ij
=

i=j
p
j

ji
para cada j. A menudo estas ecuaciones se expresan diciendo que el
ujo de entrada en cada estado debe ser igual al de salida.
Observacion: Sea una solucion de este sistema. Entonces, si p(0) = ,
la cadena resultante sera estacionaria y p(t) = para todo t.
Ejemplo 5.15. Considerese una cadena con espacio de estados I =
{1, 2, 3, 4} y matriz de tasas de transicion
=
_
_
_
_
1 1 0 0
1 2 1 0
0 0 3 3
1,2 0 2,8 4
_
_
_
_
Queremos calcular su distribucion estacionaria, para lo cual debemos
resolver las GBE:
= 0
_

1
+
2
+1,2
4
= 0

1
2
2
= 0

2
3
3
+2,8
4
= 0
3
3
4
4
= 0
TEMA 5. CADENAS DE MARKOV 18
Operando sobre estas ecuaciones (eliminamos la tercera) llegamos a que

1
= 2
2
, 3
3
= 4
4
y
2
= 1,2
4
y nalmente
=
_
36
89
,
18
89
,
20
89
,
15
89
_
(0,4, 0,2, 0,23, 0,17)
En cuanto a la ergodicidad de estas cadenas, solo diremos que al
trabajar con tiempo continuo la condicion de aperiodicidad deja de ser
necesaria, por tanto, una cadena en tiempo continuo sera ergodica si es
irreducible y positivamente recurrente.
Ejercicio 5.1. Comprueba que la cadena del siguiente diagrama es
ergodica con distribucion estacionaria = (

3
K
,

1

3
K
,

1

2
K
) siendo K =

3
+
1

3
+
1

2
.
2 3
1