3.3.1.

La Memoria Temporal de las Cadenas de Markov

Sea la siguiente secuencia de estados para el proceso estocástico { Xt }

X t +1 = j Xt = i X t −1 = kt −1 X t −1 = kt −1
↑ ↑ ↑
Estado Estado Estados pasados
futuro actual

Las cadenas de Markov tienen la propiedad particular de que las probabilidades que
describen la forma en que el proceso evolucionará en el futuro, dependen sólo del
estado actual en que se encuentra el proceso, y por lo tanto, son independientes de
los eventos ocurridos en el pasado.

Sea Xt = i, la indicación de que el proceso estocástico está en el estado i en el

tiempo t.

Llamemos Pij la probabilidad de estar en el estado j en el momento t+1, conocidos

los estados anteriores:

Pij = P {Xt+1 = j / Xt = i, Xt-1 = kt-1, ..., X1 = k1, X0 = k0}

Si el proceso estocástico se dice que es markoviano entonces:

Pij = P {Xt+1 = j / Xt = i, Xt-1 = kt-1, ..., X1 = k1, X0 = k0}= P {Xt+1 = j / Xt = i}

Pij = P (Xt+1 = j / Xt = i)

El estado futuro de la variable en el tiempo t + 1, está condicionado únicamente por

el “recuerdo” que se tiene de lo ocurrido en el tiempo t.

A la probabilidad condicional P(Xt+1 = j / Xt = i) se le llama Probabilidad de Transición

del estado i al estado j y se seguirá simbolizando simplemente como pij.

3.3.2. Notación

En esta sección iniciaremos formalmente el estudio de las cadenas de Markov en

tiempo discreto y finito (particularmente en tiempo entero), es decir, de la forma {Xt / t
= {0, 1, 2,...}}. El estado del sistema en el instante t, Xt, es una variable aleatoria que
toma valores con base en un espacio finito de estados E = {E1,.., i,...., Er} siendo
entonces que hay “r” estados e “i” representando a uno cualquiera de estos estados.

Se denotará a π i (t ) la probabilidad de alcanzar el estado i en el instante t ⇒

P( X t = i ) = π i (t )
Siguiendo la lógica de la notación, escribiremos la Ley de Probabilidades asociada a
Xt
Como:

π (t ) = [π1 (t ), π 1 (t ), ......, π r (t )]

Se simboliza entonces a la Ley Inicial del Sistema como:

π (0) = [π 1 (0), π 2 (0),.......π r (0)]

Observe que tanto la Ley Inicial del Sistema como las Leyes de Probabilidad para
cualquier instante t, se definen aquí como Probabilidades Totales asociadas a los
distintos estados.

3.3.3. Matriz de Probabilidades de Transición de un Paso

Es la matriz conformada por las probabilidades condicionales de transición de

estados, desde el instante t hasta el instante t + 1. Se puede intuir que se llama de
“un paso”, puesto que se evalúan las probabilidades condicionales después de
pasada una unidad de tiempo. Esta matriz se representa como en la siguiente tabla.

Estados Futuros
Estado 1 j r
1 P11 … P1r
… . . .
Estados i Pij
actuales … …
… … … …
r Pr1 … Prr

A esta Matriz de Transición de un Paso también se le simboliza como Pt t+1[i, j ] ó

simplemente Pt t+1 .

3.3.4. Ejemplo Ilustrativo

Después de mucho estudio sobre el clima, hemos visto que si un día está soleado,
en el 70% de los casos el día siguiente continua soleado y en el 30% se pone
nublado. En términos de probabilidad, lo que nos sirve entonces para predecir el
clima, vemos que la probabilidad de que continúe soleado el día siguiente es 0,7 y la
probabilidad de que al día siguiente esté nublado es 0,3. También nos fijamos en
que si un día está nublado, la probabilidad de que esté soleado el día siguiente es
0,6 y la probabilidad de que se ponga nublado es 0,4. Si hoy está nublado, ¿cuál es
la probabilidad de que mañana continúe nublado?

Analicemos este caso a través de las Cadenas de Markov. La información que nos
proporcionan es la siguiente:

Estados: Soleado y Nublado

Periodo de tiempo de transición de estados: Un día
Matriz de Probabilidades de Transición de un Paso ⇒
P(X1 = nublado/ X0 = nublado) = 0,4
P(X1 = nublado/ X0 = soleado) = 0,3
P(X1 = soleado/ X0 = nublado) = 0,6
P(X1 = soleado/ X0 = soleado) = 0,7

Estados Soleado Nublado

t
P =
t +1 Soleado 0,7 0,3
Nublado 0,6 0,4

Ley Inicial del Sistema: Hoy está nublado (condición inicial), por tanto la ley inicial es:

π soleado = (0) = P( X 0 = soleado) = 0

π nublado = (0) = P( X 0 = nublado) = 1

π (0) = [π soleado (0), π nublado (0)] = [0,1]

La pregunta entonces es, dada la ley inicial en t = 0, hallar las Leyes de Probabilidad
un día después, es decir, en t = 1.

Para lograr esto debemos recordar el Teorema de Probabilidad Total, que lo

aplicaríamos de la siguiente forma:

P (X1 =nublado) = P(X0 =nublado) P(X1 =nublado/ X0 =nublado) + P(X0 =soleado) P(X1 =nublado/ X0 =soleado)

Por lo tanto, P (X1 = nublado) = (1) * 0,4 + (0) * (0,3) = 40%  Respuesta

Se puede notar que mañana hay más probabilidad de que esté el día soleado. Si
calcula en este caso P (X1 = soleado) se dará cuenta que es igual al 60%, y por lo
tanto por la Ley de Probabilidades el día de mañana dada la condición inicial de
nublado será:

π (1) = [π soleado (1), π nublado (1)] = [60%, 40%]

Y que pasa si quiero predecir de alguna manera lo que ocurrirá mañana, cuando no
tengo precisión acerca de la Ley Inicial del Sistema. Supongamos que en vez de
afirmar tan rotundamente que hoy está nublado, dijéramos que está nublado con una
precisión del 80% en nuestra afirmación, es decir, que está “bastante” nublado pero
no tanto como para afirmar que está totalmente nublado. En este caso podemos
decir que la Ley Inicial del Sistema es: π (0) = [π soleado (0), π soleado (0)] = [20%,80%] . Y de
nuevo hacemos la pregunta: ¿cuál es la probabilidad de que mañana esté nublado?

P (X1 =nublado) = P(X0 =nublado) P(X1 =nublado/ X0 =nublado) + P(X0 =soleado) P(X1 =nublado/ X0 =soleado)

P (X1 = nublado) = (0,8) * 0,4 + (0,2) * (0,3) = 38%  Respuesta

En cualquiera de los dos casos anteriores observe detenidamente que:

 0.7 0.3
[π soleado (0), π nublado (0)]*   = [π soleado (1), π nublado (1)]
 0.6 0.4 

En general, se tiene que para cualquier cadena de Markov:

π (1) = π (0) * P10

3.3.5 Ley de Probabilidades para los Estados del Sistema en cualquier instante
t

Acabamos de ver una primera generalización de las Leyes de Probabilidad:

π (1) = π (0) * P10 (3.1)

Esta generalización puede ir más allá considerando que:

π (t + 1) = π (t ) Pt t+1 (3.2)

Y si usamos de una manera inductiva ésta última ecuación, tendremos que:

π (n) = π (0) P10 P21....Pnn −1 (3.3)

La ecuación (3.3) corresponde a la Ley de Probabilidades a priori para el estado de

sistema en un instante futuro n, y se observa que depende exclusivamente de la Ley
Inicial π (0) y del conjunto de Matrices de Transición de un paso { Pt t+1} .

3.3.6 Ecuación de Chapman-Kolmogorov

Supongamos ahora que nos interesa conocer la Ley de Probabilidad del proceso
estocástico {Xt} pero en el instante t + 2.

Según la ecuación 3.2 tenemos que:

π (t + 2) = π (t + 1) Pt t++21

Pero por la misma ecuación 3.2 podemos reemplazar π (t + 1) por su equivalente:

π (t + 2) = π (t ) Pt t+1 Pt t++21 (3.4)

Con base en la ecuación (3.4) se puede definir la Matriz de Transición de Dos Pasos
como:

Pt t+ 2 = Pt t+1 Pt t++21 (3.5)

Los elementos de la Matriz de Transición de Dos pasos Pt t+ 2 = [i, j ] representan por
tanto las probabilidades condicionales de que el sistema evolucione a un estado j en
el instante t+2, dado que en el instante t se encuentra en el estado i.

La Ecuación de Chapman-Kolmogorov corresponde a una generalización de la

ecuación (3.5) y afirma que: dados tres instantes de tiempo cualquiera n, k y m, tal
que n ≤ k ≤ m, se cumple siempre que:

Pmn = Pkn Pmk ∀n, k , m n ≤ k ≤ m (3.6)

A la ecuación (3.6) se le conoce como la Ecuación de Chapman-Kolmogorov y es

una consecuencia directa de la definición de probabilidades condicionales.

3.3.7. Cadenas de Markov Homogéneas

El resto de este capítulo se enfocará en los casos especiales en que la probabilidad

de evolución del sistema no depende de t, es decir que se tienen las siguientes
igualdades:

P10 = P21 = P32 = ............ = Pt +t 1 = P

Es decir, lo anterior es equivalente a imponer que las probabilidades de transición de
un paso son constantes, independientes de t:

Pt +t 1 = P ∀t
A esto se le llama Probabilidades de Transición Estacionarias u Homogéneas.

Esto implica que la evolución del sistema en Cadenas de Markov Homogéneas, es

decir, las Leyes de Probabilidad “n” periodos de tiempo hacia el futuro, viene
dada por:

π (n) = π (0) P10 P21...Pnn−1 = π (0)( P)n

(3.7)
π (n) = π (0) P n
A P ( n ) se le denomina Matriz de Transición de n Pasos, y como puede notarse es
igual a multiplicar “n veces” la Matriz única P.

En Cadenas de Markov Homogéneas la evolución del sistema queda plenamente

definida entonces solamente con la Ley Inicial del Sistema, π (0) , y la Matriz de
Transición de Un Paso única P.