1

Cadenas de Markov

Las cadenas de Markov de tiempo discreto son una clase de procesos estocásticos Xt, con estados S ={1,2,…,s} donde t ϵ
{0,1,2,…}, que cumplen con una propiedad markoviana, la cual establece que la probabilidad condicional de cualquier
“evento” futuro es independiente de su pasado y solo depende del estado actual del proceso:

Un supuesto adicional es que para todo par de estados i y j y para todo t, la probabilidad condicional es independiente de t.
A partir de este supuesto podemos definir:

Cada pij se denomina probabilidad de transición (de 1 paso) del estado i al estado j . Decimos entonces que estas
probabilidades de transición son estacionarias, es decir no cambian con el tiempo. Las probabilidades de transición se
muestran usualmente como una matriz de probabilidades de transición P, de orden s x s. La matriz de probabilidades de
transición P se puede escribir como:

La probabilidad de pasar de i a j n días después es .Estas probabilidades condicionales se llaman

probabilidades de transición de n pasos, la cuales se expresan en una matriz:

2
Cadenas de Markov

Ejemplo:
El clima en un pueblo puede cambiar con rapidez de un día a otro. Sin embargo, las posibilidades de tener clima seco (sin
lluvia) mañana es de alguna forma mayor si hoy está seco, es decir, si no llueve. En particular, la probabilidad de que
mañana este seco es de 0.8 si hoy está seco, pero es de solo 0.6 si hoy llueve. Estas probabilidades no cambian si se
considera la información acerca del clima en los días anteriores a hoy. La evolución del clima día tras día en el pueblo es un
proceso estocástico. Si se comienza en algún día inicial (etiquetado como día 0), el clima se observa cada día t, para t=0, 1,
2, . . . El estado del sistema en el día t puede ser:
Estado 0=El día t es seco ó Estado 1= El día t es lluvioso
Así, para t=0, 1, 2, . . ., la variable aleatoria toma los valores:

El proceso estocástico proporciona una representación matemática de la forma en que evoluciona el

clima en el pueblo a través del tiempo. Formular como una Cadena de Markov.

Solución:
La matriz de transición es:

3
Cadenas de Markov

La matriz de probabilidades de transición de n pasos, para cualquier valor de n, se puede obtener multiplicando la matriz de
transición por sí misma n veces:

Ejemplo (clima). Obtener la Matriz de transición de n pasos

Para iniciar, la matriz de transición de dos pasos es:

Así, si el clima esta en el estado 0 (seco) en un día particular, la probabilidad de estar en el estado 0 dos días después es
0.76, por lo que la probabilidad de estar en el estado 1 (lluvia) es 0.24. En forma similar, si el clima esta en el estado 1 ahora,
la probabilidad de estar en el estado 0 dos días después es 0.72 mientras que la probabilidad de estar en el estado 1 es 0.28.

Las matrices de transición de tres, cuatro y cinco pasos son:

4
Cadenas de Markov
Probabilidades de estado estable

Si n es lo suficientemente grande (n=5), todos los renglones de la matriz tienen elementos idénticos, lo que significa que la
probabilidad de que el sistema esté en cada estado j ya no depende del estado inicial del sistema. A partir de esto, se dan
las probabilidades de estado estable , las cuales satisfacen las siguientes ecuaciones de estado estable:

Ejemplo (clima) Encontrar las probabilidades de estado estable de los estados de esa cadena de Markov.

Solución:
Hay solo dos estados (seco y lluvioso) y la matriz de transición es:

Entonces las ecuaciones de estado estable son:

Por lo que las probabilidades de estado estable son:

5
Cadenas de Markov
Probabilidades de estado absorbente

Si k es un estado absorbente y el proceso comienza en el estado i, la probabilidad de llegar en algún momento a k se llama
probabilidad de absorción al estado k, dado que el sistema comenzó en el estado i. Esta probabilidad se denota por fik.

Si existen dos o mas estados absorbentes en una cadena de Markov y es evidente que el proceso será absorbido en uno de
estos estados, es deseable encontrar estas probabilidades de absorción. En particular, si el estado k es un estado
absorbente, el conjunto de probabilidades de absorción fik satisface el sistema de ecuaciones:

sujeta a las condiciones:

fkk = 1,
fik = 0, si el estado i es recurrente e i ≠k.

Ejemplo:
Suponga que dos jugadores (A y B), con 2 dólares cada uno, que juegan a apostar 1 dólar cada vez hasta que uno de ellos
quiebre. La probabilidad de que A gane una apuesta es 1/3 , por lo que la probabilidad de que gane B es 2/3. El número de
dólares que tiene el jugador A antes de cada apuesta (0, 1, 2, 3 o 4) proporciona los estados de una cadena de Markov con
la matriz de transición siguiente:

6
Cadenas de Markov
Probabilidades de estado absorbente

Solución:

7
Cadenas de Markov
Probabilidades de estado absorbente

Solución:

La probabilidad de que el jugador A pase de 2 dólares a 0 dólares.

8
Cadenas de Markov
Probabilidades de estado absorbente

Solución:

9
Cadenas de Markov
Probabilidades de estado absorbente

Solución:

La probabilidad de que el jugador A pase de 2 dólares a 4 dólares.

10