INTRODUCION

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que

ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de
este tipo tienen memoria. "Recuerdan" el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a
las cadenas de Markov de las series de eventos independientes, como tirar una
moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de
compra de los deudores morosos, para planear las necesidades de personal y para
analizar el reemplazo de equipo.
El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo el
mtodo en 1907, permite encontrar la probabilidad de que un sistema se encuentre
en un estado en particular en un momento dado. Algo ms importante an, es que
permite encontrar el promedio a la larga o las probabilidades de estado estable para
cada estado.
Con esta informacin se puede predecir el comportamiento del sistema a travs del
tiempo.
La tarea ms difcil es reconocer cundo puede aplicarse. La caracterstica ms
importante que hay que buscar en la memoria de un evento a otro.
El anlisis de markov es una forma de analizar el movimiento actual de una variable. A
fin de pronosticar el movimiento futuro de la misma.
Las probabilidades de transicin entre los Estados se describen por medio de una
cadena de markov. La estructura de remuneracin de proceso la describe tambin
como una matriz cuyos elementos incluidos representan el ingreso (o costos)
resultante del cambio de un estado a otro.
Las matrices de transicin y de ingreso dependen de las alternativas de decisin
disponible para la persona que toma la decisin.
El objetivo del problema es el determinar la poltica o curso de accin ptimo que
maximice el ingreso esperado del proceso de un nmero de etapas finito o infinito

I. FUNDAMENTO TERICO

I. PROCESO ESTOCSTICO

Un proceso estocstico es un modelo matemtico que describe el comportamiento de un
sistema dinmico sometido a un fenmeno de naturaleza aleatoria. Este fenmeno
aleatorio hace que el sistema evolucione segn un parmetro que normalmente es el
tiempo (t), cambiando probabilsticamente de un estado a otro.
Suponga que se observan algunas caractersticas de un sistema en puntos discretos en el
tiempo (identificados con 0, 1, 2, 3, ). Sea
t
X el valor de la caracterstica del sistema en
el tiempo t. En la mayora de las situaciones,
t
X no se conoce con certeza antes del
tiempo t y se podra considerar como una variable aleatoria.
Un proceso estocstico Discreto en el tiempo, es simplemente una descripcin de la
relacin entre las variables aleatorias ,... , ,
2 1 0
X X X A continuacin se dan algunos
ejemplos de procesos estocsticos discretos en el tiempo.

Ejemplo 1: LA RUINA DEL JUGADOR
En el tiempo 0, tengo $ 2. En los tiempos 1,2,3, participo en un juego en el que apuesto $
1. Con probabilidad p gano el juego, y con probabilidad (1-p) pierdo el juego. Mi objetivo
es incrementar mi capital a $ 4, y cuando lo logre se termina el juego. El juego tambin se
termina si mi capital se redice a $ 0. Si se define
t
X como mi capital despus de que se
juega el juego en el tiempo t (si existe), entonces
t
X X X X ,..., , ,
2 1 0
se podra considerar
como un proceso estocstico discreto en el tiempo t. Observe que 2
0
= X es una
constante conocida, pero
1
X y las
t
X posteriores son aleatorias.
Por ejemplo con probabilidad p,
1
X = 3, y con probabilidad (1-p),
1
X = 1. Observe que si
t
X = 4, entonces
1 + t
X y las
t
X posteriores tambin sern igual a 4. De manera similar, si
t
X = 0, entonces todas las posteriores
1 + t
X y las adicionales
t
X tambin sern igual a 0.
Por razones evidentes, este tipo de situaciones se llama Problema de la Ruina del jugador.
Ejemplo2: ELECCIN DE COLAS DE UNA URNA
Por ejemplo, una urna tiene dos bolas sin pintar. Se elige una bola al azar y se lanza una
moneda. Si la bola elegida no esta pintada y resulta cara en la moneda, se pinta de rojo la
bola; si la bola elegida esta sin pintar y la moneda muestra una cruz, la bola elegida se
pinta de negro. Si la bola ya esta pintada, entonces (ya sea que resulte cara o cruz en los
lanzamientos de la moneda) se cambia el color de la bola (de rojo a negro y de negro a
rojo). Para modelar esta situacin como un proceso estocstico, se define el tiempo t
como el tiempo despus de que se lanz la moneda por t-sima vez y se pinto la bola
elegida.
El estado en cualquier instante se podra describir mediante el vector | | b r u , donde u
es el nmero de bolas sin pintura en la urna, r es el nmero de bolas rojas en la urna y b es
el nmero de bolas negras en la urna. Se tiene que | | 0 0 2
0
= X . Despus del
lanzamiento de la primera moneda, se tiene una bola pintada de rojo o negro y el estado
ser | | 0 1 1 o | | 1 0 1 . Por consiguiente se puede estar seguro de que
| | 0 1 1
1
= X o | | 1 0 1
1
= X . Resulta claro que debe haber alguna clase de relacin
entre las
t
X . Por ejemplo si | | 0 2 0 =
t
X , se puede estar seguro de que
1 + t
X ser
| | 1 1 0 .
En resumen, si para un sistema X compuesto por n estados diferentes, se conoce la
probabilidad de pasar de un estado a otro, estamos en presencia de un proceso
estocstico. Podemos expresar esta situacin mediante una matriz cuadrada P, llamada
matriz de probabilidad, matriz de transicin o matriz estocstica.
m
X X X ,..., ,
2 1

P =
mm m m
m
m
m
P ... P P
... ... ... ...
P ... P P
P ... P P
X
...
X
X
2 1
2 22 21
1 12 11
2
1

Donde P es una Matriz Estocstica o matriz de transicin

II. CADENAS DE MARKOV
Las cadenas de Markov son una herramienta para analizar el comportamiento y el
gobierno de determinados tipos de procesos estocsticas, esto es, procesos que
evolucionan de forma no determinista a lo largo del tiempo en torno a un conjunto de
estados.

Las cadenas de Markov son modelos probabilsticos que se usan para predecir la
evolucin y el comportamiento a corto y a largo plazo de determinados sistemas.
Ejemplos: reparto del mercado entre marcas; dinmica de las averas de mquinas
para decidir poltica de mantenimiento; evolucin de una enfermedad, etc.

Una cadena de Markov por tanto representa un sistema que vara su estado a lo largo
del tiempo, siendo cada cambio una transicin del sistema. Dichos cambios no estn
predeterminados, aunque si esta la probabilidad del prximo estado en funcin de los
estados anteriores, probabilidad que es constante a lo largo de tiempo (sistema
homogneo en el tiempo). Eventualmente es una transicin el nuevo estado puede
ser el mismo que el anterior y es posible que exista la posibilidad de influir en las
probabilidades de transicin actuando adecuadamente sobre el sistema (decisin).

Es una sucesin de ensayos u observaciones similares en la cual cada ensayo tiene el
mismo nmero finito de resultados posibles y en donde la probabilidad de cada
resultado para un ensayo dado depende slo del resultado del ensayo
inmediatamente precedente y no de cualesquier resultado previo.

DEFINICIN
Un proceso estocstico discreto en el tiempo es una cadena de Markov, si para
,... 2 , 1 , 0 = t y los estados
) | (
) , ,..., , | (
1 1
0 0 1 1 1 1 1 1
t t t t
t t t t t t
i X i X P
i X i X i X i X i X P
= = =
= = = = =
+ +
+ +
.. (1)

Bsicamente, (1) dice que la distribucin de probabilidad de estado en el tiempo t + 1
depende del estado del tiempo t(
t
i ) no depende de los estados por los que pasa la cadena
en el camino a
t
i al instante t.
En el estudio de las cadenas de Markov, se hace la suposicin adicional para los estados i y
j y toda t, ) | (
1
i X j X P
t t
= =
+
es independiente de t. Esta suposicin permite escribir:
ij t t
p i X j X P = = =
+
) | (
1
(2)
Donde
ij
p es una probabilidad de que dado que el sistema esta en el estado i en el
tiempo t, estar en el estado j en el tiempo t+1. Si el sistema se mueve del estado i
durante un periodo al estado j durante el siguiente periodo, se dice que ocurri una
Transicin de i a j.
Las
ij
p se denominan probabilidades de transicin para la cadena de Markov.
La ecuacin (2) implica que la ley de probabilidad que relaciona el estado del siguiente
periodo con el estado actual no cambia (o permanece estacionario) con el tiempo. Por
esta razn, (2) se llama suposicin estacionaria. Cualquier cadena de Markov que
satisface (2) se llama Cadena de Markov estacionaria.
Nuestro estudio de las cadenas de Markov tambin requiere que definamos
i
q como la
probabilidad de que la cadena esta en ele estado i en el tiempo 0; en otras palabras,
i
q i X P = = ) (
0
. Llamamos al vector | |
s
q q q q ...
2 1
= distribucin de probabilidad
inicial para la cadena de Markov. En la mayora de las aplicaciones, las probabilidades de
transicin se muestran como una Matriz de probabilidades de transicin P de orden s x s.
La matriz de probabilidades de transicin P se puede escribir como:
(
(
(
(

=
ss s s
s
s
p p p
p p p
p p p
P

1 1
2 22 21
1 12 11

Dado que el estado en el tiempo t es i, el proceso en alguna parte debe estar en el tiempo
t+1. Esto significa que para cada i,
1
1 )) ( | (
1
1
1
=
= = =

=
=
=
=
+
s j
j
ij
s j
j
t t
p
i X P j X P

Tambin sabemos que cada elemento de la matriz P debe ser no negativo. Por
consiguiente, los elementos de la matriz de probabilidad de transicin son no negativos y
la suma de los elementos de cada rengln debe ser igual a 1.
Las cadenas de Markov tienen las siguientes propiedades:
1. Un nmero finito de estados.
2. Probabilidades de transicin estacionarias.

Ejemplo 1: LA RUINA DEL JUGADOR (continuacin)
Encuentre la matriz de transicin para el ejemplo 1.
Solucin
Puesto que la cantidad de dinero que tengo despus de t+1 jugadas depende de lo
sucedido antes en el juego slo por la cantidad de dinero que tengo despus de t jugadas,
en definitiva se tiene una cadena de Markov. Puesto que las reglas del juego no cambian
con el tiempo, se tiene una cadena de Markov estacionaria. La matriz de transicin es
como sigue (el estado i significa que se tienen i dlares):
(
(
(
(
(
(

=
1 0 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
0 0 0 0 1
4
3
2
1
0
4 $ 3 $ 2 $ 1 $ 0 $
p p
p p
p p
P
Si el estado es $0 o $4, el juego se termina, as que el estado ya no cambia; por
consiguiente, 1
44 00
= = p p . Para los otros estados, se sabe que con la probabilidad de p
el estado del siguiente periodo exceder al estado actual por 1, que con la probabilidad de
1-p, el estado del siguiente periodo ser 1 menos que el estado actual.


Figura 01-Representacin Grfica de la matriz de transicin para la ruina del jugador

Una matriz de transicin se puede representa mediante una grfica en la que cada nodo
representa un estado y un arco (i,j) representa la probabilidad de transicin
ij
p . La Figura
01 es la representacin grfica de la matriz de probabilidad de transicin del ejemplo 1.
Ejemplo 1: LA RUINA DEL JUGADOR (continuacin)
Determine la matriz de transicin para el ejemplo 2.
Solucin
Puesto que el estado de la urna despus del siguiente lanzamiento de la moneda depende
nicamente de lo sucedido antes en el proceso hasta el estado de la urna despus del
lanzamiento actual de la moneda, se tiene una cadena de Markov. Puesto que las reglas
no cambian con el tiempo, se tiene una cadena de Markov estacionaria. La matriz de
transicin para el ejemplo 2 es como sigue:

Para ilustrar la determinacin de la matriz de transicin, se determina el rengln
| | 0 1 1 de esta matriz de transicin. Si el estado actual es | | 0 1 1 , entonces debe
ocurrir uno de los eventos mostrados en la tabla. As, el siguiente estado ser | | 1 0 1
con probabilidad
2
1
, | | 0 2 0 con probabilidad
4
1
y | | 1 1 0 con probabilidad
4
1
. En la Figura 02 se tiene una representacin grfica de esta matriz de transicin.
Tabla 01-Clculos de las probabilidades de transicin si el estado actual es | | 0 1 1
Evento Probabilidad Estado Nuevo
En el lanzamiento se obtiene cara
y se elije una bola sin pintar
4
1
| | 0 2 0
Se elije una bola roja
2
1
| | 1 0 1
En el lanzamiento se obtiene cruz
y se elije una bola sin pintar
4
1
| | 1 1 0

Figura 02-Representacin Grfica de la matriz de transicin para la urna

III. PROBABILIDADES DE TRANSICIN:
Las probabilidades condicionales del cambio del estado i al estado j en un paso o
unidad de tiempo
{

}

Se denominan probabilidades de transicin (de un paso). Si para cada i y j:

{

} {

}

Entonces se dice que las probabilidades de transicin (de un paso) son estacionarias.
Tener probabilidades de transicin estacionarias implica que las probabilidades de
transicin no cambian en el tiempo.
La existencia de probabilidades de transicin (de un paso estacionarias) tambin
implica que para cada i, j y n (n=0, 1, 2,.)

{

} {

}, para todo t=0, 1,

Estas probabilidades se llaman probabilidades de transicin de n pasos.

Para simplificar la notacin de las probabilidades de transicin estacionarias:

}

As las probabilidades de transicin de n pasos

son simplemente la probabilidad

condicional de que el sistema se encuentre en estado j exactamente despus de n
pasos (unidades de tiempo), dado que comenz en el estado i en cualquier tiempo t.
Cuando n=1. Se observa que:

Como las

son probabilidades condicionales, deben ser no negativas y, como el

proceso debe hacer una transicin a algn estado, deben satisfacer las propiedades

, para toda i y j; n=0, 1, 2,.y

Para toda i; n=0, 1, 2,.

Una notacin conveniente para representar las probabilidades de transicin de n
pasos es la forma matricial.


P
(n)
= para n=0, 1, 2,




O, en forma equivalente, la matriz de transicin de n pasos


Estado 0 M

]



Se observa que la probabilidad de transicin en un rengln y columnas dados es la
transicin del estado en ese rengln al estado de la columna. Cuando n=1, el
superndice n no se escribe y se hace referencia a esta como una matriz de transicin.


Formulacin del ejemplo del problema del clima como una cadena de Markov:

Se formulo como un proceso estocstico {

} donde:

{


}

{

}

{

}

Las probabilidades de transicin de un paso son:

}

Para toda t=1, 2, por lo que stas son las probabilidades de transicin estacionarias.
Adems:

Por lo tanto, la matriz de transicin es:

Estado 0 1 Estado 0 1

[


]

Donde estas probabilidades de transicin se refieren a la transicin del estado del
rengln al estado de la columna. Tenga en mente que el estado 0 hace referencia a un
da seco, mientras que el estado 1 significa que el da es lluvioso, as que estas
probabilidades de transicin proporcionan la probabilidad de estado del clima el da
de la maana, dado el estado del clima de hoy.

Diagrama de Transicin:
Se presenta a continuacin presenta de manera grfica la misma informacin que
proporciona la matriz de transicin. Los nodos (crculos) representan los dos estados
posibles del clima, mientras que las flechas muestran las transiciones posibles de un
da al siguiente (se incluye la opcin de regresar al mismo estado). Cada una de las
probabilidades de transicin se escribe a continuacin de la flecha correspondiente.
Las probabilidades de transicin de una cadena de Markov pueden representarse
mediante un diagrama, llamado diagrama de transicin, donde una probabilidad
positiva p se representa con una flecha del estado a
i
al estado a
j
.


Matriz de transicin de n pasos para el ejemplo del clima

Para iniciar se tiene que la matriz de transicin de dos pasos es:

[


] [


] [


]
As, si el cliente est en el estado 0(seco) en un da particular, la probabilidad de estar
en el estado 0 dos das despus es 0.76 por lo que la probabilidad de estar en el
estado 1 (lluvia) es 0.24. En forma similar, si el clima esta en el estado 1 ahora, la
probabilidad de estar en el estado 0 dos das despus es 0.72 mientras que la
probabilidad de estar en el estado 1 es 0.28.
La probabilidad del estado del clima tres, cuatro o cinco das a futuro tambin se
puede leer de la misma forma a partir de las matrices de transicin de tres, cuatro y
cinco pasos que se calculan a continuacin:

[


] [


] [


]

[


] [


] [


]

[


] [


] [


]

Se observa que la matriz de transicin de cinco pasos tiene la interesante
caracterstica de que los dos renglones poseen elementos idnticos. Ello refleja el
hecho de que la probabilidad del clima que est en un estado particular es en esencia
independiente del estado del clima cinco das antes. Por lo tanto, las probabilidades
en cualquier rengln de esta matriz de transicin de cinco pasos se denominan
probabilidades del estado estable de la cadena de Markov.

IV. CLASIFICACION DE ESTADOS EN UNA CADENA DE MARKOV

En la seccin IV, se mencion el hecho de que despus de muchas transiciones, las
probabilidades de transicin del n-simo paso tienden a estabilizarse. Antes de poder
analizar esto con ms detalle, es necesario estudiar cmo los matemticos clasifican los
estados de una cadena de markov. Se utiliza la siguiente matriz de transicin para ilustrar
la mayor parte de las definiciones siguientes (vase la Figura 06)

(
(
(
(
(
(

=
2 . 8 . 0 0 0
1 . 4 . 5 . 0 0
0 7 . 3 . 0 0
0 0 0 5 . 5 .
0 0 0 6 . 4 .
P

Figura 06: Representacin grfica de la matriz de transicin

DEFINICIN:
Dados dos estado i y j, una trayectoria de i a j es una secuencia de transiciones que
comienza en i y termina en j, tal que cada transicin en la secuencia tiene una
probabilidad positiva de ocurrir.
Un estado j es alcanzable desde el estado i si hay una trayectoria que conduzca de i a j .
DEFINICIN:
Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i es alcanzable desde
j.
Para la matriz de probabilidad de transicin P representada en la Figura 06, el estado 5 es
alcanzable desde el estado3 (va la trayectoria 3-4-5), pero el estado 5 no es alcanzable
desde el estado 1 (no hay trayectoria de 1 a 5 de la Figura 06). Tambin, los estados 1 y 2
se comunican (se puede ir de 1 a 2 y de 2 a 1).

DEFINICIN:
Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si ningn
estado fuera de S es alcanzable desde algn estado en S.
De la cadena de Markov con matriz de transicin P en la Figura 06, { } 2 , 1
1
= S y
{ } 5 , 4 , 3
2
= S son conjuntos cerrados. Observe que una vez que se entra en un conjunto
cerrado, nunca se puede salir de l.(en la Figura 06), ningn arco comienza en S
1
y termina
en S
2
, o bien, comienza en S
2
y termina en S
1
.
DEFINICIN:
Un estado i es un estado absorbente si 1 =
ii
p .
Siempre que se entre en un estado absorbente, nunca se saldr de l. En el ejemplo 1 la
ruina del jugador, los estados 0 y 4 son estados absorbentes. Por supuesto, un estado
absorbente es un conjunto cerrado que contiene solo un estado.
DEFINICIN:
Un estado i es un estado transitorio si existe un estado j que es alcanzable desde i, pero el
estado i no es alcanzable desde el estado j.
En otras palabras un estado i es transitorio si hay una forma de salir del estado i que nunca
regresa al estado i. En el ejemplo de la ruina del jugador, los estados 1,2 y 3 son estados
transitorios. Por ejemplo (vase la Figura 01), desde el estado 2, es posible ir a lo largo de
la trayectoria 2-3-4, pero no hay camino para volver al estado 2 desde el estado 4.
De manera similar en el ejemplo 2, | | 0 0 2 , | | 0 1 1 y | | 1 0 1 son los estados
transitorios (en La Figura 02, hay una trayectoria de | | 1 0 1 a| | 2 0 0 , pero una vez
que estn pintadas las bolas, no hay manera de volver a | | 1 0 1 )
Despus de un gran nmero de periodos, la probabilidad de estar en cualquier estado
transitorio i es 0. Cada vez que se entra en un estado transitorio i, hay una probabilidad
positiva de salir por siempre de i y terminar en el estado j que se describe en la definicin
de un estado transitorio. As, se esta seguro de entrar finalmente al estado j (y entonces
nunca se volver al estado i ). Para ilustrar, en el ejemplo 2, suponga que estamos en el
estado transitorio | | 1 0 1 . Con probabilidad 1, en algn momento la bola sin pintar
quedar pintada y nunca volveremos a entrar al estado | | 1 0 1 (Vase la Figura 02).
DEFINICIN:
Si un estado no es transitorio, se llama estado recurrente.
En el ejemplo 1, los estados 0 y 4 son estados recurrentes (y tambin estados
absorbentes), y en el ejemplo 2, | | 0 2 0 , | | 2 0 0 y | | 1 1 0 son estados
recurrentes. Para la matriz de transicin P de la Figura 06, los estados son recurrentes.
DEFINICIN:
Un estado i es peridico con periodo k >1 si k es el nmero ms pequeo tal que las
trayectorias que conducen del estado i de regreso al estado i tienen una longitud que es
un mltiplo de k. Si un estado recurrente no es peridico, se conoce como aperidico.
Para la cadena de Markov con matriz de transicin
(
(
(

=
0 0 1
1 0 0
0 1 0
Q
Cada estado tiene periodo 3. Por ejemplo, si comenzamos en el estado 1, la nica forma
de volver al estado 1 es seguir la trayectoria 1-2.-3-1 para cierto nmero de veces (por
ejemplo, m). (Vase la Figura 07) Por consiguiente, cualquier retorno del estado 1 tendr
3m transiciones, as que el estado 1 tiene periodo 3. Sin importar donde estemos, se tiene
la seguridad de volver 3 periodos despus.

Figura 07 Una cadena de Markov Peridica k = 3
DEFINICIN:
Si los estados en una cadena son recurrentes, peridicos y se comunican entres si, se dice
que la cadena es Ergdica.

El ejemplo de la ruina del jugador no es una cadena Ergdica, debido a que (por ejemplo)
los estados 3 y 4 no se comunican. El ejemplo 2 tambin no es una cadena Ergdica
debido a que (por ejemplo) | | 0 0 2 y| | 1 1 0 no se comunican. El ejemplo 3, el de la
Bebida de cola, es una cadena de Markov Ergdica. De las siguientes 3 cadenas de Markov,
1
P y
3
P son ergdicas y
2
P no es Ergdica.

(
(
(
(

=
4
3
4
1
0
2
1
0
2
1
0
3
2
3
1
1
P Ergdica
(
(
(
(
(
(

=
4
3
4
1
0 0
3
1
3
2
0 0
0 0
2
1
2
1
0 0
2
1
2
1
2
P No Ergdica
(
(
(
(

=
3
1
3
2
0
0
3
1
3
2
4
1
2
1
4
1
3
P Ergdica
2
P no es Ergdica porque hay dos clases cerradas de estados (clase 1 = {1,2} y clase 2 =
{3,4}), y los estados en diferentes clases no se comunican entre si.



V. PROBABILIDAD DE ESTADO ESTABLE
Probabilidad de que el sistema se encuentra en un estado determinado despus de
un nmero grande de transiciones. Una vez que se alcanza un estado estable, las
probabilidades de estado no cambian de un periodo al siguiente.
Existe una probabilidad lmite de que el sistema se encuentre en el estado j despus
de un nmero grande de transiciones, y que esta probabilidad es independiente del
estado inicial.

Para una cadena de Markov irreductible ergdica el

existe y es
independiente de i.
Aun ms:

Donde las

satisfacen de manera nica las siguientes ecuaciones de estado estable.

Las

se llaman probabilidades de estado estable de la cadena de Markov. El

trmino probabilidad estable significa que la probabilidad de encontrar el proceso en
cierto estado, por ejemplo j, despus de un nmero grande de transacciones tiende al
valor

, y es independiente de la distribucin de la probabilidad de estado estable no

significa que el proceso se establezca en un estado. Por el contrario, el proceso
contina haciendo transiciones de un estado a otro y en cualquier paso n la
probabilidad de transicin del estado i al estado j es todava

.
Tambin se puede interpretar las

como probabilidades estacionarias (que no se

deben confundirse con las probabilidades de transicin estacionarias). Si la
probabilidad absoluta de encontrarse en estado j est dada por

(esto es,
{

) tiempo n =1, 2,. Tambin est dada por

(es decir, {

) .
Deben observarse que las ecuaciones de estado estable consisten M + 2 ecuaciones
con M + 1 incgnitas. Como el sistema tiene una solucin nica, al menos una de las
ecuaciones debe ser redundante, por lo que se puede eliminar. No puede ser la
ecuacin:

Como

=0 para toda j satisfara las otras M + 1 ecuaciones. An ms las soluciones

de las otras M + 1 ecuaciones de estado estable tienen una solucin nica con una
constante multiplicativa y es la ecuacin final la que fuerza la solucin a ser una
distribucin de probabilidad.

Aplicacin al ejemplo del clima:
En el problema se tiene solo dos estados (seco y lluvioso), por lo que las ecuaciones
anteriores de estado estable se convierten en:

Lo que se intuye de la primera ecuacin es que en el estado estable, la probabilidad
de quedar en el estado 0 despus de la siguiente transicin debe ser igual a 1 (la
probabilidad de estar en el estado 0 ahora y luego permanecer en el estado 0 despus
de de la siguiente transicin mas 2) la probabilidad de estar en el estado 1 ahora y
luego hacer la transicin al estado 0. La lgica para la segunda ecuacin es la misma
solamente que es en trminos del estado 1. La tercera ecuacin slo expresa el hecho
de que las probabilidades de estos estados mutuamente excluyentes deben sumar 1.
En referencia a las probabilidades de transicin, estas ecuaciones se convierten en:

, as

, as

Se observa que una de las dos primeras ecuaciones es redundante puesto que ambas
ecuaciones se reducen a

=3

. Al combinar estos resultados con la tercera

ecuacin se producen de inmediato las siguientes probabilidades de estado estable.

VI. DISTRIBUCIONES ESTACIONARIAS
Se trata de determinar las distribuciones sobre el conjunto de estados E tales que la
distribucin del proceso Xn en cualquier instante es la misma que en el instante inicial
Xo. Se le denomina, tambin, distribucin de equilibrio.
El caso ms interesante corresponde a cadenas irreducibles y aperidicas.
DEFINICIN (Distribucin estacionaria)
Sea E el conjunto de estados de una cadena de Markov con matriz de transicin
T.
Una distribucin = *i+ donde i E se dice que es estacionaria o de equilibrio si
T t t =
Alternativamente, se puede escribir como:

e
=
E i
iTij j t t


Teorema:
Dada la matriz de transicin T de una cadena de Markov finita, aperidica e
irreducible
Con m estados, existe, entonces una nica solucin al sistema de ecuaciones

=
=
m
i
iTij j
1
t t
Para todo j = 1,. . ., m, de modo que

=
=
m
i
i
1
1 t
Adems, la solucin viene dada por
T
n
ij
n
j
) (
lim

= t

Para todo i, j = 1,. . ., m.
Observaciones.
Este teorema asegura que si una cadena es finita, irreducible y aperidica (as
es ergdica) existe una nica distribucin estacionaria que se obtiene
resolviendo el correspondiente sistema de ecuaciones.
El hecho de que para todo i = 1, . . . , m resulta que
T
n
ij
n
j
) (
lim

= t
implica que
cualquiera que sea el estado de partida , la probabilidad de transicin en n
etapas el estado j se estabiliza y es igual
. j t






VII. CONDICIONES DE EQUILIBRIO
Distribucin del Estado Estable
Sea tk (t) la probabilidad de que al observar al proceso en tiempo t estar en
estado xk, xkeS
Equilibrio implica tk (t+t)= tk (t), para todo xkeS

Teorema: Para cada proceso markoviano que sea irreducible, finito y homogneo en el
tiempo, existe una distribucin de probabilidad en el estado estable, {tk, xkeS}, igual
a:
Pr(X (t)= xk | X (0)=x0) = tk

Ecuaciones de Balance Global
El flujo de probabilidad de xi a xj = tiqij
En el estado estable:
Flujo de probabilidad total salida de un estado = al de entrada
Recordemos que :
Entonces xjeStjqji=0
Ecuaciones fundamentales
t Q = 0










t
lim

e
=
S x
i
i
1 t
II. APLICACIONES
Fsica
Las cadenas de Markov son usadas en muchos problemas de la termodinmica y la fsica
estadstica. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el
modelo de difusin de Laplace.
Meteorologa
Si consideramos el clima de una regin a travs de distintos das, es claro que el estado
actual solo depende del ltimo estado y no de toda la historia en s, de modo que se
pueden usar cadenas de Markov para formular modelos climatolgicos bsicos.
Modelos epidemiolgicos
Una importante aplicacin de las cadenas de Markov se encuentra en el proceso Galton-
Watson. ste es un proceso de ramificacin que se puede usar, entre otras cosas, para
modelar el desarrollo de una epidemia (vase modelaje matemtico de epidemias).
Internet
El pagerank de una pgina web (usado por google en sus motores de bsqueda) se define
a travs de una cadena de Markov, donde la posicin que tendr una pgina en el
buscador ser determinada por su peso en la distribucin estacionaria de la cadena.
Juegos de azar
Son muchos los juegos de azar que se pueden modelar a travs de una cadena de Markov.
El modelo de la ruina del jugador, que establece la probabilidad de que una persona que
apuesta en un juego de azar eventualmente termine sin dinero, es una de las aplicaciones
de las cadenas de Markov en este rubro.
Economa y Finanzas
Las cadenas de Markov se pueden utilizar en modelos simples de valuacin de opciones
para determinar cundo existe oportunidad de arbitraje, as como en el modelo de
colapsos de una bolsa de valores o para determinar la volatilidad de precios.
Msica
Diversos algoritmos de composicin musical usan cadenas de Markov, por ejemplo el
software Csound o Max
III. CONCLUSIONES

Las cadenas de Markov nos sirve para conocer el desarrollo de los procesos y
procedimientos que tienen lugar siguiendo una programacin probabilstica.
El proceso estocstico consiste en la iteracin finita de un experimento, que tiene
como resultado un nmero finito de sucesos con probabilidades dadas.
El espacio de estados es el conjunto de resultados o procesos posibles de cada uno de
los experimentos asociados a un proceso estocstico.
Una matriz cuadrada A es estocstica, si cada una de sus filas es un vector de
probabilidad, es decir, si cada elemento de A es no negativo y la suma de los
elementos de cada fila es 1.
Los asignados no siempre son personas tambin pueden ser maquinas, vehculos o
plantas, o incluso periodos a los que se asigna tareas.
En el caso de la maximizacin la forma ms rpida de resolver es multiplicar por -1 a
los costos y resolverlo como un problema de minimizacin.


IV. BIBLIOGRAFA
Bibliografa:
Investigacin de Operaciones
Wayne L. Winston [4 Edicin, Cap. 17, pag. 923-950, Editorial Thomson]

Linkografa:
http://www.itlp.edu.mx/publica/tutoriales/investoper2/unidad4.htm
http://es.wikipedia.org/w/index.php?title=Proceso_de_Markov&redirect=no
http://www.investigacion-operaciones.com/intro_Markov.htm
http://www.edicionsupc.es/ftppublic/pdfmostra/OE03502M.pdf
http://estio.ujaen.es/Asignaturas/CCEE/procesos/tema2.pdf
http://sistemas.itlp.edu.mx/tutoriales/investoper2/tema43.htm