Cadenas Markov

ndice
1. Introduccin
2. Cadenas de Markov
3. Ecuaciones de Chapman-Kolmogorov
4. Clasificacin de los estados en una cadena de Markov
5. Tiempos de primera pasada
6. Estados Absorbentes
7. Cadenas de Markov en tiempo continuo
8. Algunas v. a. importantes
9. Probabilidades de estado estable
10. Ejemplos explicativos


Introduccin

Las cadenas de Markov se incluyen dentro de los denominados
procesos estocsticos. Dichos estudian el comportamiento de variables
aleatorias a lo largo del tiempo X(t,w). Se definen como una coleccin de
variables aleatorias {X(t,w), t e I}, donde X (t,w) puede representar por
ejemplo los niveles de inventario al final de la semana t. El inters de los
procesos estocsticos es describir el comportamiento de un sistema e
operacin durante algunos periodos.
Los procesos estocsticos se pueden clasificar atendiendo a dos
aspectos: si el espacio de estados posibles de la variable aleatoria contiene
valores discretos o continuos y de si los valores del tiempo son discretos o
continuos.
Las cadenas de Markov es un proceso estocstico en el que los
valores del tiempo son discretos y los estados posibles de la variable
aleatoria contiene valores discretos, es decir, es una cadena estocstica de
tiempo discreto.
Las cadenas de Markov, se clasifican, adems, dentro de los procesos
estocsticos de Markov, que son aquellos en el que el estado futuro de un
proceso es independiente de los estados pasados y solamente depende del
estado presente. Por lo tanto las probabilidades de transicin entre los
estados para los tiempos k-1 y k solamente depende de los estados que la
variable adquiere dichos tiempos.
INDICE

Cadenas de Markov

Las cadenas de Markov estn constituidas por un conjunto de valores
{Xn , n :0,1,2...} que cumplen la probabilidad de alcanzar cualquier estado
j de la variable depende exclusivamente del estado i alcanzado en el
instante de tiempo anterior.
P[Xn+1= j / Xn = i, Xn-1 = i1,..., X0=in]=P[Xn+1=j / Xn=i] V i,j
Se define para cada par de estados (i, j) que se alcanzan en dos pasos
consecutivos de n y n+1 una probabilidad condicional denominada
probabilidad de transicin pij.
P[X+1=j / Xn=i] = pij
Las probabilidades de transicin de un paso son estacionarias, es
decir, que no cambian con el tiempo.
Si pij no depende del instante n se dice que la cadena de Markov es
homognea. Las probabilidades de transicin estructuradas en forma
matricial da lugar a lo que se denomina matriz de transicin. Dicha matriz
relaciona los estados de la variable en dos pasos consecutivos y n+1 a
travs de sus probabilidades de transicin.

Periodo n+1

Estado
1
...
Estado
M
Periodo n
Estado
1
p11 p1* p1M
.... P * 1 p** p*M
Estado
M
pM 1 pM* pMM


Una probabilidad de transicin pij ^(n) de n pasos entre los estados i y j
indica la probabilidad de que partiendo del estado i en pasos se llegue al
estado j.

INDICE



Ecuaciones de Chapman-Kolmogorov

Estas ecuaciones proporcionan un mtodo para determinar las
probabilidades de que un proceso del estado i notada por pij ^(n).
pij ^(n) = k=0..K pik ^(m) pkj ^(-m) ; V i,j,n; 0<ms n

Cada sumando representa la probabilidad de que partiendo del
estado i se llegue al estado k transcurridos m perodos y posteriormente
desde el estado k se llegue al estado j en n-m perodos.
INDICE



Clasificacin de los estados en una cadena de Markov

Las probabilidades de transicin asociadas a los estados juegan un
papel importante en el estudio de las cadenas de Markov. Para describir
con mas detalles las propiedades de una cadena de Markov es necesario
presentar algunos conceptos y definiciones que se refieren a estos estados.
U estado j es accesible desde el estado i si para algn n se tiene que
pij ^(n) >0.
Una cadena de Markov se puede dividir en clases. Una clase est
formada por todos los estados que son accesibles entre s .
Considerando las probabilidades fii de que el proceso regrese al estado i
comenzando en el estado i se puede clasificar los estados en recurrente s
fii =, transitorio s fii <1y absorbente s pii =1.
En una cadena de Markov finita e irreducible todos los estados de dicha
cadena so recurrentes.
El perodo de u estado i es el nmero T de perodos para el cual se cumple
que pij ^(n) =0, siendo los valores distintos de T, 2T, 3T,.. y T es el valor ms
elevado que cumple esa propiedad.
Un estado es apriodico si la variable aleatoria puede encontrarse en el
mismo estado en dos perodos consecutivos.
Un estado i es recurrente positivo si comenzando en el estado i el tiempo
esperado para que el proceso regrese al estado i es finito.

Un estado se denomina esgrico si es recurrente positivo y adems
aperidico. Una cadena es ergrica si todos sus estados son esgricos.
INDICE


Tiempos de primera pasada.

Es importante el n de transiciones de que hace el proceso al ir del
estado i al j por primera vez; a esto se llama tiempo de 1 pasada.
Tiempo de recurrencia ser una particularizacin de lo anterior
para i=j (n de transiciones hasta volver al estado inicial i).
En general los tiempos de 1 pasada son variables aleatorias, donde
las distribuciones de probabilidad dependen de las probabilidades de
transicin del proceso. stas probabilidades satisfacen lo siguiente:

f
ij
(1)
=p
ij
(1)
=p
ij

f
ij
(1)
= p
ik
f
kj
(1)

k=j
f
ij
(n)
= p
ik
f
kj
(n-1)

k=j


La ltima suma puede resultar menor que 1, lo que significa que un
proceso que comienza en i, puede nunca alcanzar el estado j. Es sencillo
calcular el tiempo de primera pasada de i a j; siendo
ij
esta esperanza:

si f
ij
(n)
<1

ij
= n=1

n f
ij
(n)
=1 si f
ij
(n)
=1
n=1 n=1

ij
satisface de manera nica, la ecuacin:
ij
=1+ p
ik

kj

k=j
que reconoce que la 1 transicin puede ser al estado j o a algn otro
estado k.
Para el caso de
ii
(con j=i)es el n esperado de transiciones para que el
proceso regrese al estado i(tiempo esperado de recurrencia).stos se
calculan de inmediato de la forma:
1

ii
=----- siendo t
i
las probabilidades de estado estable.
t
i



INDICE




Estados Absorbentes.

Un estado se llama absorbente si p
ik
=1, es decir, si una vez que el
estado llega a k, permanece ah para siempre. Si k es un estado absorbente
y el proceso comienza en i, la probabilidad de llegar a k se llama
probabilidad de absorcin de k (f
ik
). Si se tienen 2 o ms estados
absorbentes, el proceso ser absorbido por uno de stos. Para saber cual,
hay que resolver el sistema de ecuaciones:


M
f
ik
= p
ij
f
jk
para i=0,1,,M
j=0


Esto es importante en las caminatas aleatorias: cadenas de
Markov en las que si el sistema se encuentra en el estado i, entonces, en
una sola transicin, o permanece en i, o se mueve a uno de los 2 estados
inmediatamente adyacentes a i.
INDICE

Cadenas de Markov en tiempo continuo

Se etiquetan los estados posibles del sistema 0,1,,M. Se comienza
en 0, y t>0. Sea la v.a.X(t) el estado del sistema en t. Tomar un valor en
0st<t
1
, despus tomar otro valor en t
1
st<t
2
,
Es interesante conocer el estado del proceso en t=s+t(t unidades en
el futuro). Ser sencillo conocerlo si el proceso tiene lapropiedad
markoviana:
P{X(s+t)=j/X(s)=i y X(r)=x(r)}=
P{X(s+t)=j/X(s)=i} i,j y r>0, s>r y t>0.

P{X(s+t)=j/X(s)=i} es una probabilidad de transicin. Si es independiente
de s, se llamar probabilidad de transicin estacionaria.
Un proceso estocstico de tiempo continuo {X(t); t>0} es una
cadena de Markov de tiempo continuo si tiene la propiedad markoviana.
INDICE

Algunas v. a. importantes:

*La distribucin de probabilidad del tiempo que falta para que el
proceso haga una transicin fuera de un estado dado es siempre la
misma(independientemente del tiempo que el proceso haya pasado en ese
estado), es decir:no tiene memoria. La nica distribucin en TC que
cumple esto es la distribucin exponencial:
P{T
i
st}=1-e
-qt
para t>0 (parmetro q, media 1/q).

Por tanto, describiremos la cadena de Markov:
-La v.a. T
i
tiene una distribucin exponencial con media 1/q.
-Al salir de un estado i, se pasa a otro j, con probabilidad p
ij
que
cumple que p
ij
=0
para toda i, y la suma de todas las p
ij
es 1.
-El siguiente estado que se visita tras i, es independiente del tiempo
transcurrido
en i.
Las intensidades de transicin(probabilidades de transicin, pero en TC) :
d 1 p
ii
(t)
q
i
= p
ii
(0)=lim , para i=0,1,2,,M,
dt t0 t

y
d 1 p
ij
(t)
q
i
= p
ij
(0)=lim = q
i
p
ij
, para toda j=i
dt t0 t


donde p
ij
es la funcin de probabilidad de transicin de TC, q
i
y q
ij
son las
tasas de transicin(q
i
= q
ij
).
i=j


INDICE

Probabilidades de estado estable:

La funcin de probabilidad de transicin de TC satisface las
ecuaciones de Chapman-Kolmogorov, luego para cualequiera estados i,j y
nmeros t y s(0ss<t):


M
p
ij
= p
ik
(s)p
kj
(t-s) para i=0,1,,M
k=1

Se dice que un par de estados i,j se comunican si existen tiempos t
1
,
t
2
tales que p
ij
(t
1
)>0 y p
ij
(t
2
)>0. Todos los estados que se comunican
forman una clase. Si todos los estados en una cadena forman una clase,
entonces la cadena ser irreducible, por lo que:
p
ij
(t)>0, para todo t>0 y todos los estados i,j , y ms an:
lim p
ij
(t)=t
j
llamadas probabilidades de estado estable(o
estacionarias).
t

Las probabilidades estacionarias satisfacen: M
t
j
q
j
= t
i
q
ij
para j=0,1,,M y t
j
=0
i=j j=0

(stas ecuaciones se suelen llamar de balance).

INDICE


Ejemplos explicativos

- Problema de ratn:
o Texto (.doc)
o Transparencias (.ppt)

- Problema de la telefona mvil

Cadenas de Markov

Un proceso estocstico en tiempo discreto es una Cadena de Markov en la medida que se
verifiquen las siguientes propiedades:
Propiedad Markoviana:

Donde i0, i1, ..., in-1, i, j son posibles estados o valores que puede tomar el proceso
estocstico en las distintas etapas. Esto consiste bsicamente en afirmar que el futuro
(t=n+1) es independiente del pasado dado el presente (t=n).
Propiedad Estacionaria: La probabilidad

No depende de la etapa n. Por ejemplo, la probabilidad de pasar del estado i al estado j ser
siempre la misma no importando el nmero de la etapa.
Si consideramos que la variable aleatoria asociado a este proceso markoviano toma un
nmero finito de estados (digamos M) las probabilidades de transicin de un estado a otro se
pueden resumir en una matriz P denominada matriz de transicin de probabilidades en una
etapa. Adicionalmente si conocemos la distribucin de probabilidad para la etapa inicial (que
denotamos por f0) estamos en condiciones de conocer el proceso estocstico, que consiste
en determinar la distribucin de probabilidad en cada etapa.

Ejemplo Cadena de Markov en Tiempo Discreto
Suponga que en un juego existen 2 jugadores, cada uno de los cuales dispone inicialmente
de 2 monedas. En cada jugada se gana una moneda con probabilidad o se pierde una
moneda con probabilidad . El juego termina cuando un jugador tiene 4 monedas o se
queda con ninguna. Modele como una Cadena de Markov la situacin descrita.
Desarrollo: El primer caso consiste en identificar la variable aleatoria la cul debe
representar el problema planteado, en este caso la evolucin del juego al cabo de cada etapa
o jugada. Se define la variable aleatoria en tiempo discreto Xn : Cantidad de monedas que
tiene uno de los jugadores (digamos el jugador A) al cabo de la ensima jugada.
Luego se debe identificar los posibles valores o estados que puede tomar esta variable
aleatoria para una etapa n cualquiera. Sabemos que el jugador A comienza el juego con 2
monedas y el juego termina cuando pierde todo (y por tanto el jugador B gana) o cuando
gana todo (y por tanto el jugador B pierde). En consecuencia, los valores posibles para Xn
son{0,1,2,3,4}.
A continuacin se debe determinar las probabilidades de transicin (en una etapa). Por
ejemplo, si actualmente el jugador A tiene 2 monedas, la probabilidad que tenga 3 monedas
al cabo de una jugada es (probabilidad de ganar) y la probabilidad de que tenga 1 moneda
es (probabilidad de perder). De esta forma se identifican las distintas combinaciones o
probabilidades de que comenzando en un estado "i" se pueda pasar a un estado "j" al cabo
de una etapa. Notar que si el jugador A tiene 0 monedas la probabilidad que continue en ese
estado es 1 (o 100%) dado que no tiene monedas para seguir jugando. De la misma forma
si el jugador A tiene 4 monedas el jugador B tiene 0 y por tanto la probabilidad de que el
jugador A se mantenga en ese estado es de 1 (o 100%).
Las probabilidades de transicin en una etapa se pueden representar haciendo uso de un
grafo o en forma resumida a travs de la matriz de transicin de probabilidades.


Cabe destacar que la suma de las probabilidades para cada fila en la matriz de transicin P
es de un 100%.
Podemos responder preguntas adicionales cmo por ejemplo Cul es la probabilidad de que
el jugador A tenga 2 monedas al cabo de 2 jugadas?
Haciendo uso del grafo y dado que actualmente el jugador A tiene 2 monedas, se busca
identificar las combinaciones que permitan a este jugador mantener esta cantidad de
monedas al cabo de 2 etapas. Esto se logra ganando la prxima jugada (con probabilidad )
y perdiendo la jugada que sigue (con probabilidad ). Tambin se llega al mismo resultado
perdiendo la prxima jugada pero luego ganando en la jugada que sigue. Por tanto la
probabilidad de tener 2 monedas al cabo de 2 etapas es P(X2=2/X0=2) = * + *
= .
Clasificacin de estados de una Cadena
de Markov
Para la clasificacin de estados de una Cadena de Markov en tiempo discreto utilizaremos 2
ejemplos:
Ejemplo 1:

Ejemplo 2:

Si existe una probabilidad no nula que comenzando en un estado i se pueda llegar a un
estado j al cabo de un cierto nmero de etapas (digamos n) se afirma que el estado j
es accesible desde el estado i. Si consideramos el ejemplo 1 podemos afirmar que el estado
3 es accesible desde el estado 1. An cuando en una etapa no podemos llegar desde el
estado 1 al estado 3, si podemos hacerlo al cabo de 2, 3, ..., n etapas. Cabe destacar en este
punto que es relevante que exista una probabilidad no nula que comenzando en 1 se pueda
llegar a 3 al cabo de un cierto nmero de etapas no importando el valor exacto de esta
probabilidad para un n cualquiera. En cuanto al ejemplo 2, se puede verificar que el estado 2
es accesible desde el estado 3, sin embargo, el estado 2 no es accesible desde el estado 4
(esto porque una vez que se llega al estado 4 no se sale de ese estado). Finalmente, dos
estados que son accesibles viceversa se dice que se comunican y que pertenecen a
una misma clase de estados.
Una Cadena de Markov donde todos sus estados son accesibles entre s y por tanto se
comunican se dice que es irreducible, es decir, que existe una nica clase de estados.
Este es el caso del ejemplo 1.
En cambio si al menos existen 2 clases de estados la cadena ya no es irreducible. Si
tenemos 2 estados que no se comunican (esto porque no son accesibles viceversa) estos
estadosperteneceran a distintas clases de estados. En el ejemplo 2 existen 3 clases de
estados {0}, {1,2,3}, {4} (en consecuencia no es una cadena irreducible). En cuanto al
estado 0 y estado 4, estos son estados absorventes debido a que una vez que se accede a
ellos la probabilidad de seguir en ese estado es de un 100%. Un estado absorvente define
una clase de estados por si mismo.
Una definicin adicional es la periodicidad de un estado. Un estado se dice que tiene periodo
d, para el mayor valor entero de d que cumpla:

slo para valores de n pertenecientes al conjunto {d, 2d, 3d, ....}. Si d=1 decimos que el
estado es aperidico. En otras palabras, un estado es peridico si, partiendo de ese
estado, slo es posible volver a l en un nmero de etapas que sea mltiplo de un cierto
nmero entero mayor que uno
En el ejemplo 1 todos los estados son aperidicos. En el ejemplo 2 los estados 1, 2 y 3 son
peridicos con periodo d=2, es decir, que comenzando, por ejemplo, en el estado 1, la
probabilidad de volver al mismo estado es slo no nula para una cierta cantidad de pasos o
etapas mltiplo de 2.
Un estado es recurrente en la medida que comenzando en l se tenga la certeza de volver
en algun momento del tiempo (una determinada cantidad de etapas) sobre si mismo.
Alternativamente, un estado es transciente si no se tiene la certeza de volver sobre si
mismo. En el ejemplo 1 todos los estados son recurrentes. En el ejemplo 2 los estados 1, 2 y
3 son transcientes debido a que si se comienza en cualquiera de ellos no se puede asegurar
con certeza que se volver al mismo estado en algn momento (esto debido a que existe
una probabilidad no nula de acceder a un estado absorvente: 0 o 4). Los estados
absorventes por definicin son estados recurrentes.
Si tenemos una Cadena de Markov que tiene una cantidad finita de estados e identificamos
un estado recurrente, este ser recurrente positivo. Si la cantidad de estados es infinito
entonces un estado recurrente ser recurrente nulo.
Distribucin estacionaria de una Cadena
de Markov
Se dice que una Cadena de Markov en tiempo discreto admite una distribucin estacionaria
en la medida que las probabilidades de largo plazo existen y es independiente de la
distribucin inicial (f0).
En este sentido se deben verificar ciertos requisitos para la existencia de esta distribucin de
probabilidades de largo plazo: la cadena debe ser irreducible y sus estados deben ser
recurrentes positivos aperidicos. Se recomienda revisar en detalle la clasificacin de
estadosantes del clculo de la distribucin estacionaria.
La distribucin estacionaria se obtiene a travs de la solucin nica del siguiente sistema de
ecuaciones:

Ejemplo clculo distribucin estacionaria de una
Cadena de Markov
Considere la siguiente matriz de transicin de probabilidades para un proceso markoviano en
tiempo discreto:

Calcule la probabilidad de encontrarse en cada uno de los estados en el largo plazo.
Desarrollo: Para verificar la existencia de una distribucin estacionaria debemos analizar si
la cadena es irreducible (es decir, existe una nica clase de estados) y los estados que la
componen son recurrentes positivos aperidicos. Para facilitar este proceso se recomienda
utilizar una representacin grfica o grafo:

El estado 2 es accesible desde el estado 1, es decir, existe una probabilidad no nula que
comenzando en el estado 1 se pueda llegar al estado 2 al cabo de n etapas (no
necesariamente esto debe ser al cabo de una etapa). Tambin se puede verificar que el
estado 1 es accesibledesde el estado 2, por tanto se concluye que el estado 1 y 2
se comunican. Cabe destacar que2 estados que se comunican pertenecen a una
misma clase de estados. Adicionalmente se puede demostrar que el estado 3 es accesible
desde el estado 2 y el estado 2 es accesible desde el estado 3. Por tanto el estado 2 y 3 se
comunican y por transitividad el estado 1 y 3 se comunican. Se concluye entonces que existe
una sola clase de estados que contiene a {1,2,3} y por tanto la cadena es irreducible.
Los estados 1, 2 y 3 son recurrentes y dado que la cadena tiene una cantidad finita de
estados se puede afirmar que stos son recurrentes positivos.
Finalmente los estados son aperidicos, es decir, no existe una secuencia de pasos tal para
que comenzando en uno de ellos se pueda volver sobre si mismo (con probabilidad no nula)
al cabo de un cierto nmero de pasos o etapas.
Una vez que se han verificado las condiciones necesarias para la existencia de una
distribucin estacionaria se formula el sistema de ecuaciones que permitir encontrar las
probabilidades de estado de largo plazo. En nuestro ejemplo el sistema queda definido por:

La resolucin del sistema anterior permite encontrar que:

Se concluye que en el largo plazo la probabilidad de estar en el estado 1 es de un 25% y la
probabilidad de estar en el estado 2 y 3 es de un 37,5%.
Distribucin Estacionaria y Distribucin Lmite
Distribucin Lmite
Tenemos una matriz de Markov con una
distribucin inicial entonces la distribucin
lmite ser:

si llamamos Q al lmite de T
k
cuando k
entonces

Observacin:
La manera de calcular la matriz Q es un tanto
complicado para hacer a mano, la manera ms
prctica es tomando valores de k altos y
comprobando que T
k
permanece estable.

Distribucin Estacionaria
La distribucin estacionaria es una distribucin de
probabilidad e que cumple:

y por tanto es solucin del siguiente sistema

La distribucin estacionaria ser pues una
distribucin estable que no cambia con el transcurrir de
las etapas.

Propiedades de las Cadenas Regulares
Si una cadena de Markov es regular entonces
cumple las siguientes propiedades:
- Existe la distribucin lmite q
l
, la cual ser
independiente del estado inicial y adems ser igual
a la distribucin estacionaria e.
- La matriz Q lmite de T
k
cuando k tiene todas
las filas iguales y esas filas sern precisamente la
distribucin estacionaria-lmite.
- La componente e
i
de la matriz estacionaria
representa la probabilidad de que eligiendo una
etapa al azar la cadena se encuentre en el estado e
i

Observacin:
Como en las cadenas regulares la distribucin
lmite es equivalente a la estacionaria tenemos dos
formas de calcular esta distribucin
- De forma manual, resolviendo el sistema visto
anteriormente
- Utilizando software que permita realizar potencias
de matrices. Lo que deberemos hacer ser T
k
con un
k suficientemente grande obtendremos la
distribucin lmite-estacionaria si el resultado es
una matriz con las filas iguales
Ejemplos de Clculo de Distribuciones Estacionarias y
Lmite
- Consideremos el ejemplo de las compaas
telefnicas cuya matriz de transicin era

En este caso estamos tratando con una cadena
regular ya que T tiene todos los elementos positivos,
por tanto la distribucin estacionaria ser igual a la
distribucin lmite, podemos por tanto utilizar el
software para calcular T
100
:

Por lo tanto la distribucin buscada ser

Y la interpretacin que le podemos dar es que la
empresa A se acabar quedando con un 21,429% de
la cuota de mercado, la empresa B con un 23,214%
y la C con un 55,357%
- Consideremos ahora la cadena definida por el
siguiente grafo

La matriz de transicin en este caso ser

Esta cadena no ser regular ya que si partimos
por ejemplo del estado E1 no podremos estar en E3
despus de un nmero impar de etapas.
Al no ser regular la cadena no tenemos
garantizado que exista una distribucin lmite ni que
coincida con la estacionaria, por lo que habr que
calcularlas de manera independiente.
Para calcular la distribucin estacionaria
deberemos resolver el sistema

cuya solucin es

y por tanto la distribucin estacionaria
ser
Por otra parte si intentamos calcular la
distribucin lmite observaremos que
si k es par
y
si k es impar
Con lo cual deducimos que el lmite no existe ya
que la distribucin de probabilidades va oscilando.
Ejercicios Propuestos
1.- En cierto mercado compiten tres marcas de
cierto producto de consumo que se adquiere
semanalmente. Efectuando un sondeo entre los
establecimientos minoristas en los que se vende se
estima que, de cada cien consumidores del producto,
en la semana que ahora termina diez adquirieron la
marca 1, veinte la marca 2 y setenta la marca 3. Se
ha realizado, adems, un sondeo sobre la intencin
de compra de los consumidores y se ha llegado a la
conclusin de que:
De cada 100 consumidores que adquirieron la
marca 1 la pasada semana, 50 volvern a adquirirla,
10 cambiarn a la 2 y el resto adquirir la tres.
Con relacin a la marca 2, de cada 100 que la
adquirieron la pasada semana, 80 la volvern a
adquirir, 10 cambiarn a la 1, y otros 10 a la 3.
En cuanto a la marca 3, de cada 100 adquirientes
la ltima semana, 30 cambiarn a la 1, 20 a la 2 y el
resto volvern a adquirir la misma.
Se desea estimar las cuotas de mercado de las
tres marcas en la semana finalizada y prever las de la
prxima.
Suponiendo que las proporciones de
consumidores que cambian de marca permanezcan
estables, calcula la cuota de mercado a largo plazo.




2.- Una persona puede escoger entre tres
restaurantes para comer diariamente. si un da
escoge el restaurante A, al da siguiente escoge el B
y al da siguiente del B siempre el C, pero cuando va
a C es igualmente probable que al da siguiente vaya
a A o a B. Escribir la matriz de transicin del
proceso y calcular:
a. la probabilidad de que vaya a B tres das
despus de ir a A.
b. Las probabilidades absolutas de ir a cada
restaurante cuatro das despus de ir a B.
c. El promedio de veces que va a cada
restaurante.


3.- Dado el
sistema de la
figura calcula:
a. La
matriz de transicin
b. La distribucin estacionaria.
c. La probabilidad de estar en el estado 6
dentro de 5 etapas si ahora est en el
estado 3
d. El promedio de veces que el sistema se
encuentra en el estado 4.











4.- Un agente comercial realiza su trabajo en tres
ciudades gallegas: La Corua, Ferrol y Santiago.
Para evitar desplazamientos innecesarios est todo el
da en la misma ciudad y duerme en ella,
desplazndose a otra al da siguiente, si no tiene
suficiente trabajo. Despus de estar trabajando un
da en La Corua, la probabilidad de tener que
seguir trabajando en ella al da siguiente es de 0.4, la
de tener que viajar a Santiago es 0.4y la de tener que
ir a Ferrol es de 0.2. si el viajante duerme un da en
Santiago, con probabilidad del 20% tendr que
seguir trabajando en la misma ciudad al da
siguiente, en el 60% de los casos viajar a La
Corua, mientras que ir a Ferrol con probabilidad
0.2. Por ltimo, si el agente comercial trabaja todo
un da en Ferrol, permanecer en al misma ciudad ,
al da siguiente, con una probabilidad de 0.1, ir a
Santiago con una probabilidad de 0.3 y a La Corua
con probabilidad 0.6.
Cules son los porcentajes de das en los que el
agente comercial est en cada una de las tres
ciudades?.




5.- Pedro es un lector aficionado a la ciencia
ficcin, novela policaca y astronoma. Cada semana
se compra un libro. Si ahora est leyendo novela
policaca, hay un 70% de probabilidades de que la
semana que viene lea astronoma. Nunca lee dos
novelas policacas seguidas. Si est leyendo ciencia
ficcin hay un 75% de que lea astronoma y un 25%
de que lea una novela policaca. Despus de leer
astronoma siempre lee una novela policaca.
a. Calcula el porcentaje de libros de
astronoma que tiene en casa despus de
5000 semanas.
b. Calcula la probabilidad de leer ciencia
ficcin en cualquiera de las tres semanas
siguientes a la lectura de un libro de
astronoma.

6.- Una centralita telefnica se revisa cada da,
pudiendo estar en perfectas condiciones o bien
presentar dos tipos distintos de avera (leve o
importante). Se supone que el estado de la centralita
en un da depende del estado del ltimo da
observado. As, si un da la centralita funciona
correctamente, la probabilidad de que al da
siguiente tambin lo haga es de 0.95, la de que tenga
avera leve es de 0.04 , mientras que la de avera
importante es de 0.01. En el 75% de los casos en los
que la centralita tenga una avera leve, esta es
reparada de manera que funcione correctamente al
da siguiente. En el 20% de los casos, la avera leve
persiste al siguiente da, mientras que en el restante
5% se agravar. Cuando la centralita tiene una avera
importante pueden ocurrir dos cosas: se repara al da
siguiente (con una probabilidad de 0.2) o sigue
teniendo la avera grave. Se pide:
a. Encontrar el grafo y la matriz de
transicin de la cadena de Markov
asociada al enunciado.
b. Si la centralita funciona correctamente un
da, cul es la probabilidad de que dentro
de 8 das tambin est en perfectas
condiciones?
c. A largo plazo, cunto valen las
probabilidades de que la centralita
funcione bien, la de que tenga avera leve
y la de que tenga avera grave?


7.- En un instituto hay dos fotocopiadores
iguales, que inicialmente se suponen en
funcionamiento. A lo largo de un da, cada
fotocopiadora se avera con una probabilidad de .
Al final de la jornada laboral se da parte de las
averas producidas a la empresa de mantenimiento
que las repara en 24 horas (pero no antes).
a. Cul es la distribucin del nmero de
fotocopiadoras que estn en servicio en el
cuarto da?
b. Cul es el porcentaje de das en los que
el instituto no tiene ninguna fotocopiadora
disponible?


8.- En la maravillosa tierra de Oz el tiempo
funciona de la siguiente manera:
Hay tres posibilidades, bien nieva, bien llueve o
bien hace sol. Nunca nieva dos das seguidos y si un
da lo hace la probabilidad de que al siguiente llueva
es de 1/3. Despus de llover no nieva nunca y hay
una probabilidad de 3/4 de que haga sol. Si un da
hace sol al da siguiente nieva un 20% de las veces y
llueve un 25%.
a. Dibuja un grafo que represente el clima
en la tierra de Oz.
b. Obtn la matriz de probabilidades.
c. Calcula el porcentaje de das que nieva.
d. Si hoy hace sol cul es la probabilidad
de que dentro de 2 das llueva?. Y dentro
de 10 das?. Qu observas?
4- Cadenas de Markov
Editar 3 34
Para muchos, en un principio lo relacionado con esta temtica fue totalmente nuevo, o
quizs desconocan por completo que ms que un tema a tratar en clase, es algo con
lo que diario nos tropezamos. Alguna vez hemos escuchado las predicciones de algn
meteorlogo a travs de la radio o la televisin, o durante su vida crediticia ha tenido
que estar pendiente de una certificacin de Data-crdito para el estudio y aprobacin
de un crdito. Analicemos lo que en ambos casos se da: el meteorlogo seguramente
consulta las imgenes satelitales; pero tambin sabe que el clima en un da del ao
corresponde de alguna manera a un fenmeno aleatorio, es as como hoy puede ser
soleado (temperaturas altas), ser lluvioso o fresco sin lluvia, y que el clima estara en
una y solo una de estas tres posibilidades y que la ocurrencia de una de ellas excluye
a las dems. Tambin es fcil ver que la probabilidad de que en un da especfico
llueva, o sea soleado o fresco sin lluvia, est muy relacionada con lo ocurrido al clima
el da anterior. En la situacin de Data-crdito las entidades financieras saben que sus
clientes pueden ser fcilmente clasificados de acuerdo al manejo de sus crditos en
excelentes, buenos o deficientes, y que si un cliente es clasificado en alguna de ellas
en un mes especfico, entonces se excluye de las otras posibilidades; y que estas
clasificaciones obedecen a cierta aleatoriedad; estos sencillamente son fenmenos
relacionados con cadenas de markov.
Lo correspondiente a cadenas de markov se lo debemos al matemtico ruso Andrei
Markov quien desarroll la actual teora de procesos estocsticos en el campo de la
teora de la probabilidad. De manera muy exacta, una cadena de markov es una serie
de eventos, en la cual la probabilidad de que ocurra un evento depende del evento
inmediato anterior (tal como nos muestra los ejemplos anteriormente mencionados).En
efecto, las cadenas de este tipo tienen memoria, "Recuerdan" el ltimo evento y esto
condiciona las posibilidades de los eventos futuros.
Como toda herramienta, por muy til que parezca ser, mantiene su margen de error, o
lo que en otras palabras consideraramos como desventajas, y por otro lado ventajas,
tales como:
Ventajas
- Pueden describir sistemas muy complejos.
- Pueden ser usados para experimentar con sistemas que existan o que no existan sin
alterarlos.
Desventajas:
- No existe un conjunto de soluciones cerradas.
- Cada cambio en las variables de entrada requiere una solucin separada o conjunto
de ejecuciones.
- En los modelos de simulacin, pueden requerir mucho tiempo para construirlos y
ejecutarlos.


Finalmente las cadenas de markov, se pueden aplicar en reas como la educacin,
comercializacin, servicios de salud, finanzas, contabilidad y produccin.






CADENAS DE MARKOV


En los problemas de toma de decisiones, con frecuencia surge la necesidad de tomar
decisiones basadas en fenmenos que tienen incertidumbre asociada a ellos. Esta
incertidumbre proviene de la variacin inherente a las fuentes de esa variacin que eluden el
control o proviene de la inconsistencia de los fenmenos naturales. En lugar de manejar esta
variabilidad como cualitativa, puede incorporarse al modelo matemtico y manejarse en forma
cuantitativa. Por lo general, este tratamiento se puede lograr si el fenmeno natural muestra un
cierto grado de regularidad, de manera que sea posible describir la variacin mediante un
modelo probabilstico.

Antes de abordar el tema de las cadenas de markov, debemos tener en cuenta que existen
modelos de probabilidad para procesos que evolucionan en el tiempo de una manera
probabilstica, tales procesos se llaman Procesos Estocsticos.

Despus de abordar el tema de procesos Estocsticos, hablaremos de las cadenas de markov.

Las Cadenas de Markov tienen la propiedad particular de que las probabilidades que describen
la forma en que el proceso evolucionara en el futuro dependen solo del estado actual en que se
encuentra el proceso y, por lo tanto, son independientes de los eventos ocurridos en el pasado.
Muchos procesos se ajustan a esta descripcin por lo que las cadenas de Markov constituyen
una clase de modelos probabilsticas de gran importancia.
El creador de las cadenas de Markov fue Andrei Andreevich Markov, naci en Ryazan (Rusia)
el 14 de junio de 1856 y muere en San Petersburgo en 1914. Este, es uno de los conceptos
ms importantes en la construccin de modelos en gran cantidad de campos que abarcan
desde la sociologa a la fsica terica, pasando por la ingeniera y la matemtica.Markov
estudi en San Petersburgo y era mal estudiante en todo menos en matemticas. Inici sus
estudios universitarios de matemticas en 1874 que acab en 1878, siendo premiado con una
medalla de oro al terminarlos. Su tesis doctoral estuvo en el mbito de la teora de nmeros,
pero con la retirada de Chebychev (quien fue su maestro y mentor), en 1883, Markov pas a
encargarse del curso sobre la teora de la probabilidad continuando con el mismo incluso
despus de su retirada de la universidad en 1905.Sus primeras contribuciones son relativas al
teorema lmite central para variables independientes pero no idnticamente distribuidas. Sin
duda la ms grande de sus contribuciones, fue la introduccin del concepto de cadena de
Markov, como un modelo para el estudio de variables dependientes, el cual dio lugar a una
gran cantidad de investigaciones posteriores en la teora de los procesos estocsticos.
Fuentes:
http://www.ugr.es/~eaznar/markov.htm



PROCESOS ESTOCSTICOS
Es un conjunto o sucesin de variables aleatorias: {X(t)CG } definidas en un mismo espacio de
probabilidad. En donde:

El ndice t representa un tiempo y X(t) el estado del proceso estocstico en el instante t.
El proceso puede ser de tiempo discreto o continuo si G es discreto o continuo.
Si el proceso es de tiempo discreto, usamos enteros para representar el ndice: {X1, X2, ...}

Ejemplos de procesos estocsticos

1.Serie mensual de ventas de un producto
2. Estado de una mquina al final de cada semana (funciona/averiada)
3. N de clientes esperando en una cola cada 30 segundos
4. Marca de detergente que compra un consumidor cada vez que hace la compra. Se supone que existen
7 marcas diferentes
5. N de unidades en almacn al finalizar la semana

CADENAS DE MARKOV

Una cadena de markov es un caso especial de los procesos estocsticos que cumplen la propiedad de
markov. Se utilizan para estudiar el comportamiento a corto y largo plazo de ciertos sistemas estocsticos.
En otras palabras las cadenas de markov sirven para determinar futuras acciones solamente dependiendo
del estado inmediatamente anterior y solo de este (no se tiene en cuentas otros estados en el pasado).
Estas pueden ser con tiempo continuo o discreto. Matemticamente seria:





A la hora de representar una cadena de markov , esta puede representarse por medio de grafos o en
forma matricial. Los grafos son conjuntos de nodos (vrtices) unidos por enlaces llamados arcos (aristas),
estos enlaces representan una probabilidad de transicin (probabilidad de pasar de un estado a otro
estado o quede en el mismo), mientras que los nodos representan los estados que posee la situacin a
representar. Es usual hacer primero la representacin por medio de grafos y luego representarlo en forma
de matriz, Ejemplo:








Esta matriz lleva como nombre matriz de transicin Y debe satisfacer las siguientes condiciones:



Forma general de una matriz de transicin:





Generalmente pensamos que una cadena de markov describe el comportamiento de transicin de un
sistema en intervalos iguales. Existen situaciones donde la longitud del intervalo depende de las
caractersticas del sistema y, por tanto, puede tal vez no ser igual. En este caso se denomina cadenas de
markov encajadas.

Probabilidades de transicin: es la probabilidad de estaren un estado despus de un numero determinado
de transiciones, donde:





Estas ecuaciones se conocen como las ecuaciones de chapman-kolomogorov. Ejemplo:





Y, en general:






ELEMENTOS DE UNA CADENA DE MARKOV
Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la
enfermedad)
Ciclo de markov (paso) : periodo de tiempo que sirve de base para examinar las transiciones entre
estados (ejemplo, un mes)
Probabilidades de transicin entre estados, en un ciclo (matriz P)
Distribucin inicial del sistema entre los M estados posibles

ECUACIONES DE CHAPMAN-KOLMOGOROV
Las ecuaciones de chapman-kolmogorov proporcionan un mtodo para calcular la probabilidad de que
una variable aletoria, comenzando en el estado i se encuentre en el estado j despus de n pasos. La
matriz de probabilidad de transicin de n pasos se puede obtener la n-esima potencia de la matriz de
transicin de un paso.

NOTA: una probabilidad incondicional es la probabilidad que despues de n pasos el proceso se encuentre
en el estado i


ESTADOS DE LAS CADENAS DE MARKOV

1. Estado Absorbente.
Este es un estado en el cual, no se puede salir de ese estado, es decir:
Pii = 1, Pij = 0

2. Estado Peridico.
Este estado se caracteriza porque despues de cada n-periodos, se repite la misma matrz, es decir:
Pii = 0, Pij <> 0

3. Estado Recurrente.
Este es un estado en el cual puedo volver al mismo estado, cuando quiera en n-pasos. Se puede hacer
esto infinitamente.

NOTA: Todos los estados peridicos son recurrentes, pero no todos los estados recurrentes son
peridicos"

4. Estado Transitorio.
No regresa al estado de modo seguro, es decir, un estado b tiene dos caminos por donde coger(a y c), si
coge por el camino del estado a, no puede volver al estado b, y por consiguiente, tampoco puede pasar al
estado c, y si coge por el camino del estado c, no puede volver al estado b, y por consiguiente, tampoco
puede pasar al estado a.

5. Estado Ergdico.
- Son estados No nulos, Recurrentes y Peridicos.
- En este estado es posible ir de un estado i a cualquier otro estado j, y por eso se dice que cumple las
condiciones de estado estable, es decir, estas probabilidades cuando pase el tiempo, tienden a converger
a medida que se incremente el numero de pasos (aplicando ecuaciones de Chapman-Kolmogorov) y
cuando las probabilidades convergen, a estas se le llaman probabilidades de estado estable.

PROPIEDADES DE LAS CADENAS DE MARKOV EN EL LARGO PLAZO
Son aquellas que despus de un numero grande de pasos, se encuentre en un estado i.

i= Probabilidad de estado estable, que despus de n-pasos, el sistema se encuentre en i.

Tiempo de recurrencia:
- Numero esperado de transiciones para que regrese al estado estable.
- Cuantos pasos se deben dar en promedio, para que si un estado salio de i, vuelva a ese estado i.
- Es el inverso de las probabilidades de estado estable.



Continuando con el tema de las cadenas de Markov, y sabiendo que es el proceso por medio del cual,
podemos estudiar el comportamiento de ciertos sistemas estocsticos a corto y largo plazo. Mostraremos
un ejemplo.













Como ya hemos observado una cadena de markov puede clasificarse en los siguientes estados:
- Estado ergdico
- Estado peridico
- Estado recurrente
- Estado absorbente


Para estudiar las propiedades a largo plazo de las cadenas de Markov nos basamos especficamente en
las cadenas de Markov ergdicas. Recordemos que una C.M ergdica es aperidica, recurrente y no nula
(si hay estados absorbentes no es una cadena ergdica). En este tipo de cadenas se puede ir de un
estado i a un estado j en n pasos, aunque no exista un arco dirigido de un estado i a un estado j, es decir,
tiene la libertad de ir de un estado a cualquier otro en n pasos. Esto nos lleva a afirmar que hay una
evidencia de que existen condiciones de estado estable, por lo tanto, las probabilidades cada vez que
avance el tiempo van a tender a converger en cierto punto, como se desarroll en la clase y lo
recordaremos a continuacin.

Lo anterior se resuelve cuando aplicamos las ecuaciones de Chapman-Kolmogorov. Para tener una idea
ms clara de ello, podemos remitirnos al ejemplo realizado en clase, donde para n pasos las
probabilidades se repetan.
Entonces, tenemos la matriz de transicin P:














Ahora hallamos en excel la matriz P en dos pasos:











Por ltimo obtenemos P en cuatro pasos, y como podemos ver los valores tienden a tener las mismas
probabilidades. A estas les llamamos probabilidades de estado estable, ya que mantienen valores fijos
que a su vez nos indican donde encontrar el proceso despus de un gran nmero de transiciones.











en donde, para una cadena de markov irreducible ergdica











donde las j satisface las siguientes ecuaciones de estado estable:







adems, las j pueden ser interpretadas como las probabilidades estacionarias, las cuales se pueden
expresar para la matriz anterior de la siguiente manera:
Para obtener los resultados de arriba, podemos aplicar el producto cruz, o bien resolverlas por
medio de la herramienta de excel llamada
solver,
muy til para obtener al final el valor de las probabilidades estacionarias.





TIEMPO PROMEDIO DE PRIMER PASAJE


En una cadena ergdica, sea nmero esperado de transiciones antes de
alcanzar por primera vez el estado j, dado que estamos actualmente en el estado
i. se llamatiempo promedio de primer pasaje del estado i al estado j.
Suponga que estamos ahora en el estado i. Entonces, con probabilidad ,
necesitaremos una transicin para pasar del estado i al estado j. Para
pasamos a continuacin, con probabilidad , al estado k. En este caso, se
necesitar un promedio de transiciones para pasar de i a j. Este modo
de pensar indica que:

Como

Podemos reformular la ultima ecuacin como

Al resolver las ecuaciones lineales representadas en , podemos encontrar todos
los tiempos promedios de primer pasaje. Se puede demostrar que

Con ello se puede simplificar el uso de las ecuaciones .

Fuente: WINSTON Wayle L. Investigacin de operaciones aplicaciones y algoritmos







Tiempos de la primera o las (n) pasadas

Tambin se ve en algunos libros como
tiempo de primer regreso
donde



Que se halla por medio de la ecuacin:





Para el mismo ejemplo queriendo hallar la matriz f(3), comenzaramos diciendo que la primera matriz para






Luego para encontrar la probabilidad de ir desde i hasta j en 2 pasos, aplicamos la frmula (1), y para
tener un orden, comenzaremos por





Por lo tanto . As se sigue calculando hasta que sale la matriz:











Ahora, para la de 3 pasos, utilizamos el mismo procedimiento, PERO con los datos para 2 pasos. Es
decir:





ESTADOS ABSORBENTESLos estados bsorbentes son aquellos estados que cuando el proceso entra a
ellos nunca vuelve a salir; un estado k se llama estado absorbente si Pkk = 1, de manera que una vez que
la cadena llega a un estado k permanece ahi para siempre. si k es un estado absorbente y el
proceso comienza en el estado i, l probabilidad de llegar en algun momento a k se llama probabilidad de
absorcion al estado k.El estudio de estos estados son muy importantes y nos permiten determinar el
numero esperado de pasos antes de que el proceso sea absorbido. Es importante identificar en una
matriz cuales son los estados absorbentes y se busca una solucion a partir de ella, la matriz de
probabilidades de absorcion es la siguiente:
figura 1
En la matriz P, el lugar donde se encuentra situado Q colocamos las probabilidades de los estados no
absorbentes , en R las probabilidades de absorcion, mientra que en I encontramos las probabilidades de
los estados absorbentes y 0 es una matriz nula.Para resolver esta matriz utilizamos las ecuaciones de
chapman-kolmogorov y si hallamos P^2 sera
figura 2
y asi P^n sera: figura3
si hallamos el limite cuando n tiende a infinito nos queda
figura 4: este es el limite de las probabilidades de absorcionla
matriz (I-Q)^-1 se le llama la matriz fundamental de la cadena de markov y en esta matriz nos indican que
si estamos en un estado transitorio ti el numero de periodos que pasaran en un estado transitorio tj antes
de la absorcion es el ij-esimo elemento de la matriz (I-Q)^-1.en definicin son las veces que habra que
pasar por un estadoo transitorio antes de llegar a un estado absorbente).Y si estamos en el estado
transitorio ti la probabilidad ser absorbido por un estado absorbente aj es ij-esimo elemento de la matriz (I-
Q)^-1R en definicin son las probabilidad de terminar en cada uno de los estados absorbentes.Es
importante tener claro que en el momento de restar I-Q, esta matriz I debe ser del mismo rango que Q, y
no es la misma matriz identidad de la figura 1, esta puede tener un rango (mxn) diferente.






























Este experimento tiene como fin la demostracin de la propiedad que poseen las cadenas de Markov
llamada estadosestable, donde las propiedades absolutas son independientes de a(0). Dicha propiedad
se empieza a manifestar a partir de un nmero considerable de periodos (pasos), donde la probabilidad
de encontrarse en cualquier estado es aproximadamente la misma.

Para la ejecucin del experimento se utiliza un reproductor de msica (Windows Media Player); una vez
abierto el programa se debe realizar una lista de reproduccin, preferiblemente de 3 o 4 canciones,
debido a que si se escoge un nmero mayor el espacio muestral (todos los posibles resultados que puede
tener una variable) del experimento ser muy grande.

Del ejemplo, el espacio muestral se determina por la siguiente expresin: n2, donde n es el nmero de
canciones en la lista de reproduccin. Ejemplo: si se escogen 3 canciones, el espacio muestral para el
experimento sera 32=9, si son 5 canciones el espacio ser 52=25 y as sucesivamente. Para tener una
idea ms clara observe las siguientes representaciones:

Para n igual a 3:












Para n igual 5:














En este link podemos encontrar Todo lo relacionado con Propiedades a largo plazo de las Cadenas de
Markov


http://www.investigacion-operaciones.com/Libro/Cadenas%20de%20Markov.pdf

APLICACIONES DE LA CADENA DE MARKOV

METEOROLOGIA: En los estudios meteorologicos que hacen para las regiones por varios dias, pues el
estado actual depende del ultimo estado y no de la historia en si, y como sabemos que la cadena de
Markov no tiene memoria, ya que solo tiene en cuenta exactamente el episodio inmediatamente anterior,
entonces aqui se pueden usar los modelos metodologicos un poco mas basicos de los usados.

JUEGOS DE AZAR: Existen muchos juegos de azar que se pueden modelar por medio de la cadena de
Markov, como por ejemplo el modelo de la ruina del jugador, que ayuda a conocer la probabilidad de una
persona que apueste en un juego de azar pierda todo su dinero.

NEGOCIOS: Aqui se utilizan para analizar los patrones de compra de las personas que estan en mora
con algun pago establecido, tambien para saber cuales son las necesidades del personal y para organizar
los reemplazos del equipo.

NOTAS DE CLASE:Probabilidad de Transicin: Probabilidad de pasar de un estado i a un estado j en un
determinado periodo.
- UN PROCESO DE MARKOV ES UN MODELO ADECUADO PARA DESCRIBIR EL COMPORTAMIENTO
DE SISTEMAS DONDE:
EL SISTEMA ESTA SITUADO EN UNO DE UN CONJUNTO DE ESTADOS DISCRETOS MUTUAMENTE
EXCLUYENTES Y COLECTIVAMENTE EXHAUSTIVOS S0,S1, S2,...., Sn.
- EL ESTADO PRESENTE DEL SISTEMA Y LAS PROBABILIDADES DE TRANSICION ENTRE VARIOS
ESTADOS DEL SISTEMA:
- CARACTERIZAN EL COMPORTAMIENTO FUTURO DEL SISTEMA.
DADO QUE UN PROCESO DE MARKOV SE ENCUENTRA EN UN ESTADO DETERMINADO, SU
COMPORTAMIENTO FUTURO NO DEPENDE DE SU HISTORIA ANTERIOR A SU ENTRADA A ESE
ESTADO.
- MUCHOS PROCESOS DE MARKOV EXHIBEN UN COMPORTAMIENTO DE ESTADO ESTABLE:
- LAS PROBABILIDADES DE QUE EL PROCESO SE ENCUENTRE EN UN ESTADO DETERMINADO
SON CONSTANTES EN EL TIEMPO.
SE DICE QUE UN ESTADO Sj ES TRANSITORIO SI DESDE UN ESTADO Sk QUE PUEDE SER
ALCANZADO DESDE Sj, EL SISTEMA NO PUEDE REGRESAR A Sj.
- SE DICE QUE UN ESTADO Sj ES RECURRENTE SI DESDE CADA ESTADO Sk ALCANZABLE
DESDE Sj, EL SISTEMA PUEDE REGRESAR A Sk.
UNA CADENA SENCILLA ES UNA SERIE DE ESTADOS RECURRENTES TAL QUE EL SISTEMA
PUEDE LLEGAR A CUALQUIER ESTADO DE LA CADENA DESDE CUALQUIER OTRO ESTADO DE
ESTA.
UN CAMBIO DE ESTADO EN UN PROCESO DE MARKOV DE TRANSICION CONTINUA PUEDE
PRODUCIR CAMBIOS DE ESTADO EN CUALQUIER INSTANTE DE UNA ESCALA DE TIEMPO
CONTINUA.
APLICACIONESJ
APLICACIN DE LAS CADENAS DE MARKOV A LOS PROCESOS DE SERVICIOS HOSPITALARIOS
PARA LA TOMA DE DECISIONES EN LA ADMINISTRACIN DE LA SALUD
Teniendo en cuenta la necesidad imperiosa de satisfacer las necesidades de los pacientes cuando se
encuentran recibiendo un servicio dentro de un centro hospitalario, se aplica la cadena de markov para
determinar el tiempo promedio de estancia de los pacientes en una sala determinada, con un determinado
nivel de probabilidad en dichos estados transitorios.
Se arriba a los resultados para dar a los directivos de la institucin una herramienta para la toma de
decisiones dentro del campo de la administracin en salud, lo cual pudiera contribuir a conocer los costos
hospitalarios de estada, optimizar los recursos disponibles, perfeccionar los servicios de salud y lograr la
excelencia en los servicios prestados.
Se hace nfasis en el uso de la cadena de markov como herramienta estadstica que permite determinar
la ocurrencia de un evento futuro en dependencia de la ocurrencia del evento inmediatamente anterior, y
tiene como bondades que permite encontrar la probabilidad de que un sistema se encuentre en un estado
particular en un momento dado y ms importante an, el promedio a la larga o las probabilidades de
estado estable para cada estado analizado, prediciendo el comportamiento del sistema a travs del
tiempo.
Dicha herramienta de anlisis a pesar de haber surgido a principios del siglo pasado es una tcnica
novedosa, de gran utilidad y rigor cientfico que sirve tanto para economistas, socilogos, fsicos, y otros
investigadores que analicen un proceso dado bajo ciertas circunstancias probabilsticas.
NOTA: AQUI dejo el link para que todos puedan leer este interesante articulo sobre las aplicaciones de
las cadenas de markov.
http://www.eumed.net/cursecon/ecolat/cu/2011/pdc.htm
USO DE CADENAS DE MARKOV PARA LA PREDICCIN DE LA DINMICA
DEL COMPORTAMIENTO DE PACIENTES EN UNA UNIDAD DE CUIDADO
INTENSIVO CARDIOLGICA
En este proyecto se presenta un modelo probabilstico que contribuye al estudio de la dinmica en el
comportamiento y permanencia de pacientes en una unidad de cuidados intensivos cardiolgica. El
modelo utilizado corresponde a una Cadena de Markov en tiempo discreto, que mediante la definicin de
determinados niveles de gravedad de un paciente (estados) y la obtencin de las correspondientes
probabilidades de transicin entre un nivel de gravedad y otro, permite predecir los tiempos de
permanencia.
Los diferentes estados empleados se basan en la construccin de un nuevo score creado para este
propsito. Se muestran los detalles de la metodologa adoptada y los principales resultados alcanzados
en la aplicacin del modelo empleado.



NOTA: AQUI dejo el link para que todos puedan leer este interesante articulo sobre las aplicaciones de
las cadenas de markov.

http://www.scielo.cl/pdf/ingeniare/v14n2/art09.pdf



Aplicaciones

En su afn por encontrar nuevas formas de energa el hombre a explorado muchos
campos, as defini la energa elica, molecular, hidrulica, solar, entre otras. La base de
esta aplicacin se utiliza en encontrar la velocidad del viento en intervalos de tiempos
pequeos e intervalos muy pequeos, es decir en t de una hora (intervalos pequeos) y
de minutos (intervalos muy pequeos). Se han hecho muchos estudio acerca del
comportamiento del viento, ya que es de vital importancia para el manejo de las turbinas
en estas centrales, para disminuir el voltaje y frecuencia en la maquina. El objetivo de
este algoritmo adems del control de las turbinas de viento en los regmenes
operacionales es el minimizar los efectos en los sistemas de poder mientras se optimiza
la produccin de energa, tambin se debe minimizar los cambios de
conexin/desconexin de los generadores, para obtener tiempos estndares de
produccin.


Este estudio se puede llevar por dos formas:

1. Prediccin del clima por agencias meteorolgicas
2. Redes artificiales, modelos estadsticos

Se ha desarrollado un nuevo modelo para la prediccin de la velocidad del viento a muy corto plazo ANN,
utilizando la cadena de marcok (MC) por sus siglas en ingles, y regresin lineal. El modelo propuesto
utiliza ANN para la prediccin de la velocidad principal del viento. Entonces, MC de segundo orden se
aplica para calcular la matriz de probabilidades de transicin (TPM, por sus siglas en ingles) de los
valores previstos. Finalmente, la regresin lineal entre las predicciones primarias y los valores de
probabilidad obtenidas por el MC se utilizan hacia la prediccin final. Estos valores se utilizan para
modificar los valores previstos en el modelo de datos del viento a largo plazo.Para ms informacin, les
recomiendo leer el siguiente articulo

science.pdf
- Details
- Download
- 919 KB


EJEMPLOS

1. Ejemplo :
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada
semana. Sean D1, D2, las demandas de esta cmara durante la primera, segunda, , semana,
respectivamente. Se supone que las Di son variables aleatorias independientes e idnticamente
distribuidas que tienen una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen al final de la semana
uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en la
noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace
un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica ( s,
S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay
cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o
ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocstico de la forma que
se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el
nmero posible de cmaras en inventario al final de la semana.

Observe que {Xi}, en donde Xi es el nmero de cmaras en el almacn al final de la semana t ( antes de
recibir el pedido }), es una cadena de Markov. Se ver ahora cmo obtener las probabilidades de
transicin (de un paso), es decir, los elementos de la matriz de transicin ( de un paso).

Suponiendo que cada Dt tiene una distribucin Poisson con parmetro .

Para obtener es necesario evaluar . Si , Entonces . Por lo tanto, significa que la demanda durante la
semana fue de tres o ms cmaras. As, , la probabilidad de que una variable aleatoria Poisson con
parmetro tome el valor de 3 o ms; y se puede obtener de una manera parecida. Si , entonces . Para
obtener , la demanda durante la semana debe ser 1 o ms. Por esto, . Para encontrar , observe que si .
En consecuencia, si , entonces la demanda durante la semana tiene que ser exactamente 1. por ende, .
Los elementos restantes se obtienen en forma similar, lo que lleva a la siguiente a la siguiente matriz de
transicin ( de un paso):
Ms y Ms Aplicaciones De Las Cadenas De Markov
Crees que los ingenieros industriales son los que aplican el
conocimiento de las cadenas de markov nicamente?
Si pensaste que solo los ingenieros industriales son los que
aplican las cadenas de markov en su campo laboral, estas errado
ya que las cadenas de markov tiene mltiples aplicaciones como
las que vienen a contuniacion:

Fsica: Las cadenas de Markov son usadas en muchos problemas
de la termodinmica y la fsica estadstica. Ejemplos importantes se
pueden encontrar enla Cadenade Ehrenfest o el modelo de difusin
de Laplace.


Meteorologa: Si consideramos el clima de una regin a travs de
distintos das, es claro que el estado actual solo depende del ltimo
estado y no de toda la historia en s, de modo que se pueden usar
cadenas de Markov para formular modelos climatolgicos bsicos.
Modelos epidemiolgicos Una importante aplicacin de las cadenas
de Markov se encuentra en el proceso Galton-Watson. ste es un
proceso de ramificacin que se puede usar, entre otras cosas, para
modelar el desarrollo de una epidemia
Internet: El pagerank de una pgina web (usado por Google en sus
motores de bsqueda) se define a travs de una cadena de Markov,
donde la posicin que tendr una pgina en el buscador ser
determinada por su peso en la distribucin estacionaria de la
cadena.
Simulacin: Las cadenas de Markov son utilizadas para proveer una
solucin analtica a ciertos problemas de simulacin tales como el
Modelo M/M/1.
Juegos de azar: Son muchos los juegos de azar que se pueden
modelar a travs de una cadena de Markov. El modelo de la ruina
del jugador, que establece la probabilidad de que una persona que
apuesta en un juego de azar finalmente termine sin dinero, es una
de las aplicaciones de las cadenas de Markov en este rubro.
Economa y Finanzas: Las cadenas de Markov se pueden utilizar en
modelos simples de valuacin de opciones para determinar cundo
existe oportunidad de arbitraje, as como en el modelo de colapsos
de una bolsa de valores o para determinar la volatilidad de precios.
En los negocios, las cadenas de Mrkov se han utilizado para
analizar los patrones de compra de los deudores morosos, para
planear las necesidades de personal y para analizar el reemplazo de
equipo.
Msica; Diversos algoritmos de composicin musical usan cadenas
de Markov, por ejemplo el software Csound o Max


Probabilidad de transicin estacionaria de n pasos.

Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas probabilidades de
transicin de n pasos :

Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n pasos, el proceso estar
en algn estado k despus de exactamente m ( menor que n) pasos. As,Es solo las probabilidad
condicional de que, si se comienza en el estado i, el proceso vaya al estado k despues de m pasos y
despus al estado j en n- m pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones

Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos se pueden obtener a
partir de las probabilidades de transicin de un paso de manera recursiva. Para n=2, estas expresiones se
vuelven :

Note que las son los elementos de la matriz P(2) , pero tambin debe de observarse que estos elementos,
se obtienen multiplicando la matriz de transicin de un paso por s misma; esto es , P(2) = P * P = P2 .

En trminos ms generales, se concluye que la matriz de probabilidades de transicin de n pasos se
puede obtener de la expresin : P(n) = P * P . P = Pn = PPn1 = Pn-1 P.

Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener calculando la n-sima
potencia de la matriz de transicin de un paso. Para valores no muy grandes de n, la matriz de transicin
de n pasos se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales
clculos resultan tediosos y, ms an, los errores de redondeo pueden causar inexactitudes.

1 Ejemplo :

Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada
semana. Sean D1, D2, las demandas de esta cmara durante la primera, segunda, , semana,
respectivamente. Se supone que las Di son variables aleatorias independientes e idnticamente
distribuidas que tienen una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen al final de la semana
uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en la
noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace
un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica ( s,
S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay
cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o
ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocstico de la forma que
se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el
nmero posible de cmaras en inventario al final de la semana.

As, dado que tiene una cmara al final de una semana, la probabilidad de que no haya cmaras en
inventario dos semanas despus es 0.283; es decir, De igual manera, dado que se tienen dos cmaras al
final de una semana, la probabilidad de que haya tres cmaras en el almacn dos semanas despus es
0.097; esto es, La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente manera :

P(4) = P4 = P(2) * P(2)

As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad de que no haya
cmaras en inventario 4 semanas ms tarde; es decir, De igual manera, dado que quedan dos cmaras
en el almacn final de una semana, se tiene una probabilidad de 0.171 de que haya tres cmaras en el
almacn 4 semanas despus; esto es,Probabilidades de transicin estacionaria de estados estables.

Teorema

Sea P la matriz de transicin de una cadena de M estados . Existe entonces un vector tal que Se
establece que para cualquier estado inicial i , . El vector a menudo se llama distribucin de estado estable,
o tambin distribucin de equilibrio para la cadena de Markov. Para encontrar la distribucin de
probabilidades de estacionario para una cadena dada cuya matriz de transicin es P, segn el teorema,
para n grande y para toda i , (1)

Como Pij (n + 1) = ( rengln i de Pn )(columna j de P), podemos escribir

(2)

Ejemplo :
Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola
1, hay una probabilidad de 90 % de que su siguiente compra se de cola 1. Si una persona compr cola 2,
hay un 80 % de probabilidades que su prxima compra sea de cola 2.

Entonces :

Al reemplazar la segunda ecuacin por la condicin ,

obtenemos el sistema

Al despejar resulta que Por lo tanto, despus de largo tiempo, hay probabilidad 2/3 de que una persona
dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2.

Tiempos de primer paso.

Con frecuencia es conveniente poder hacer afirmaciones en trminos de probabilidades sobre el nmero
de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez . este lapso se llama
tiempos de primer paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo el
nmero de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primer
paso se llama tiempo de recurrencia para el estado i.

Para ilustrar estas definiciones, reconsidrese el ejemplo siguiente :

Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada
semana. Sean D1, D2, las demandas de esta cmara durante la primera, segunda, , semana,
respectivamente. Se supone que las Di son variables aleatorias independientes e idnticamente
distribuidas que tienen una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen al final de la semana
uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en la
noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace
un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica ( s,
S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay
cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o
ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocstico de la forma que
se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el
nmero posible de cmaras en inventario al final de la semana.

Donde Xt es el nmero de cmaras en inventario al final de la semana t y se comienza con , Suponga que
ocurri lo siguiente:

En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2 semanas, el tiempo de
primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de recurrencia del estado 3 es
de 4 semanas.

En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una distribucin de
probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de
transicin del proceso. En particular, denota la probabilidad de que el tiempo de primer paso del estado i
al j sea igual a n. Se puede demostrar que estas probabilidades satisfacen las siguientes relaciones
recursivas:

Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en n pasos, de
manera recursiva, a partir de las probabilidades de transicin de un paso. En el ejemplo, la distribucin de
probabilidad de los tiempos de primer paso del estado 3 al estado 0 se obtiene como sigue:

Para i y j fijos, las son nmeros no negativos tales que

Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar se encuentra en el
estado i puede no llegar nunca al estado j . Cuando la suma es igual a 1, las pueden considerarse como
una distribucin de probabilidad para la variable aleatoria, el tiempo de primer paso.

Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea , que se define como:

entonces satisface, de manera nica, la ecuacin:

Cuando i=j, se llama tiempo esperado de recurrencia.
Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para calcular el tiempo esperado
hasta que ya no se tengan cmaras en el almacn, suponiendo que el proceso inicia cuando se tienen
tres cmaras; es decir, se puede obtener el tiempo esperado de primer paso . Como todos los estados
son recurrentes, el sistema de ecuaciones conduce a las expresiones

La solucin simultnea de este sistema es

De manera que el tiempo esperado hasta que la tienda se queda sin cmaras es de 3.50 semanas.

Caso de Aplicacin.

Aplicacin a la administracin : Planeacin de Personal.

El anlis de transicin puede ser til al planear satisfacer las necesidades de personal. Muchas firmas
emplean trabajadores de diferentes niveles de clasificacin dentro de la misma categora de trabajo. Esto
es comn para personal de confianza, oficinistas, obreros calificados, no calificados y personal
profesional. La firma debe tener el nmero de empleados en cada nivel de clasificacin para proporcionar
la oportunidad de promocin adecuada, cumplir con las habilidades necesarias para el trabajo y controlar
la nmina. Una planeacin de personal a largo plazo apropiada requiere que se considere el movimiento
de personas tanto hacia arriba en el escalafn de clasificacin como hacia afuera de la organizacin. El
anlisis de Markov puede ayudar en este esfuerzo de planeacin.

El movimiento de personal a otras clasificaciones puede considerarse como una cadena de Markov. Se
supone que hay tres clasificaciones; el grado 1 es la ms baja. Adems, los descensos se consideran
raros y se omiten. El estado salen es absorbente, el cual incluye renuncias, ceses, despidos y muertes.
Por supuesto, todos los empleados finalmente alcanzan este estado.

Las transiciones del grado 1 al grado 2 y del grado 2 al grado 3 representan promociones. Como
transiciones de probabilidad, estn controladas por la firma, puede establecerse el nivel que la firma
determine que es necesario para cumplir sus objetivos. Como ejemplo, supngase que la firma tiene en
este momento 30 empleados del 3, 90 empleados del grado 2 y 300 empleados del grado 1 y que desea
mantener este nivel de empleados durante el prximo ao. Por experiencia, se espera que salgan el 30 %
de los empleados de grado 1 al ao, el 20 % de los empleados de grado 2 y el 10 % de aquellos que
estn en el grado 3. Si la poltica es contratar slo en los niveles de clasificacin ms bajos, cuntos se
deben contratar y cuntos se deben promover el siguiente ao para mantener estables los niveles ?.

Este problema puede resolverse sin el anlisis de Markov, pero el modelo es til para ayudar a
conceptualizar el problema. Como se trata slo de un ciclo, se usa el anlisis de transicin. El anlisis
comienza con el graado ms alto. No se hacen promociones pero el 10 %, o sea, 3, sale. Todos ellos
deben de reemplazarse por promociones del grado 2. En el nivel de clasificacin, el 20 % sale y se deben
promover 3, con una prdida de 21. Esto se debe compensar por promocin del grado 1. Al pasar al
grado 1, el 30 % sale y 21 deben promoverse, lo cual una prdida total de 111. Por tanto, el siguiente ao
se deben contratar 111 empleados del nivel 1.



TIPOS DE MODELOS OCULTOS DE MARKOV HMM DISCRETOS HMM CONTINUOS HMM
SEMICONTINUOS
HMM DiscretosEn ste, las observaciones son vectores de smbolos de un alfabeto finito con M+1
elementos diferentes.
HMM ContinuosSe asume que las distribuciones de los smbolos observables son densidades de
probabilidad definidas sobre espacio de observacin continuos.
HMM Semicontinuos
Al igual que los continuos, pero con la diferencia en que las funciones bases son comunes a todo los
modelos.
Cadena de Markov
En la teora de la probabilidad, se conoce como cadena de Mrkov a un tipo especial de proceso
estocstico discreto en el que la probabilidad de que ocurra un evento depende del evento
inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el ltimo
evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento
anterior distingue a las cadenas de Mrkov de las series de eventos independientes, como tirar
una moneda al aire o un dado.
Reciben su nombre del matemtico ruso Andri Mrkov (1856-1922), que las introdujo en 1907.
1

Estos modelos muestran una estructura de dependencia simple, pero muy til en muchas
aplicaciones.
ndice
[mostrar]
Definicin formal [editar]
En matemtica se define como un proceso estocstico discreto que cumple con la propiedad de
Mrkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente
resume toda la informacin relevante para describir en probabilidad su estado futuro.
Una cadena de Mrkov es una secuencia X
1
, X
2
, X
3
,... de variables aleatorias. El rango de estas
variables, es llamado espacio estado, el valor de X
n
es el estado del proceso en el tiempo n. Si la
distribucin de probabilidad condicional de X
n+1
en estados pasados es una funcin de X
n
por s sola,
entonces:

Donde x
i
es el estado del proceso en el instante i. La identidad mostrada es la propiedad de
Mrkov.
Notacin til [editar]
Cadenas homogneas y no homogneas [editar]
- Una cadena de Mrkov se dice homognea si la probabilidad de ir del estado i al estado j
en un paso no depende del tiempo en el que se encuentra la cadena, esto es:
para todo n y para cualquier
i, j.
Si para alguna pareja de estados y para algn tiempo n la propiedad antes mencionada no
se cumple diremos que la cadena de Mrkov es no homognea.
Probabilidades de transicin y matriz de transicin [editar]
- La probabilidad de ir del estado i al estado j en n unidades de tiempo es
,
en la probabilidad de transicin en un paso se omite el superndice de modo que
queda

- Un hecho importante es que las probabilidades de transicin en n pasos
satisfacen la ecuacin de Chapman-Kolmogrov, esto es, para cualquier k tal
que 0 < k < n se cumple que

donde E denota el espacio de estados.
- Cuando la cadena de Mrkov es homognea, muchas de sus
propiedades tiles se pueden obtener a travs de su matriz de transicin,
definida entrada a entrada como
esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j en
un paso.
Del mismo modo se puede obtener la matriz de transicin en n pasos como:
, donde .
Vector de probabilidad invariante [editar]
- Se define la distribucin inicial .
- Diremos que un vector de probabilidad (finito o infinito numerable) es
invariante para una cadena de Mrkov si

donde P denota la matriz de transicin de la cadena de Mrkov. Al vector
de probabilidad invariante tambin se le llama distribucin
estacionaria o distribucin de equilibrio.
Clases de comunicacin [editar]
- Para dos estados i,j en el espacio de estados E, diremos que de i se
accede a j (y se denotar ) si
para algn n,
si y entonces diremos que i comunica con j y se
denotar ij.
La propiedad "" es una relacin de equivalencia. Esta relacin
induce una particin en el espacio de estados. A estas clases de
equivalencia las llamaremos clases de comunicacin.
Dado un estado x, denotaremos a su clase de comunicacin
como C(x).
- Diremos que un subconjunto C del espacio de estados (al que
denotaremos E) es cerrado si ningn estado de E-C puede ser
accedido desde un estado de C, es decir, si para
todo xC, para todo yE-C y para todo natural m>0.
Tiempos de entrada [editar]
Si , definimos el primer tiempo de entrada a C como
la variable aleatoria

esto es, denota la primera vez que la cadena entra al conjunto
de estados C.
Recurrencia [editar]
En una cadena de Mrkov con espacio de estados E, si xE se
define
y
diremos que:
- x es estado recurrente si .
- x es transitorio si
- x es absorbente si
- Una clase de comunicacin es clase recurrente si todos sus
estados son recurrentes.
Sea , si xEdiremos que:
- x es cero-recurrente si
- x es positivo-recurrente si
El real se interpreta como el tiempo promedio de recurrencia.
Periodicidad [editar]
- El periodo de un estado xE se define como:

donde denota el mximo comn divisor.
- Si d(x)=1 diremos que x es un estado aperidico.
- Una cadena de Mrkov se dice aperidica si todos sus
estados son aperidicos.
Tipos de cadenas de Mrkov [editar]
Cadenas irreducibles [editar]
Una cadena de Mrkov se dice irreducible si se cumple
cualquiera de las siguientes condiciones (equivalentes entre s):
1. Desde cualquier estado de E se puede acceder a
cualquier otro.
2. Todos los estados se comunican entre s.
3. C(x)=E para algn xE.
4. C(x)=E para todo xE.
5. El nico conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras
absorbentes son ejemplos de cadenas de Mrkov irreducibles.
Cadenas positivo-recurrentes [editar]
Una cadena de Mrkov se dice positivo-recurrente si todos sus
estados son positivo-recurrentes. Si la cadena es adems
irreducible es posible demostrar que existe un nico vector de
probabilidad invariante y est dado por:

Cadenas regulares [editar]
Una cadena de Mrkov se
dice regular (tambin primitiva o ergdica) si existe alguna
potencia positiva de la matriz de transicin cuyas entradas
sean todas estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la
matriz de transicin de la cadena se tiene que:

donde W es una matriz con todos sus renglones
iguales a un mismo vector de probabilidad w, que
resulta ser el vector de probabilidad invariante de la
cadena. En el caso de cadenas regulares, ste vector
invariante es nico.
Cadenas absorbentes [editar]
Una cadena de Mrkov con espacio de estados finito
se dice absorbente si se cumplen las dos condiciones
siguientes:
1. La cadena tiene al menos un estado
absorbente.
2. De cualquier estado no absorbente se accede
a algn estado absorbente.
Si denotamos como A al conjunto de todos los estados
absorbentes y a su complemento como D, tenemos los
siguientes resultados:
- Su matriz de transicin siempre se puede llevar a
una de la forma

donde la submatriz Q corresponde a los estados
del conjunto D, I es la matriz identidad, 0 es la
matriz nula y R alguna submatriz.
- , esto es, no
importa en donde se encuentre la cadena,
eventualmente terminar en un estado
absorbente.
Cadenas de Mrkov en tiempo
continuo [editar]
Si en lugar de considerar una secuencia
discreta X
1
, X
2
,..., X
i
,.. con i indexado en el
conjunto de nmeros naturales, se consideran
las variables aleatorias X
t
con t que vara en un
intervalo continuo del conjunto de nmeros
reales, tendremos una cadena en tiempo continuo.
Para este tipo de cadenas en tiempo continuo
la propiedad de Mrkov se expresa de la siguiente
manera:
tal
que
Para una cadena de Mrkov continua con un
nmero finito de estados puede definirse una
matriz estocstica dada por:

La cadena se denomina homognea
si . Para una
cadena de Mrkov en tiempo continuo homognea
y con un nmero finito de estados puede definirse
el llamado generador infinitesimal como:
2


Y puede demostrarse que la matriz estocstica
viene dada por:

Aplicaciones [editar]
Fsica [editar]
Las cadenas de Mrkov son usadas en muchos
problemas de la termodinmica y la fsica
estadstica. Ejemplos importantes se pueden
encontrar en la Cadena de Ehrenfest o el modelo
de difusin de Laplace.
Meteorologa [editar]
Si consideramos el clima de una regin a travs
de distintos das, es claro que el estado actual
solo depende del ltimo estado y no de toda la
historia en s, de modo que se pueden usar
cadenas de Mrkov para formular modelos
climatolgicos bsicos.
Modelos epidemiolgicos [editar]
Una importante aplicacin de las cadenas de
Mrkov se encuentra en el proceso Galton-
Watson. ste es un proceso de ramificacin que
se puede usar, entre otras cosas, para modelar el
desarrollo de una epidemia (vase modelaje
matemtico de epidemias).
Internet [editar]
El pagerank de una pgina web (usado
por Google en sus motores de bsqueda) se
define a travs de una cadena de Mrkov, donde
la posicin que tendr una pgina en el buscador
ser determinada por su peso en la distribucin
estacionaria de la cadena.
Simulacin [editar]
Las cadenas de Mrkov son utilizadas para
proveer una solucin analtica a ciertos problemas
de simulacin tales como el Modelo M/M/1.
3

Juegos de azar [editar]
Son muchos los juegos de azar que se pueden
modelar a travs de una cadena de Mrkov. El
modelo de la ruina del jugador, que establece la
probabilidad de que una persona que apuesta en
un juego de azar finalmente termine sin dinero, es
una de las aplicaciones de las cadenas de Mrkov
en este rubro.
Economa y Finanzas [editar]
Las cadenas de Mrkov se pueden utilizar en
modelos simples de valuacin de opciones para
determinar cundo existe oportunidad dearbitraje,
as como en el modelo de colapsos de una bolsa
de valores o para determinar la volatilidad de
precios. En los negocios, las cadenas de Mrkov
se han utilizado para analizar los patrones de
compra de los deudores morosos, para planear
las necesidades depersonal y para analizar el
reemplazo de equipo.
Gentica [editar]
Se emplean cadenas de Mrkov en teora de
gentica de poblaciones, para describir el cambio
de frecuencias gnicas en una poblacin pequea
con generaciones discretas, sometida a deriva
gentica. Ha sido empleada en la construccin del
modelo de difusin de Mot Kimura.
Msica [editar]
Diversos algoritmos de composicin musical usan
cadenas de Mrkov, por ejemplo el
software Csound o Max