1

PROCESOS DE MARKOV
Universidad de las Fuerzas Armadas ESPE Extensin Latacunga
Departamento de Elctrica y Electrnica
Ingeniera Electrnica e Instrumentacin
Martnez Moposita Danny Mauricio
fuerza de la dependencia en los diferentes retardos decline a
dannyoso_dm94@hotmail.com
Resumen medida que el retardo aumenta.
Son tiles para estudiar la evolucin de sistemas a lo largo de Frecuentemente el trmino cadena de Mrkov se usa para dar a
ensayos repetidos, que a menudo, son perodos sucesivos donde entender que un proceso de Mrkov tiene un espacio de
el estado del sistema, en cualquier perodo particular, no puede estados discreto (infinito o numerable). Usualmente una cadena
determinarse con certeza son llamados tambin markovianos. de Mrkov sera definida para un conjunto discreto de tiempos
Es til para describir la probabilidad de que una mquina siga (es decir, una cadena de Mrkov de tiempo discreto), aunque
funcionando o se estropeara en el siguiente periodo y tambin algunos autores usan la misma terminologa donde "tiempo"
de que un consumidor que compra la marca A en un periodo puede tomar valores continuos
compre la marca B en el siguiente perodo.

Abstract II. DEFINICION

They are useful for studying the evolution of systems
throughout repeated trials, which are often successive periods
where the state of the system, at any particular period, can not
be determined with certainty are also called Markovians. It is
useful to describe the probability that a machine will continue
to function or will fail in the next period and also that a
consumer who buys the A mark in a period buys the B mark in
the next period.
I. INTRODUCCIN
En la teora de la probabilidad y en estadstica, un proceso de
Mrkov, llamado as por el matemtico ruso Andri Mrkov, Caractersticas de los Procesos de Markov de Primer
es un fenmeno aleatorio dependiente del tiempo para el cual
se cumple una propiedad especfica: la propiedad de Mrkov.
En una descripcin comn, un proceso estocstico con
la propiedad de Mrkov, o sin memoria, es uno para el cual
la probabilidad condicional sobre el estado presente, futuro y
pasado del sistema son independientes. Los procesos de
Mrkov surgen en probabilidad y en estadstica en una de dos
maneras:
i) Un proceso estocstico, que se define a travs de un
argumento separado, puede demostrarse (matemticamente)
que tiene la propiedad de Mrkov y como consecuencia tiene
las propiedades que se pueden deducir de sta para todos los
procesos de Mrkov.
Principio de Mrkov: Cuando una probabilidad condicional
depende nicamente del suceso inmediatamente anterior,
cumple con el Principio de Mrkov de Primer Orden, es
decir. pij P(X (t + 1) = j X (0) = K , X (1) = K ,....., X (t) = i)
= P(X (t + 1) = j X (t) = i) = 0 1 Definiciones en los Procesos
de Mrkov de Primer Orden: Estados: Las condiciones en las
cuales se encuentra un ente sucesos posibles. Ensayos: Las
ocurrencias repetidas de un evento que se estudia.
Probabilidad de Transicin: La probabilidad de pasar de un
estado actual al siguiente en un perodo o tiempo, y se denota
por pij (la probabilidad de pasar del estado i al estado j en
una transicin o perodo).
Orden:
Se pueden usar como modelo de un proceso fsico
econmico que tenga las siguientes propiedades:
a) Que la probabilidad cumpla con el principio de Markov.
b) Existencia de un nmero finito de estados.
c) Las pij son constante con respecto al tiempo perodo.
d) Ensayos en perodos iguales. Si un suceso depende de otro
adems del inmediatamente anterior, este es un proceso de
Markov de mayor orden. Por ejemplo, Un proceso de
segundo orden describe un proceso en el cual el suceso
depende de los dos sucesos anteriores. Los procesos de
Markov tambin se les llama Cadenas de Markov.

ii) De ms importancia prctica es el uso de la suposicin que Notaciones que utilizaremos:

la propiedad de Mrkov es vlida para un proceso aleatorio con
el fin de construir, ab initio, un modelo estocstico para este
proceso. En trminos de modelado, suponer que la propiedad
de Mrkov es vlida es una de un limitado nmero de formas
sencillas de introducir dependencia estadstica en un modelo
para un proceso estocstico, de tal manera que permita que la
pij = probabilidad de transicin en un perodo.
P = [pij]nxn matriz de transicin formada por los valores de
pij , donde cada fila representa el estado inicial donde se parte
y las columna el estado al que se ira en un perodo. ( ( ) (0) )
( ) p P X k j X i k ij = = = representa la probabilidad de ir del
 2

estado i al estado j en k perodos. P (k)=[ (k ) pij ]nxn la

matriz de transicin de k perodos.
Si(t) = probabilidad de encontrarse en el estado i en el
perodo t.
S(t) =(S1(t) , S2(t) , . . . . , Sn(t)) vector de probabilidad de
estado en el perodo t. Para n estados.
luego es regular (y por lo tanto ergdica)
Los sucesos que cumplan con un proceso de Markov, se
pueden representar por medio de un esquema donde los
nodos indique los estados y arcos dirigidos de nodo a nodo
con un nmero que representa la probabilidad de transicin
de ir de un estado a otro, por medio de una matriz de
transicin.

EJEMPLO:
Esta matriz repite continuamente este patrn para todas las
potencias de P; por consiguiente, no es regular ni tampoco
ergdica.

Propiedades de las Cadenas de Markov.

1.- Las probabilidades de estados deben ser igual a uno, es decir.

S1(t)+S2(t)+ . . .. , +Sn(t) = 1 para n estados.
2.- Para cada fila de la matriz P se cumple: pi1+pi2+...... +pin =
1 para todo i = 1, 2, ..., n
3.- Las transiciones de un perodo al siguiente se obtienen de la
siguiente ecuacin: S(t) = S(t-1). P por lo tanto S(t) = S (0). Pt
4.- Si S(t+1) = S(t) para t K, Entonces se dice que el sistema
se estabiliza que los estados son estacionarios estables. Esto
implica que S = S.P, es decir. El vector de estado estacionario
sigue siendo igual despus de la transicin t.

Ejemplo para calcular el vector de equilibrio o de estado

estacionario. Sea:

El proceso se estabiliza en el perodo 6 Otra forma:

Se calcula el siguiente sistema

Cadenas de Markov Ergdicos o cadenas irreductibles.

Describen matemticamente un proceso en el cual es posible
avanzar desde un estado hasta cualquier otro estado. No es
necesario que esto sea posible en un paso. Una cadena Y queda
Ergdicos es regular: Si para alguna potencia de la matriz de
transicin tiene nicamente elementos positivos de
probabilidad (diferente de cero).

EJEMPLO:
cuya solucin es: S1 = 2/3 y S2 = 1/3 Observacin: Las
ecuaciones que se obtienen del desarrollo de S =S. P Siempre
hay una ecuacin que es combinacin lineal de las dems

ecuaciones, por lo tanto se omite para que el sistema quede con
n ecuaciones y n variables.
Estados Absorbentes:
Es aquel estado que tiene una probabilidad de ser abandonado
igual a cero, es decir. Una vez en l es imposible dejarlo. Esto
quiere decir: Si i es un estado absorbente si se cumple que pij
=0 si i j y pii =1.
Una cadena de Markov es Absorbente:
Si se cumple:
a) Tiene por lo menos un estado Absorbente.
b) Es posible ir de cada estado no absorbente hasta por lo menos
un estado absorbente. No es necesario efectuar esta transicin
en un paso; ni es necesario tener la posibilidad de alcanzar cada
estado absorbente a partir de cualquier estado no absorbente.
Anlisis de las cadenas de Markov Absorbentes.
A partir del anlisis de estas cadenas, es posible determinar los
siguientes datos:
1) El nmero esperado de pasos antes de que el proceso sea
absorbido.
2) El nmero esperado de veces que el proceso est en cualquier
estado dado no absorbente.
3) La probabilidad de absorcin por cualquier estado
absorbente dado.
El primer paso del anlisis es construir una submatriz H de P
formada de estados no absorbentes a estados no absorbentes.
Luego H da las probabilidades de ir desde cualquier estado no
absorbente hasta otro estado no absorbente en un paso
exactamente, H 2 da las probabilidades de ir desde cualquier
estado no absorbente hasta otro estado no absorbente en dos
pasos exactamente. H 3 da informacin similar para tres pasos,
etc. Por lo tanto, H n da esta misma informacin para n pasos.
Para hallar el nmero esperado de pasos antes que el proceso
sea absorbido, consiste en calcular el nmero esperado de veces
que el proceso puede estar en cada estado no absorbente y
sumarlos. Esto totalizara el nmero de pasos antes de que el
proceso fuera absorbido y por consiguiente el nmero esperado
de pasos hacia la absorcin. Luego: I+H+H2+H3+ .. = (I-H)-
1 =Q Por consiguiente Q representa el nmero esperado de
perodos que el sistema estar en cada estado no absorbente
antes de la absorcin, por lo tanto la suma de cada fila de Q
representa el promedio de perodos que transcurren antes de ir
a un estado absorbente.
Para hallar la probabilidad de absorcin por cualquier estado
absorbente dado, se emplea una lgica similar en el anlisis. Se
construye una submatriz G de P formada de estados no
absorbente a estados absorbentes y representa la probabilidad
de ir de un estado no absorbente a un estado absorbente en un
paso exactamente, H.G representa la probabilidad de ir de un
estado no absorbente a un estado absorbente en dos pasos
exactamente y as sucesivamente. Por lo tanto G+H.G+H2
.G+..... =( I+H+H2+H3+ ..).G =(I-H)-1.G = Q.G =R, Y esta
matriz representa la proporcin probabilidad en que un estado
no absorbente pasa a un estado absorbente.
3
Nmero de pasos para alcanzar por primera vez un
estado determinado en cadenas no absorbentes ( Tiempo
de la primera transicin)
Si definimos a fij como el promedio de perodos que
transcurre antes de cambiar de un estado i al estado j por
primera vez. Se tiene que = + k j ij ik kj f 1 p . f y adems
i ii S f 1 = Otro mtodo: Consiste en transformar en estado
absorbente el estado al cual queremos ir por primera vez, por
ejemplo si j es el estado que queremos llegar por primera vez,
para ello la matriz P se modifica de manera que el estado j
aparezca como estado absorbente y obtener la matriz Q de
esta transformacin y por lo tanto iA = qiA f donde A
representa el estado absorbente.
Valor Econmico Esperado en un Proceso cadena de
Markov.
En un proceso de Markov estar en cada estado genera un
costo beneficio, por lo tanto el valor econmico esperado
se define: = = i i ii i c S f c E(C) . ,es decir, el valor
econmico por la probabilidad del sistema estabilizado.
III. CONCLUSIONES
Para concluir podemos decir que las cadenas de Markov son
una herramienta para analizar el comportamiento y el gobierno
de determinados tipos de procesos estocsticos, esto es,
procesos que evolucionan de forma no determinstica a lo largo
del tiempo en torno a un conjunto de estados.
Que para su elaboracin requieren del conocimiento de diversos
elementos como son el estado y la matriz de transicin.
Dichos elementos fueron descubiertos por su creador Markov,
el cual realiz una secuencia de experimentos conectados en
cadena y la necesidad de descubrir matemticamente los
fenmenos fsicos
Este mtodo es muy importante, ya que ha comenzado a usarse
en los ltimos aos como instrumento de investigaciones de
mercadotecnia, para examinar y pronosticar el comportamiento
de los clientes desde el punto de vista de su lealtad a una marca
y de sus formas de cambio a otras marcas, la aplicacin de esta
tcnica, ya no solo se limita a la mercadotecnia sino que su
campo de accin se ha podido aplicar en diversos campos.
Esperemos que este artculo sea de gran utilidad y que los
conceptos contenidos queden explicados de manera clara.
V1. BIBLIOGRAFIA
Prez, J. (2011, 3 de Junio). Andrei Markov.
Recuperado de http://investigacindeoperaciones.html
Morales, L. (2011, 2 de Junio). Cadenas de Markov.
Recuperado de http://ingindustrialio2.-
:blogspot.mx/2011/06/cadenas-de-markov.html