Universidad Nacional Federico Villareal

FIEI - Facultad de Ingeniera Electrnica e Informtica

Escuela Pre Profesional de Ingeniera Informtica

2015 Ciclo IX

Ao de la Promocin de la Industria
Responsable y del Compromiso Climtico

PROFESOR:
DR. CIRO RODRIGUEZ RODRIGUEZ
ALUMNOS:
MENDOZA GUERREROS BRYAN.
PLASENCIA MOSTACERO PAUL.
UCHIMA RIVAS FRANCO ANTONIO.
FLORES RICARDO.

FARROAY ARTEAGA MIGUEL

ANGEL.
GUERRA VILLEGAS EDER.
MERINO

CADENAS DE MARKOV

SIMULACION DE SISTEMAS INFORMATICOS

CARPETA DE TRABAJO

PROCESO ESTOCSTICO
Una sucesin de observaciones x1, x2, se denomina proceso estocstico:
-

Si los valores de estas observaciones no se pueden predecir

exactamente.
Se pueden especificar las probabilidades para los distintos valores
posibles en cualquier instante de tiempo.

X1: variable aleatoria que define el estado inicial del proceso.

Xn: variable aleatoria que define el estado del proceso en el instante de
tiempo n.
El espacio paramtrico T de un proceso estocstico es el conjunto de todos
los posibles valores que puede tomar el tiempo.
T = {t/t T}
El espacio de estados S de un proceso estocstico es el conjunto de todos
los posibles valores que puede tomar dicho proceso:
S = {Xt|t T}

SISTEMAS DE MARKOV
Un sistema de Markov (o proceso de Markov o cadena de Markov) es un
proceso estocstico que puede ser en algunos estados (enumerados), y puede
pasar de un estado a otro durante cada instante de acuerdo a probabilidades
determinadas.
Si un sistema de Markov est en estado i, hay una determinada
probabilidad pij, de ir a estado j el prximo paso, y pij es llamado
la probabilidad de transicin.
Un sistema de Markov puede ser ilustrado por significados de un diagrama de
transicin de estados, que muestra todos los estados y las probabilidades de
transicin. (Ver el ejemplo)
La matriz P cuya ijo entrada pij se llama la matriz de transicin asociada con el
sistema. Las entradas en cada fila suman en total 1. Por lo tanto, para este
caso, una a 2 matriz de transicin P podra ser representado en la siguiente
figura.

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

SIMULACION DE SISTEMAS INFORMATICOS

CARPETA DE TRABAJO

Ejemplo
DIAGRAMA DE TRANSICIN:
(Falta de flechas indica la probabilidad cero.)

MATRIZ:

DIAGRAMA DE RBOL
Ejemplo: Despus de muchos estudios sobre el clima, hemos visto que si un
da est soleado, en el 70% de los casos el da siguiente continua soleado y en
el 30% se pone nublado. En trminos de probabilidad, lo que nos sirve
entonces para predecir el clima, vemos que la probabilidad de que contine
soleado el da siguiente es 0.7 y la probabilidad de que al da siguiente est
nublado es 0.3. Tambin nos fijamos en que si un da est nublado, la
probabilidad de que est soleado el da siguiente es 0.6 y la probabilidad de

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

SIMULACION DE SISTEMAS INFORMATICOS

CARPETA DE TRABAJO

que se ponga nublado es 0.4. Hoy est nublado, cul es la probabilidad de que
maana contine nublado? cul es la probabilidad de que est nublado
pasado maana?
Podemos ilustrar esta situacin por medio de un diagrama de rbol:

Con la ayuda de la Figura 1 podemos predecir qu ocurrir maana si sabemos

que hoy est nublado. Vemos que la probabilidad de que maana contine
nublado es 0.4, es decir, si hiciramos esta prediccin muchas veces
estaramos en lo correcto cerca del 40% de las veces. Para conocer la
probabilidad de que est nublado pasado maana buscamos en las hojas del
rbol correspondientes al Tiempo pasado maana los lugares donde dice
nublado. Hay dos hojas donde esto ocurre. Ahora lo que queda es determinar
cmo desde el principio, desde la raz del rbol, podemos llegar all.
Si hoy est nublado, para que pasado maana est nublado, podramos tener
un da de maana soleado o nublado. As tenemos las siguientes secuencias en
orden de (hoy, maana, pasado maana): (nublado, soleado, nublado) o
(nublado, nublado, nublado) donde pasado maana es nublado. Estas
secuencias son mutuamente excluyentes, corresponden a caminos distintos en
el rbol, as tenemos que:
P (pasado maana nublado | hoy nublado)
= P ((nublado, soleado, nublado) o (nublado, nublado, nublado))
= P (nublado, soleado, nublado) + P (nublado, nublado, nublado) =
(0.6*0.3) + (0.4 *0.4) = 0.34.
Este resultado se obtuvo multiplicando las probabilidades condicionales a lo
largo de los caminos desde hoy nublado hasta pasado maana nublado. No es
necesario que seamos tan especficos en trminos de hoy, maana o pasado
maana, podemos darnos cuenta que lo realmente importante es el nmero de
das que pasa entre una prediccin y otra.

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

SIMULACION DE SISTEMAS INFORMATICOS

CARPETA DE TRABAJO

DISTRIBUCIN DE VECTORES Y DE LOS PODERES DE LA MATRIZ DE

TRANSICIN
Un vector distribucin es un vector regln no negativo con una entrada para
cada estado del sistema. Las entradas pueden representar el nmero de
individuos en cada estado del sistema.
Un vector probabilidad es un vector en la que las entradas son no negativas
y llegan hasta 1. Las entradas en un vector probabilidad pueden representar
las probabilidades de encontrar un sistema de cada uno de los estados.
Si v es el vector distribucin inicial y P es la matriz de transicin de un sistema
de Markov, entonces la distribucin de vectores a partir del paso 1 es el
producto matriz, vP.
Distribucin despus del 1 paso: vP
La distribucin un paso ms adelante, obtenido de nuevo a travs de
multiplicacin por P, es dado por (vP)P = vP2.
Distribucin despus del paso 2: vP2
Del mismo modo, la distribucin despus del paso n se puede obtener
multiplicando v por P a la n veces.
Distribucin despus de n pasos: vPn
P2 es la matriz de transicin 2-etapas del sistema de Markov. Del mismo
modo, P3 es la matriz de transicin 3-etapas, y P n es la matriz n-etapas de
transicin. Esto significa que la ij o entrada de Pn es la probabilidad de que el
sistema pasar de estado i a estado j en n pasos.
Ejemplo 1
Sea
0.
0.8 0
2
P
=

0.
4

0.
6

0.
0.5 0
5
Y sea v = [ 100 200 300 ] una distribucin inicial. A continuacin, la
distribucin despus de un paso se expresa por

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

SIMULACION DE SISTEMAS INFORMATICOS

CARPETA DE TRABAJO

0. 0.
0
2 8
vP = [ 100 200
300 ]

0.
0.
0
4
6
0. 0.
0
5 5

= [ 250 230
120 ]

La distribucin un paso ms adelante se expresa por

vP2 = (vP)P
0. 0.
0
2 8
= [ 250 230
120 ]

0.
0.
0
4
6
0. 0.
0
5 5

= [ 202 260
138 ]
Para obtener la matriz 2-pasos de transicin, calculamos:

P2
=

0. 0.
0
2 8
0.3 0.1
0. 6 0.
6
0
4
6
0.3 0.6
0. 80. 2
0
5 5
0.3 0.4

0.
2
0.4
80.
4
0
0.
5
0.3

0.
0
8
0

0.
6

0.
0
5

As, por ejemplo, la probabilidad de pasar del estado 3 al estado 1 en dos pasos
viene dada por la [3,1] entrada en P2, es decir 0.3.
Ejemplo 2:

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

SIMULACION DE SISTEMAS INFORMATICOS

CARPETA DE TRABAJO

la compaa K, el fabricante de un cereal para el desayuno, tiene un 25% del

mercado actualmente. Datos del ao anterior indican que el 88% de los
clientes de K permanecan fieles ese ao, pero un 12% cambiaron a la
competencia. Adems, el 85% de los clientes de la competencia le
permanecan fieles a ella, pero 15% de los clientes de la competencia
cambiaron a K. Asumiendo que estas tendencias continen determine cul es
la parte que K aprovecha del mercado?:
a. En 2 aos.
b. En el largo plazo.
Esta situacin es un ejemplo de un problema de cambio de marcas que sucede
muy a menudo que se presenta en la venta de bienes de consumo.
Para resolver este problema hacemos uso de cadenas de Markov o procesos de
Markov. El procedimiento se da a continuacin.
Procedimiento de solucin:
Observe que, cada ao, un cliente puede estar comprando cereal de K o de la
competencia. Podemos construir un diagrama como el mostrado abajo donde
los dos crculos representan a los dos estados en que un cliente puede estar y
los arcos representan la probabilidad de que un cliente haga un cambio cada
ao entre los estados. Note que los arcos curvos indican una "transicin" de un
estado al mismo estado. Este diagrama es conocido como el diagrama de
estado de transicin (notar que todos los arcos en ese diagrama son arcos
dirigidos).

Dado ese diagrama nosotros podemos construir la matriz de la transicin

(normalmente denotada por el smbolo P) la qu nos dice la probabilidad de
hacer una transicin de un estado a otro estado. Sea:
Estado 1 = cliente que compra cereal de K y
Estado 2 = cliente que compra cereal de la competencia
Tenemos as la matriz de transicin P para este problema, dada por:

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

SIMULACION DE SISTEMAS INFORMATICOS

Del
estado

1
2

CARPETA DE TRABAJO

Para estado
1
2
0.88
0.12
0.15
0.85

Note aqu que la suma de los elementos en cada fila de la matriz de la

transicin es uno.
Por datos de este ao sabemos que actualmente K tiene un 25% del mercado.
Tenemos que la fila de la matriz que representa el estado inicial del sistema
dada por:
Estado
1
2
0.25
0.75
Normalmente denotamos esta fila de la matriz por s1 indicando el estado del
sistema en el primer periodo (aos en este ejemplo en particular). Ahora la
teora de Markov nos dice que, en periodo (ao) t, el estado del sistema est
dado por el st de la fila de la matriz, donde:
st = st-1(P) =st-2(P)(P) = ... = s1(P)t-1
Tenemos que tener cuidado aqu al hacer la multiplicacin de la matriz ya que
el orden de clculo es importante (i.e. st-1(P) no es igual a (P)st-1 en general).
Para encontrar st nosotros podramos intentar hallar P directamente para la
potencia t-1 pero, en la prctica, es mucho ms fcil de calcular el estado del
sistema en cada sucesivo ao 1,2,3 ,..., t.
Nosotros ya sabemos el estado del sistema en el ao 1 (s1) tal que el estado
del sistema en el ao dos (s2) est dado por:
s2 = s1P
= [0.25,0.75] |0.88 0.12 |
|0.15 0.85 |
= [(0.25)(0.88) + (0.75)(0.15), (0.25)(0.12) + (0.75)(0.85)]
= [0.3325, 0.6675]
Note que este resultado tiene sentido intuitivo, por ejemplo: del 25%
comprando actualmente al cereal de K, 88% continan hacindolo, aunque del
75% comprando el cereal del competidor 15% cambia a comprar cereal de K dando un (fraccin) total de (0.25)(0.88) + (0.75)(0.15) = 0.3325 comprando
cereal de K.
PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

SIMULACION DE SISTEMAS INFORMATICOS

CARPETA DE TRABAJO

De lo anterior, en el ao dos 33.25% de las personas estn en estado 1, es

decir, est comprando cereal de K. Note aqu que como un chequeo numrico,
los elementos de st deben sumar siempre uno.
En el ao tres el estado del sistema se da por:
s3 = s2P
= [0.3325, 0.6675] |0.88 0.12 |
|0.15 0.85 |
= [0.392725, 0.607275]
Por lo tanto en el ao tres 39.2725% de las personas estn comprando al
cereal de K.
Recalcar que est pendiente la cuestin hecha sobre la porcin que K comparte
del mercado en el largo plazo. Esto implica que necesitamos calcular st cuando
t se hace muy grande (se acerca al infinito).
La idea de la largo plazo es basada en la suposicin de que, en el futuro, el
sistema alcance un "equilibrio" (a menudo llamado el "estado sustentable") en
el sentido de que el st = st-1. Esto no quiere decir que las transiciones entre
estados no tengan lugar, suceden, pero ellos tienden "al equilibrio global" tal
que el nmero en cada estado permanece el mismo.
Hay dos enfoques bsicos para calcular el estado sustentable:
Computacional: - encontrar el estado sustentable calculando st para t=1,2,3,...
y se detiene cuando st-1 y st son aproximadamente el mismo. Esto es
obviamente muy fcil para una computadora y este es el enfoque usado por un
paquete computacional.
Algebraico: - para evitar clculos aritmticos largos necesarios para calcular st
para t=1,2,3,... tenemos un atajo algebraico que puede usarse. Recalcar que
en el estado sustentable st = st-1 (igual a [x1,x2] para el ejemplo considerado
anteriormente). Entonces como st = st-1P tenemos:
[x1,x2] = [x1,x2] | 0.88 0.12 |
| 0.15 0.85 |
(Y tambin notar que x1 + x2 = 1). De esto tenemos tres ecuaciones que
podemos resolver.
Note aqu que hemos usado la palabra suposicin anteriormente. Esto es
porque no todos los sistemas alcanzan un equilibrio, esto es, no cualquier
sistema tiene matriz de transicin.

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

SIMULACION DE SISTEMAS INFORMATICOS

CARPETA DE TRABAJO

|01|
|10|
Nunca alcanza un estado sustentable.
Adoptando el enfoque algebraico anteriormente para el ejemplo del cereal K
tenemos las tres ecuaciones siguientes:
x1 = 0.88x1 + 0.15x2
x2 = 0.12x1 + 0.85x2
x1 + x2 = 1
o
0.12x1 - 0.15x2 = 0
0.12x1 - 0.15x2 = 0
x1 + x2 = 1
Note que la ecuacin x1 + x2 = 1 es esencial. Sin ella no podramos obtener
una nica solucin para x1 y x2. Resolviendo conseguimos x1 = 0.5556 y x2 =
0.4444
Por lo tanto, en la largo plazo, K comercializa una porcin del mercado del
55.56%.
Un chequeo numrico til (particularmente para problemas ms grandes) es
sustituir los resultados finales en las ecuaciones originales para verificar que
ellos son consistentes con esas ecuaciones.

COMPORTAMIENTO A LARGO PLAZO DE LOS SISTEMAS DE MARKOV

Si P es una matriz de transicin de un sistema de Markov, y si v es un vector de
distribucin con la propiedad que vP = v, entonces nos referimos a v como
un vector (distribucin) de estado de equilibrio.
Para encontrar un vector de estado de equilibrio para un sistema de Markov
con matriz de transicin P, resolvemos el sistema de ecuaciones dados por:
x+y+z

=1

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

SIMULACION DE SISTEMAS INFORMATICOS

CARPETA DE TRABAJO

+...
[x
y
z . . . ]P

[x y
=
. .]

z.

Donde su uso lleva muchas incgnitas, como estados hay en el sistema de

Markov. Una constante vectorial de estado de probabilidades se da entonces
por
v = [x y z . . . ]
Un sistema regular de Markov es un sistema cuya matriz de transicin tiene
algn poder con ninguna entrada de cero. Un sistema regular de Markov
siempre tiene un solo vector de estado de equilibrio.
Comportamiento a largo plazo: Si los poderes ms altos de P se acercan a
una matriz P , nos referimos a P como la matriz de equilibrio o como la matriz
de transicin a largo plazo. Si es regular el sistema de Markov, entonces la
matriz de equilibrio se expresa por la matriz cuadrada cuyos reglones son
iguales el uno al otro, e iguales al vector de estado de equilibrio:
[x y z . . .]

Calcular la matriz de estado de equilibrio numrico

Por el uso de la tecnologa, es frecuentemente posible aproximar P con gran
precisin con simplemente calcular un gran poder de P. Qu tan grande?
Sabes que es suficiente grande cuando las filas sean iguales con la precisin
que desee.
Ejemplo
La matriz de transicin
0. 0.
0
2 8
P
=

0.
0.
0
4
6
0. 0.
0
5 5

El ejemplo anterior es regular, ya que slo P3 tiene cada entrada distinta de

cero.
El vector estado de equilibrio se expresa por

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

SIMULACION DE SISTEMAS INFORMATICOS

CARPETA DE TRABAJO

v = [35/99 40/99 24/99], de modo que:

0. 0.
0
2 8
vP = [35/99 40/99
24/99]

0.
0.
0
4
6
0. 0.
0
5 5

= [35/99 40/99
24/99]
=v
Por lo tanto, la matriz largo plazo de transicin es:

35/9 40/9 24/9

9
9
9
P
=

35/9 40/9 24/9

9
9
9
35/9 40/9 24/9
9
9
9

APLICACIN DE MARKOV:
Un programa que permite resolver nuestro problema atreves de la cadena de
Markov.

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

Aplicacin de Markov
Un programa que permite resolver nuestro problema atreves de la cadena de Markov
Cdigo en php:

SIMULACION DE SISTEMAS INFORMATICOS

Aplicacin DE Cadena de Markov

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

CARPETA DE TRABAJO

SIMULACION DE SISTEMAS INFORMATICOS

Aplicacin de Cadena de Markov

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

CARPETA DE TRABAJO

SIMULACION DE SISTEMAS INFORMATICOS

Aplicacin de Cadena de Markov

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

CARPETA DE TRABAJO

SIMULACION DE SISTEMAS INFORMATICOS

Aplicacin de Cadena de Markov

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

CARPETA DE TRABAJO

SIMULACION DE SISTEMAS INFORMATICOS

Aplicacin de Cadena de Markov

Aplicacin de Cadena de Markov

PROFESOR: RODRIGUEZ RODRIGUEZ CIRO

CARPETA DE TRABAJO