PRESENTACIÓN CADENAS DE MARKOV Rev

CADENAS DE MARKOV
Definicin de procesos estocsticos

En los casos de la condicin del clima y del precio de venta de la
carne de aves, su estado en un tiempo determinado no es aleatorio
por completo, sino que es afectado en cierto grado por el tiempo de
das previos. No obstante la sucesin es tan compleja que dicho
comportamiento cambia da a da de una manera que en apariencia
es algo aleatorio.
En el caso del lanzamiento de una moneda, el resultado en cualquier

etapa es independiente de todos los resultados previos.
Por lo mencionado, decimos que un proceso estocstico discreto en

el tiempo es la relacin entre variables aleatorias.
Procesos Relacin
Estados Xi Xj
Tiempo ti tj
Definicin de Cadenas de Markov
El proceso estocstico de tiempo discreto puede estar en uno de
un nmero finito de estados identificados por 1, 2,...,s.
Un proceso estocstico de tiempo discreto es una CADENA DE

MARKOV s, para t = 0,1,2,... y todos los estados,
P(Xt+1=it+1/Xt=it) =
P(Xt+1=it+1/X0=i0, X1=i1,...Xt-1=it-1, Xt=it)
Adems para todos los estados i y j y toda t, P(Xt+1=j / Xt=i) es

independiente de t. Esta hiptesis permite escribir:
pij = P(Xt+1=j / Xt=i)
Con frecuencia se llaman probabilidades de transicin a las pij
en una cadena de Markov.
La ecuacin: pij = P(Xt+1=j / Xt=i)
Indica que la ley de probabilidad que relaciona el estado del

siguiente perodo con el estado actual no cambia, o que
permanece estacionaria en el tiempo.
Toda cadena de Markov que cumple con esta condicin se llama

cadena estacionaria de Markov.
Se necesita saber las probabilidades de encontrar la

cadena en el estado i en el tiempo 0, es decir, P(X0=i) = qi
Al vector q = [q1 q2 .....qn] se le llama vector

de condiciones iniciales o distribucin
inicial de probabilidad.
j=1,n qj = 1
Las probabilidades de transicin se presentan como una matriz P de
probabilidad de transicin s x s. La matriz de probabilidad de transicin
se puede escribir como:
1 2 3 ... S
Perodo de Transicin
1 p11 p12 p13 ... p1s
2 p21 p22 p23 ... P2s
P= 3 p31 p32 p33 ... P3s
... ... ... ... ... ...
S ps1 ps2 ps3 ... pss
Dado que el estado es i en el tiempo t, el proceso debe estar en algn

lugar en el tiempo t+1. Esto significa que para cada i:
j=1,s P(Xt+1=j / Xt=i) = j=1,s pij = 1 (pij 0)

Elementos de una Cadena de Markov:
1. Estados del Sistema: X(t)

2. Perodo de Transicin
3. Probabilidades de Transicin Matriz de
probabilidades
4. Distribucin inicial de probabilidad
CADENAS DE MARKOV
IMPORTANCIA:
Permite encontrar la probabilidad de que un sistema se

encuentre en un estado en particular en un momento dado.
Permite encontrar el promedio a la larga o las

probabilidades de estado estable.
APLICACIONES
Biologa (Comportamiento de molculas y
prediccin de comportamientos).
Gentica y Paleontologa (Evolucin de las

especies).
Marketing (Identificar patrones de

comportamiento de clientes).
Gobierno (Efecto de Polticas

Gubernamentales).
Sucesin de eventos que se desarrolla en el tiempo, en el cual el resultado
en cualquier estado contiene algn elemento que depende del azar
Ejemplo
Xt = Condiciones de tiempo en la ciudad de Ica
Ejemplo
Xt = El valor de venta del kilogramo de pollo cada semana.
Ejemplo
Xt = Lanzamiento de una moneda.
Ejemplo
Xt = Temperatura registrada en cada da del ao en la
ciudad de Arequipa.
Ejemplo
Xt = Cantidad de alumnos que egresan semestralmente
en la especialidad de ingeniera industrial.
Ejemplo
Xt = Nmero de alumnos que asisten a cada clase de IO2.
Ejemplos (Cadenas de Markov)
Ejemplo Cadena de Markov con 2 estados

Supongamos, que en Lima, si un da est nublado, el
65% del tiempo ser nublado al da siguiente y que si un
da est soleado, con probabilidad 38% ser soleado al
da siguiente. Hallar la Matriz de Transicin.
62% s n
s 0.38 0.62
38% 65% n 0.35 0.65
35%
Ejemplo 2 Cadena de Markov con 3 estados
Supongamos que el estado de nimo de Enzo puede ser, alegre, triste o
molesto. Si est alegre, habr una probabilidad de 80% de que siga
alegre al da siguiente y 15% de que est triste. Si est triste, 30% de
que siga triste y 50% de que est molesto. Y, si est molesto, 80% de
que no siga molesto y 50% de que est alegre al da siguiente. Hallar la
Matriz de Transicin.
T
A 30%
80% A T M
A 0.80 0.15 0.05
T 0.20 0.30 0.50
M 0.50 0.30 0.20
20%
M
Ejemplo 3 Cadena de Markov con 4 estados
Considere el siguiente modelo para el valor de una accin. Si la accin
sube o no maana depende de si subi o no hoy y ayer. Si la accin subi
hoy y ayer , maana subir con probabilidad a. Si la accin subi hoy y
ayer baj, maana subir con probabilidad b. Si la accin baj hoy y
ayer subi, la probabilidad de que suba maana es c. Por ltimo, si la
accin baj hoy y ayer, la probabilidad de que suba maana es d.
Determine la matriz de transicin de un paso para la cadena de Markov.
SS SB BS BB
SB
1-d SS a 1-a 0 0
a SS BB
1-b
SB 0 0 c 1-c
BS b 1-b 0 0
BS BB 0 0 d (1-d)
Ejemplo: lnea telefnica
Sea una lnea telefnica de estados

ocupado=1 y desocupado=0. Si en el
instante t est ocupada, en el instante t+1
estar ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el
instante t est desocupada, en el t+1 estar
ocupada con probabilidad 0,1 y desocupada
con probabilidad 0,9.
Ejemplo: lnea telefnica
0,9 0,1
Q
0,3 0,7
0,1
0,9 0 1 0,7
0,3
Ejemplo: Lanzamiento de un dado
Se lanza un dado repetidas veces. Cada

vez que sale menor que 5 se pierde 1 , y
cada vez que sale 5 6 se gana 2 . El
juego acaba cuando se tienen 0 100 .
Sea Xt=estado de cuentas en el instante t.
Tenemos que { Xt } es una CM
S={0, 1, 2, , 100}
Ejemplo: Lanzamiento de un dado
1
2/3 2/3 2/3 2/3 2/3 2/3
0 1 2 3 4 5

1/3 1/3 1/3 1/3
1
2/3 2/3 2/3 1/3
97 98 99 100

1/3

1/3 1/3 1/3
Ejemplo de proceso estocstico
Lanzamos una moneda al aire 6 veces. El

jugador gana 1 cada vez que sale cara
(C), y pierde 1 cada vez que sale cruz (F).
Xi = estado de cuentas del jugador
despus de la i-sima jugada
La familia de variables aleatorias {X1, X2,,
X6} constituye un proceso estocstico
={CCCCCC,CCCCCF,}
Combinaciones () = 26 = 64
P()=1/64
T={1, 2, 3, 4, 5, 6}
S={6, 5, , 1, 0, 1, 2, , 5, 6}
X1()={1, 1}
1
0
-1
X0 X1 X2
X2()={2, 0, 2} 2
1
0 0
-1
-2
Usando diagramas de rbol:
6
5
4 4
gana
3 3
2 2
1 2
1
0 1
0
0 0
-1
-1 -1
-2
pierde -2 -2
-3
-3
-4 -4
-5
1 juego 1 juego 1 juego -6

1 juego 1 juego 1 juego
Xo X1 X2 X3 X4 X5 X6
Si fijo , por ejemplo 0=CCFFFC,

obtengo una secuencia de valores
completamente determinista:
X1(0)=1, X2(0)=2, X3(0)=1, X4(0)=0,
X5(0)= 1, X6(0)=0
Puedo dibujar con estos valores la
trayectoria del proceso:
3
2
Valor del proceso
-1
-2
1 2 3 4 5 6
Instante de tiempo, t
Si fijo t, por ejemplo t0=3, obtengo una de
las variables aleatorias del proceso:
X3 :
X 3
Los posibles valores que puede tomar el

proceso en : X3()={3, 1, 1, 3}
Podemos hallar la probabilidad de que
el proceso tome uno de estos valores:
PX 3 ( ) 1 PCFC PCCF PFCC 3

1 1 1 3
2 2 2 8
PX 3 ( ) 3 PCCC
1 1 1 1
2 2 2 8
PX 3 ( ) 1 PFCF PFFC PCFF 3

1 1 1 3
2 2 2 8
PX 3 ( ) 3 PFFF
1 1 1 1
2 2 2 8
APLICACIN 1
Participaciones de mercado
Una investigacin de mercados sobre el consumo de 3 marcas de cerveza: A, B y C
por 1000 personas dar al inicio (n=0) y despus de un periodo (n=1) los siguientes
resultados:
DURANTE UN PERIODO
AL INICIO (n = 0) A B C
CLIEN PROB CLIEN PROB CLIEN PROB CLIEN PROB
A 200 0.2 140 0.7 40 0.2 20 0.1
B 300 0.3 30 0.1 150 0.5 120 0.4
C 500 0.5 120 0.24 80 0.16 300 0.6
AL FINAL (n = 1) 290 0.29 270 0.27 440 0.44
a. El porcentaje de los clientes que consumen cada marca de cerveza

despus de un periodo.
b. El porcentaje de los clientes que consumen cada marca de cerveza
despus de 2 periodos.
c. A la larga cmo se reparte el mercado de bebedores de cerveza entre las
tres marcas?
Despus de un periodo
[0,2 0,3 0,5] [0,29 0,27 0,44]
Despus de dos periodos
[0,29 0,27 0,44] [0,34 0,26 0,40]

c. A Largo periodo
Por lo tanto: = .T
El sistema de ecuaciones sera:
A + B + C = 1
0,7A + 0,1B + 0,24C = A
0,2A + 0,5B + 0,16C = B
0,1A + 0,4B + 0,6C = C
Este sistema es redundante y, para resolverlo,

eliminamos una de las tres ltimas ecuaciones
(por ejemplo la ltima).
A + B + C = 1
-0,3A + 0,1B + 0,24C = 0
0,2A - 0,5B + 0,16C = 0
y la solucin es: = [ 0,376 0,265 0,359]
ANLISIS ECONOMICO: Si la marca A, por cada cliente ganado aumenta
sus ventas en $40 por cuntos perodos se debe realizar la campaa
publicitaria, sabiendo que esta cuesta $500 por periodo?
Para dar respuesta a esta inquietud realizamos el siguiente cuadro:
En consecuencia se deber realizar la campaa

durante 3 semanas, luego cambiar.
Aplicacin 2: Competencia de mercados
Las compras de los consumidores estn influidas por la
publicidad, el precio y muchos otros factores. Un factor
clave en las compras de los consumidores es la ltima
compra.
Segn datos recolectados en el cafetn de ingeniera industrial (2

semanas):
Si alguien compra una bebida Coca-Cola, y se le agrada el sabor,
quedar dispuesto a comprar otra Coca-Cola (lealtad a la marca).
Coca-Cola es la marca de inters.
Pepsi es su competencia directa.
El 74% de los clientes son leales. La oposicin conserva el 62% de sus
clientes.
Que porcentaje del mercado esperar recibir

Coca-Cola en el largo plazo?
Ejemplo - solucin
Estado Descripcin
A Coca-Cola A B
B Pepsi P= A 0.74 0.26
B 0.38 0.62
Hay que resolver el [A B] = [A B] P

siguiente sistema: = [0.74A + 0.38B 0.26A + 0.62B ]
=P A = 0.74A + 0.38B
B = 0.26A + 0.62B
= 1
A + B = 1
Donde: = [A B]
De donde: A = 0.59375
B = 0.40625
Coca-Cola esperar recibir el 59.375% del mercado en el largo

plazo
Ejemplo solucin (elevando Pn para estabilizarlo en el largo plazo)
A B A B
0.74 0.26
P= A P2= A 0.6464 0.3536
B 0.38 0.62 B 0.5168 0.4832
A B A B
P3= A 0.61270 0.38730 P4= A 0.60057 0.39943

B 0.56605 0.43395 B 0.58378 0.41622
A B A B
P5= A 0.59621 0.40379 P6= A 0.59463 0.40537
B 0.59016 0.40984 B 0.59246 0.40754
A B A B
P7= A 0.59470 0.40593 P8 = A 0.59386 0.40614

B 0.59328 0.40672 B 0.59358 0.40642
A B A B
P9= A 0.59379 0.40621 P10= A 0.59376 0.40624

B 0.59369 0.40631 B 0.59373 0.40627
A B A B
P11= A 0.59376 0.40624 P12= A 0.59375 0.40625

B 0.59374 0.40624 B 0.59375 0.40625
A B A B
P13= A 0.59375 0.40625 P14= A 0.59375 0.40625

B 0.59375 0.40625 B 0.59375 0.40625
P(13) = P(14) = P(15) = ...... = P(n)
A = 0.59375
B = 0.40625
Podemos observar que las probabilidades se han

estabilizado, es decir, cada fila poseen valores iguales.
Aplicacin 3: El estado del tiempo
Las probabilidades del estado del tiempo en la ciudad de Arequipa el mes
de enero estn dadas de que un da es soleado es 90% posible de que sea
seguido por otro da soleado y un da lluvioso es 50% posible de que sea
seguido por otro da lluvioso.
Matriz Grfico
Pronosticando el clima
El clima en el dia 0 es conocido como soleado. Esto es representado por el

vector en donde la entrada de soleado es 100% y la de lluvioso es 0%
El clima en el da 1 puede ser pronosticado de la siguiente manera
Por eso, hay un 90% de posibilidad de que el da 1sea tambin soleado

El clima para el da 2 puede ser pronosticado de la siguiente manera:
Las reglas generales para el da n son:
37
Estado estacional del clima
Para este caso, las predicciones para el clima en das mas distantes son
incrementalmente imprecisos y tienden a tornarse en un vector de estado
estacional. Este vector representa las probabilidades de condiciones
soleadas y lluviosas para todos los das y son independientes del clima
inicial. El vector del estado estacional se define como:
Xn = X(n-1)
Par el caso que se est tratando
As que;
Resolviendo:
0.9SO +0.5LL = SO - 0.1SO + 0.5LL = 0
SO = 0.8333 y
0.1SO + 0.5LL = LL 0.1SO -0.5LL = 0
LL = 0.1667
Adems SO + LL = 1
38
Aplicacin 4: La ruina del jugador
Cierto juego tiene las siguientes caractersticas:

Se dispone de $3 para jugar.
Se apuesta $1 por jugada.
En cada jugada se gana $1 o se pierde $1 (no hay empate).
Se gana $1 con probabilidad p y se pierde $1 con probabilidad 1 p.
La meta es tener la mxima cantidad de dinero posible.
El juego termina cuando se llega a $5 o cuando el capital se reduce a $0.
Se define Xt como el capital al final del juego en el tiempo t.
Sabemos que:
X0 = 3 (constante)
X1, X2 y las dems Xt son desconocidas (VA)
Se puede considerar que X0, X1, X2, X3, .... Xt son procesos estocsticos de
tiempo discreto.
La ruina del jugador
1 juego
0 1 2 3 4 5
0 1 0 0 0 0 0
1 1-p 0 p 0 0 0
2 0 1-p 0 p 0 0 Grficamente
3 0 0 1-p 0 p 0
P=
4 0 0 0 1-p 0 p
5 0 0 0 0 0 1 1-p 1-p
1
1 0 p
2
1-p
p
1-p
1
5 4 3
p p
La ruina del jugador
Usando diagramas de rbol: 2 juegos
0
1 Xo= 3 es el capital inicial del

pierde 2 jugador igual a $3
En cada jugada gana o pierde $1
2
2 con probabilidad de p o 1-p
3 respectivamente
3 4 El juego termina cuando alcanza
su meta que es tener $5 o pierde
todo
1-p
3 2
4
gana
4
5
Xo X1 X2 X3
p(1-p)
Caso 2: La ruina del jugado
1-p
1 2p(1-p)
(1-p)2
1 0 (1-p)2
2
p2 p2 (1-p)2
p(1-p)
1
5 4 3 2 juegos
p2 0 1 2 3 4 5
2p(1-p) 0 1 0 0 0 0 0
1 1-p p(1-p) 0 p2 0 0
P2 = P*P = 2 (1-p)2 0 2p(1-p) 0 p2 0

3 0 (1-p)2 0 2p(1-p) 0 p2
4 0 0 (1-p)2 0 p(1-p) p
5 0 0 0 0 0 1
Aplicacin 5: Urna de bolas
Ei=[SIN PINTAR, ROJO, NEGRO]
Probabilidad
de sacar
Ps
Pt
Ei=I,J,K Ej=X,Y,Z
Probabilidad
E2=1,0,1 de transitar
probabilidad
0,5
0,5 E3=0,1,1
E1=1,1,0
1 1 a)
1 E4=0,2,0 E3=0,1,1
E0=2,0,0
E1=1,1,0
E4=0,2,0
0,5 0,5
0,5
E2=1,0,1 E3=0,1,1 1 E5=0,0,2
probabilidad 0,5
1
E5=0,0,2 E3=0,1,1

Xo X1 X2 X3
Usando diagramas de rbol
b) Se inicia con las dos bolas sin pintar (E0) y nos piden la
probabilidad de que pasemos al estado [0 2 0] (E4) despus de pintar
dos bolas (a dos pasos). Entonces nos piden P = P*P
Elevamos la matriz P al cuadrado:
c) Nuevamente iniciamos en E0 y nos preguntan cual es la
probabilidad de pasar al estado [0 1 1] (E3) despus de haber pintado
tres bolas (a tres pasos). Entonces nos piden P = P*P*P.
Elevamos la matriz P al cubo y nos queda:
Aplicacin 6: Compaa de seguros
probabilidad
EO= 2 3
N N E2= 4 5
S N
EO= 1 2 E1= 3 4
N N S S
E1= 4 5
S S
E3= 2 3 EO= 4 5
probabilidad N S N N
E2= 3 4
0.03
S N E3= 4 5
1 juego 1 juego 1 juego N S
Xo X1 X2 X3
Usando diagramas de rbol
Encontrando las probabilidades de estado estable por medio de ecuaciones
SOLUCIN
Probabilidad de transicin de n pasos
Si una cadena de Markov se encuentra en el estado i en el tiempo
m, la probabilidad que n perodos despus la cadena de Markov
est en el estado j, es:
pij (n) = P(Xm+n= j / Xm=i) = P(Xn= j / X0=i)
Donde pij (1) = pij
Las pij(n) se pueden representar en la matriz P(n):
1 2 3 ... S
1 P11(n) P12(n) P13(n) ... P1s(n)
2 P21(n) P22(n) P23(n) ... P2s(n)
P(n) = 3 P31(n) P32(n) P33(n) ... P3s(n)
... ... ... ... ... ...
S Ps1(n) Ps2(n) Ps3(n) ... Pss(n)
Se puede demostrar que pij(n) es el elemento ij-simo de la matriz

Pn. Entonces:
pij (n) = k=1,s pik(v)pkj(n-v)
Para n=0, pij(0) = P(X0 = j / X0 = i) y por lo tanto:

pij (0) = 1, si i = j
pij (0) = 0, si i j
Probabilidad de Transicin de 2 pasos
i k j
Pij (2) = k Pik * Pkj
Pij (2) = P( Xm+2=j / Xm=i )

Probabilidad de Transicin de 3 pasos
k l j
i
Pij (3) = k l ( Pik * Pkl * Plj )
Pij (3) = P( Xm+3=j / Xm=i )

Probabilidad de Transicin de n pasos
i
k l j
En general,
P( Xn+m=j / Xm=i ) = Pij (n)
P (n) = P*P*P*.....*P (n veces)
Ejemplo
Una fotocopiadora de oficina tiene uno de dos
posibles comportamientos: FUNCIONA o NO
FUNCIONA
Si funciona durante un da, la probabilidad de que al da siguiente

siga funcionando es de un 75%. Si no funciona durante un da
cualquiera, hay un 75% de probabilidad de que tampoco funcione al
da siguiente.
a)Si actualmente funciona, Cul es la probabilidad de que est

funcionando dentro de dos das?
b) Si actualmente no funciona, Cul es la probabilidad que no est
funcionando dentro de tres das?
Ejemplo - solucin
Estado Descripcin 1 2
P= 1 0.75 0.25
1 FUNCIONA
2 0.25 0.75
2 NO FUNCIONA
0.25
0.75
0.75
1 2
0.25
Ejemplo - solucin
1 2 0.25
0.75
P= 1 0.75 0.25 0.75
1 2
2 0.25 0.75
0.25
a) 1 2 b) 1 2
P2 = 1 0.625 0.325 P3 = 1 0.567 0.433
2 0.325 0.625 2 0.433 0.567
Clasificacin de estados de una Cadena
de Markov
Definicin:
Dados dos estados i y j, la trayectoria de i a j es la sucesin de

transiciones que comienza en i y termina en j, de modo que cada
transicin tenga probabilidad positiva de presentarse.
i
de Markov
Definicin:
Un estado j es alcanzable desde el estado i, si hay una trayectoria
que vaya de i a j.
j j
i k
i
j es alcanzable por i.
de Markov
Definicin:
Dos estados, i y j se comunican, si el estado j es alcanzable
desde el estado i, y adems el estado i es alcanzable desde el
estado j.
k
j i
i
j
i se comunica con j
de Markov
Definicin:
Un conjunto de estados S en una Cadena de Markov es conjunto
cerrado, si ningn estado fuera de S es alcanzable desde un
estado S.
j
l
i
k
de Markov
Definicin:
Un estado i, es estado absorbente si pii = 1
i P =1
ii
de Markov
Definicin:
Un estado i es estado transitorio si hay un estado j alcanzable
desde i, pero el estado i no es alcanzable desde el estado j.
j k
i
i
j
i es transitorio
de Markov
Definicin:
Si un estado no es transitorio, se llama estado recurrente.
k
i
i j
j
i es recurrente
Clasificacin de estados de una Cadena de Markov
Definicin:
Un estado i es peridico con perodo k > 1, si k es el menor
nmero de pasos, tal que todas las trayectorias que parten del
estado i y regresan al estado i tienen una longitud mltiplo de k.
Si k>1, entonces diremos que i es peridico de periodo k. El
estado i ser peridico de periodo k>1 si existen caminos que
llevan desde i hasta i pero todos tienen longitud mk, con m>0
ij K=2
il K=4
j
i
estado i es peridico
l
Periodicidad
Ejemplo: En la siguiente CM todos los estados
son peridicos de periodo k=2:
12 k=2
13 k=4
14 k=6
1 2 3 4 ---------

Ejemplo: En la siguiente CM todos los estados son
peridicos de periodo k=3:
2 4 6 13 k=3
15 k=6
17 k=9
1 3 5 7
Periodicidad
Ejemplo de CM peridica de periodo k=3:
A1 A2
1 3
2 4
5
A3
de Markov
Definicin:
Si un estado recurrente no es peridico, se llama aperidico.
k
i
k
i
j
j
i es aperidico
de Markov
Definicin:
Si todos los estados de una cadena de Markov son recurrentes,
aperidicos y se comunican entre s, se dice que la cadena es
ergdica.
Ejemplo
Evaluar la siguiente cadena de Markov
1 2 3
1 0.33 0.67 0
P= 2 0.50 0 0.50
3 0 0.25 0.75
Estados recurrentes
0.67
1 2
Estados aperidicos
0.5
0.25
Se comunican entre s.
0.5
0.75 La cadena de Markov es
3
ergdica.
Cadenas ergdicas
Ejemplo: Analizar la siguiente CM, con S={a, b,
c, d, e}:
a b c d e
a 1 2 0 1 0 0

2
b 0 1
4 0 3
4 0
Q c 0 0 1 0 2
3 3

d 1 4 1
2 0 1
4 0

e 1 3 1
0 0 3
1
3
Ejemplos Clasificar los estados
Recurrentes: a, c, e
Transitorios: b, d
Peridicos: ninguno
Absorbentes: ninguno
1/4 1/3
1/2
b 1/2 c
1/2 3/4 a 1/3 2/3
1/4 1/3
d
e
1/4
1/3
Ejemplo: Analizar la siguiente CM, con
S={a, b, c, d, e, f, g}:
a b c d e f g
a 0 0 1 0 0 0 0

b 0 0,2 0 0 0,4 0,4 0
c 0,8 0 0 0 0,2 0 0

Q d 0 0 0 0 0 1 0
e 0 0 1 0 0 0 0

f 0 0 0 0,7 0 0,3 0
g 0 0 0 0 0 0 1

Clasificar los estados
Ejemplos Recurrentes: a, c, d, e, f, g
Transitorios: b
Peridicos: a, c, e (todos de periodo 2)
Absorbentes: g
0,3
a f 1
0,4
1 0,4 0,7 1 g
0,8 1 e b
c 0,2
d
0,2
Tiempos promedio de primera pasada
Ejemplo: Matriz de dos Estados
Matriz de Nmero esperado
Matriz de Probabilidades De transiciones
1 2 1 2
P= 1 p11 p12 = 1 11 12
2 p21 p22 2 21 22
En una cadena ergdica, sea ij el nmero esperado de

transiciones antes de alcanzar por primera vez el estado j,
dado que estamos actualmente en el estado i. ij se llama
tiempo promedio de primera pasada del estado i al estado j.
Cuando i = j, ij se llama tiempo promedio de recurrencia:
ij = 1/i
Cuando i j, se tiene que resolver el siguiente sistema de
ecuaciones: ij = 1 + k j pik kj
Tiempos promedio de primera pasada
Ejemplo
Una computadora se inspecciona cada hora. Se
encuentra que est trabajando o descompuesta. Si est
trabajando, la probabilidad de que siga trabajando la
siguiente hora es 0.87. Si est descompuesta, se
repara, lo que puede llevar ms de una hora. Siempre
que la computadora esta descompuesta, la
probabilidad de que siga descompuesta la siguiente
hora es 0.43.
Encontrar las ij.

Ejemplo - solucin
Estado Descripcin 1 2
1 FUNCIONA P= 1 0.87 0.13
2 DESCOMPUESTA
2 0.57 0.43
Hay que resolver el

Las ecuaciones para hallar los son:
1 = 0.871 + 0.572
siguiente sistema:
2 = 0.131 + 0.432 ij = 1 + k j pik kj
1 + 2 = 1 12 = 1 + p11 12
De donde: 1 = 57/70 2 = 13/70
= 1 + 0.8712
21 = 1 + p22 21
Por tanto: 11 = 1/1 = 1.23 horas = 1 + 0.4321
22 = 1/2 = 5.38 horas
Donde: 12 = 7.69 horas

21 =1.75 horas
Cadenas de Markov con recompensa
El costo promedio a largo plazo, por unidad de tiempo est

dado por:
g = j=1,s (j Cj)
Donde:
Cj = Inventarios
Nivel de ventas
Mquinas malogradas, etc.
g = 1 2 . s C1
C2
.
Cs
Cadenas de Markov absorbentes
Una CM es absorbente, si tiene por lo menos un estado

absorbente, y es posible ir de cada estado no
absorbente hasta por lo menos un estado absorbente.
En una CM absorbente se puede calcular:

Nmero esperado de veces que se estar en un estado
transitorio antes de llegar a un estado absorbente.
Probabilidad de terminar en estados absorbentes.
Se requiere una matriz de transicin ordenada como la que se muestra a
continuacin:
Transitorios Absorbentes
s-m columnas m columnas
Transitorios s-m filas Q R
Absorbentes m filas 0 I
Se puede entonces determinar:

Nmero esperado de veces en un estado antes de la absorcin:
(I Q)-1
Probabilidad de terminar en cada uno de los estados absorbentes:
(I Q)-1R
8. Cadenas de Markov absorbentes
As tenemos:
I es una matriz identidad de orden m x m que representa las
probabilidades de permanecer dentro de un estado absorbente.
Q es una matriz de orden (s-m) x (s-m) que representa las

probabilidades de ir de un estado transitorio hasta otro estado
transitorio.
R es una matriz de orden (s-m) x m que representa las

probabilidades de ir de un estado transitorio hasta un estado
absorbente.
O es una matriz nula de orden m x (s-m) que representa las

probabilidades de ir de un estado absorbente hasta un estado
transitorio.
En conclusin:
Se definen 4 matrices {Q, R, O, I}
1 2 3 4 5
1 p11 p12 p13 p14 p15
Q R
2 p21 p22 p23 p24 p25
P= 3 p31 p32 p33 p34 p35
4 0 0 0 1 0
O I
5 0 0 0 0 1
APLICACIONES
Aplicacin 1.- Planificacin de Personal
La empresa de abogados Los Justicieros emplea a tres categoras de

abogados:
principiantes, con experiencia y socios. Durante un ao determinado

hay una probabilidad 15% que un abogado principiante sea ascendido
a abogado con experiencia y una probabilidad 5% que deje la empresa
no siendo socio. Tambin hay una probabilidad 20% que un abogado
con experiencia sea ascendido a socio y una probabilidad 10% que
deje la empresa no siendo socio. Tambin hay una probabilidad 5% que
un socio deje la empresa. La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podra
contestar. Por ejemplo:
1. Cul es la duracin promedio de un abogado joven recin
contratado en la empresa?.
2. Cul es la probabilidad de que un abogado joven llegue a ser
socio?.
3. Cul es la duracin promedio que pasa un socio en el bufete? entre
muchas otras.
85
Modelaremos la trayectoria de un abogado en Los Justicieros como
cadena absorbente con la siguiente matriz de probabilidad de transicin:
Q R
O I
S hacemos la
siguiente notacin:
t1= Principiante,
t2 = Experimentado,
t3= Socio,
a1= Sale sin ser socio y
a2 = Sale siendo socio. 86
Para dar respuesta a las preguntas formuladas anteriormente, es necesario
obtener las matrices: (I-Q)-1 y (I-Q)-1R, la informacin contenida en estas
matrices debidamente interpretadas, permite tomar decisiones.
Entonces s=5, m=2, y
87
1. Matriz Fundamental Interpretacin:
1 Matriz fundamental.- Si en este momento

estamos en el estado transitorio ti, el
nmero esperado de periodos que pasarn
a un estado transitorio tj antes de la
absorcin es el ij-simo elemento de la
matriz (I-Q)-1.
2. Matriz Probabilidades 2 Matriz Probabilidades.- Si en este

momento estamos es un estado transitorio
ti, la probabilidad de ser absorbidos
finalmente por un estado absorbente aj es
el ij-simo elemento de la matriz (I-Q)-1R.
88
Por lo tanto:
1. El tiempo esperado que un abogado principiante permanece en la
empresa = (duracin esperada del abogado principiante en la empresa
como principiante) + (tiempo esperado que el abogado principiante
permanece en la empresa como abogado con experiencia) + (tiempo
esperado que el abogado principiante permanece en la empresa como
socio). Entonces
- Tiempo esperado como principiante = (I-Q)-111=5
- Tiempo esperado como con experiencia = (I-Q)-112=2,5
- Tiempo esperado como socio = (I-Q)-113 =10
Por lo tanto, el tiempo total esperado que un abogado principiante
permanece en la empresa es 5 + 2,5 + 10 = 17,5 aos.
2. La probabilidad de que un abogado principiante recin ingresado llegue a
ser socio es tan slo la probabilidad de que salga de la empresa siendo
socio. Como t1 = Principiante y a2 = Sale siendo socio, la respuesta es el
elemento 12 de (I-Q)-1R = 50.
3. Como t3 = Socio, buscamos el nmero esperado de aos que pasa en t3,
dado que comenzamos en t3. Este es justamente el elemento 33 de (I-Q)-1 =
20 aos. Es razonable, por que durante cada ao hay una probabilidad de
0,05 (1 en 20) que un socio deje el bufete y, por lo tanto, debe tardar un
promedio de 20 aos en dejar la empresa.
89
Aplicacin 2.- MODELOS DE PLANEACION DE PERSONAL
Regresemos al bufete de abogados Los

Justicieros (Ejemplo anterior) Supongamos que
la meta a largo plazo de ese bufete es tener 50
abogados principiantes, 30 con experiencia y 10
socios. Para alcanzar este censo de estado
estable, cuntos abogados de cada tipo deben
contratar cada ao?.
H1= nmero de abogados principiantes a contratar

H2 = nmero de abogados con experiencia a contratar
H3 = nmero de abogados asociados a contratar
90
Entonces:
Nmero que ingresa al grupo i = nmero que sale del grupo i
H1 = (0,15 + 0,05)50 (abogados principiantes)
(0,15)50 + H2 = (0,20 + 0,10)30 (abogados con experiencia)
(0,20)30 + H3 = (0,05)10 (abogados asociados)
La solucin nica
a2 de este sistema de
a1 ecuaciones es
H1=10, H2=1,5,
H3=-5,5. Estos
significa que para
t2 0.7 mantener el censo
0.8 deseado de
t1
estado estable,
Los Justicieros
deben despedir
t3 5,5 socios cada
ao.
0.95
Aplicacin 3
A travs del anlisis de cuentas por cobrar pasadas, un contralor
proporciona la siguiente informacin:
0-30 das 31-90 das pagadas Morosas
0-30 das 0.4 0.1 0.5 0
31-90 das 0.1 0.2 0.6 0.1
Pagadas 0 0 1 0
morosas 0 0 0 1
El balance de cuentas por cobrar indica que se tiene $60000 en cuentas

por cobrar con retraso entre 0 y 30 das y $40000 en cuentas por cobrar
con retraso entre 31 y 90 das.
Cul debe ser la concesin?

Cadenas de Markov absorbentes 1 2 3 4
1 0.4 0.1 0.5 R 0
Ejemplo - solucin Q
P= 2 0.1 0.2 0.6 0.1
Estado Descripcin 3 0 O 0 1 0
I
1 CxC con retraso entre 0 y 30 das 4 0 0 0 1
2 CxC con retraso entre 31 y 90 das
3 Cuentas pagadas
4 Cuentas morosas
Paso = 1 da
3 4 1 2
R= 1 0.5 0 Q= 1 0.4 0.1
1 2
2 0.6 0.1 2 0.1 0.2
(I - Q)-1 = 1 1.702 0.213
2 0.213 1.277
3 4
(I - Q)-1R= 1 0.979 0.021 La concesin ser:
2 0.872 0.128 60000(0.021) + 40000(0.128)= $6380
APLICACIN 4
Una empresa necesita contratar copiadoras en renta, escogiendo entre dos mquinas.
Las dos mquinas hacen copias que no se pueden distinguir. Cada mquina funciona o
no funciona. Segn los registros anteriores, se ha determinado que si la mquina I
trabaja un da determinado, la probabilidad es de 0,95 que trabaje el da siguiente. Si
no trabaja un cierto da, la probabilidad es de 0,75 que funcione el siguiente da. Si la
mquina II trabaja hoy, la probabilidad es de 0,9 que trabaje maana. Si no funciona
hoy, la probabilidad es de 0,8 que trabaje maana. Qu mquina debe rentar la
empresa?
Matriz de transicin de estados (T) y grfico para la Mquina 1
Matriz de transicin de estados y grfico para la Mquina 2
94
Determinando estado estable para ambas mquinas
MQUINA 1 MQUINA 2
[F NF] = [F NF] [F NF] = [F NF]
Determinando estado estable para ambas mquinas
MQUINA 1 MQUINA 2
[F NF]= [ 0.9375 0.0625 ] [F NF] = [0.8889 0.1111]
Por lo tanto se observa que la mquina 1 tiene

mayor probabilidad de funcionamiento
(93.75%) frente a 88.89% de la mquina 2, en
consecuencia la empresa debe rentar la
mquina 1.
95
APLICACIN 5
Una pequea tienda de videos lleva un control del nmero de veces por
semana que es rentado un video y estima las siguientes probabilidades de
transicin (ver matriz siguiente)
5 4 3 2 1 0
5 0.80 0.10 0.10 0.00 0.00 0.00
4 0.00 0.70 0.20 0.10 0.00 0.00

3 0.00 0.00 0.60 0.30 0.10 0.00
2 0.00 0.00 0.50 0.40 0.10 0.00
1 0.00 0.00 0.00 0.00 0.60 0.40
0 0.00 0.00 0.00 0.00 0.00 1.00
96
Determinando la matriz fundamental
a) Suponga que un video fue rentado 5 veces esta semana. Cul es la

probabilidad de que sea rentado 4 veces durante la siguiente semana?
Entonces se tiene que:
Xo = [ 1 0 0 0 0 0 ]
Hallamos X1: X1 = XoT
X1 = [ 0.8 0.1 0.1 0.0 0.0 0.0 ]
b) Suponga que un video fue rentado 3 veces esta semana. Cul es la
probabilidad de que sea rentado 2 veces durante la segunda semana?
Xo = [ 0 0 1 0 0 0 ]
Hallamos X2
X1 = XoT X1 = [ 0.0 0.0 0.6 0.3 0.1 0.0 ]
97
X2 = X1T X2 = [ 0.0 0.0 0.51 0.30 0.15 0.004 ]
c) Suponga que un video fue rentado 5 veces esta semana. En
promedio, cuntas veces ms ser rentado antes de que se deseche?
Para responder esta pregunta usamos la informacin de la matriz (I-Q)-1
(primera fila)
5(5)+ 1.667(4) + 6.481(3) + 3.519(2) + 2.5(1) = 61 veces
d) Suponga que esta semana se rent 5 veces. En promedio, cuntas
semanas ser rentado por lo menos 2 veces?
Para responder esta pregunta usamos la informacin de la matriz (I-Q)-1
(primera fila)
3.519 semanas ser rentado 2 veces
Entonces ser rentado por lo menos 2 veces 3.519 + 6.481 + 1.667 + 5 = 16.7
semanas.
98
e) Suponga que un video fue rentado 3 veces esta semana. En
promedio, cuntas veces ms ser rentado?
Para responder esta pregunta usamos la informacin de la matriz

(I-Q)-1 (tercera fila)
0(5)+ 0(4) + 6.667(3) + 3.333(2) + 2.5(1) = 29 veces.
f) Suponga que un video fue rentado 4 veces esta semana. Cul

es la probabilidad de que sea desechado?
Usamos la informacin
de la segunda fila: La
probabilidad de que sea
desechado es 100%
99
Juan es propietario de un terreno con 5000 pinos. Cada ao Juan le permite
a los detallistas de rboles de navidad seleccionar y cortar rboles para la
venta a clientes individuales. Juan protege los rboles pequeos (por lo
general de menos de 120 cm. de alto) de manera que estn disponibles para
la venta en aos futuros. Actualmente estn clasificados 1500 rboles como
protegidos, en tanto que los 3500 restantes estn disponibles para corte.
Sin embargo, aunque en un ao dado un rbol est disponible para corte,
quizs no sea seleccionado sino hasta en aos futuros. Aunque la mayora
de los rboles que no se cortan en un ao dado viven hasta el siguiente,
todos los aos se pierden algunos pinos enfermos.
Al estudiar la operacin de los rboles de navidad de Juan como un

proceso de Markov con periodos anuales, definimos los cuatro estados
siguientes:
Estado 1: Cortado y vendido.
Estado2: Perdido por enfermedad.
Estado3: Pequeo para cortarse
Estado4: Disponible para cortar, pero no cortado ni vendido
100
La siguiente matriz de transicin es apropiada
Determinamos matriz fundamental: Determinamos matriz probabilidades:
a) Cuntos de los 5000 rboles se vendern y cuntos se perdern?
1500*0.52 + 3500*0.8 = 3580 rboles se vendern

1500*0.48 + 3500*0.2 = 1420 rboles se perder
101
b) Cuntos aos se espera que pase un rbol pequeo en el vivero
antes de ser cortado y vendido o perdido por enfermedad?
2 + 0.8 = 2.8 aos
Cul es la probabilidad de que un rbol disponible para cortar sea

cortado y vendido? y cul es la probabilidad de que se pierda por
enfermedad?
80% de probabilidad que un rbol disponible para cortar sea cortado

y vendido y
20% de probabilidad que un rbol disponible para cortar se pierda
por enfermedad
102
APLICACIN 7.- Problema de produccin
En un proceso de produccin cada producto pasa por seis etapas, tres de

fabricacin y tres de inspeccin. Al final de cada etapa los productos se
desechan, se regresan para rehacerlos slo en inspeccin, o pasan a la
siguiente etapa. En la siguiente tabla se muestran datos del problema:
Actividad Tiempo de operacin Costo operacin
(horas - hombres (UM/h)
Mquina 1 3.00 10.00
Mquina 2 2.50 10.00
Mquina 3 1.50 12.00
Inspeccin (cada una) 0.25 10.00
Almacenado 0.10 8.00
El costo de los materiales es de 25.00 UM por parte y el de los
residuos 2.00 UM por parte.
a) Describirlo como una cadena de Markov
b) Si se desea producir 100 productos cul es el nmero de partes que se
deben comenzar a producir en un lote?
c) Con los datos de tiempo de operacin cules son los requerimientos
esperados de horas hombres en cada etapa?
d) Con los costos de mano de obra y de materiales, cules son los costos
directos esperados?
103
Solucin:
a) Describimos los estados que son generados en el problema por la fabricacin de los
artculos en las mquinas, las inspecciones realizadas a los artculos en cada etapa de
produccin, los artculos desechados y almacenados, considerando los siguientes
estados:
Estado Descripcin El diagrama de operaciones est dada por:
1 Artculo en mquina 1
2 Artculo en inspeccin 1
7 Artculo en almacn
8 Artculo desechado
104
Grfico: Matriz:
Matriz Fundamental: Matriz Probabilidades:

7 8
1 0.747 0.253
2 0.830 0.170
3 0.881 0.119
4 0.908 0.092
5 0.949 0.051
6 0.969 0.031
105
b) Si se desea producir 100 productos cul es el nmero de partes que se
deben comenzar a producir en un lote?
El nmero esperado de partes buenas que desean completarse es N*P17 =

N(0.747) = 100, luego N = 134 partes
c) Con los sobretiempos estimados por operacin que se muestra en la tabla,

cules son los requerimientos esperados de horas hombres es cada etapa?
Los requerimientos esperados de horas hombres en cada etapa se muestran

a continuacin:
106
d) Con los datos de costos de mano de obra y de materiales, cules son
los costos directos esperados?
Los costos directos son:
Costo total de mano de obra: sumatoria (4) = 100.15 UM

Costo de materiales: (25/0.747) (2*0.253/0.747) = 32.79 UM
Costos directos por unidad producida 132.94 UM
107
9. Ejercicios Propuestos
Problema 1
Movimiento de agua
Sea Xi = cantidad de agua que fluye a una represa en el perodo i.

Xi tiene la siguiente funcin de densidad:
Xi 1 2 3 4 5 Para todo i
F(Xi) 1/8 1/4 1/4 1/4 1/8 independientes.
Capacidad de la represa: 5 unidades.

Si la represa se llena, el flujo siguiente se pierde.
Al final de un perodo se dejan escapar 3 unidades de agua (si estn
disponibles), cc se deja escapar toda el agua.
Sea: Yt = cantidad de agua en la represa al final del perodo t, luego de dejar
escapar el agua.
Movimiento de agua
Encontrar la matriz de probabilidades de transicin.

Clasificar los estados.
Calcular las probabilidades de estado estable.
Cul es el valor esperado de agua que se pierde a la larga?
Si en un perodo dado no hay 3 unidades de agua, sta se debe comprar
en otra parte. Cul es el valor esperado de este faltante por perodo?
Problema 2
Venta de artesanas
Produccin: 1 tapiz al da (para vender al da siguiente)
II = 1, entonces: P(V=1) = 1/3
II = 2, entonces: P(V1) = , P(V=2) =
II = 3, entonces: P(V1) = 2/3, P(V2) = 1/3, P(V=3) = 1/5
Si II =3, el artesano no produce, slo vende.
Hallar:
La matriz de transicin asociada al proceso
La fraccin promedio de tardes en que el artesano tendr slo el tapiz
producido durante ese da y ningn otro
Fraccin de tardes en que el artesano no produce
Nivel promedio de inventario al final de un da
Problema 3
Mercado Compartido
El mercado de un producto lo comparten 4 marcas. La tabla siguiente

nos muestra la distribucin actual del mercado compartido y el
porcentaje de personas que cambian de marca luego de compras
consecutivas:
A la A la A la A la Mercado
marca 1 marca 2 marca 3 marca 4 compartido
De la marca 1 60 8 20 12 40%
De la marca 2 15 40 25 20 20%
De la marca 3 25 16 50 9 30%
De la marca 4 28 12 20 40 10%
Mercado Compartido
Si en promedio se realiza una compra cada 2 meses, realizar una

prediccin del mercado luego de 6 meses.
Cul es la participacin promedio a largo plazo del mercado para
cada marca si los patrones actuales de compra no se alteran?
Problema 4
Taller de Produccin
Un taller opera dos mquinas idnticas

Cada mquina requiere de la atencin del operador en momentos
aleatorios.
La probabilidad de que la mquina requiera servicio en un perodo de 5
minutos es p = 0.4
El operador es capaz de dar servicio a una mquina en 5 minutos.
Una mquina requiere servicio siempre al inicio de un intervalo de 5
minutos.
Problema 5
Seis 6 bolas en dos urnas
Se tienen tres bolas blancas y tres bolas negras en dos urnas (tres bolas
en cada urna).
El sistema est en el estado i, i = 0,1,2,3, si la primera urna contiene i
bolas blancas.
En cada paso se saca una bola de cada urna y se intercambian (de
urnas).
Sea Xn el estado del sistema despus del n-simo paso:
Por qu {Xn, n = 0, 1, ....} es una CM?
Calcular la matriz de transicin.
Se tienen beneficios de 10, 20, 30 y 40 dlares por estar en los estados
0, 1, 2 y 3 respectivamente. Cul ser el beneficio esperado a largo
plazo?
Problema 6
Vigilante nocturno
Un vigilante nocturno recorre el museo cuya planta se dibuja a
continuacin, de acuerdo a estas reglas:
Desde la pieza D, va a la pieza C, y luego al patio P.
Desde el patio, con igual probabilidad se dirige a la pieza B, o a la
pieza C (continuando luego a D).
Desde la pieza B, vuelve al patio.
Se solicita lo siguiente:
Hallar la Matriz de Transicin.
Analizar la matriz para determinar la
posibilidad de la existencia de estados
estables.
Calcular la probabilidad de encontrarse en
cada estado despus de dar 33, 34, 35 y 36
pasos. Comente.
ANEXOS
116
Espacio de estados de un
proceso:
Usaremos a1,a2,.....an
El conjunto de todos
para representar los (n)
los posibles estados
estados de un estado
que un proceso puede
ocupar en los distintos ai ------> aj para
movimientos se llama representar que el
espacio de estados. Un proceso se mueve del
espacio de estados estado (i) al estado (j).
puede ser
finito,
infinito
Probabilidades de transicin de un solo paso
P(ai -----> aj) es la Ejemplo:

probabilidad condicional para Sea una persona sentada en el
asiento de en medio de una fila de
que el proceso que se cinco asientos [marcados con
encuentra en el estado ai se A,B,C,D,E] de izquierda a
mueva al estado aj en un derecha. Esta persona se mueve
slo paso, y se designa por Pij por seis veces de una silla a la
otra, estando sus movimientos
. Esto recibe el nombre de controlados por una moneda que
probabilidad de transicin de se tira al aire.
un slo paso. Si todas estas a) Si no est al final de una fila
probabilidades son conocidas de asientos se mueve hacia la
derecha si sale CARA y hacia la
para todos los pares de izquierda si sale CRUZ.
estados se ordenan en una b) Si est al inicio o al final se
matriz cuadrada que recibe quedar donde est salga lo que
el nombre de matriz de salga.
transicin.
P = [pij]
Espacio de Estados: [ A, B, C, D, E ]
P[A ---> A] = P[E ---> E] = 1

ya que se queda donde est.
P[B ---> A] = 1/2 puesto
A B C D E que la probabilidad de que
salga CR es 1/2.
A 1 0 0 0 0 P[C ---> C] = 0 ya que
aqu no se puede quedar.
B 1/2 0 1/2 0 0 La pij = 1
Las matrices que tienen
C 0 1/2 0 1/2 0 elementos no negativos y a
suma de los elementos de
D 0 0 1/2 0 1/2 sus filas valen la unidad
se llaman matrices
estocsticas
E 0 0 0 0 1
Vector probabilidad inicial
Existe un vector En el ejemplo anterior
probabilidad inicial tal El vector probabilidad
que: inicial sera
a = (a1, a2,....an) a = (0, 0,1, 0, 0)
en la que los puesto que el proceso
comienza en la silla C.
elementos ai son las
probabilidades de
que el estado inicial
del proceso sea Si.
Propiedad de Markov
Considerar una secuencia Si,Sj,Sk de Para tales procesos la

un experimento cuyo vector y matriz probabilidad de la siguiente
inicial son conocidos. Entonces la
secuencia de probabilidad ser: direccin depende del
P( Si,Sj,Sk ) = P( Si) P( Si->Sj) P( Sj->Sk) estado presente del proceso
Podramos ampliar la regla para y no depende del estado
cubrir secuencias de cualquier nmero precedente.
de pasos. A los procesos a los Ejemplo:
cuales podemos aplicar esta regla se
dicen que tienen la propiedad de En el problema anterior
Markov. calcular la probabilidad de
la secuencia.
P[C,D,C,B,A,A,A] = P[C]
P[C -->D] P[D -->C]
P[C -->B]. P[B -->A]
P[A -->A] P[A -->A]
=1*1/2*1/2*1/2*1/2*1*1 =1/16
Cadena de Markov finita y
estacionara.
Una cadena de Markov estacionara
y finita queda completamente definida
cuando se conoce:
a) Espacio de estados finito.
b) Una matriz [Pij] de probabilidades de
transicin de un slo paso estacionara.
c) El vector de probabilidad inicial.
Cadena de transicin de n pasos
El diagrama es un grfico
de una secuencia de una
muestra de una cadena de
Markov de cinco estados
A ----> E .En los doce
pasos se recorren todos
los estados.
Evidentemente el proceso
no puede quedarse nunca
atrapado. A los estados
que pueden atrapar un
proceso se les llaman
estados absorbentes.
Probabilidades de transicin superiores
La probabilidad de que el TEOREMA:

proceso pase del estado Si al
Si P es la matriz de
Sj en (n) pasos se llama transicin de un paso en una
probabilidad de transicin en cadena finita de Markov,
n pasos y se simboliza por :
entonces Pn es la matriz de
P(n)ij transicin de (n) pasos.
La matriz formada por
todos los P(n)ij es una
matriz cuadrada y se
denomina matriz de
transicin de (n) pasos.
La probabilidad P(n)ij es la probabilidad de pasar
de Si a Sj en dos pasos.
Suponiendo (n) estados en S.
Existen n caminos mutuamente excluyentes
Si---->S1---->Sj Si---->S2---->Sj.......
Las probabilidades de esos caminos son:
pi1 p1j
pi2 p2j
........
Por lo que por la regla de la cadena la probabilidad
del suceso Si---->Sj en dos pasos ser la suma de
estas dos probabilidades.
As
Pij(n) = Pir Prj
Pero por definicin de la multiplicacin de matrices,
la sumatoria es el elemento ij-simo de la matriz
P2. Luego
P2 = Pij
Por induccin se puede demostrar que
Pn = Pij(n)
MATRIZ DE UN SOLO PASO MATRIZ DE DOS PASOS
A B C D E A B C D E
A 1 0 0 0 0 A 1 0 0 0 0
B 1/2 0 1/2 0 0 B 1/2 1/4 0 1/4 0
C 0 1/2 0 1/2 0 C 1/4 0 1/2 0 1/4
D 0 0 1/2 0 1/2 D 0 1/4 0 1/4 1/2
E 0 0 0 0 1 E 0 0 0 0 1
CADENAS DE MARKOV ABSORBENTES
Estados ergdicos:
Sea E un subconjunto de S y E' el
complementario de E en S. Si cada estado de
E se puede alcanzar desde cualquier otro
estado de E, pero ningn estado de E' se
puede alcanzar desde E, entonces E recibe
el nombre de conjunto ergdico. Un estado
ergdico es un elemento de un conjunto
ergdico.
CADENAS DE MARKOV CADENAS ERGODICAS
ABSORBENTES Cadena que est formada
Son cadenas en donde por un conjunto ergdico se
todos los estados llama cadena ergdica. Se
transitorios son absorbentes. distinguen dos tipos de
cadenas ergdicas:
a) Cadena ergdica cclica:
en ella slo se puede entrar
en un estado a intervalos
peridicos fijos.
b) Cadena ergdica
regular: cadena ergdica
no-cclica.
EJEMPLO DE CADENA REGULAR
S1 S2
S1 1/2 1/2
S2 1/2 1/2
Est claro que el sistema
completo nunca estar
completamente "atrapado" en un
estado, as que la cadena es
regular.
S1 S2 S3
S1 0 3/4 1/4
S2 1/2 0 1/2
Siempre es posible moverse de
un estado a cualquier otro, en
cualquier paso siendo los S3 1/4 3/4 0
movimientos no-cclicos. As la
cadena y la matriz son regulares.
EJEMPLO DE CADENA NO REGULAR
S1 S2 S3
S1 1/4 1/4
Despus de n pasos la cadena entrar
(con probabilidad 1 cuando n tiende a
S2 0 1/3 1/3 ) en S2 o en S3. Una vez situada en
uno de estos estados nunca podr pasar a
S1. Por lo tanto S1 es un estado
S3 0 1/4 1/4 transitorio y as la cadena es no regular y
por lo tanto no-ergdica, aunque el
conjunto [ S2, S3 ] sea un conjunto
ergdico.
EJEMPLO DE CADENA CICLICA
S1 S2 S3
S1 0 0 1
S2 1 0 0
La cadena se mueve con perodo
3 a travs de los conjunto
S3 0 1 0 cclicos [ S1 ] [ S2 ] y [ S3 ]. Es por
lo tanto una cadena cclica
ergdica y no una cadena regular.
Clasificacin de estados en una cadena de Markov
Se dice que el estado i es accesible

desde el estado j si la probabilidad de
transicin en n pasos de j a i es positiva,
p(n)ij > 0, para algn nmero natural n
Si el estado i es accesible desde el estado
j y viceversa se dice que los estados
estn comunicados
Clasificacin de estados de una cadena de Markov
Estado transitorio
Es aqul tal que despus de que el proceso ha entrado ah, nunca
regresar
El estado i es transitorio si y slo si existe un estado j que es
accesible desde i, pero donde el estado i no es accesible desde j
Al no haber acceso al estado i desde j, existe una probabilidad
positiva (incluso igual a 1) de que el proceso se mueva al estado j
y nunca regrese al estado i
Estado recurrente
Es un estado tal que una vez que el proceso ha estado en l,
existe la seguridad de que volver
Un estado es recurrente si y slo si no es transitorio
Estado absorbente
Es un estado tal que despus de haber entrado all, el sistema ya
nunca saldr
Para que un estado i sea absorbente se requiere que pii = 1
Estado transitorio
En la siguiente matriz de
transicin, el estado 2 es
Estado n+1
transitorio, ya que de l
es posible pasar 0 1 2 3
directamente al estado 0,
pero no de regreso 0 0.25 0.25 0 0.5
Estado n
Por tanto existe la 1 0.1 0.5 0.25 0.15
posibilidad de que el
sistema pase del estado 2 0.3 0.1 0.4 0.2
2 al 0 y no regrese 3 0.2 0.1 0.4 0.3
nuevamente
Estado transitorio
0.25
0.5
0.25
0.10
0 1
0.25
0.50
0.15
0.30 0.10
0.10
2 3
0.20
0.40
0.30
0.40
0.20
El estado 2 es transitorio. Notamos que tiene una

conexin directa al estado 0, pero no de regreso
Estado recurrente
transicin, todos los Estado n+1
estados, excepto el 2, 0 1 2 3
son recurrentes
Esto es porque desde los 0 0.25 0.25 0 0.5
estados 0,1 y 3 se puede
Estado n
1 0.1 0.5 0.25 0.15
acceder a cualquiera otro
estado, y a su vez, los 2 0.3 0.1 0.4 0.2
estados 0,1 y 3 son 3 0.2 0.1 0.4 0.3
accesibles desde
cualquier otro estado
Estado recurrente
0.25
0.5
0.25
0.10
0 1 Las flechas
0.25
coloreadas por
0.50 pares indican
0.15
las conexiones
0.30 0.10 desde y hacia
0.10 el estado 1
2 3
0.20
0.40
0.30
0.40
0.20
Los estados 1, 2 y 3 son recurrentes. Notamos que cada estado que

tiene una conexin directa desde ellos, tambin la tiene hacia ellos
Estado absorbente
transicin, el estado 0 y
el estado 2 son
absorbentes, ya que una Estado n+1
vez entrando en alguno 0 1 2 3
de ellos, el sistema no
vuelve a salir 0 1 0 0 0
Esto ocurre porque la
Estado n
probabilidad de pasar al 1 0.1 0.5 0.25 0.15
estado 0 dado que se 2 0 0 1 0
encuentra en el estado 0
es igual a 1 3 0.2 0.1 0.4 0.3
Anlogamente ocurre
para el estado 2
Estado absorbente
0.5
1
0.10
0 1
0.25
0.15
0.30 0.10
2 3
1
0.30
0.40
0.20
Los estados 0 y 2 son absorbentes. Notamos que una vez

que el sistema llega a alguno de ellos, no vuelve a salir
Ejemplo: La ruina del jugador
Xo es el capital inicial del jugador igual a 2 soles

En cada jugada gana o pierde 1 sol con probabilidad de p o 1-p respectivamente
El juego termina cuando alcanza su meta que es tener 4 soles o pierde todo
ENTNCES:
Proceso Estocstico es la descripcin de
la relacin entre las variables aleatorias
Xo, X1, X2,, Xt (donde t es el nmero de jugadas)
Si Xt fuera el precio de una accin en el
periodo t, entonces se trata de un
PROCESO ESTOCSTICO CONTNUO.
Cadenas de Markov se basa en 2
conceptos: Estado y Transicin.
El sistema ocupa un estado i con probabilidad pi y despus
de un periodo procede a un transicin para el estado j con
una probabilidad de transicin tij
Entnces:
Donde N es el nmero de estados del sistema

Matriz de Transicin de estados T
Por lo tanto, una secuencia de intentos de un experimento es

una Cadena de Markov Si:
a) El resultado del m-simo intento depende slo del
resultado del m-1 simo intento
b) La probabilidad tij de pasar del estado i al estado j en los

intentos sucesivos del experimento permanece constante.
Vector de probabilidad de distribucin de estados al inicio
Vector de probabilidad de distribucin de estados
despus de un periodo (jugada)
Vector de probabilidad de
distribucin de estados despus de
2 periodos (jugadas)
Vector de probabilidad de distribucin

de estados despus de 3 periodos
(jugadas)
Vector de probabilidad de distribucin

de estados despus de n periodos
(jugadas)
Vector de distribucin de estado estable (a la larga)

PRESENTACIÓN CADENAS DE MARKOV Rev

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

PRESENTACIÓN CADENAS DE MARKOV Rev

Caricato da

Copyright:

Formati disponibili

CADENAS DE MARKOV

Definicin de procesos estocsticos

En el caso del lanzamiento de una moneda, el resultado en cualquier

Por lo mencionado, decimos que un proceso estocstico discreto en

Un proceso estocstico de tiempo discreto es una CADENA DE

Adems para todos los estados i y j y toda t, P(Xt+1=j / Xt=i) es

La ecuacin: pij = P(Xt+1=j / Xt=i)

Indica que la ley de probabilidad que relaciona el estado del

Toda cadena de Markov que cumple con esta condicin se llama

Se necesita saber las probabilidades de encontrar la

Al vector q = [q1 q2 .....qn] se le llama vector

Dado que el estado es i en el tiempo t, el proceso debe estar en algn

j=1,s P(Xt+1=j / Xt=i) = j=1,s pij = 1 (pij 0)

Elementos de una Cadena de Markov:

1. Estados del Sistema: X(t)

Permite encontrar la probabilidad de que un sistema se

Permite encontrar el promedio a la larga o las

Gentica y Paleontologa (Evolucin de las

Marketing (Identificar patrones de

Gobierno (Efecto de Polticas

Ejemplo Cadena de Markov con 2 estados

Sea una lnea telefnica de estados

Se lanza un dado repetidas veces. Cada

Lanzamos una moneda al aire 6 veces. El

1 juego 1 juego 1 juego -6

Si fijo , por ejemplo 0=CCFFFC,

Los posibles valores que puede tomar el

PX 3 ( ) 1 PCFC PCCF PFCC 3

PX 3 ( ) 1 PFCF PFFC PCFF 3

a. El porcentaje de los clientes que consumen cada marca de cerveza

[0,2 0,3 0,5] [0,29 0,27 0,44]

Despus de dos periodos

[0,29 0,27 0,44] [0,34 0,26 0,40]

Este sistema es redundante y, para resolverlo,

En consecuencia se deber realizar la campaa

Segn datos recolectados en el cafetn de ingeniera industrial (2

Que porcentaje del mercado esperar recibir

B Pepsi P= A 0.74 0.26

Hay que resolver el [A B] = [A B] P

Coca-Cola esperar recibir el 59.375% del mercado en el largo

B 0.38 0.62 B 0.5168 0.4832

P3= A 0.61270 0.38730 P4= A 0.60057 0.39943

P7= A 0.59470 0.40593 P8 = A 0.59386 0.40614

P9= A 0.59379 0.40621 P10= A 0.59376 0.40624

P11= A 0.59376 0.40624 P12= A 0.59375 0.40625

P13= A 0.59375 0.40625 P14= A 0.59375 0.40625

P(13) = P(14) = P(15) = ...... = P(n)

Podemos observar que las probabilidades se han

El clima en el dia 0 es conocido como soleado. Esto es representado por el

El clima en el da 1 puede ser pronosticado de la siguiente manera

Por eso, hay un 90% de posibilidad de que el da 1sea tambin soleado

Las reglas generales para el da n son:

Par el caso que se est tratando

Cierto juego tiene las siguientes caractersticas:

1 Xo= 3 es el capital inicial del

P2 = P*P = 2 (1-p)2 0 2p(1-p) 0 p2 0

1 juego 1 juego 1 juego

1 juego 1 juego 1 juego N S

Las pij(n) se pueden representar en la matriz P(n):

Se puede demostrar que pij(n) es el elemento ij-simo de la matriz

Para n=0, pij(0) = P(X0 = j / X0 = i) y por lo tanto:

Pij (2) = k Pik * Pkj

Pij (2) = P( Xm+2=j / Xm=i )

15000.52 + 35000.8 = 3580 rboles se vendern