Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
\
|
=
7 , 0 3 , 0
1 , 0 9 , 0
Q
0 1
0,9
0,1
0,3
0,7
Ejemplo: Lanzamiento de un
dado
Se lanza un dado repetidas veces. Cada vez
que sale menor que 5 se pierde 1 , y cada
vez que sale 5 6 se gana 2 . El juego
acaba cuando se tienen 0 100 .
Sea X
t
=estado de cuentas en el instante t.
Tenemos que { X
t
} es una CM
S={0, 1, 2, , 100}
Ejemplo: Lanzamiento de un
dado
0 1 2 3
2/3
1
4 5
2/3 2/3 2/3 2/3 2/3
1/3 1/3 1/3 1/3
>100 99 98 97
1
2/3 2/3
1/3 1/3
2/3
1/3
1/3
1/3
Ejemplo de proceso
estocstico
Lanzamos una moneda al aire 6 veces. El
jugador gana 1 cada vez que sale cara (C),
y pierde 1 cada vez que sale cruz (F).
X
i
= estado de cuentas del jugador despus
de la i-sima jugada
La familia de variables aleatorias {X
1
, X
2
,,
X
6
} constituye un proceso estocstico
Ejemplo de proceso estocstico
O={CCCCCC,CCCCCF,}
card(O) = 2
6
= 64
P(e)=1/64 eeO
T={1, 2, 3, 4, 5, 6}
S={6, 5, , 1, 0, 1, 2, , 5, 6}
X
1
(O)={1, 1}
1 -1
X0 X1
X
2
(O)={2, 0, 2}
Ejemplo de proceso
estocstico
Si fijo , por ejemplo e
0
=CCFFFC, obtengo
una secuencia de valores completamente
determinista:
X
1
(e
0
)=1, X
2
(e
0
)=2, X
3
(e
0
)=1, X
4
(e
0
)=0,
X
5
(e
0
)= 1, X
6
(e
0
)=0
Puedo dibujar con estos valores la trayectoria
del proceso:
Ejemplo de proceso
estocstico
-2
-1
0
1
2
3
1 2 3 4 5 6
Instante de tiempo, t
V
a
l
o
r
d
e
l
p
r
o
c
e
s
o
Ejemplo de proceso
estocstico
Si fijo t, por ejemplo t
0
=3, obtengo una de las
variables aleatorias del proceso:
9 O :
3
X
( ) e e
3
X
Los posibles valores que puede tomar el
proceso en : X
3
(O)={3, 1, 1, 3}
Ejemplo de proceso
estocstico
Podemos hallar la probabilidad de que el
proceso tome uno de estos valores:
| | | | | | | |
8
3
2
1
2
1
2
1
3 FCC P CCF P CFC P 1 ) ( X P
3
= = + + = = e
| | | |
8
1
2
1
2
1
2
1
CCC P 3 ) ( X P
3
= = = = e
| | | | | | | |
8
3
2
1
2
1
2
1
3 CFF P FFC P FCF P 1 ) ( X P
3
= = + + = = e
| | | |
8
1
2
1
2
1
2
1
FFF P 3 ) ( X P
3
= = = = e
3. Probabilidad de transicin de n pasos
Si una cadena de Markov se encuentra en el estado i en el tiempo m,
la probabilidad que n perodos despus la cadena de Markov est en
el estado j, es:
p
ij
(n) = P(X
m+n
= j / X
m
=i) = P(X
n
= j / X
0
=i)
Donde p
ij
(1) = p
ij
1 2 3 ... S
1 P
11
(n) P
12
(n) P
13
(n) ... P
1s
(n)
2 P
21
(n) P
22
(n) P
23
(n) ... P
2s
(n)
P(n) = 3 P
31
(n) P
32
(n) P
33
(n) ... P
3s
(n)
... ... ... ... ... ...
S P
s1
(n) P
s2
(n) P
s3
(n) ... P
ss
(n)
Las p
ij
(n) se pueden representar en la matriz P(n):
3. Probabilidad de transicin de n pasos
Se puede demostrar que p
ij
(n) es el elemento ij-simo de la matriz P
n
.
Entonces:
p
ij
(n) =
k=1,s
p
ik
(v)p
kj
(n-v)
Para n=0, p
ij
(0) = P(X
0
= j / X
0
= i) y por lo tanto:
p
ij
(0) = 1, si i = j
p
ij
(0) = 0, si i = j
3. Probabilidad de transicin de n pasos
Probabilidad de Transicin de 2 pasos
P
ij
(2) =
k
P
ik
* P
kj
i
j
k
P
ij
(2) = P( X
m+2
=j / X
m
=i )
3. Probabilidad de transicin de n pasos
Probabilidad de Transicin de 3 pasos
P
ij
(3) =
k
l
( P
ik
* P
kl
* P
lj
)
i
j
k
P
ij
(3) = P( X
m+3
=j / X
m
=i )
l
3. Probabilidad de transicin de n pasos
Probabilidad de Transicin de n pasos
i
j
k l
En general,
P( X
n+m
=j / X
m
=i ) = P
ij
(n)
P (n) = P*P*P*.....*P (n veces)
Ejemplo
Una fotocopiadora de oficina tiene uno de dos
posibles comportamientos: FUNCIONA o NO FUNCIONA
Si funciona durante un da, la probabilidad de que al da siguiente siga
funcionando es de un 75%. Si no funciona durante un da cualquiera,
hay un 75% de probabilidad de que tampoco funcione al da siguiente.
a)Si actualmente funciona, Cul es la probabilidad de que est
funcionando dentro de dos das?
b) Si actualmente no funciona, Cul es la probabilidad que no est
funcionando dentro de tres das?
Ejemplo - solucin
Estado Descripcin
1 FUNCIONA
2 NO FUNCIONA
1 2
P = 1 0.75 0.25
2 0.25 0.75
1 2
0.25
0.25
0.75
0.75
Ejemplo - solucin
1 2
P = 1 0.75 0.25
2 0.25 0.75
1 2
0.25
0.25
0.75
0.75
a) b)
1 2
P
2
= 1 0.625 0.325
2 0.325 0.625
1 2
P
3
= 1 0.567 0.433
2 0.433 0.567
4. Clasificacin de estados de una
Cadena de Markov
Definicin:
Dados dos estados i y j, la trayectoria de i a j es la sucesin de
transiciones que comienza en i y termina en j, de modo que cada
transicin tenga probabilidad positiva de presentarse.
i
j
4. Clasificacin de estados de una
Cadena de Markov
Definicin:
Un estado j es alcanzable desde el estado i, si hay una trayectoria
que vaya de i a j.
i
j
i
k
j
j es alcanzable por i.
4. Clasificacin de estados de una
Cadena de Markov
Definicin:
Dos estados, i y j se comunican, si el estado j es alcanzable desde el
estado i, y adems el estado i es alcanzable desde el estado j.
i
j
i
j
k
i se comunica con j
4. Clasificacin de estados de una
Cadena de Markov
Definicin:
Un conjunto de estados S en una Cadena de Markov es conjunto
cerrado, si ningn estado fuera de S es alcanzable desde un
estado S.
i
j
l
k
4. Clasificacin de estados de una
Cadena de Markov
Definicin:
Un estado i, es estado absorbente si pii = 1
i
P
ii
= 1
4. Clasificacin de estados de una
Cadena de Markov
Definicin:
Un estado i es estado transitorio si hay un estado j alcanzable desde
i, pero el estado i no es alcanzable desde el estado j.
i
j
i
j
k
i es transitorio
Definicin:
Si un estado no es transitorio, se llama estado recurrente.
4. Clasificacin de estados de una
Cadena de Markov
i j
i
j
k
i es recurrente
Definicin:
Un estado i es peridico con perodo k > 1, si k es el menor nmero
tal que todas las trayectorias que parten del estado i y regresan al
estado i tienen una longitud mltiplo de k.
4. Clasificacin de estados de una Cadena de Markov
i
l
j
estado i es peridico
Si k>1, entonces diremos que i es peridico de periodo j. El estado j
ser peridico de periodo k>1 si existen caminos que llevan desde j
hasta i pero todos tienen longitud mk, con m>0
Periodicidad
Ejemplo: En la siguiente CM todos los estados
son peridicos de periodo k=2:
Ejemplo: En la siguiente CM todos los estados son
peridicos de periodo k=3:
Periodicidad
Ejemplo de CM peridica de periodo k=3:
A
1
A
2
A
3
Definicin:
Si un estado recurrente no es peridico, se llama aperidico.
4. Clasificacin de estados de una
Cadena de Markov
i
j
k
i
j
k
i es aperidico
Definicin:
Si todos los estados de una cadena de Markov son recurrentes,
aperidicos y se comunican entre s, se dice que la cadena es
ergdica.
4. Clasificacin de estados de una
Cadena de Markov
Ejemplo
Evaluar la siguiente cadena de Markov
1 2 3
1 0.33 0.67 0
P = 2 0.50 0 0.50
3 0 0.25 0.75
Estados recurrentes
1 2
3
0.67
0.5
0.5
0.25
0.75
La cadena de Markov es
ergdica.
Estados aperidicos
Se comunican entre s.
Cadenas ergdicas
Ejemplo: Analizar la siguiente CM, con S={a, b,
c, d, e}:
|
|
|
|
|
|
.
|
\
|
=
3
1
3
1
3
1
4
1
2
1
4
1
3
2
3
1
4
3
4
1
2
1
2
1
0 0
0 0
0 0 0
0 0 0
0 0 0
Q
Ejemplos
d
b c
e
a
1/4
1/4
3/4 1/2
1/4
1/2
1/2
1/3
1/3
1/3
2/3
1/3
Clasificar los estados
Recurrentes: a, c, e
Transitorios: b, d
Peridicos: ninguno
Absorbentes: ninguno
Ejemplo: Analizar la siguiente CM, con
S={a, b, c, d, e, f, g}:
|
|
|
|
|
|
|
|
|
.
|
\
|
=
1 0 0 0 0 0 0
0 3 , 0 0 7 , 0 0 0 0
0 0 0 0 1 0 0
0 1 0 0 0 0 0
0 0 2 , 0 0 0 0 8 , 0
0 4 , 0 4 , 0 0 0 2 , 0 0
0 0 0 0 1 0 0
Q
Ejemplos
a
e
c
b
f
d
g
1
0,8
1
0,2
0,4
0,2
0,4
0,7
0,3
1
1
Clasificar los estados
Recurrentes: a, c, d, e, f, g
Transitorios: b
Peridicos: a, c, e (todos de periodo 2)
Absorbentes: g
Ejemplos
La siguiente CM es comunicativa, aperidica,
recurrente y ergdica.
Ejemplos
La siguiente CM es comunicativa, aperidica,
recurrente y ergdica
Ejemplos
La siguiente CM es comunicativa, recurrente
y peridica de periodo 3. No es ergdica.
5. Probabilidades de estado estable
Teorema:
Sea P la matriz de transicin de una cadena ergdica de
s estados.
Existe un vector t = [t
1
t
2
.... t
s
] tal que:
1 2 3 ... S
1
t
1
t
2
t
3
...
t
s
2
t
1
t
2
t
3
...
t
s
lim P
n
= 3
t
1
t
2
t
3
...
t
s
n ... ... ... ... ... ...
S
t
1
t
2
t
3
...
t
s
5. Probabilidades de estado estable
Teorema:
1 2 3 ... S
1
t
1
t
2
t
3
...
t
s
2
t
1
t
2
t
3
...
t
s
lim P
n
= 3
t
1
t
2
t
3
...
t
s
n ... ... ... ... ... ...
S
t
1
t
2
t
3
...
t
s
El vector t = [t
1
t
2
.... t
s
], se llama distribucin de estado estable o
tambin distribucin de equilibrio para la cadena de Markov.
5. Probabilidades de estado estable
Teorema:
1 2 3 ... S
1
t
1
t
2
t
3
...
t
s
2
t
1
t
2
t
3
...
t
s
lim P
n
= 3
t
1
t
2
t
3
...
t
s
n ... ... ... ... ... ...
S
t
1
t
2
t
3
...
t
s
Las t
j
satisfacen el siguiente sistema de ecuaciones:
t
j
=
E
k=1,s
(t
k
p
kj
) para j = 1, 2, ....s (t
=
t
P)
E
k=1,s
t
k
= 1 (Et = 1)
Ejemplo
Las compras de los consumidores estn influidas por la
publicidad, el precio y muchos otros factores. Un factor clave
en las compras de los consumidores es la ltima compra.
Segn datos recolectados en el cafetn de ingeniera industrial (2 semanas):
Si alguien compra una bebida Coca-Cola, y se le agrada el sabor, quedar
dispuesto a comprar otra Coca-Cola (lealtad a la marca).
Coca-Cola es la marca de inters.
Pepsi es su competencia directa.
El 74% de los clientes son leales. La oposicin conserva el 62% de sus
clientes.
Que porcentaje del mercado esperar recibir Coca-Cola en el largo
plazo?
Ejemplo - solucin
Estado Descripcin
A Coca-Cola
B Pepsi
A B
P = A
B
0.74 0.26
0.38 0.62
Hay que resolver el
siguiente sistema:
t
=
t
P
Et
= 1
Donde: t = [t
A
t
B
]
[t
A
t
B
] =
[t
A
t
B
]
P
= [0.74t
A
+ 0.38t
B
0.26t
A
+ 0.62t
B
]
t
A
=
0.74t
A
+ 0.38t
B
t
B
=
0.26t
A
+ 0.62t
B
t
A
+ t
B
= 1
De donde: t
A
=
0.59375 t
B
=
0.40625
Coca-Cola esperar recibir el 59.375% del mercado en el largo plazo
Ejemplo solucin (elevando P
n
para estabilizarlo en el largo plazo)
A B
P = A
B
0.74
0.26
0.38 0.62
A B
P
2
= A
B
0.6464 0.3536
0.5168 0.4832
A B
P
3
= A
B
0.61270 0.38730
0.56605 0.43395
A B
P
4
= A
B
0.60057 0.39943
0.58378 0.41622
A B
P
5
= A
B
0.59621 0.40379
0.59016 0.40984
A B
P
6
= A
B
0.59463 0.40537
0.59246 0.40754
Ejemplo solucin (elevando P
n
para estabilizarlo en el largo plazo)
A B
P
9
= A
B
0.59379 0.40621
0.59369 0.40631
A B
P
10
= A
B
0.59376 0.40624
0.59373 0.40627
A B
P
11
= A
B
0.59376 0.40624
0.59374 0.40624
A B
P
12
= A
B
0.59375 0.40625
0.59375 0.40625
A B
P
7
= A
B
0.59470 0.40593
0.59328 0.40672
A B
P
8
= A
B
0.59386 0.40614
0.59358 0.40642
Ejemplo solucin (elevando P
n
para estabilizarlo en el largo plazo)
A B
P
13
= A
B
0.59375 0.40625
0.59375 0.40625
A B
P
14
= A
B
0.59375 0.40625
0.59375 0.40625
P(13) = P(14) = P(15) = ...... = P(n)
t
A
=
0.59375
t
B
=
0.40625
Podemos observar que las probabilidades se han
estabilizado, es decir, cada fila poseen valores iguales.
6. Tiempos promedio de primera pasada
En una cadena ergdica, sea
ij
el nmero esperado de transiciones
antes de alcanzar por primera vez el estado j, dado que estamos
actualmente en el estado i.
ij
se llama tiempo promedio de primera
pasada del estado i al estado j.
Se tiene que resolver el siguiente sistema de ecuaciones:
ij
= 1 + E
k = j
p
ik
kj
Cuando i = j,
ij
se llama tiempo promedio de recurrencia:
ij
= 1/t
i
6. Tiempos promedio de primera pasada
Una computadora se inspecciona cada hora. Se encuentra que
est trabajando o descompuesta. Si est trabajando, la
probabilidad de que siga trabajando la siguiente hora es 0.87. Si
est descompuesta, se repara, lo que puede llevar ms de una
hora. Siempre que la computadora esta descompuesta, la
probabilidad de que siga descompuesta la siguiente hora es
0.43.
Encontrar las
ij
.
Ejemplo
Ejemplo - solucin
Estado Descripcin
1 FUNCIONA
2 DESCOMPUESTA
1 2
P = 1
2
0.87 0.13
0.57 0.43
Las ecuaciones para hallar los t
son:
t
1
=
0.87t
1
+ 0.57t
2
t
2
=
0.13t
1
+ 0.43t
2
t
1
+ t
2
= 1
De donde: t
1
=
57/70 t
2
=
13/70
Por tanto:
11
= 1/t
1
= 1.23 horas
22
= 1/t
2
= 5.38 horas
Hay que resolver el siguiente
sistema:
ij
= 1 + E
k = j
p
ik
kj
12
= 1 + p
11
12
= 1 + 0.87
12
21
= 1 + p
22
21
= 1 + 0.43
21
Donde:
12
= 7.69 horas
21
=1.75 horas
7. Cadenas de Markov con recompensa
El costo promedio a largo plazo, por unidad de tiempo est
dado por:
g =
E
j=1,s
(t
j
C
j
)
Donde:
Cj = Inventarios
Nivel de ventas
Mquinas malogradas, etc.
8. Cadenas de Markov absorbentes
Una CM es absorbente, si tiene por lo menos un estado absorbente,
y es posible ir de cada estado no absorbente hasta por lo menos un
estado absorbente.
En una CM absorbente se puede calcular:
Nmero esperado de veces que se estar en un estado transitorio
antes de llegar a un estado absorbente.
Probabilidad de terminar en estados absorbentes.
8. Cadenas de Markov absorbentes
Se requiere una matriz de transicin ordenada como la que se muestra a
continuacin:
s-m columnas m columnas
s-m filas Q R
m filas 0 I
Se puede entonces determinar:
Nmero esperado de veces en un estado antes de la absorcin: (I Q)
-1
Probabilidad de terminar en cada uno de los estados absorbentes: (I Q)
-1
R
Transitorios
Absorbentes
Transitorios Absorbentes
As tenemos:
I es una matriz identidad de orden m x m que representa las
probabilidades de permanecer dentro de un estado absorbente.
Q es una matriz de orden (s-m) x (s-m) que representa las
probabilidades de ir de un estado transitorio hasta otro estado
transitorio.
R es una matriz de orden (s-m) x m que representa las
probabilidades de ir de un estado transitorio hasta un estado
absorbente.
O es una matriz nula de orden m x (s-m) que representa las
probabilidades de ir de un estado absorbente hasta un estado
transitorio.
8. Cadenas de Markov absorbentes
En conclusin:
8. Cadenas de Markov absorbentes
1 2 3 4 S
1 p
11
p
12
p
13
p
14
p
15
2 p
21
p
22
p
23
p
24
p
25
P =
3 p
31
p
32
p
33
p
34
p
35
4 0 0 0 1 0
S 0
0
0
0 1
Q R
O I
Se definen 4 matrices {Q, R, O, I}
8. Cadenas de Markov absorbentes
Ejemplo
A travs del anlisis de cuentas por cobrar pasadas, un contralor
proporciona la siguiente informacin:
El balance de cuentas por cobrar indica que se tiene $60000 en cuentas
por cobrar con retraso entre 0 y 30 das y $40000 en cuentas por cobrar
con retraso entre 31 y 90 das.
0-30 das 31-90 das pagadas Morosas
0-30 das 0.4 0.1 0.5 0
31-90 das 0.1 0.2 0.6 0.1
Pagadas 0 0 1 0
morosas 0 0 0 1
Cul debe ser la concesin?
8. Cadenas de Markov absorbentes
Ejemplo - solucin
Estado Descripcin
1 CxC con retraso entre 0 y 30 das
2 CxC con retraso entre 31 y 90 das
3 Cuentas pagadas
4 Cuentas morosas
La concesin ser:
60000(0.021) + 40000(0.128)= $6380
1 2 3 4
1 0.4 0.1 0.5 0
P = 2 0.1 0.2 0.6 0.1
3 0 0 1 0
4 0 0 0 1
Paso = 1 da
3 4
R = 1 0.5 0
2 0.6 0.1
Q R
O
I
1 2
Q = 1 0.4 0.1
2 0.1 0.2
1 2
(I - Q)
-1
= 1 1.702 0.213
2 0.213 1.277
3 4
(I - Q)
-1
R= 1 0.979 0.021
2 0.872 0.128
9. Ejercicios Propuestos
Problema 1
Movimiento de agua
Sea X
i
= cantidad de agua que fluye a una represa en el perodo i.
X
i
tiene la siguiente funcin de densidad:
X
i
1 2 3 4 5
F(X
i
) 1/8 1/4 1/4 1/4 1/8
Para todo i
independientes.
Capacidad de la represa: 5 unidades.
Si la represa se llena, el flujo siguiente se pierde.
Al final de un perodo se dejan escapar 3 unidades de agua (si estn
disponibles), cc se deja escapar toda el agua.
Sea: Y
t
= cantidad de agua en la represa al final del perodo t, luego de dejar
escapar el agua.
9. Ejercicios Propuestos
Problema 1
Movimiento de agua
Encontrar la matriz de probabilidades de transicin.
Clasificar los estados.
Calcular las probabilidades de estado estable.
Cul es el valor esperado de agua que se pierde a la larga?
Si en un perodo dado no hay 3 unidades de agua, sta se debe comprar
en otra parte. Cul es el valor esperado de este faltante por perodo?
9. Ejercicios Propuestos
Problema 2
Venta de artesanas
Produccin: 1 tapiz al da (para vender al da siguiente)
II = 1, entonces: P(V=1) = 1/3
II = 2, entonces: P(V>1) = , P(V=2) =
II = 3, entonces: P(V>1) = 2/3, P(V>2) = 1/3, P(V=3) = 1/5
Si II =3, el artesano no produce, slo vende.
Hallar:
La matriz de transicin asociada al proceso
La fraccin promedio de tardes en que el artesano tendr slo el tapiz
producido durante ese da y ningn otro
Fraccin de tardes en que el artesano no produce
Nivel promedio de inventario al final de un da
9. Ejercicios Propuestos
Problema 3
Mercado Compartido
El mercado de un producto lo comparten 4 marcas. La tabla siguiente
nos muestra la distribucin actual del mercado compartido y el
porcentaje de personas que cambian de marca luego de compras
consecutivas:
A la
marca 1
A la
marca 2
A la
marca 3
A la
marca 4
Mercado
compartido
De la marca 1 60 8 20 12 40%
De la marca 2 15 40 25 20 20%
De la marca 3 25 16 50 9 30%
De la marca 4 28 12 20 40 10%
9. Ejercicios Propuestos
Problema 3
Mercado Compartido
Si en promedio se realiza una compra cada 2 meses, realizar una
prediccin del mercado luego de 6 meses.
Cul es la participacin promedio a largo plazo del mercado para
cada marca si los patrones actuales de compra no se alteran?
9. Ejercicios Propuestos
Problema 4
Taller de Produccin
Un taller opera dos mquinas idnticas
Cada mquina requiere de la atencin del operador en momentos
aleatorios.
La probabilidad de que la mquina requiera servicio en un perodo de 5
minutos es p = 0.4
El operador es capaz de dar servicio a una mquina en 5 minutos.
Una mquina requiere servicio siempre al inicio de un intervalo de 5
minutos.
9. Ejercicios Propuestos
Problema 5
Seis 6 bolas en dos urnas
Se tienen tres bolas blancas y tres bolas negras en dos urnas (tres bolas
en cada urna).
El sistema est en el estado i, i = 0,1,2,3, si la primera urna contiene i
bolas blancas.
En cada paso se saca una bola de cada urna y se intercambian (de
urnas).
Sea X
n
el estado del sistema despus del n-simo paso:
Por qu {X
n
, n = 0, 1, ....} es una CM?
Calcular la matriz de transicin.
Se tienen beneficios de 10, 20, 30 y 40 dlares por estar en los estados
0, 1, 2 y 3 respectivamente. Cul ser el beneficio esperado a largo
plazo?
9. Ejercicios Propuestos
Problema 6
Vigilante nocturno
Un vigilante nocturno recorre el museo cuya planta se dibuja a
continuacin, de acuerdo a estas reglas:
Desde la pieza D, va a la pieza C, y luego al patio P.
Desde el patio, con igual probabilidad se dirige a la pieza B, o a la
pieza C (continuando luego a D).
Desde la pieza B, vuelve al patio.
Se solicita lo siguiente:
Hallar la Matriz de Transicin.
Analizar la matriz para determinar la
posibilidad de la existencia de estados
estables.
Calcular la probabilidad de encontrarse en
cada estado despus de dar 33, 34, 35 y 36
pasos. Comente.
Espacio de estados de un
proceso:
El conjunto de todos
los posibles estados
que un proceso puede
ocupar en los distintos
movimientos se llama
espacio de estados. Un
espacio de estados
puede ser
finito,
infinito
Usaremos a
1
,a
2
,.....a
n
para representar los (n)
estados de un estado
a
i
------> a
j
para
representar que el
proceso se mueve del
estado (i) al estado (j).
Probabilidades de transicin de un solo paso
P(a
i
-----> a
j
) es la
probabilidad condicional para
que el proceso que se
encuentra en el estado a
i
se
mueva al estado a
j
en un
slo paso, y se designa por P
ij
. Esto recibe el nombre de
probabilidad de transicin de
un slo paso. Si todas estas
probabilidades son conocidas
para todos los pares de
estados se ordenan en una
matriz cuadrada que recibe
el nombre de matriz de
transicin.
P = [p
ij
]
Ejemplo:
Sea una persona sentada en el
asiento de en medio de una fila de
cinco asientos [marcados con
A,B,C,D,E] de izquierda a
derecha. Esta persona se mueve
por seis veces de una silla a la
otra, estando sus movimientos
controlados por una moneda que
se tira al aire.
a) Si no est al final de una fila
de asientos se mueve hacia la
derecha si sale CARA y hacia la
izquierda si sale CRUZ.
b) Si est al inicio o al final se
quedar donde est salga lo que
salga.
Espacio de Estados: [ A, B, C, D, E ]
P[A ---> A] = P[E ---> E] = 1
ya que se queda donde est.
P[B ---> A] = 1/2 puesto
que la probabilidad de que
salga CR es 1/2.
P[C ---> C] = 0 ya que
aqu no se puede quedar.
La p
ij
= 1
Las matrices que tienen
elementos no negativos y a
suma de los elementos de
sus filas valen la unidad
se llaman matrices
estocsticas
A B C D E
A 1 0 0 0 0
B 1/2 0 1/2 0 0
C 0 1/2 0 1/2 0
D 0 0 1/2 0 1/2
E 0 0 0 0 1
Vector probabilidad inicial
Existe un vector
probabilidad inicial tal
que:
a = (a
1
, a
2
,....a
n
)
en la que los
elementos a
i
son las
probabilidades de
que el estado inicial
del proceso sea S
i
.
En el ejemplo anterior
El vector probabilidad
inicial sera
a = (0, 0,1, 0, 0)
puesto que el proceso
comienza en la silla C.
Propiedad de Markov
Considerar una secuencia S
i
,S
j
,S
k
de
un experimento cuyo vector y matriz
inicial son conocidos. Entonces la
secuencia de probabilidad ser:
P( Si,Sj,Sk ) = P( Si) P( Si->Sj) P( Sj->Sk)
Podramos ampliar la regla para
cubrir secuencias de cualquier nmero
de pasos. A los procesos a los
cuales podemos aplicar esta regla se
dicen que tienen la propiedad de
Markov.
Para tales procesos la
probabilidad de la siguiente
direccin depende del
estado presente del proceso
y no depende del estado
precedente.
Ejemplo:
En el problema anterior
calcular la probabilidad de
la secuencia.
P[C,D,C,B,A,A,A] = P[C]
P[C -->D] P[D -->C]
P[C -->B]. P[B -->A]
P[A -->A] P[A -->A]
=1*1/2*1/2*1/2*1/2*1*1 =1/16
Cadena de Markov finita y
estacionara.
Una cadena de Markov estacionara
y finita queda completamente definida
cuando se conoce:
a) Espacio de estados finito.
b) Una matriz [Pij] de probabilidades de
transicin de un slo paso estacionara.
c) El vector de probabilidad inicial.
Cadena de transicin de n pasos
El diagrama es un grfico
de una secuencia de una
muestra de una cadena de
Markov de cinco estados
A ----> E .En los doce
pasos se recorren todos
los estados.
Evidentemente el proceso
no puede quedarse nunca
atrapado. A los estados
que pueden atrapar un
proceso se les llaman
estados absorbentes.
Probabilidades de transicin superiores
La probabilidad de que el
proceso pase del estado S
i
al
S
j
en (n) pasos se llama
probabilidad de transicin en
n pasos y se simboliza por :
P
(n)
ij
La matriz formada por
todos los P
(n)
ij
es una
matriz cuadrada y se
denomina matriz de
transicin de (n) pasos.
TEOREMA:
Si P es la matriz de
transicin de un paso en una
cadena finita de Markov,
entonces P
n
es la matriz de
transicin de (n) pasos.
La probabilidad P(n)
ij
es la probabilidad de pasar
de S
i
a S
j
en dos pasos.
Suponiendo (n) estados en S.
Existen n caminos mutuamente excluyentes
S
i
---->S
1
---->S
j
S
i
---->S
2
---->S
j
.......
Las probabilidades de esos caminos son:
p
i1
p
1j
p
i2
p
2j
........
Por lo que por la regla de la cadena la probabilidad
del suceso S
i
---->S
j
en dos pasos ser la suma de
estas dos probabilidades.
As
P
ij
(n
) = Pir Prj
Pero por definicin de la multiplicacin de matrices,
la sumatoria es el elemento ij-simo de la matriz
P
2
. Luego
P
2
= P
ij
Por induccin se puede demostrar que
P
n
= P
ij
(n
)
A B C D E
A 1 0 0 0 0
B 1/2 1/4 0 1/4 0
C 1/4 0 1/2 0 1/4
D 0 1/4 0 1/4 1/2
E 0 0 0 0 1
A B C D E
A 1 0 0 0 0
B 1/2 0 1/2 0 0
C 0 1/2 0 1/2 0
D 0 0 1/2 0 1/2
E 0 0 0 0 1
MATRIZ DE UN SOLO PASO
MATRIZ DE DOS PASOS
CADENAS DE MARKOV ABSORBENTES
Estados ergdicos:
Sea E un subconjunto de S y E' el
complementario de E en S. Si cada estado de
E se puede alcanzar desde cualquier otro
estado de E, pero ningn estado de E' se
puede alcanzar desde E, entonces E recibe
el nombre de conjunto ergdico. Un estado
ergdico es un elemento de un conjunto
ergdico.
CADENAS DE MARKOV
ABSORBENTES
Son cadenas en donde
todos los estados
transitorios son absorbentes.
CADENAS ERGODICAS
Cadena que est formada
por un conjunto ergdico se
llama cadena ergdica. Se
distinguen dos tipos de
cadenas ergdicas:
a) Cadena ergdica cclica:
en ella slo se puede entrar
en un estado a intervalos
peridicos fijos.
b) Cadena ergdica
regular: cadena ergdica
no-cclica.
EJEMPLO DE CADENA REGULAR
S
1
S
2
S
1
1/2 1/2
S
2
1/2 1/2
Est claro que el sistema
completo nunca estar
completamente "atrapado" en un
estado, as que la cadena es
regular.
S
1
S
2
S
3
S
1
0 3/4 1/4
S
2
1/2 0 1/2
S
3
1/4 3/4 0
Siempre es posible moverse de
un estado a cualquier otro, en
cualquier paso siendo los
movimientos no-cclicos. As la
cadena y la matriz son regulares.
EJEMPLO DE CADENA NO REGULAR
S
1
S
2
S
3
S
1
1/4 1/4
S
2
0 1/3 1/3
S
3
0 1/4 1/4
Despus de n pasos la cadena entrar
(con probabilidad 1 cuando n tiende a
) en S
2
o en S
3
. Una vez situada en
uno de estos estados nunca podr pasar a
S
1
. Por lo tanto S
1
es un estado
transitorio y as la cadena es no regular y
por lo tanto no-ergdica, aunque el
conjunto [ S
2
, S
3
] sea un conjunto
ergdico.
EJEMPLO DE CADENA CICLICA
S
1
S
2
S
3
S
1
0 0 1
S
2
1 0 0
S
3
0 1 0
La cadena se mueve con perodo
3 a travs de los conjunto
cclicos [ S
1
] [ S
2
] y [ S
3
]. Es por
lo tanto una cadena cclica
ergdica y no una cadena regular.
Clasificacin de estados en una cadena de Markov
Se dice que el estado i es accesible
desde el estado j si la probabilidad de
transicin en n pasos de j a i es positiva,
p
(n)
ij
> 0, para algn nmero natural n
Si el estado i es accesible desde el estado
j y viceversa se dice que los estados
estn comunicados
Clasificacin de estados de una cadena de Markov
Estado transitorio
Es aqul tal que despus de que el proceso ha entrado ah, nunca
regresar
El estado i es transitorio si y slo si existe un estado j que es
accesible desde i, pero donde el estado i no es accesible desde j
Al no haber acceso al estado i desde j, existe una probabilidad
positiva (incluso igual a 1) de que el proceso se mueva al estado j
y nunca regrese al estado i
Estado recurrente
Es un estado tal que una vez que el proceso ha estado en l,
existe la seguridad de que volver
Un estado es recurrente si y slo si no es transitorio
Estado absorbente
Es un estado tal que despus de haber entrado all, el sistema ya
nunca saldr
Para que un estado i sea absorbente se requiere que p
ii
= 1
Estado transitorio
En la siguiente matriz de
transicin, el estado 2 es
transitorio, ya que de l
es posible pasar
directamente al estado 0,
pero no de regreso
Por tanto existe la
posibilidad de que el
sistema pase del estado
2 al 0 y no regrese
nuevamente
0 1 2 3
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o
n
Estado n+1
Estado transitorio
0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
El estado 2 es transitorio. Notamos que tiene una
conexin directa al estado 0, pero no de regreso
Estado recurrente
En la siguiente matriz de
transicin, todos los
estados, excepto el 2,
son recurrentes
Esto es porque desde los
estados 0,1 y 3 se puede
acceder a cualquiera otro
estado, y a su vez, los
estados 0,1 y 3 son
accesibles desde
cualquier otro estado
0 1 2 3
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o
n
Estado n+1
Estado recurrente
0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
Los estados 1, 2 y 3 son recurrentes. Notamos que cada estado que
tiene una conexin directa desde ellos, tambin la tiene hacia ellos
Las flechas
coloreadas por
pares indican
las conexiones
desde y hacia
el estado 1
Estado absorbente
En la siguiente matriz de
transicin, el estado 0 y
el estado 2 son
absorbentes, ya que una
vez entrando en alguno
de ellos, el sistema no
vuelve a salir
Esto ocurre porque la
probabilidad de pasar al
estado 0 dado que se
encuentra en el estado 0
es igual a 1
Anlogamente ocurre
para el estado 2
0 1 2 3
0 1 0 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o
n
Estado n+1
Estado absorbente
0
2 3
1
1
0.10
0.10
1
0.25
0.40
0.5
0.30
0.15
0.30
0.20
Los estados 0 y 2 son absorbentes. Notamos que una vez
que el sistema llega a alguno de ellos, no vuelve a salir
Ejemplo: La ruina del jugador
Xo es el capital inicial del jugador igual a 2 soles
En cada jugada gana o pierde 1 sol con probabilidad de p o 1-p respectivamente
El juego termina cuando alcanza su meta que es tener 4 soles o pierde todo
ENTNCES:
Proceso Estocstico es la descripcin de
la relacin entre las variables aleatorias
Xo, X1, X2,, Xt (donde t es el nmero de jugadas)
Si Xt fuera el precio de una accin en el
periodo t, entonces se trata de un
PROCESO ESTOCSTICO CONTNUO.
Cadenas de Markov se basa en 2
conceptos: Estado y Transicin.
El sistema ocupa un estado i con probabilidad pi y despus
de un periodo procede a un transicin para el estado j con
una probabilidad de transicin tij
Entnces:
Donde N es el nmero de estados del sistema
Matriz de Transicin de estados T
Por lo tanto, una secuencia de intentos de un experimento es
una Cadena de Markov Si:
a) El resultado del m-simo intento depende slo del
resultado del m-1 simo intento
b) La probabilidad tij de pasar del estado i al estado j en los
intentos sucesivos del experimento permanece constante.
Vector de probabilidad de distribucin de estados al inicio
Vector de probabilidad de distribucin de estados
despus de un periodo (jugada)
Vector de probabilidad de
distribucin de estados despus de
2 periodos (jugadas)
Vector de probabilidad de distribucin
de estados despus de 3 periodos
(jugadas)
Vector de probabilidad de distribucin
de estados despus de n periodos
(jugadas)
Vector de distribucin de estado estable (a la larga)