Cadena de Markov

Objetivo:
Aplicar la teora de cadena de
Markov para resolver
ejercicios
Docente: Msc. Mercedes Guillermina Godoy
Barbosa

Las cadenas de markov

Las cadenas de markov son modelos
probabilsticos que se usan para
predecir la evolucin y el
comportamiento a corto y a largo plazo
de determinados sistemas.
Ejemplos: reparto del mercado entre
marcas; dinmica de las averas de
mquinas para decidir poltica de
mantenimiento; evolucin de una
enfermedad,

Definicin de cadena de Markov

Una Cadena de Markov (CM) es:
Un proceso estocstico
Con un nmero finito de estados
(M)
Con probabilidades de transicin
estacionarias
Que tiene la propiedad
markoviana

Ejemplos de procesos estocsticos:

1.Serie mensual de ventas de un producto

2. Estado de una mquina al final de cada
semana (funciona/averiada)
3. N de clientes esperando en una cola
cada 30 segundos
4. Marca de detergente que compra un
consumidor cada vez que hace la
compra. Se supone que existen 7
marcas diferentes
5. N de unidades en almacn al finalizar
la semana

Elementos de una cadena de markov

Un conjunto finito de M estados,
exhaustivos y mutuamente excluyentes
(ejemplo: estados de la enfermedad)
Ciclo de markov (paso) : periodo
de tiempo que sirve de base para
examinar las transiciones entre
estados (ejemplo, un mes)
Probabilidades de transicin entre
estados, en un ciclo (matriz P)
Distribucin inicial del sistema entre
los M estados posibles

MATRIZ DE TRANSICIN:
Una matriz de transicin para una cadena
de Markov de n estado es una matriz de n
X n con todos los registros no negativos y
con la propiedad adicional de que la suma
de los registros de cada columna (o fila) es
1.
Por ejemplo: las siguientes son matrices de
transicin.

Representacin grafica de una matriz de

transicin:

Es el arreglo numrico donde

se condensa las
probabilidades de un estado a
otro.
A travs de una grafica de
matriz de transicin se puede
observar el comportamiento
estacionario representado por
una cadena de Markov tal que
los estados representan la
categora en que se
encuentre clasificado.
Como se aprecia a
continuacin:

Propiedad Markoviana

Un proceso estocstico tiene la propiedad markoviana si

las probabilidades de transicin en un paso slo
dependen del estado del sistema en el perodo anterior
(memoria limitada).

Propiedad Markoviana

P(n) es la matriz de transicin en n pasos, de

orden (M+1)x(M+1)

Propiedad Markoviana

Tipos de modelos de Markov:

Procesos de Markov (Modelos semimarkovianos): Las probabilidades de transicin

entre estados pueden variar a medida que transcurren
ms ciclos
Ejemplo: para modelizar la esperanza de vida, el
riesgo de muerte aumenta con la edad
Cadenas de Markov: Las probabilidades de
transicin se suponen constantes a lo largo del tiempo
Propiedad markoviana
Comportamiento (sube/baja) del precio de las acciones
hoy depende de lo ocurrido ayer
Eleccin de marca: Con qu lnea area volar a Madrid?

Matriz de transicin del proceso

1
2
3
4
5
P22,3

1
0.2
0.2

0.2

2
0.5
0.5
0.2
0.5

3
0.3
0.3
0.5
0.2
0.3

0.3
0.5

0.3

= Probabilidad de que el

sistema pase del estado 2 al 3 en

dos pasos.

P22,3 =
0.2*0.3+0.5*0.3+0.3*0.5+0*0
.2+0*0.3 = 0.36

Actividad: De la matriz anterior determinar:

P 21,3 P 21,2
P 22,4 P 22,1

P 21,4
P 23,4

P 24,3
P 23,3

De la matriz:
1
1 0.8
2 0.3

2
0.2
0.7

Determinar :
P 21,2
P 21,1
P 22,2
P 22,1

Problema 1
La ciudad de Nueva York produce 1000 toneladas de aire
contaminado por da, la ciudad de Jersey 100 toneladas
y Newark 50 toneladas. Todos los das, los vientos
arrastran 1/3 de la contaminacin de Nueva York a
Newark, 1/3 se disipa y el otro tercio permanece en
Nueva York. Cada da el viento se lleva a Nueva York 1/3
de la contaminacin de la ciudad de Jersey, 1/3 se queda
en Jersey y 1/3 se va Newark. Todos los das, 1/3 de la
contaminacin de Newark permanece all y el resto se va
con el viento a la ciudad de Jersey.
En un da representativo cual ciudad ser la ms
contaminada?

Problema 2
Suponga que toda la industria de refresco produce
dos colas: Coca Cola y Pepsi Cola. Cuando una
persona ha comprado Coca Cola hay una
probabilidad de 90% de que siga comprndola la
vez siguiente. Si una persona compr Pepsi, hay
80% de que repita la vez siguiente. Se pide:
Si en la actualidad una persona es comprador de
Coca Cola. Cul es la probabilidad de que compre
Coca Cola pasadas tres compras a partir de ahora?
Suponga que el 60% de toda la gente toma hoy
Coca Cola y el 40% Pepsi. A tres compras a partir
de ahora, Qu fraccin de los compradores estar
tomando Coca Cola. Determinar la matriz de
Markov estable.