Antonio Hoyos Chaverra.

Cadenas de Markov

INTRODUCCIN A LAS CADENAS DE MARKOV

Antonio Hoyos Chaverra Departamento de Ingeniera Industrial Facultad de Ingeniera Universidad de Antioquia

Antonio Hoyos Chaverra. Cadenas de Markov

Agenda
1.

2.
3. 4.

5.
6. 7.

Objetivo Introduccin Conceptos bsicos Qu es un proceso estocstico? Definicin formal de un proceso estocstico Qu es una cadena de Markov? Ejemplos de cadenas de Markov

Antonio Hoyos Chaverra. Cadenas de Markov

Objetivo
Definir lo qu es un proceso estocstico e introducir los

conceptos de cadena de Markov y matriz de transicin.

Antonio Hoyos Chaverra. Cadenas de Markov

Introduccin
Determinismo Indeterminismo

No se tiene toda la informacin

Racionalidad limitada No se puede procesar toda la informacin

Toma de decisiones

Antonio Hoyos Chaverra. Cadenas de Markov

Conceptos bsicos
Espacio muestral: es el conjunto de posibles valores

resultados de un experimento
Probabilidad: es la posibilidad de ocurrencia de un evento Evento: subconjunto del espacio muestral Funcin de distribucin: funcin que asigna a cada evento

una probabilidad
Variable aleatoria: una funcin que asigna valores reales a los

resultados de un experimento.

Antonio Hoyos Chaverra. Cadenas de Markov

Qu es un proceso estocstico?
Es un proceso que se desarrolla de manera aleatoria en el tiempo.

Mutaciones de un virus

Antonio Hoyos Chaverra. Cadenas de Markov

Qu es un proceso estocstico?
Otros ejemplos:
Los ingresos por ventas de una compaa El desarrollo del trfico en una ciudad Cantidad de productos en inventario ndice de homicidios de una regin

La demanda de la energa elctrica.

Estabilidad poltica de una regin Asistentes a la universidad el da de parcial

Por qu son procesos estocsticos?

Antonio Hoyos Chaverra. Cadenas de Markov

Definicin formal
Proceso estocstico: es una familia de variables

aleatorias , en donde t toma valores del conjunto T.

Antonio Hoyos Chaverra. Cadenas de Markov

Descripcin de un proceso estocstico

,
Para describir un proceso estocstico basta conocer la distribucin

de probabilidad conjunta de dichas variables.

Para cada t el sistema se encuentra en uno de un nmero finito de

estados mutuamente excluyentes; 0, 1, 2, , M

Si T es finito se trata de un proceso discreto Si T es un subconjunto de los reales se trata de un proceso continuo

Antonio Hoyos Chaverra. Cadenas de Markov

Cadenas de Markov
Una cadena de Markov es un proceso estocstico que cumple con la propiedad de perdida de memoria.
Los estados futuros del proceso dependen nicamente del presente, por lo mismo son independientes del pasado.

Antonio Hoyos Chaverra. Cadenas de Markov

Cadenas de Markov
Definicin formal de un proceso markoviano: Considere el proceso ( +1 , , 1 ,, 1 , 0 ) Si = el proceso se encuentra en el estado i en el tiempo o etapa n. Un proceso cumple con la propiedad markoviana si:
Presente Pasado

(+1 = / = , 1 = 1 ,, 1 = 1 , 0 = 0 )

= (+1 = / = )

Antonio Hoyos Chaverra. Cadenas de Markov

Cadenas de Markov
Probabilidad de transicin
La probabilidad (+1 = / = ) se denomina probabilidad de transicin.

Probabilidades estacionarias
Si (+1 = / = ) = ( = /1 = ) = = (1 = /0 = ) se dice que la probabilidad es estacionaria y se denota como

Probabilidad de transicin en n pasos

(+ = / = ) = ( = /0 = ) =
()

para toda t: 0,1,2

Se cumple: 0

1 , , = 0,1,2,

=0

=1

Antonio Hoyos Chaverra. Cadenas de Markov

Cadenas de Markov
Matriz de transicin de una etapa: matriz cuadrada formada por las probabilidades de transicin.

00 01 02 10 11 12 = 20 21 22 0 1 2

0 1 2

, = 0,1,2,

=0

=1

Resume todas las probabilidades de transicin para las los M estados posibles del sistema.

Antonio Hoyos Chaverra. Cadenas de Markov

Cadenas de Markov
Representacin grfica de un proceso de Markov
1
0 1

0 1

1
1

Un proceso de Markov puede representarse grficamente si se conocen los M estados posibles del sistema y las probabilidades de transicin asociadas a ellos.

Antonio Hoyos Chaverra. Cadenas de Markov

Ejemplo: problema del clima

Considere el clima de la ciudad de Manhattan durante el mes de noviembre, los das son lluviosos y soleados. Si el da es soleado la probabilidad de que el siguiente sea un da soleado es de 0.4, si el da es lluvioso la probabilidad de que el siguiente sea lluvioso es de 0.7.
1. 2.

3.

Se trata de una cadena de Markov? Si lo es cul es la matriz de transicin? Si lo es represente grficamente la cadena de Markov?

Sea Xn el estado del clima en el da n. Este es una cadena de Markov pues el clima actual depende del anterior. = , 0.6 0.4

LL

S LL

0.4 0.6 0.3 0.7

LL 0.7 0.3

Antonio Hoyos Chaverra. Cadenas de Markov

Ejemplo: problema del jugador

Considere un jugador cuyo capital inicial es de USD 1, la probabilidad de ganar es p con una recompensa de USD 1, la posibilidad de perder es de q=1-p y con un costo de USD 1. El juego termina cuando tiene un capital de USD 3 o cuando pierde todo su dinero.
1. 2. 3.

Se trata de una cadena de Markov? Si lo es cul es la matriz de transicin? Si lo es represente grficamente la cadena de Markov?

Sea el capital del jugador despus de n juegos dado por:

= + 1 + 2 + 3 + + , en donde es el resultado del i-simo juego.

Dado que 1 = + 1 + 2 + 3 + + 1

Tenemos que = 1 +

Si es una cadena de Markov

Antonio Hoyos Chaverra. Cadenas de Markov

Ejemplo: problema del jugador

El problema del jugador si es una cadena de Markov y su matriz de transicin es:
0 0 1 2 3 1 2 3

1 0 0 0 1 0 0 0 1 0 0 0 0 1

Esta cadena puede representarse grficamente de la siguiente manera:

1 0 1 1 1 2 3 1

Antonio Hoyos Chaverra. Cadenas de Markov

Ejemplo: problema de inventarios

Considere un sistema de inventarios (s,S) donde se pide la cantidad

necesaria para elevar el inventario al nivel S = 3 cuando el inventario es menor que s = 1, en caso contrario no se pide nada. Los pedidos se entregan al principio de la siguiente semana. La demanda semanal tiene la siguiente distribucin de probabilidad (Poisson con tasa = 1.5)
Demanda Probabilidad 0 1 2 0.251 3 0.126 4 0.047 5 0.018

0.223 0.335

Sea Xn el inventario al final de la semana n.

1. 2.

Se trata de una cadena de Markov? Si lo es cul es la matriz de transicin?

Antonio Hoyos Chaverra. Cadenas de Markov

Ejemplo: problema de inventarios

El inventario final de la semana n esta dado por: = 1 + 1
: demanda atendida en la semana n 1 : cantidad pedida al final de la semana n-1

Si es una cadena de Markov

Dado que la cantidad mxima en inventario es de 3 unidades, los posibles estados son: = 0,1,2,3 Calculemos las probabilidades de transicin:
00 01 02 03 = ( = ( = ( = ( = 0/1 = 1/1 = 2/1 = 3/1 = 0) = = 0) = = 0) = = 0) = 3 =2 =1 =0 = 0.126 + 0.047 + 0.018 = 0.191 = 0.251 = 0.335 = 0.223

00 + 01 + 02 + 03 = 1

Antonio Hoyos Chaverra. Cadenas de Markov

Ejemplo: problema de inventarios

Calculemos las probabilidades de transicin:
10 = ( = 0/1 = 1) = 1 = 0.335 + 0.251 + 0.126 + 0.047 + 0.018 = 0.777

11 = ( = 1/1 = 1) = = 0 = 0.223 12 = ( = 2/1 = 1) = 0 13 = ( = 3/1 = 1) = 0 10 + 11 + 12 + 13 = 1 20 21 22 23 = ( = ( = ( = ( = 0/1 = 1/1 = 2/1 = 3/1 = 2) = 2 = 0.251 + 0.126 + 0.047 + 0.018 = 0.442 = 2) = = 1 = 0.335 = 2) = = 0 = 0.223 = 2) = 0

20 + 21 + 22 + 23 = 1

Antonio Hoyos Chaverra. Cadenas de Markov

Ejemplo: problema de inventarios

Calculemos las probabilidades de transicin:
30 31 32 33 = ( = ( = ( = ( = 0/1 = 1/1 = 2/1 = 3/1 = 3) = = 3) = = 3) = = 3) = 3 = 2 = 1 = 0 = 0.126 + 0.047 + 0.018 = 0.191 = 0.251 = 0.335 = 0.223

30 + 31 + 32 + 33 = 1 La matriz de transicin es: 0 1 2 3

0 1 2 3

0.191 0.777 0.442 0.191

0.251 0.335 0.223 0.223 0 0 0 0.335 0.223 0.251 0.335 0.223

Antonio Hoyos Chaverra. Cadenas de Markov

Bibliografa
Hillier, Frederick S., and Gerald J. Lieberman. Introduction to Operations

Research. McGraw-Hill, 2001. Schwartz, B. (2004). The Paradox of Choice: Why More Is Less. New York: Ecco. Simon, H. (1957)."A Behavioral Model of Rational Choice", in Models of Man, Social and Rational: Mathematical Essays on Rational Human Behavior in a Social Setting. New York: Wiley Calderon, B. (2006) Cadenas de Markov. Notas de clase.