Sesin 4 - Introduccin a

Cadenas de Markov
Modelos Probabilsticos
Ingeniera en Sistemas Computacionales
Paul Ramrez De la Cruz
13 mar 2007

Contenido
Probabilidad Condicional
Motivacin
Definiciones sobre Cadenas de Markov de
tiempo discreto
Ejemplos
Clasificacin de estados
Procesos Poisson
Ejemplo
13 mar 2007

S4 - Introduccin a Cadenas de Markov

Probabilidad Condicional
En ocasiones la ocurrencia de un evento,
A, influye en la probabilidad de ocurrencia
de otro evento, B
En tal caso decimos que A y B son
dependientes
En caso contrario, decimos que son
independientes

13 mar 2007

S4 - Introduccin a Cadenas de Markov

Probabilidad Condicional
Ejemplo:

A = {El alumno aprueba el examen}

B = {El alumno utiliza un pantaln de color
azul el da del examen}
C = {El alumno dedic al menos 20 horas a la
preparacin del examen}

Los eventos A y B son independientes

Los eventos A y C son dependientes

13 mar 2007

S4 - Introduccin a Cadenas de Markov

Probabilidad Condicional
Cuando queremos conocer la probabilidad
de que ocurra un evento A, sabiendo que
ya ha ocurrido el evento B, estamos
interesados en la probabilidad
(condicional) de que ocurra A dado que
ocurri B
P A B
P A | B
, P B 0
P B
13 mar 2007

S4 - Introduccin a Cadenas de Markov

Teorema de la Multiplicacin e
Independencia de Eventos
Para cualesquiera eventos A y B se tiene
que P A B P A | B P B P B | A P B
Se dice que el evento A es independiente
del evento B si se cumple que P A | B P A
Equivalentemente, si
P A B P A P B

13 mar 2007

S4 - Introduccin a Cadenas de Markov

Motivacin
Consideremos un cajero que
atiende a las personas que
llegan a una sucursal bancaria
Pensemos que en la fila nunca
hay ms de tres personas
(incluyendo la que se atiende)
Supongamos que los clientes
no llegan en grupos
Entonces el nmero de
personas en la fila (incluyendo
la que se atiende) puede
tomar los valores 0, 1, 2, 3

13 mar 2007

S4 - Introduccin a Cadenas de Markov

Introduccin
Pensemos que el cajero tarda
al menos un minuto en atender
a un cliente y que en un
minuto dado no puede llegar
ms de un cliente al banco
Si observamos el nmero de
personas en la fila cada
minuto, esta cantidad puede:

Aumentar en 1, si llega otro

cliente antes de que atiendan
al que est en servicio
Disminuir en 1, si se termina
de atender al cliente y nadie
ms llega

Esto se repite a lo largo del da

13 mar 2007

Minuto 5

Minuto 6

Minuto 7

Minuto 8

S4 - Introduccin a Cadenas de Markov

Introduccin
Si podemos considerar que la cantidad de clientes en el
prximo minuto depende solamente de la cantidad de
clientes en el minuto actual, entonces podramos
determinar la probabilidad de tener una cierta cantidad
de clientes en la fila en el prximo minuto
Para ello requeriramos solamente probabilidades
condicionales del tipo:

P(en el siguiente minuto haya i clientes | en este minuto hay j

clientes)

A fin de poder calcular tales probabilidades, debemos

contar con:

Informacin acerca de la velocidad con que atiende el cajero a

los clientes
Informacin sobre la cantidad de clientes que llega al banco por
unidad de tiempo

13 mar 2007

S4 - Introduccin a Cadenas de Markov

Introduccin

Clientes en
el minuto n

Una forma adecuada de

p12 P X n 1 2 | X n 1 0.25
organizar dicha
informacin es mediante
Clientes en el minuto n+1
una tabla o matriz
0
1
2
3
En los renglones
colocamos el nmero
0
0.5
0.5
0
0
actual de clientes
1
0.25 0.5 0.25
0
En las columnas, el
2
0
0.7
0.2
0.1
nmero de clientes en el
3
0
0
0.4
0.6
siguiente minuto
Llamemos Xn al nmero
de clientes en el minuto n
13 mar 2007

S4 - Introduccin a Cadenas de Markov

10

Introduccin
Notemos que el primer rengln de la matriz
anterior indica las probabilidades de pasar a 0,
1, 2 o 3 clientes en la fila dado que ahora hay
cero clientes

Como estos valores representan todos los posibles

resultados, deben sumar 1
Lo mismo ocurre con los otros renglones

A una matriz que cumple con esta condicin se

le llama matriz estocstica (probabilstica)

13 mar 2007

S4 - Introduccin a Cadenas de Markov

11

Definiciones sobre Cadenas de

Markov de Tiempo Discreto
Proceso estocstico

Es una funcin aleatoria que vara en el tiempo

Sus valores no pueden ser predichos con exactitud, sino con
cierta probabilidad

Proceso o Cadena de Markov

Es un tipo importante de proceso estocstico que cumple con la

Propiedad Markoviana
Dicha propiedad implica que el comportamiento futuro del
proceso, dada la trayectoria que ha seguido en el pasado y hasta
el momento actual, depende nicamente de su situacin
presente
Esto implica que un proceso de Markov no tiene memoria
En el ejemplo, el proceso o cadena de Markov, Xn, es el nmero
de clientes en la fila en el minuto n

13 mar 2007

S4 - Introduccin a Cadenas de Markov

12

Definiciones sobre Cadenas de

Markov de Tiempo Discreto
Si se observa el valor de la cadena de Markov en una
cantidad contable de momentos: 0, 1, ..., n, ... entonces
se dice que es discreta
Estados de una cadena de Markov

Son los valores que puede asumir el proceso

En el ejemplo visto, los estados son 0, 1, 2 y 3

Probabilidades de transicin

Son las probabilidades de que la cadena pase al estado j dado

que est en el estado i
Se representan por pij
Por ejemplo, si i = 1 y j = 2, entonces

p12 P X n 1 2 | X n 1 0.25
13 mar 2007

S4 - Introduccin a Cadenas de Markov

13

Definiciones sobre Cadenas de

Markov de Tiempo Discreto
Si las probabilidades de transicin son constantes con
respecto al tiempo, entonces se dice que la cadena de
Markov es homognea o estacionaria
Matriz de transicin o matriz estocstica

Es la matriz que resume las probabilidades de transicin

Si la matriz da las probabilidades de pasar:

Del estado i en el tiempo n al estado j en el tiempo n+1,

entonces se le llama de un paso
Del estado i en el tiempo n al estado j en el tiempo n+2, se le
llama de dos pasos, etc

Si P es la matriz de un paso de una cadena de Markov,

entonces P2 es la matriz de dos pasos; P3 la de tres
pasos, etc
13 mar 2007

S4 - Introduccin a Cadenas de Markov

14

Definiciones sobre Cadenas de

Markov de Tiempo Discreto
La distribucin inicial de una cadena de Markov
son las probabilidades de que inicie en cada
estado
En nuestro ejemplo, siempre se empieza sin
clientes, as que siempre tenemos X0 = 0, lo cual
es equivalente a decir que P(X0 = 0) = 1
En general podramos tener una probabilidad de
empezar con 0 clientes, una probabilidad de
empezar con 1 cliente, etc
13 mar 2007

S4 - Introduccin a Cadenas de Markov

15

Ejemplo 1
Dada la matriz de transicin del cajero bancario,
calcule P X 0 0, X 1 1
Solucin

Hay que observar que

P X 0 0, X 1 1 P X 0 0 X 1 1
Pero por la definicin de probabilidad condicional

P X 0 0 X 1 1 P X 1 1| X 0 0 P X 0 0
p01 1 0.5

13 mar 2007

S4 - Introduccin a Cadenas de Markov

16

Ejemplo 2
Dada la matriz de transicin del cajero bancario, calcule
P X 0 0, X 1 1, X 2 2
Solucin

Hay que observar que P X 0 0, X 1 1, X 2 2 P X 0 0 X 1 1 X 2 2

Por la definicin de probabilidad condicional
P X 2 2 | X 0 0, X 1 1

P X 0 0 X1 1 X 2 2
P X 0 0, X 1 1

Luego P X 0 0 X 1 1 X 2 2 P X 2 2 | X 0 0, X 1 1 P X 0 0, X 1 1

P X 0 0 X 1 1 X 2 2 P X 2 2 | X 0 0, X 1 1 P X 1 1| X 0 0 P X 0 0

P X
1 P laX 1propiedad
1| X 0 0 markoviana
P X 0 0
Pero por el ejemplo
anterior
2 2 | X 1ypor
p12 p01 1 0.25 0.5 0.125

13 mar 2007

S4 - Introduccin a Cadenas de Markov

17

Ejemplo 2a
Dada la matriz de transicin del cajero del
banco, calcule P X 0, X 1, X 0, X 1
Solucin
0

P X 0 0, X 1 1, X 2 0, X 3 1 P X 0 0 X 1 1 X 2 0 X 3 1

P X 3 1 | X 0 0, X 1 1, X 2 0 P X 0 0, X 1 1, X 2 0

P X 3 1 | X 2 0 P X 2 0 | X 0 0, X 1 1 P X 0 0, X 1 1

P X 3 1 | X 2 0 P X 2 0 | X 1 1 P X 1 1 | X 0 0 P X 0 0
p01 p10 p01 1 0.5 0.25 0.5 1
0.0625

13 mar 2007

S4 - Introduccin a Cadenas de Markov

18

Ejemplo 3
Considere el problema de enviar un mensaje binario a
travs de un canal de seal que consta de tres etapas
La transmisin en cada etapa est sujeta a una
probabilidad de error fija de 0.01
Suponga que se enva X0 = 0 y que Xn es la seal que
se recibe en la n-sima etapa. Asuma que Xn es una
cadena de Markov
Obtenga:

La matriz de transicin de Xn
La probabilidad de que el mensaje llegue sin errores hasta la
segunda etapa: P(X0 = 0, X1 = 0, X2 = 0)
Sugerencia: Sea P la matriz de transicin de Xn. Calcule P2

13 mar 2007

S4 - Introduccin a Cadenas de Markov

19

Ejemplo 3
Seal recibida en la etapa n+1

P
Seal
recibid
a en la
etapa n

0.99

0.01

0.01

0.99

Seal recibida en la etapa n+2

P2
Seal
recibida
en la etapa
n

13 mar 2007

0.9802

0.0198

0.0198

0.9802

S4 - Introduccin a Cadenas de Markov

Probabilidad
de que el
mensaje llegue
sin error a la
segunda etapa

20

Clasificacin de estados en una

cadena de Markov
Se dice que el estado i es accesible
desde el estado j si la probabilidad de
transicin en n pasos de j a i es positiva,
p(n)ij > 0, para algn nmero natural n
Si el estado i es accesible desde el
estado j y viceversa se dice que los
estados estn comunicados

13 mar 2007

S4 - Introduccin a Cadenas de Markov

21

Clasificacin de estados de una

cadena de Markov
Estado transitorio

Es aqul tal que despus de que el proceso ha entrado ah, nunca

regresar
El estado i es transitorio si y slo si existe un estado j que es accesible
desde i, pero donde el estado i no es accesible desde j
Al no haber acceso al estado i desde j, existe una probabilidad positiva
(incluso igual a 1) de que el proceso se mueva al estado j y nunca
regrese al estado i

Estado recurrente

Es un estado tal que una vez que el proceso ha estado en l, existe la

seguridad de que volver
Un estado es recurrente si y slo si no es transitorio

Estado absorbente

Es un estado tal que despus de haber entrado all, el sistema ya nunca

saldr
Para que un estado i sea absorbente se requiere que pii = 1

13 mar 2007

S4 - Introduccin a Cadenas de Markov

22

Estado transitorio
En la siguiente matriz de
transicin, el estado 2 es
transitorio, ya que de l
es posible pasar
directamente al estado 0,
pero no de regreso
Por tanto existe la
posibilidad de que el
sistema pase del estado
2 al 0 y no regrese
nuevamente
13 mar 2007

S4 - Introduccin a Cadenas de Markov

23

Estado transitorio
0.25
0.5

0.25
0.10

1
0.25

0.50

0.15
0.30

0.10
0.10

0.20

0.40

0.30

0.40
0.20

El estado 2 es transitorio. Notamos que tiene una

conexin directa al estado 0, pero no de regreso
13 mar 2007

S4 - Introduccin a Cadenas de Markov

24

Estado recurrente
En la siguiente matriz de
transicin, todos los
estados, excepto el 2,
son recurrentes
Esto es porque desde los
estados 0,1 y 3 se puede
acceder a cualquiera otro
estado, y a su vez, los
estados 0,1 y 3 son
accesibles desde
cualquier otro estado
13 mar 2007

S4 - Introduccin a Cadenas de Markov

25

Estado recurrente
0.25
0.5

0.25
0.10

1
0.25

0.50

0.15
0.30

0.10
0.10

Las flechas
coloreadas por
pares indican
las conexiones
desde y hacia
el estado 1

0.20

0.40

0.30

0.40
0.20

Los estados 1, 2 y 3 son recurrentes. Notamos que cada estado que

tiene una conexin directa desde ellos, tambin la tiene hacia ellos
13 mar 2007

S4 - Introduccin a Cadenas de Markov

26

Estado absorbente

13 mar 2007

Estado n+1

Estado n

En la siguiente matriz de
transicin, el estado 0 y
el estado 2 son
absorbentes, ya que una
vez entrando en alguno
de ellos, el sistema no
vuelve a salir
Esto ocurre porque la
probabilidad de pasar al
estado 0 dado que se
encuentra en el estado 0
es igual a 1
Anlogamente ocurre
para el estado 2

0.1

0.5

0.25

0.15

2
3

0
0.2

0
0.1

1
0.4

0
0.3

S4 - Introduccin a Cadenas de Markov

27

Estado absorbente
0.5

1
0.10

0.25
0.15
0.30

0.10

0.30

0.40
0.20

Los estados 0 y 2 son absorbentes. Notamos que una vez

que el sistema llega a alguno de ellos, no vuelve a salir
13 mar 2007

S4 - Introduccin a Cadenas de Markov

28

Procesos Poisson
Es uno de los tipos ms importantes de procesos estocsticos
Ejemplos de sus aplicaciones son

Llegada de consumidores a una estacin de servicio

Solicitudes de archivos a un servidor de red
Ocurrencia de accidentes en un crucero en particular
Defectos en un producto manufacturado

Comenzamos definiendo un contador que cuenta el nmero de

ocurrencias de un fenmeno a partir de un punto de referencia y
definimos

X(t) = Nmero de ocurrencias en el intervalo (0,t]

El contador X(t) se incrementa en una unidad cada vez que hay una
ocurrencia

13 mar 2007

S4 - Introduccin a Cadenas de Markov

29

Procesos Poisson
En un proceso Poisson, el nmero de ocurrencias hasta
el tiempo t sigue una distribucin Poisson con media t:
x
e t t
p x P X t x
; x 0,1, 2,...
x!

X(t) toma slo valores enteros y X(0) = 0

Los incrementos de X(t) son independientes entre s y
estacionarios (todos tienen la misma tasa de ocurrencia,
t)

Lo anterior implica que, por ejemplo, en el caso del banco, los

clientes no llegan en grupos y a lo largo de todo el da llegan
con la misma intensidad
Si estas condiciones no se cumplen, no es un proceso Poisson

13 mar 2007

S4 - Introduccin a Cadenas de Markov

30

Ejemplo
Suponga que las solicitudes a un servidor
de red siguen la distribucin Poisson con
tasa =5 por minuto. Encuentre la
probabilidad de que haya al menos 8
solicitudes en un periodo de 2 minutos

13 mar 2007

S4 - Introduccin a Cadenas de Markov

31

Ejemplo
Los defectos en cierto tipo de cable
siguen la distribucin Poisson con tasa
1.5 por metro. Encuentre la probabilidad
de que haya no ms de 4 defectos en una
pieza de 2 metros de cable

13 mar 2007

S4 - Introduccin a Cadenas de Markov

32

Ejemplo
Una central telefnica recibe llamadas con
una intensidad de 3 llamadas por minuto
Calcule la probabilidad de que se reciban
3 llamadas en un periodo de 40 segundos

13 mar 2007

S4 - Introduccin a Cadenas de Markov

33

Suma de Procesos Poisson

Si X1(t) es un proceso Poisson con tasa 1t y X2(t)
es otro proceso Poisson con tasa 2t, entonces X3(t) =
X1(t) + X2(t) es un proceso Poisson con intensidad (1 +
2)t
Ejemplo

Cierto tipo de cacerolas presenta defectos no graves en 10 de

cada 1000 unidades y presenta defectos graves en 1 de cada
10000 unidades
Encuentre la probabilidad de que en las prximas 100 unidades
haya por lo menos 2 con algn defecto, grave o no grave

13 mar 2007

S4 - Introduccin a Cadenas de Markov

34

Referencias
Bain, Lee J. & Engelhardt, Max
Introduction to probability and
mathematical statistics. PWS-Kent
Publishing Company. EUA, 1991
Karlin, Samuel & Taylor, Howard M. A
First Course in Stochastic Processes.
Segunda edicin. Academic Press. EUA,
1975
13 mar 2007

S4 - Introduccin a Cadenas de Markov

35