Markov

Cadenas de Markov y
Teora de Colas
Cadenas de Markov y
Teora de Colas
Carlos F. Belaustegui Goitia
09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas
2
Procesos y Cadenas de Markov
Procesos y Cadenas de Markov
Variables binomial, geomtrica y de Poisson. Variables binomial, geomtrica y de Poisson.
Procesos puntuales. Procesos puntuales.
Procesos de Markov. Procesos de Markov.
Cadenas de Markov. Clasificacin de estados, clases de cadenas, Cadenas de Markov. Clasificacin de estados, clases de cadenas, estado estado
estacionario. Teorema de Perron estacionario. Teorema de Perron- -Frobenius. Frobenius.
Cadenas de Markov en tiempo continuo. Ecuaciones de balance glob Cadenas de Markov en tiempo continuo. Ecuaciones de balance global. al.
Aplicaciones. Aplicaciones.
3
Variables
Variables
Binomial
Binomial
y Geomtrica
y Geomtrica
Variable Binomial: La probabilidad de que el evento
A, cuya probabilidad es P(A) = p, ocurra k veces en n
pruebas es
)! ( !
!
, ) 1 ( ) (
k n k
n
k
n
p p
k
n
k p
k n k
n
(
(
,
\
,
,
(
j
(
(
,
\
,
,
(
j

Separacin entre eventos: sea X= nmero de pruebas
hasta el primer xito
1 3 4 8 13 15 21
n=22, k=7
1 3 4 8 13 15 21
1 2 4 5 11 19 20
3 5 6 7 12 17 20
...............
4 6 8 9 16 21 22
(
(
,
\
,
,
(
j
7
22
combinaciones
p q p p n X P
p p X P
p X P
n n 1 1
) 1 ( ) (
) 1 ( ) 2 (
) 1 (

L
Distribucin geomtrica.
X es el nmero de pruebas
hasta el primer xito en una
secuencia de pruebas de
Bernoulli.
Propiedad sin memoria de la distribucin geomtrica
) (
1
1
1
1
) (
) (
) (
) , (
) / (
0
1
1 1
1
1
1
0 0
0
0
0
0
0
0
n n X P p q
q
q
q
q
q
q
p q
p q
n X P
n X P
n X P
n X n X P
n X n X P
n n
n
n
n i
i
n
n k
k
n

>
>
>
>

1 3 4 8 13 15 21
X=n
X=n
n
0
Aplicacin: Proceso de Bernoulli como modelo
de flujo ATM
48
48 5
53 bytes
1 CC = 2.83 uSec @ 149.76 Mbps
4
Variables
Variables
Binomial
Binomial
y de
y de
Poisson
Poisson
Variable Binomial: La probabilidad de que el evento
A, cuya probabilidad es P(A) = p, ocurra k veces en n
pruebas es
)! ( !
!
, ) 1 ( ) (
k n k
n
k
n
p p
k
n
k p
k n k
n
(
(
,
\
,
,
(
j
(
(
,
\
,
,
(
j

Variable de Poisson: Si p<<1, np=a, y k del orden de np
a
k
a
a
a n
n
n
n
n
n
n n
n
n
n
k
a
k p
a
p
a
p
a p
n a lim p lim p lim p
k p
k
a
k p
k
a
k
n k
n a
a
k
k n
p
p
k p
k p

+
+
+

+
+
e
!
) (
e
2
) 1 (
2
) 2 (
e ) 1 (
e ) / 1 ( ) 1 ( ) 0 ( ) 0 (
) (
1
) 1 (
1 1
/ 1
/ 1 1 1 ) (
) 1 (
2
L
1 3 4 8 13 15 21
n=22, k=7
1 3 4 8 13 15 21
1 2 4 5 11 19 20
3 5 6 7 12 17 20
...............
4 6 8 9 16 21 22
(
(
,
\
,
,
(
j
7
22
combinaciones
5
Puntos de
Puntos de
Poisson
Poisson
Puntos de Poisson: Se colocan al azar n puntos en el
intervalo real [0, T)
6 1 5 3 2 9 4 8 7
t
1
t
2
t
T
) ( e
!
) (
]) , [ en puntos (
/
0 / cte., , ,
/
) 1 ( ]) , [ en puntos (
]) , [ en punto 1 (
,
2 1
2 1
1 2
2 1
k p
k
t
t t k p
t T t n np a
T t p T n
T n
p p
k
n
t t k p
T
t
T
t t
p t t P
t
k
T n
n
k n k
n

(
(
,
\
,
,
(
j
Densidad de puntos
t
t t, t P
lim
k
t
t
k
t
k
t
k p
t t t t p
t
k
t
k
t
k
t
t

]) [ en punto 1 (
!
) (
) 1 (
!
) (
e
!
) (
) (
) 1 ( e ) 1 (
0
0
0

6
Distribucin Exponencial
Distribucin Exponencial
Separacin entre puntos: sea X = distancia desde
t al primer punto a la derecha de t.
2
0
1
) var( ,
1
e ) (
) ( e ) (
0 e 1 ]) , [ en puntos 0 ( 1
) ( 1 ) ( ) (

+
>
X dx x X E
x u x f
x x t t P
x X P x X P x F
x
x
X
x
X
t
t+x
X
Propiedad sin memoria de la distribucin
exponencial
) ( ) ( e ) / (
e 1
) ( 1
) ( ) (
) (
) (
) (
) , (
) / ( ) / (
0 0
) (
0
) (
0
0
0
0
0
0
0 0
0
0
x x f x x u x X x f
x F
x F x F
x X P
x X x P
x X P
x X x X P
x X x X P x X x F
X
x x
X
x x
X
X X
X

t
X
x
0
Los tiempos entre arribos son independientes y
distribudos exponencialmente con parmetro
Lo que ocurre despus de t
0
es independiente de lo
que ocurri antes de t
0.
.
7
Relacin entre procesos de
Relacin entre procesos de
Bernoulli
Bernoulli
y
y
Poisson
Poisson
Tiempo discreto Tiempo continuo
Proceso de Bernoulli
Proceso de Poisson
Distribucin entre arribos:
Geomtrica
Distribucin entre arribos:
Exponencial
8
Ejemplo: Arribos
Ejemplo: Arribos
Aleatorios
Aleatorios
A B C D
arribos
servidor
tiempo
El proceso de arribos es Poisson.
Los tiempos entre arribos son
independientes y distribuidos
exponencialmente con parmetro
.
9
Ejemplo: Modelo
Ejemplo: Modelo
de
de
Trfico Telefnico
Trfico Telefnico
: tasa de arribos (llamadas/seg)
1/: duracin media de la llamada (seg)
2
0
1
) var( ,
1
e ) (
) ( e ) (

X dx x X E
x u x f
x
x
X
t
t+x
X
Arribos de Poisson
Separacin entre arribos exponencial
) / 1 ( a Trfico (Erlang)

L
j
j
i
i
N
k
ki
N
k
ki
i
i
i h i i
t j
T
a a
t
T
t
N T
N
T E a
i i
0
1 1
1
1 1
) (

t
f
Th
(t)
T
h
: duracin de la comunicacin
(holding time)
) ( e ) (
t
t u t f
h
T

Fdp experimental
1/
T
t
k
1
2
i
L
Tiempo medio de ocupacin
de una lnea
Promedio de lneas ocupadas
simultneamente
Nmero de ocupaciones simultneas
Tiempo total en el que
exactamente j lneas estn ocupadas
10
Procesos de
Procesos de
Markov
Markov
Proceso de Markov: Es un proceso estocstico cuyo
pasado no tiene influencia sobre el futuro si el presente
est especificado.
[ ] [ ] ) ( / ) ( ) ( / ) (
1 1
1

<
n n n n n n
n n
t X x t X P t t t X x t X P
t t
[ ] [ ] ) ( / ) ( ) ( , ), ( / ) (
1 1 1
2 1

< < <
n n n n n n
n
t X x t X P t X t X x t X P
t t t
L
L
Tiempo continuo:
Tiempo discreto:
Cadena de Markov: Proceso de Markov en tiempo
discreto con un conjunto numerable de estados a
i
.
Especificado en trminos de:
discreto continuo
d
i
s
c
r
e
t
o
c
o
n
t
i
n
u
o
tiempo
e
s
t
a
d
o
Cadenas de
Markov
Procesos
puntuales-
Colas
Sistemas
dinmicos
) / ( ) , (
) ( ) (
1 2
2 1 i n j n ij
i n i
a X a X P n n
a X P n p

Prob. estado
Prob. transicin
Propiedades:
1 1
) , (
1 ) , (
m n
m n
j
ij
) , ( ) ( ) (
) , ( ) ( ) (
n k k n
n k k p n p
T T
i
ij i j
p p

) , ( ) , ( ) , (
) , ( ) , ( ) , (
n m m k n k
n m m k n k
l
lj il ij

a
i
i1

i2
ik
a
j
p
1
p
i
p
2
1j
2j
ij
Ecuacin de
Chapman-Kolmogorov
Matriz estocstica
11
Propiedades de las Cadenas de Markov
Propiedades de las Cadenas de Markov
1
) (
) (
) (
) , (
) / ( ) , (

i n
i n
j i n
i n j m
j j
i n j m ij
a X P
a X P
a X P
a X a X P
a X a X P m n
Propiedades generales de los procesos de Markov
) / ( ) , , / (
)] ( / ) ( [ )] ( , ), ( / ) ( [
1 1 1
1 1 1

n n n n
n n n n n n
x x f x x x f
t X x t X P t X t X x t X P
L
L
) / ( ) / (
) , , / ( ) , , / (
1 1
1 1 1 1

n n n
n n n
X X E dx x x f x
dx x x x f x X X X E L L
) / ( ) , , / (
1 1 + + +

n n k n n n
x x f x x x f L
) / ( ) / (
) (
) ( ) / ( ) / (
) (
) , , (
) / , (
:
m k m n
m
k k m m n
m
k m n
m k n
x x f x x f
x f
x f x x f x x f
x f
x x x f
x x x f
n m k

< <
Un proceso de Markov tambin
es de Markov si el tiempo se invierte.
Si el presente est especificado,
el pasado es independiente del
futuro.
Propiedades de las cadenas de Markov
) ( ) ( ) , (
) / ( ) ( ) , ( ) (
n p a X P a X a X P
a X a X P a X P n k k p
j j n
i
j n i k
i i
i k j n i k ij i

< <
l
lj il
l
i k l m l m j n
l
i k l m i k l m j n
l i k
i k l m i k l m j n
l i k
i k l m j n
l
i k l m j n i k j n ij
n m m k
a X a X P a X a X P
a X a X P a X a X a X P
a X P
a X a X P a X a X a X P
a X P
a X a X a X P
a X a X a X P a X a X P n k
n m k
) , ( ) , (
) / ( ) / (
) / ( ) , / (
) (
) , ( ) , / (
) (
) , , (
) / , ( ) / ( ) , (
:


12
Evolucin de una Cadena de Markov
Evolucin de una Cadena de Markov
Cadenas homogneas: Las probabilidades de
transicin
ij
(m,n) slo dependen de la diferencia
k=n-m.
Ecuacin de Chapman-Kolmogorov:
) , ( ) , ( ) , (
) , ( ) , ( ) , (
n m m k n k
n m m k n k
l
lj il ij

) ( ) ( ) ( ) ( ) (
) ( ) ( ) (
) ( ) ( ) (
p q q p q p
m n k m k n
m n k m k n
l
lj il ij

+

n
n
n n

+

) (
) ( ) 1 (
) 1 ( ) 1 ( ) 2 (
2
L
n T
k n T
T
T T
T
N
k
k n k
n k k n
n p n p n
p
p
p
p p
p
) 0 (
) (
) ( ) (
) , ( ) ( ) (
)] ( ) ( [ ) (
1
L
Evolucin del sistema
Estado estacionario
p p
p p
T T
n
) (
Si existe el estado estacionario, el vector de probabilidad de estados
p de una cadena de Markov, es un autovector izquierdo de su
matriz de transicin con autovalor 1.
Si p(1) p, el proceso no es estacionario.
Si
n
tiende a un lmite para n , el proceso es asintticamente
estacionario.
Existe un estado
estacionario?
Existe un estado
estacionario?
Matriz de probabilidades de transicin a n pasos.
El elemento i,j de
n
es la probabilidad de llegar
de i a j en exactamente n pasos.
13
Ejemplo: Cadena de 2 estados
Ejemplo: Cadena de 2 estados
0
0
1
1
a
1-a
b
1-b
]
]
]
,
+

+
]
]
]
,
,
+

]
]
]
,
]
]
]
,
b b
a a
b a
b a
a b
a b
b a
n
b b
a a
n
n
) 1 ( 1
) (
1
1
11 10
01 00

[ ] [ ]
+
]
]
]
,
b a
a
p
b a
b
p
p p
b b
a a
p p p p
1
0
1 0
1 0 1 0
1
1
1
p p
Matriz de transicin Solucin en estado estacionario
Aplicacin: Es un modelo para voz en paquetes.
Estado 0: inactivo (silencio). La probabilidad de que la prxima TS sea
activa es a, y la probabilidad de que permanezca en el estado
inactivo es 1-a.
Estado 1: activo (habla). La probabilidad de que la prxima TS sea
inactiva es b, y la probabilidad de que permanezca en el estado
activo es 1-b. En el estado activo, una TS contiene una celda
con probabilidad p, y se tiene un proceso de Bernoulli.
14
Ejemplo: Proceso de cuenta binomial
Ejemplo: Proceso de cuenta binomial
Ejemplo: Proceso de cuenta binomial.
Es una secuencia de variables aleatorias de Bernoulli independientes.
S
n
es el proceso de suma o cuenta que da el nmero de xitos en las
primeras n pruebas.
En cada paso, S
n
puede incrementarse en 1 con probabilidad p o quedar
igual con probabilidad 1-p.
]
]
]
]
]
]
,
,
,
,
L L L L L
L
L
L
p p
p p
p p
1 0 0
0 1 0
0 0 1

Matriz de transicin
0
0
1
1
2
2
n-1
n-1
n
n
p p p p
1-p 1-p 1-p 1-p 1-p
n j p p
j
n
j S P I I S
j n j
n n n

(
(
,
\
,
,
(
j
+ +

0 ) 1 ( ) (
1
L
0
1
k
I
Con probabilidad p
Con probabilidad 1-p
15
Propiedades Generales de la Matriz de Transicin Propiedades Generales de la Matriz de Transicin
Matriz no negativa
Matriz Estocstica
0
0

n
ij
j i, 0
( )
1 max max
de propio par un es , 1
1

i
ij
i
x 1 1
1 1 1
x
Norma infinito: mxima suma de valores absolutos de
cada fila = 1
Radio espectral
( )
( )
( ) ( )
( ) ( ) 1
1 1
max

El radio espectral es menor o igual
que cualquier norma
( ) 1
El radio espectral es unitario
16
Clasificacin de Estados
Clasificacin de Estados
Accesible: j es accesible desde i si hay alguna secuencia de
transiciones de i a j con probabilidad no nula: n>0/
ij
(n)>0.
Comunicantes: los estados i y j comunican si son accesibles entre
s. Se escribe ij. La comunicacin es una relacin de equivalencia:
ij, jk ik.
Absorbente: Si es imposible abandonarlo:
ii
=1.
Recurrente: El estado i es recurrente si la probabilidad de regresar
alguna vez a l es 1.
Peridico: Un estado es peridico con perodo d si slo se puede
regresar a l despus de d, 2d, ..., nd pasos.
Aperidico o Ergdico: Peridico con perodo d=1. Se puede
regresar a l en cualquier momento.
Transitorio: La probabilidad de regresar al estado alguna vez es
menor que 1.

1
1 ) (
n
ii i
n f
<
1
1 ) (
n
ii i
n f
Recurrente
Transitorio
17
Clases de Estados
Clases de Estados
Cerrada: Si desde un estado interior no se puede
alcanzar ningn estado exterior a la clase. Un
estado absorbente es una clase cerrada con un
nico estado.
Irreducible: Clase cerrada tal que ningn
subclase propia es cerrada. En otros trminos, la
nica clase cerrada es la de todos los estados.
Dos estados pertenecen a un mismo conjunto si se
comunican.
Dos clases distintas deben ser disjuntas, pues si
existe algn elemento comn, los estados de una
clase se pueden comunicar con los de la otra, y as
resultan ser de la misma clase.
Clase cerrada
Estados absorbentes
Clase irreducible
Clase reducible
18
Clases de Cadenas
Clases de Cadenas
Irreducible. Definiciones equivalentes:
La que consiste en una nica clase de equivalencia.
El nico conjunto cerrado es el de todos los estados.
En una cadena irreducible, todos los estados son recurrentes o son todos transitorios.
En una cadena irreducible finita, no pueden ser todos los estados transitorios; luego, son todos recurrentes.
Reducible. Opciones:
1. Tiene uno o ms estados absorbentes.
2. Tiene un subconjunto de estados S
1
desde el cual no es posible alcanzar estados fuera de S
1
.
Absorbente: la que tiene al menos un estado absorbente, accesible desde cualquier otro estado.
Aperidica: Todos sus estados son peridicos con perodo 1.
Regular: Es posible ir de un estado a cualquier otro en exactamente n pasos: n>0/ (n)=
n
> 0.
Regular Todos los estados comunican Irreducible
Ergdica: Irreducible, aperidica, recurrente positiva.
19
Cadenas Absorbentes
Cadenas Absorbentes
Una cadena es absorbente si es posible renombrar sus
estados para escribir la matriz de probabilidades de
transicin como
]
]
]
,
I 0
R Q
1
1 2 2
3
3
t
t
t+1
t+1
t+r
t+r
t+2
t+2
1 1 1
t estados transitorios r estados absorbentes
Q
I
R
0
t r
t
r
( ) ( )
[ ]
[ ] [ ]
( ) ) 0 ( ) 0 ( ) ( , ) (
) ( ) ( ) 1 ( , ) ( ) 1 (
) ( ) ( ) 1 ( ) 1 (
) ( ) ( ) (
1
1 2 1
I Q
n
I
n
Q
I Q I Q Q
I Q I Q
I Q
n
n n n
n
n n
n n n n n
n n n n
n n n
p R Q I p p 0 p
p R p p Q p p
I 0
R Q
p p p p
p p p
I 0
R Q I 0
I 0
R I Q Q Q
+
+ + +
]
]
]
,
,
+ +
]
]
]
,
]
]
]
,
, + + +

L
20
Cadenas Reducibles e Irreducibles
Cadenas Reducibles e Irreducibles
Matrices de Permutacin
P es una matriz de permutacin si exactamente 1 elemento en cada
fila y 1 elemento en cada columna es 1 y los restantes son nulos.
MP P P MP P P
P P
P
P P
T
T

]
]
]
]
]
,
,
,
]
]
]
]
]
,
,
,
,
]
]
]
]
]
,
,
,
2 1 2 1
1
,
1 det
3
1
2
3
2
1
,
1 0 0
0 0 1
0 1 0
AP P A'
AP
PA
permuta las filas de A
permuta las columnas de A
Permuta las filas y columnas de A
Matriz Reducible
A es una matriz reducible (irreducible) si (si no) existe alguna matriz de
permutacin P tal que:
]
]
]
,
,

D 0
C B
AP P A'
T
Test: A
NN
es irreducible sii: ( ) 0 A I > +
1 N
N
Identidad de NN
Matriz de valores absolutos
Matriz positiva
Permutacin de estados en una cadena de Markov
P P
T
'
Permutar filas y columnas de equivale a renombrar los
estados de la cadena
Cadena Reducible
Una cadena de Markov es reducible si es posible renombrar sus estados para
llevar la matriz de probabilidades de transicin a la forma
]
]
]
,
,

A 0
R Q
P P
T
'
En caso contrario, la cadena de Markov es irreducible.
21
Cadenas de Markov y Grafos
Cadenas de Markov y Grafos
Grafo de una cadena
El grafo G( ) de es el grfico orientado sobre n nodos {N
1
, N
2
,..., N
n
}
en el cual hay un arco orientado de N
i
a N
j
si y slo si
ij
0
Cambio de nombre de los nodos
Si P es una matriz de permutacin,
( ) ( ) P P G G
T
Grafo fuertemente conexo

Para cada par de nodos (N
i
, N
j
) existe una secuencia de arcos
orientados que conduce de N
i
a N
j
.
Para cada par de nodos (N
i
, N
j
) existe una secuencia de arcos
orientados que conduce de N
i
a N
j
.
es irreducible
es irreducible
Todos los estados comunican. La cadena consiste en una nica clase
de equivalencia.
Todos los estados comunican. La cadena consiste en una nica clase
de equivalencia.
Clase irreducible
22
Descomposicin Espectral de una Matriz
Descomposicin Espectral de una Matriz
A
nn
es diagonalizable cuando tiene un conjunto completo
de autovectores linealmente independientes.
( ) ( )
ij i
T
j
i
T
i
j i i
T
j
i
T
j j i
T
j
T
j j
T
j
i
T
j i i
T
j i i i
T
T
i i
T
i i i i
T
i i i
v u
v u
v u
v u Av u u A u
v u Av u v Av
I A I A
u A u u u A
v Av
0
si 0
det det
Autovector derecho
Autovector izquierdo
A y A
T
tienen iguales
autovalores
Autovectores derecho e
izquierdo son biortogonales
Normalizacin
[ ] [ ]
( )
( )
T
i i
n
i
i
T
T T
T T T T
n
n n
diag
u v U V V V A
I V U V U
U A U U A U
AV V V AV
u u U v v V

1
1
1
1
1
1
1 1
, ,
,

K
L L
Conjunto completo de autovectores
l.i. A es diagonalizable
Descomposicin espectral
23
Teorema de Perron
Teorema de Perron
-
-
Frobenius
Frobenius
Matriz primitiva
A0, irreducible es primitiva si tiene un nico autovalor r = (A) de mdulo
mximo (es decir, un nico autovalor sobre el crculo espectral).
A0, irreducible es imprimitiva de ndice h si tiene h autovalores de mdulo
mximo.
Test de Frobenius: A0 es primitiva sii A
m
>0 para algn m1.
Test de Wielandt: A0
nxn
es primitiva sii
0 A >
+ 2 2
2
n n
Teorema de Perron-Frobenius
Si A0 es irreducible, entonces
( ) ( )
( )
( )
( ) ( ) ( ) 1 mult geo 1 mult alg mult geo 1 :
:
1 ) ( mult alg
0

>
>
A A A A
x A Ax 0 x
A
A
A A

El radio espectral es un autovalor de A
El radio espectral es positivo
El radio espectral es un autovalor simple A
El autovector asociado al radio espectral es positivo.
No existen otros autovectores no negativos aparte de x: Vector de Perron
El autovector asociado al radio espectral es nico.
( )
T T
A y A y
El vector izquierdo de Perron tiene la misma propiedad.
24
Matrices primitivas e imprimitivas
Matrices primitivas e imprimitivas
Si A0 es irreducible e imprimitiva de ndice h, entonces
tiene h autovalores sobre el crculo espectral.

h i
A S
i
h
, , 2 , 1 1 mult alg
, , ), (
2 1
K
K

Teorema: Los h autovalores de A sobre el crculo
espectral, son las races de orden h de (A)

(
,
\
,
(
j
1 , , 1 , 0 :
2
exp ) ( h k
h
ik
S K
A
En este caso, A/r no es convergente, pero es sumable Cesro:
T
k
k
k
r r
1 1
1
) / ( ) / (
lim y x
A A I
+ + +

L
Si A0 es irreducible y primitiva, entonces tiene un
nico autovalor r = (A) sobre el crculo espectral.

( )
T k
k
k
k
n
i
T
i i i
n
i
T T
i i i
T
j j
T
j
i i i
i
n
r
n i
r
r
1 1
2 1
1 1
1
2 1
/ lim lim
, , 2 1
, , , 1 ) ( ) ( , 1 ) ( /
) (
y x A B
y x y x y x B
y B y
x Bx
B B B A B
A

+
<

K
K
A/r es convergente
25
Cadenas irreducibles y aperidicas
Cadenas irreducibles y aperidicas
Propiedades generales de la matriz de
probabilidades de transicin
( )
1 1

1
1
n
n
1 de propio par un es ) , 1 (
Radio espectral unitario
Matriz irreducible
Por el teorema de Perron-Frobenius, 1 es el vector
de Perron asociado al autovalor 1. No existe otro
autovector derecho no negativo. Para el mismo
autovalor, existe un nico autovector izquierdo p no
negativo tal que
1
1 p
p p
T
T
Normalizacin
Matriz irreducible y primitiva
Por ser primitiva, 1 es el nico autovalor sobre el
crculo espectral
T T T k T
k
T
k
T k
k
k p 1p p p p
1p

) 0 ( ) 0 ( lim ) ( lim
lim
Todas las filas son iguales. Todas las columnas
tienen iguales elementos
La distribucin de probabilidades estacionaria es el vector izquierdo
de Perron.
La cadena es aperidica.
1 1
1
1
> <
+
+
>
>
i
i
i
T
i i
n
i
T n
i
T
i i i
T
u v 1p
u v 1p

26
Cadenas irreducibles y peridicas
Cadenas irreducibles y peridicas
Matriz irreducible e imprimitiva
T T T
T T T
k
T
k
k
k
k
k
p 1p p
p p p
1p
I

+ + +
+ +

) 0 (
) 1 ( ) 1 ( ) 0 (
lim
lim
1
L
L
Interpretacin
( )
j
T
j
k
n
T
k
n
j
k
n
n
j n n n n
k
n
n
k
n
n
n
k n k n p k Z E
n p Z P Z P Z P Z E
k j k Z
k j Z
j n
Z
j
Z
p p
]
]
]
,
,
(
,
\
,
(
j
+
1
0
1
0
1
0
1
0
1
0
0
/ ) ( / ) ( /
) ( ) 1 ( ) 0 ( 0 ) 1 ( 1 ) (
. tiempo del antes visitado es estado el que veces de fraccin : /
. tiempo del antes estado al visitas de nmero :
no si 0
es en tiempo estado el si 1
,
no si 0
es inicial estado el si 1
La fraccin de tiempo a largo plazo que la cadena pasa en j es p
j
:
componente j del vector de Perron p
T
. La interpretacin vale tambin
cuando la matriz es primitiva y existe un estado estacionario.
Forma cannica de Frobenius para matrices
imprimitivas
Si es imprimitiva de orden h>1, entonces existe una
permutacin tal que
]
]
]
]
]
]
]
]
,
,
,
,
,
,
0 0 0
0 0 0
0 0 0
0 0 0
P P
L
L
M O O M M
L
L
1
1
23
12
h
,h h
T
La cadena es peridica de perodo h.
27
Cadenas reducibles (1)
Cadena Reducible
Una cadena de Markov es reducible si es posible renombrar sus estados
para llevar la matriz de probabilidades de transicin a la forma
]
]
]
]
]
]
]
]
]
]
]
]
]
,
,
,
,
,
,
,
,
,
,
,
]
]
]
]
]
]
,
,
,
,
,

]
]
]
]
]
,
,
,
]
]
]
,
]
]
]
,
,

+ +
+ +
+ +
+ +
+ +
mm
r r
r r
rm r r r r rr
m r r r
m r r rr
kk
k
k
T
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0
0

X 0 0
X X 0
X X X
W 0 0
V U 0
T S R
Z 0
Y X
Z 0
Y X
P P
L L
M O M M M L M M
L L
L L
L L
M L M M M L M M
L L
L L
L
M O M M
L
L
L
2 , 2
1 , 1
2 , 1 ,
2 2 , 2 1 , 2 2 22
1 2 , 1 1 , 1 12 11
2 22
1 12 11
'
Si X o Z es reducible
Si R, U o Wes reducible, etc.
Cada X
ii
es irreducible o [0]
1x1.
Cada
ii
1x1
i-sima clase transitoria: cuando se la abandona,
no se regresa a ella
Cada
r+j,r+j
es irreducible.
j-sima clase ergdica. Cada clase
ergdica es una cadena irreducible en s
misma
Forma cannica para
matrices reducibles
28
]
]
]
,
]
]
]
]
]
]
]
]
]
]
]
]
]
,
,
,
,
,
,
,
,
,
,
,
+ +
+ +
+ +
+ +
+ +
22
12 11
2 , 2
1 , 1
2 , 1 ,
2 2 , 2 1 , 2 2 22
1 2 , 1 1 , 1 12 11
0

0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0
0

mm
r r
r r
rm r r r r rr
m r r r
m r r rr
L L
M O M M M L M M
L L
L L
L L
M L M M M L M M
L L
L L
Cada
r+j,r+j
es irreducible.
j-sima clase ergdica. Cada clase ergdica es una cadena irreducible en s misma
Los autovalores unitarios de cada
r+j,r+j
son simples y son races de la unidad.
Los autovalores unitarios de son el conjunto de los autovalores unitarios de las submatrices
r+j,r+j
.
Pueden estar repetidos por aparecer en ms e una submatriz
r+j,r+j
.
Cada
ii
1x1
i-sima clase transitoria: cuando se la abandona, no se regresa a ella
1 ) (
nulos no , , bloques hay porque
pero , 1 ) (
<

ii
ij ii
ii ii
i j

1 1
1 1
primitivas son de s submatrice las todas si lim

lim
, , 1 ,
22 22
1
1
22 22
L
L
1p
1p
I
p p
]
]
]
]
]
,
,
,
+ + +
+

+

k
k
T
m
T
r
k
k
T
j jj
T
j
k
m r j
M O
L
K
( ) L I
I

0

12 11
1
1
1
0
1
22 12 11
1
0
1
22
2
22 22
12 11
1
0 1
1
22 12 11
1
1
1
0
1
22 12 11
22
1
0
1
22 12 11 11
1
lim
1 1

+ + + +

]
]
]
]
]
,
,
,

k
n
n
i
i n i
k
k
i
i k
i
k
i
k
i n
i n i
k
n
n
i
i n i
n
n
i
i n i n
n
k
k
k k
L
( ) 0
I

+ + +
<

k
k
k
k
k
11
1
11 11
11
lim lim 1
L
( )
( )
]
]
]
,
]
]
]
,
+ + +

L 0
L I 0
L 0
L I 0 I
12
1
11
12
1
11
1
lim
lim
k
k
k
k
k
L
Siempre
Sii todas las
submatrices de
22
son primitivas
29
]
]
]
,
]
]
]
]
]
]
]
]
]
]
]
]
]
,
,
,
,
,
,
,
,
,
,
,
+ +
+ +
+ +
+ +
+ +
22
12 11
2 , 2
1 , 1
2 , 1 ,
2 2 , 2 1 , 2 2 22
1 2 , 1 1 , 1 12 11
0

0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0
0

mm
r r
r r
rm r r r r rr
m r r r
m r r rr
L L
M O M M M L M M
L L
L L
L L
M L M M M L M M
L L
L L
Cada
r+j,r+j
es irreducible.
j-sima clase ergdica. Cada clase ergdica es una cadena irreducible en s misma.
Toda cadena reducible eventualmente queda absorbida en una clase ergdica.
Si
r+j,r+j
es primitiva, la cadena llega a un estado estacionario determinado por el
vector izquierdo de Perron de
r+j,r+j
.
Si
r+j,r+j
es imprimitiva, la cadena oscila en la clase ergdica para siempre.
( )
( )
]
]
]
,
]
]
]
,
+ + +

L 0
L I 0
L 0
L I 0 I
12
1
11
12
1
11
1
lim
lim
k
k
k
k
k
L
Siempre
Sii todas las
submatrices de
22
son primitivas
30
Valor medio y autocorrelacin en la cadena de Markov (t. discret Valor medio y autocorrelacin en la cadena de Markov (t. discreto) o)
[ ]
[ ]
1 y x p
x p x p
y y
y
x
1p
p p
p p
T T
X
n
X
n T T
i
i i n X
n
T
N N
T
N
T n
n
n
k T T
n m m
n n p x X E n m
n
n p x n p x n p x n
x x x
n
n k n

) ( lim
) 0 ( ) ( ) ( ) ( ) (
) ( lim
) ( ) ( ) ( ) (
lim
) ( lim
) ( ) (
2 2 1 1
2 1

L
L
( )
( )
2 2 2
2
2
2 2 2
) ( ) 0 (
) ( ) (
) (
) ( ) ( ) ( ) ( ) , (
) ( ) (
) ( ) (
) ( ) / (
) , ( ) ( ) , (
X X
T T T T T
T k T
X
X
T T
k
k T
X n
i
i i
T
k T
n
k T
i ij
i j
j i
i j
n n k n j i
i j
n k n j i k n n
m X E C
m k R k C
m k R
n m X E x n p n n n R
k R n
n p k x x
i X P i X j X P x x
i X j X P x x X X E k n n R

+

+
+ +
x 1p y x y x 1p I y
x 1p y
x 1p y x y
x y
x y x y

31
Cadenas de
Cadenas de
Markov
Markov
en Tiempo Continuo
en Tiempo Continuo
a
i
a
j
t
1
t
2
ij
(t
1
, t
2
)
Puntos de Poisson
Cadena de Markov en tiempo continuo: Los cambios de
estado ocurren en los puntos aleatorios T
n
.
) , ( ) , ( ) , (
) , ( ) ( ) (
) , (
3 2 2 1 3 1
2 1 2 2
2 1
t t t t t t
t t t t
t t
T T

p p
1 1
Propiedades bsicas
Cadenas homogneas
) ( ) ( ) (
,
2 3 1 2

+
t t t t
Ecuaciones de Kolmogorov
) 0 ( ) ( ) (
) ( ) ( ) (
) (
) (
) (
) ( ) ( ) (

& &
& &
t t
t t
d
d
t
d
t d
t t
+
+

) ( ) (
) 0 ( ) (
0
t t
lim
+
+
&
& &

Matriz de velocidad
de cambio de la
probabilidad de transicin
Solucin
t
t
e ) 0 ( ) ( ) 0 ( ) (
e ) (

T T T
t t
t
p p p
]
]
]
]
]
]
,
,
,
,
,

1 0 0
0 1 0
0 0 1
) 0 (
L
L L L L
L
L
I
Condicin inicial

) ( ) ( ) 0 ( ) ( ) 0 ( ) (
) ( ) 0 ( ) (
t t t t
t t
T T T T
T T
p p p p
p p

&
&
32
Ecuaciones de Balance Global
Ecuaciones de Balance Global
Solucin en estado estacionario
1
0 ) ( cte. ) (

1 p
0 p
p p p
T
T
t t

&
Sistema de ecuaciones homogneas
Condicin adicional
p

j i
ji jj
i
ji
i
ji
j i
jj j ij i
i
ij i
p p p

0 1
0
Ecuaciones de balance global

j i
ij i ji
j i
j
p p
Flujo de velocidad de probabilidad
saliente de j
saliente de j
entrante a j
entrante a j
i
i
j
j
ij
ji
l
l
k
k
33
Evolucin de la cadena en tiempo continuo
Evolucin de la cadena en tiempo continuo
0 p
0 1
0 1
1 1
p p p

T
t
t
t t
t
) (
) (
e ) 0 ( ) ( ) 0 ( ) (
e ) (
t
t
&
[ ] [ ]
T
t
T
i i
i
t T T
i i
i
t t
N
T
i i
i
i
i
T
i i
k
i
k
T
N N
ij j
T
i
T
i i
T
i
i i i
i i
f f
1p u v 1p u v
u v
u v
I V U
v v V u u U
v u
u u
v v
+
> > >

>

1
2 1
1 1
e e e
0
) ( ) (
,

L
L L
34
Valor medio y autocorrelacin en la cadena de Markov (t. continu Valor medio y autocorrelacin en la cadena de Markov (t. continuo) o)
( )
( )
[ ]
[ ]
1 y x p
x p x p
y y
y
x
1p
p p
p p p
T T
X
t
X
T T
i
i i X
t
T
N N
T
N
T
t
t
T T T
t m m
t t t p x t X E t m
t
t p x t p x t p x t
x x x
t
t
t t t
t t

) ( lim
) ( ) 0 ( ) ( ) ( )) ( ( ) (
) ( lim
) ( ) ( ) ( ) (
) ( lim
) ( lim
exp ) ( ) ( ) ( ) (
exp ) (
2 2 1 1
2 1

L
L

( )
( )
2 2 2
2
2
2 2 2
1 2 1
1 1 2
1 2 2 1 2 1
) ( ) 0 (
) ( ) ( ) (
) ( ) (
) ( )) ( ( ) ( ) ( ) , (
) ( e ) ( ) ( ) (
) ( ) ( ) , (
) ( ) , (
) ) ( ( ) ) ( / ) ( (
) ) ( , ) ( ( )) ( ) ( ( ) , (
X X
T T T T T
T T
X
X
T T
k
T
X
i
i i
T
T T
n
T
i ij
i j
j i
i ij
i j
j i
i j
j i
i j
j i
m X E C
m R C
m R
t m t X E x t p t t t R
R t
t p x x t R
t p t t x x
i t X P i t X j t X P x x
i t X j t X P x x t X t X E t t R
x 1p y x y x 1p I y
x 1p y
x 1p y x y
x y
x y x y x y

35
Ejemplo : Proceso de Poisson
Ejemplo : Proceso de Poisson
]
]
]
]
]
]
,
,
,
,
+
]
]
]
]
]
]
,
,
,
,
L L L L
L
L
L
&
L L L L L
L
L
L L
0 0
0
0
) 0 (
e e 0 0
! 2 / e ) ( e e 0
! 2 / e ) ( e e
e
)! (
) (
]] , 0 [ en puntos [
] ) 0 ( / ) ( [ ) (
t
t 2 t
t 2 t
t

t
t t
t t
i j
t
t i j P
i X j t X P t
t
t
t
i j
ij
Otra forma de obtener la matriz : : : :

+

>

e 1 ) ( ] [
] ) 0 ( / 1 ) ( [ ) (
e ) ( 1
] [ 1 ] [
] ) 0 ( / ) ( [ ) (
1
1
1
1 ,
1 1
T
i i
T
ii
F T P
i X i X P
F
T P T P
i X i X P

+ +
) 0 (
) 0 (
1 , 1 , i i i i
ii ii
&
&
Solucin de ) ( ) ( t t p p &
t
1
1 1 1 0 1
0 0 0
e
!
) (
) ( ) ( ) ( ) (
e ) ( ) ( e ) ( ) ( ) (
e ) ( ) ( ) (

n
t
t p t p t p t p
t t p t p t p t p t p
t p t p t p
n
n n n n
t t
t
&
L
&
&
] 0 0 1 [ ) 0 ( L p Condicin
inicial
36
Ejemplo : Seal binaria aleatoria
Ejemplo : Seal binaria aleatoria
-a
a
b
-b
1 0
Puntos de Poisson
[ ] [ ]
[ ] [ ]
[ ]
[ ]
]
]
]
]
]
]
,
,
,
,
,
+
+
+ +
+
]
]
]
,

]
]
]
,

+
+
+
+

b a
a
p
b a
b
p
p p
bp ap
b a
b a
b a
b
b a
a
b a
a b
b b
a a
P X X P
P X X P
T
T
t b a
t b a
t b a
t b a
t
b b
a a
b
a
1
0
1 0
1 0
) (
) (
) (
) (
10
01
1 1
e
e 1
e 1
e
e
) 0 (
e e 1
e 1 e
) (
e 1 ] `[0, en punto 1 1 ) 0 ( / 0 ) ( ) (
e 1 ] `[0, en punto 1 0 ) 0 ( / 1 ) ( ) (
1 p
0 p

&

[ ]
( )
) ( 2 2
) (
2
2
e
e e ) (
)) ( (
0
1 0
b a
X X
b a t T
T
T
T
m
b a
ab
b a
a
R
b a
a
t X E
b a
a
b a
a
b a
b
+
+
+
+
+
(
,
\
,
(
j
+

+

]
]
]
,
,
+
]
]
]
,
,
+ +
x y
x p
y
p
x

37
Clientes atendidos de a uno por vez en orden de llegada
Tiempo entre arribos distribuido exponencialmente con parmetro .
Tiempo de servicio de un cliente distribuido exponencialmente con
parmetro .
Ejemplo: Cola M/M/1 (1)
) ( ) ( 1 e e e e
]) [0, en partida 1 y arribo 1 ( ]) [0, en partida 0 y arribo 0 (
) ) 0 ( / ) ( ( ) (
) ( e ) ( ) ] en[0, partida 1 (
) ) 0 ( / 1 ) ( ( ) (
) ( ! 2 / e ) ( ) ] [0, en arribo 2 (
) ) 0 ( / 2 ) ( ( ) (
) ( e ) ( ) ] [0, en arribo 1 (
) ) 0 ( / 1 ) ( ( ) (
1 ,
2
2 ,
1 ,

o
P P
j X j X P
o P
j X j X P
o P
j X j X P
o P
j X j X P
jj
j j
j j
j j
+ + +
+ +

+

+
+
+

+
L
,... 2 , 1 0 ) (
0 0
) ( 0
) (
0
) 0 (
1 1
1 0
+ +
+
]
]
]
]
]
]
,
,
,
,
,
+
+

+
j p p p
j p p
j j j

0 p

L L L L
L
L
L
&
,... 2 , 1 ) (
0
1 1
0 1
+ +

+
j p p p
j p p
j j j

Flujo entrante Flujo saliente
38
0
0
1
1
j
j
2
2
j+1
j+1

1
1 1
1 0
0 cte.
1 cte.
0
+
+

j j
j j j j
p p
j p p p p
p p

,... 2 , 1 ) (
0
1 1
0 1
+ +

+
j p p p
j p p
j j j

j
j
j j
j
j
n
j
j j j
p p
p p
p p
p p p

) 1 (
1
1
) / (
0
0
0
0
0
1 1

< < 1 /
La tasa de arribos debe ser menor
que la velocidad de servicio; de
otro modo, la cola crece sin lmite.
39
N j p p
N j p p p
j p p
N N N N
j j j j j j j

+ +

+ +

1 - ,..., 2 , 1 ) (
0
1 1
1 1 1 1
0 0 1 1

Transiciones limitadas a estados adyacentes.
Los arribos ocurren como un proceso de Poisson de tasa
. Los tiempos entre arribos son vv.aa. exponenciales iid

con media 1/
.
El tiempo entre desapariciones est distribuido
exponencialmente con media 1/
.
Ecuaciones de balance global
Solucin de las ecuaciones de balance global
0
0
1
1
j
j
2
2
j+1
j+1
0

1

2

j-1

j

N-1
1

N
2

3

j

j+1
N
N
N j p p
N j cte p p p
j p p
N N N N
j j j j j j j

+ +

+ +
0
1 - ,..., 2 , 1 0 . ) (
0 0
1 1
1 1 1 1
0 0 1 1

0
1
1
0
1
1
p p p
i
i
i
i
i
i
i
i
i
i
Ejemplo: Proceso de Nacimiento y Muerte General Ejemplo: Proceso de Nacimiento y Muerte General
40
Modelo para voz en paquetes.
Duracin del intervalo de silencio: fdp
exponencial, 1/ = 600 mseg.
Duracin del intervalo de habla: fdp exponencial,
1/ = 400 mseg.

N
i
i
i i
i
i
i
i
i
i
i
i
i
i
p
i i N
p p p
0
0
1
1
0
1
1
1
, ) (
Ejemplo: Proceso de Ejemplo: Proceso de Poisson Poisson Modulado por Modulado por Markov Markov (MMPP) (MMPP)
0
0
1
1
j
j
2
2
j+1
j+1
(1)
(j)
N
2
(j+1)
N
N
1
1 0
0 1 0 1
+

p p
p p p p

4 . 0
6 . 0
1
0
p
p
Modelo para una fuente nica
0
0
1
1
habla silencio
V paquetes/seg
Modelo para N fuentes
( )
2
) var(
) (
1

(
(
,
\
,
,
(
j
+
(
(
,
\
,
,
(
j
+
(
(
,
\
,
,
(
j
(
(
,
\
,
,
(
j
+
(
(
,
\
,
,
(
j
(
(
,
\
,
,
(
j

N i
N i E
i
N
i
N
p
i N i N i
i
Probabilidad que i fuentes
entre N estn activas
Nmero medio de
fuentes activas
41
Aplicacin: Multiplexado Estadstico de Voz
Describe el comportamiento de multiplicadores de
tramas (DCME).
Prxima generacin de DCME soportada por AAL2.
Duracin del intervalo de silencio: fdp exponencial,
1/ = 600 mseg.
Duracin del intervalo de habla: fdp exponencial,
1/ = 400 mseg.
Ejemplo : Modelo MMPP del multiplexado estadstico de voz (1) Ejemplo : Modelo MMPP del multiplexado estadstico de voz (1)
1 0
1
1 0
0 1
) var(
) (
4 . 0 , 6 . 0
p Np i
Np i E
p p
p p
i
N
i
N
p
i N i
i N i
i
+

+
(
(
,
\
,
,
(
j
(
(
,
\
,
,
(
j
+
(
(
,
\
,
,
(
j
+
(
(
,
\
,
,
(
j

N fuentes
de voz
Capacidad del canal:
C canales de voz
equivalentes
MUX
Estadstico
k N k
N
k
k N k
N
k
p p
k
n
C k
Np
p C N F
C k
C k C k
k r
p p
k
n
k r
p C N F
(
(
,
\
,
,
(
j

>
(
(
,
\
,
,
(
j
) 1 ( ) (
1
) , , (
0
) (
) 1 ( ) ( recortado trfico de Promedio
total trfico de Promedio
recortado trfico de Promedio
) , , (
0 1
1
0
1
42
N fuentes
de voz
C canales de voz
equivalentes
MUX
Estadstico
k N k
N
k
p p
k
n
C k
Np
p C N F

(
(
,
\
,
,
(
j

) 1 ( ) (
1
) , , (
0
1
1
Freeze Out Fraction
Freeze Out Fraction
0
5
10
15
20
25
30
0 10 20 30 40 50 60
Nmero de Fuentes de Voz (N)
C
a
p
a
c
i
d
a
d

d
e
l

C
a
n
a
l

(
C
)
0.1 %
0.5 %
1.0 %
5.0 %
10.0 %
Ejemplo : Modelo MMPP del multiplexado estadstico de voz (2) Ejemplo : Modelo MMPP del multiplexado estadstico de voz (2)
43
Aplicacin: Multiplexado Estadstico de Datos
Caracterizacin de una fuente
Duracin del intervalo OFF: fdp exponencial, 1/ = t
OFF
.
Duracin del intervalo ON: fdp exponencial, 1/ = t
ON
.
Burstiness: vel. pico/vel. promedio.
Ejemplo : Modelo MMPP del multiplexado estadstico de datos (1) Ejemplo : Modelo MMPP del multiplexado estadstico de datos (1)
N fuentes
C canales
Velocidad del canal: r
C
MUX
Estadstico
r
p
r
m
Entradas
r
c
Rfaga perdida o retrasada
1 /
/
/
/ 1 /
/ ) (
) (
1
) (
1
1
1
0
>
N r Nr G
r r C
C N G
p r r b
r r p ON P
ON P r t r
T
dt t r
T
r
c p
p c
m p
p m
p
i
ONi p
T
m
Probabilidad de actividad
de la fuente
Burstiness
Ganancia de
multiplexado estadstico
Se debe cumplir la condicin de estabilidad:
1 <
c
p
c
ON p
c
m
c
arribos
br
Nr
r
p Nr
r
Nr
r
L N
S

44
Probabilidad que i fuentes entre N
estn activas

/ 4 ) 1 (
2
1
2
1
/ 1 1 0
/ 1
) 1 (
) (
) 1 ( ) var(
) (
,
1
2 1
1
1 1 1
1 1 1
1 1
1
1 0
0 1
+
(
(
,
\
,
,
(
j
(
(
,
\
,
,
(
j
+
(
(
,
\
,
,
(
j
+
(
(
,
\
,
,
(
j
p
p
Np
Np p Np
C
p Np Np C
Q P
p Np i
Np i E
p p
p p
i
N
i
N
p
L
i N i
i N i
i
Probabilidad de prdida
Nmero de canales para la
prob. de prdida P
L
Np
1
) 1 (
1 1
p Np
i
p
i
C
Aproximacin gaussiana a la distribucin binomial
Throughput
normalizado
[ ]
1
2
1 1
2
1
) / (
1 / 4 ) 1 (
4
Gp
r
Gr
r
r r Gr
r
Nr
S
p p
p
N G
p
m
c
m p c
c
m

+
45
[ ]
2
1 1
2
1
1 / 4 ) 1 (
4
p p
p
N G +
1
) / (
Gp
r
Gr
r
r r Gr
r
Nr
S
p
m
c
m p c
c
m

Ganancia de Multiplexado Estadstico
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
16.00
0 0.05 0.1 0.15 0.2 0.25 0.3
Relacin vel. pico/vel. enlace
G
a
n
a
n
c
i
a
b=2
b=4
b=6
b=8
b=10
b=12
b=14
b=16
b=18
b=20
Throughput Normalizado
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
0 0.05 0.1 0.15 0.2 0.25 0.3
T
h
r
o
u
g
h
p
u
t
b=2
b=4
b=8
b=12
b=16
b=20
Prob. prdida = 10
-6
46
Ganancia de Multiplexado Estadstico
0.00
5.00
10.00
15.00
20.00
25.00
30.00
0 0.2 0.4 0.6 0.8 1
G
a
n
a
n
c
i
a
b=32
16
24
12
6
2
N=30
25
10
15
20
[ ]
N G
p p
p
G
+
2
1 1
2
1
1 / 4 ) 1 (
4
Prob. prdida 10
-2
Solucin simultnea de las
ecuaciones
47
Utilidad de los modelos de Markov
Utilidad de los modelos de Markov
El modelo de Poisson es apropiado si
hay un gran nmero de usuarios
similares e independientes.
Si se combinan n procesos de arribos
iid, no necesariamente Poisson de tasa
/n,
La tasa de arribos del agregado es .
El proceso agregado se aproxima a un
proceso de Poisson de tasa cuando
n en condiciones bastante amplias.
PASTA: Poisson Arrivals See Time
Averages
La distribucin exponencial no tiene
memoria.
Lo que ocurre despus del tiempo t es
independiente de lo que ocurri antes
de t.
El conocimiento del pasado no sirve
para predecir el futuro.
Para los tiempos de servicio:
P(s>r+t / s>t) = P(s>r)
El tiempo adicional necesario para
completar el servicio del cliente que
est siendo atendido, es independiente
de cundo comenz el servicio.
48
Teora de Colas
Teora de Colas
Teorema de Little
Cola M/M/1
Cola M/M/1/K
Cola M/M/c. Frmula Erlang-C
Cola M/M/c/c. Frmula Erlang-B
Cola M/M/N/N/N
49
Introduccin
Introduccin
Teora de Colas: Tipos de problemas y soluciones.
Introduccin a las colas de espera.
Fundamentos: Probabilidad, estadstica, procesos
aleatorios.
50
Tipos de problemas y soluciones (1)
El modelo de una cola de espera generalmente se
usa para representar un sistema de recursos
compartidos.
Usuario 1
Usuario 1
Usuario N
Usuario N
Recursos compartidos
Recursos compartidos
51
Flujo entrante Flujo saliente Servidor Cola
Clientes que arriban Lnea de espera Cabeza de lnea Clientes atendidos
Bloqueo,
prdida o desborde
Concepto bsico:
Los clientes llegan para ser atendidos. Si todos los servidores estn ocupados, el cliente
espera en la cola y es atendido despus.
Parmetros: tasa de arribos, velocidad de atencin, nmero de servidores, capacidad de la
cola...
Medidas: tiempo de espera, utilizacin de los servidores, tamao de la cola, probabilidad de
rechazo...
52
Ejemplos
Ejemplos
Servidor Clientes Sistema
Web server Requerimientos de cliente Servicios Web
Medio (FO, UTP, RF) Paquetes o tramas Red de acceso mltiple
(LAN, LAN inalmbrica)
Canales Llamadas Conmutador de circuitos
Enlace de comunicaciones Paquetes o celdas MUX estadstico
CPU, disco, dispositivos
I/O, bus...
Programas o procesos Procesador
53
Objetivos y mtodos
Objetivos y mtodos
Predecir la performance del
sistema.
Determinar cmo
9 Dimensionar el sistema (ancho de
banda)
9 Controlar la entrada
para obtener la performance
requerida, en trminos de:
9 Grado de servicio (GoS)
9 Retardo
Anlisis de un modelo matemtico.
Simulacin.
Medicin de sistemas reales.
Objetivos
Mtodo
54
Factores
Factores
Bsicos
Tasa de arribos.
Tiempo de servicio.
Nmero de servidores.
Longitud mxima de la cola (tamao del buffer).
Otros
Tamao de la poblacin.
Disciplina de servicio (FCFS, LCFS, prioridades, vacaciones).
Modelo de carga de trabajo (trfico).
Comportamiento del cliente: Desistir, abandonar, ...
55
Modelos de trfico
Modelos de trfico
Voz
Video CBR
Datos en paquetes
Imgenes
Video VBR
Dificultad del modelo
Modelos
de trfico
Dependencia
de corto alcance
Dependencia
de largo alcance
Poisson
Modelos de regresin
F-ARIMA (Fractional
AutoRegressive Integrated
Moving Average)
FBM (Fractional Brownian
Motion)
...
56
Tasa de arribos
Tamao del Buffer
Tasa de servicio
Paquetes/seg
= R/8L
Paquetes/seg
B paquetes
L bytes/paquete
Velocidad de Transmisin
R bits/seg
Modelo de
Modelo de
switch
switch
o de
o de
router
router
Link
Port Port
Router / Switch Router / Switch
57
Componentes del Retardo
Componentes del Retardo
Procesamiento:
Tiempo desde que el
paquete es recibido hasta
que se le asigna un enlace
de salida.
Cola:
Tiempo desde que al paquete
se le asigna un enlace de salida
hasta que comienza la
transmisin (tiempo de espera).
Transmisin:
Tiempo entre la
transmisin del
primer bit y el
ltimo bit del
paquete.
Propagacin:
Tiempo desde que el ltimo
bit es transmitido por la
fuente hasta que el ltimo bit
es recibido por el receptor.
Dependen de la carga de trfico
y el tamao de los paquetes
58
Tipos de Colas
Tipos de Colas
A / S / M / K / N / Q
A / S / M / K / N / Q
Disciplina de servicio:
FIFO, LIFO, prioridad,...
Puede ser finito o infinito.
Tamao mximo de la cola,
longitud del buffer o
capacidad de almacenamiento.
Nmero de servidores
Distribucin del tiempo de servicio:
M: exponencial (Markov)
D: determinstica (constante)
G: General
Distribucin del tiempo entre arribos:
G: General
Notacin de Kendall
59
Teora de Colas
Teora de Colas
Teorema de Little
Cola M/M/1
Cola M/M/1/K
Cola M/M/c. Frmula Erlang-C
Cola M/M/c/c. Frmula Erlang-B
Cola M/M/N/N/N
60
Teorema de
Teorema de
Little
Little
T
1
T
2
T
k
A(t): arribos
D(t): partidas
N(t)=A(t)-D(t): nmero de clientes en el sistema
t
t
T
T
k
T A
k
k
T
T A
k
k
T
T
T A
k
k
T
T
T A
T
T A T
T A
T
T
dt t N
T
t N
T dt t N
) (
) (
1 ) ( 1
) (
1
) (
) (
) (
1
0
) (
1
0
) (
1

T
T
T A
) (
T
k T
T
T t N
) (
) ( ) ( T E N E
Nmero medio de clientes
en el sistema
Tasa de
arribos
Tiempo medio de
permanencia en el
sistema
61
Teorema de
Teorema de
Little
Little
: Aplicacin
: Aplicacin
Little means a lot!
) ( ) (
) ( ) (
T E N E
W E N E
q
Flujo entrante Flujo saliente Servidor Cola

T
Tiempo en el sistema
o retardo
Clientes que arriban Lnea de espera Cabeza de lnea Clientes atendidos
clientes/seg
Tiempo medio de servicio:
E(S) = 1/ seg/cliente
N
q
clientes en la cola
W
Tiempo de espera
en la cola
S
Tiempo de
servicio
N
clientes en el sistema
+
+
+
+
) (
/ ) ( ) (
/ 1 ) ( ) (
q
q
N E
N E N E
W E T E
S W T

+ +

1
1
/ 1
) (
/ 1 ) ( / 1 ) ( ) (
) ( / ) ( ) / 1 )( ( ) (
T E
T E W E T E
T E T E N E W E
+
+
E(W)
E(T)
1/
62
Tipos de Colas
Tipos de Colas
A / S / M / K / N / Q
A / S / M / K / N / Q
Disciplina de servicio:
FIFO, LIFO, prioridad,...
Puede ser finito o infinito.
Tamao mximo de la cola,
longitud del buffer o
capacidad de almacenamiento.
Nmero de servidores
Distribucin del tiempo de servicio:
G: General
Distribucin del tiempo entre arribos:
G: General
Notacin de Kendall
63
Cola M/M/1 (1)
Cola M/M/1 (1)
0
0
1
1
j
j
2
2
j+1
j+1

,... 2 , 1 ) (
0
1 1
0 1
+ +

+
j p p p
j p p
j j j

Sistema de un nico servidor.
Clientes atendidos de a uno por vez en orden de llegada.
Los clientes arriban como un proceso de Poisson de tasa
. Los tiempos entre arribos son vv.aa. exponenciales iid
con media 1/ .
Tiempo de servicio de un cliente distribuido
exponencialmente con media 1/ .
El sistema puede acomodar un nmero ilimitado de
clientes.
Ecuaciones de
balance global
Solucin de las ecuaciones de balance global
s
s s
q q
N
j
j
N P
p P
S N N E
S W N N E
S S
S
S T W W E
S E N E
T T E
N N N E
j t N P p

<
ocupado) servidor (
1 ocupado) servidor (
) / 1 ( ) (
1 1
) (
1 1
) (
1
1
) (
1
/ 1
1
1 ) (
) (
) 1 (
) var( ,
1
) (
] ) ( [ ) 1 (
1 /
0
2
2
2

0
1 p
64
Cola M/M/1 (2)
Cola M/M/1 (2)

E(N) E(T)
1
) (N E
1
/ 1
1
) (
) (
S E
T E
0
5
10
15
20
0 0,2 0,4 0,6 0,8 1
0
5
10
15
20
0 0,2 0,4 0,6 0,8 1
65
Aplicacin: Multiplexado de trfico
Aplicacin: Multiplexado de trfico
FDM, TDM
Estadstico
Capacidad de transmisin del canal: C bit/seg.
Mflujos de trfico de Poisson de tasa /M comparten el canal.
Longitud de paquetes distribuida exponencialmente con media L.
/M
/M
/M
C/M
C/M
C/M
/M
/M
/M
C
Retardo de transmisin del canal

M
M M
T
M L
M C
i
/ /
1
/
C
L
1
T
L
C
Los paquetes de cada flujo se combinan en una sola cola y se
transmiten con un ordenamiento FCFS.
Se crean M canales separados, cada uno de capacidad C/M.
En FDM, el retardo de transmisin es ML/C.
En TDM, el retardo de transmisin es ML/C si el paquete es mucho
ms largo que 1 TS. Si L = 1 TS, el retardo de transmisin es L/C,
pero debe esperar (M-1) tiempos de TS entre transmisiones.
Un paquete tarda Mveces ms en la cola y en ser servido en TDM o FDM, que en
multiplexado estadstico.
Sin embargo, lavarianza del retardo es menor en TDM o FDM.
TDM y FDM malgastan capacidad del canal cuando un flujo no tiene trfico, pero
eliminan la necesidad de identificar a qu flujo pertenece cada paquete.
Un paquete tarda Mveces ms en la cola y en ser servido en TDM o FDM, que en
multiplexado estadstico.
Sin embargo, lavarianza del retardo es menor en TDM o FDM.
TDM y FDM malgastan capacidad del canal cuando un flujo no tiene trfico, pero
eliminan la necesidad de identificar a qu flujo pertenece cada paquete.
66
Cola M/M/1/K (1)
Cola M/M/1/K (1)
Cola M/M/1 con capacidad finita. El sistema puede
contener hasta K clientes. Los que llegan cuando el
sistema est lleno, son devueltos.
0
0
1
1
K-1
K-1
2
2
K
K

K j p p
K j p p p
j p p
K K
j j j

+ +

+

1
1 1
1 0
1 . , 2 , 1 ) (
0
L
K j p
p p
p p p
j
K
j
K
K
j
j
j
j j
, , 0
1
1
1
1
1
1
1
0
0
0 1
L

+
+

0 K K K 0 0
<1
1
>1
p
j
p
j
p
j
K
K
K
K
B A
K
K
K A A
B B A
B B
K
K
K B
K
K
K
P
N E N E
T E
p S E N E
S E N E
P
P
p K N P P
K
N E
]
]
]
,
+
+
+
+
+
+
1
1
1
) 1 (
1
1 1
) 1 (
) ( ) (
) (
1
1 1
) 1 ( ) ( ) (
) ( ) (
) 1 (
1
1
) (
1
) 1 (
1
) (
1
1
1
1
1
1
Probabilidad de bloqueo
Tasa efectiva de arribos
Carga ofrecida
Carga satisfecha
Tasa de rechazos
67
Cola M/M/1/K (2)
Cola M/M/1/K (2)
1 1
1
1
1
1
+ +
K
K
K
K
A

K
K
K
K
K
T E
]
]
]
,
+
+
1
1
1
) 1 (
1
1 1
) (
1
1
A
/
E(T)
/ ) (
A A
N E
0
2
4
6
8
10
0 0,5 1 1,5 2
0
0,2
0,4
0,6
0,8
1
0 0,5 1 1,5 2
K=2
K=10 K=10
K=2
68
Ejemplo: Dimensionamiento de un Ejemplo: Dimensionamiento de un buffer buffer
) 1 (
1
1
) (
1
B B A
B B
K
K
K B
P
P
p K N P P

Probabilidad de "overflow"
1,00E-10
1,00E-09
1,00E-08
1,00E-07
1,00E-06
1,00E-05
1,00E-04
1,00E-03
1,00E-02
1,00E-01
1,00E+00
0 20 40 60 80 100 120 140 160 180 200
Tamao del buffer
P
(
o
v
e
r
f
l
o
w
)
0.5
0.7
0.8
0.9
Capacidad del buffer requerida
0
20
40
60
80
100
120
140
160
180
200
0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0
Carga ofrecida
C
a
p
a
c
i
d
a
d

= 0.9
0.7
0.8
0.5

69
Cola M/M/c (1)
Cola M/M/c (1)
El nmero de servidores es c. La tasa de partidas es k cuando
k servidores estn ocupados, pues:
<

> >
> >

c k c
c k k
t T P t T P
t T T min P t T P
T T T
k
k
k
k

partidas de tasa ocupados servidores k
e e e
) ( ) (
] ) , , ( [ ) (
) , min( partida prxima la hasta tiempo ocupados servidores k
t t t
1
1
1
L
L
L
L
0
0
1
1
c-1
c-1
2
2

2 3 (c-1)
c
c
c
c+1
c+1
c c

1 ) (
, , 1 ) ( ) 1 (
0
1 1
1 1
1 0
+ + +
+ + +

+
+
c j p c p c p
c j p j p j p
j p p
j j j
j j j

L
1 / /
/
1
1
! !
1
!
, , 0
!
1
1
0
0
0
0
<
(
(
,
\
,
,
(
j
+
+

c a c
a
c
a
j
a
p
c j p
c
a
p
c j p
j
a
p
c c
j
j
c
c j
j
j
j

L
Nmero medio de servidores ocupados
Ocupacin de 1 servidor
70
Cola M/M/c (2)
Cola M/M/c (2)
a N E W E T E N E
a c
a c C
S E W E T E
a c
a c C
c
a c C
N E
W E
a c C p c j p c j N E
c
a
j
a
c
a
a c C
a c C
p
p c N P W P
q
q
c j
c
c j
c j
j q
c
j
c j c
c j
c
c
c j
+ +
+

(
(
,
\
,
,
(
j
>

) ( ) ( ) ( ) (
1
) (
) , (
) ( ) ( ) (
) (
) , ( ) , (
) (
) (
) , (
1
) ( ) ( ) (
1
1
! ! ! 1
1
) , (
) , (
1
) ( ) 0 (
1
1
0
Probabilidad de encontrar todos los c servidores ocupados y tener que

esperar en la cola: frmula Erlang C.
Nmero medio de clientes en la cola.
Tiempo medio de espera en la cola.
Tiempo medio total en el sistema (retardo).
Nmero medio de clientes en el sistema.
71
Frmula Erlang
Frmula Erlang
-
-
C
C
1
1
0
1
1
! ! ! 1
1
) , (

(
(
,
\
,
,
(
j

c
j
c j c
c
a
j
a
c
a
a c C

Probabilidad de encontrar todos los c servidores ocupados y tener que
esperar en la cola: frmula Erlang C.
72
Frmula Erlang
Frmula Erlang
-
-
C: Tiempo de espera
C: Tiempo de espera
) (
) , ( ) , (
) (
) (
a c
a c C
c
a c C
N E
W E
q

73
Ejemplo:
Ejemplo:
Call Center
Call Center
Ejemplo
Un call center recibe 600 llamadas por hora, con una duracin media
de 3. El operador trabaja durante 20 despus de cada llamada. Se
quiere que el tiempo medio de espera sea 20. Obtener el nmero
de operadores necesario.
a = (600/3600) (360+20) = 33.33 Erlang
E(W) = 20/(360) = 0.111 (Tiempo de espera normalizado)
E(W) =C(c,a)/(c-a)
0.111 = C(c,33.33)/(c-33.33)
c = 36 operadores.
74
Ejemplo: Retardo en acceso DVB
Ejemplo: Retardo en acceso DVB
-
-
RCS
RCS
DVB-S BASIC ACCESS PROFILE BA1 BA2 BA3 BA4 BA5 BA6 BA7 BA8
Forward max (Kbps) 256 256 256 512 1024 2048 4096 4096
Forward min (Kbps) 8 16 32 64 128 256 512 1024
Return max (Kbps) 16 32 64 128 256 512 1028 1028
Return min (Kbps) 2 4 8 16 32 64 128 256
Unav/month (%) 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1
Activity MBH (%) 20 20 20 25 25 25 30 30
Internet access (browsing)
Assumptions:
Users: 1000
Internet usage/month/user 20 h
Day-to month ratio 1/20
BH-to-day ratio 1/10
Pages/session 36
Page size 50 Kbyte
Page delivery time 2 sec
Page view time 60 sec
Mean upstream packet length 80 Byte
Mean downstream packet length 560 Byte
Simultaneous session in BH 100 i.e. 10 % users
Protocol: TCP/IP with 560 bytes/OB packet and 80 bytes/IB packet.
Qty. Unit
Peak dnstream thput in BH/user 200.0 Kbit/s
Peak upstream thput in BH/user 28.6 Kbit/s
Session duration 37.2 sec Pag/session *(2+60)/60
Mean thput/user 6.5 Kbit/s PageSize*8/(2+60)
Mean upstream thput in BH 92.2 Kbit/s Mean dnstream thput*80/560
Mean dnstream thput in BH 645.2 Kbit/s MeanThput/user*10 users
Upstream packets in BH 147.5
Dnstream packets in BH 147.5 (50*1024/560)*10/(4+60)
Trfico elstico NRT - transferencia de archivos.
Proceso de arribo de archivos: Poisson con tasa .(archivos/seg)
Tamao medio de archivo: L (bits)
Max. Bitrate de una terminal: r
b
(bit/seg)
Ancho de banda (capacidad total) disponible: C (bit/seg).
Objetivo: Garantizar un tiempo medio de transferencia E(T), o bien un determinado throughput promedio L/E(T) para
todas las transacciones.
Downstream Upstream
L Byte 560.0 80.0
bits 4,480.0 640.0
rb Kbit/s 256.0 32.0
paq/s 57.1 50.0
paq/s 147.5 147.5
a Erlang 2.6 2.9
4 0 . 15
9 . 2
) 9 . 2 , (
3 . 0
9 . 2
) 9 . 2 , (
1
0 . 50
1
) (
: Upstream
4 1 . 16
6 . 2
) 6 . 2 , (
3 . 0
6 . 2
) 6 . 2 , (
1
1 . 57
1
) (
: Downstream
/ , / , /
) , (
1
1 1
) (
) , (
) ( ) ( ) (
<
<
(
,
\
,
(
j
+
<
<
(
,
\
,
(
j
+

(
,
\
,
(
j
+ +
+
c
c
c C
c
c C
T E
c
c
c C
c
c C
T E
r L a r C c L r
a c
a c C
a c
a c C
S E W E T E
b b b

Para mantener acotado el retardo, se necesitan
4256 = 1024 Kbit/s downstream
432 = 128 Kbit/s upstream.
Comparar con los valores de throughput medio:
645.2 Kbit/s downstream
92.2 Kbit/s upstream
.
75
Cola M/M/c/c
Cola M/M/c/c
La capacidad de la cola es igual al nmero total de servidores.
Los clientes que arriban cuando todos los servidores estn
ocupados, son devueltos.
0
0
1
1
c-1
c-1
2
2

2
3 (c-1)
c
c
c
[ ]
)] , ( 1 [ ) ( ) (
)] , ( 1 [ )] , ( 1 [
)] , ( 1 [
)] , ( 1 [
) , ( 1
) , (
! / ! 2 / 1
! /
!
) (
!
1
, , 0
!
/
2
0
1
0
0
0
0
a c B S E N E
a c B a c B
c c
a c B a
c
a c B a
a c B p
P a c B
c a a a
c a
p
c
a
p c N P
j
a
p p
c j p
j
a
p
a
A
A
A
c A
B
c
c c
c
c
j
j c
j
j
j
j

+ + + +

(
(
,
\
,
,
(
j

L
L
Carga ofrecida
Probabilidad de que los c servidores estn ocupados =
probabilidad de bloqueo: Frmula Erlang B
Tasa efectiva de arribos
Carga soportada por cada servidor = utilizacin
76
Frmula Erlang
Frmula Erlang
-
-
B
B
) , ( 1
) , (
) , 1 (
! /
! /
! / ! 2 / 1
! /
) , ( ) (
0
2
a c aB c
a c aB
a c B
k a
c a
c a a a
c a
P a c B c N P
c
k
k
c
c
c
B
+ +
+
+ + + +

L
Frmula Erlang-B
0
2
4
6
8
10
12
14
16
18
20
0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0
Trfico total ofrecido (Erlang)
N
m
e
r
o

d
e

c
i
r
c
u
i
t
o
s
0.1%
0.5%
1.0%
5.0%
10.0%
20.0%
Frmula Erlang-B
0
5
10
15
20
25
30
35
40
45
50
0,0 5,0 10,0 15,0 20,0 25,0 30,0 35,0 40,0 45,0 50,0
Trfico total ofrecido (Erlang)
N
m
e
r
o

d
e

c
i
r
c
u
i
t
o
s
0.1%
0.5%
1.0%
5.0%
10.0%
20.0%
77

N
i
i
i i
i
i
i
i
i
i
i
i
i
i
p
i i N
p p p
0
0
1
1
0
1
1
1
, ) (
Cola M/M/N/N/N
Cola M/M/N/N/N
0
0
1
1
j
j
2
2
j+1
j+1
(1)
(j)
N
2
(j+1)
N
N
( )
2
) var(
) (
1

(
(
,
\
,
,
(
j
+
(
(
,
\
,
,
(
j
+
(
(
,
\
,
,
(
j
(
(
,
\
,
,
(
j
+
(
(
,
\
,
,
(
j
(
(
,
\
,
,
(
j

N i
N i E
i
N
i
N
p
i N i N i
i
Nmero medio de
fuentes activas
El nmero de servidores es N. La tasa de partidas es k
cuando k servidores estn ocupados.
La cantidad de fuentes (o tamao de la poblacin) es
N. La tasa de arribos es (N-i) cuando hay i fuentes
activas.
Es un modelo idntico al MMPP.

Markov

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Markov

Caricato da

Copyright:

Formati disponibili

Cadenas de Markov y

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas

Grafo fuertemente conexo

primitivas son de s submatrice las todas si lim

. Los tiempos entre arribos son vv.aa. exponenciales iid

Probabilidad que i fuentes

Flujo entrante Flujo saliente Servidor Cola

Retardo de transmisin del canal

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas

Probabilidad de encontrar todos los c servidores ocupados y tener que

Potrebbero piacerti anche