Modelos Estocasticos

Modelos Estocasticos
Javier Pereira
1
, Fernando Paredes
2
,
Macarena Donoso
2
1
Escuela de Ingeniera Inform atica
Universidad Diego Portales
2
Escuela de Ingeniera Industrial
Universidad Diego Portales
Avenida Ejercito 441
Santiago
2010
2
Indice general
1. Revision de conceptos de probabilidades 4
1.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1. Medida de probabilidad . . . . . . . . . . . . . . . . . . . 5
1.1.2. Probabilidad condicional . . . . . . . . . . . . . . . . . . . 6
1.1.3. Independencia . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.4. Teorema de Bayes . . . . . . . . . . . . . . . . . . . . . . 7
1.2. Variables aleatorias . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1. Variables aleatorias discretas . . . . . . . . . . . . . . . . 8
1.2.2. Variables aleatorias continuas . . . . . . . . . . . . . . . . 8
1.2.3. Esperanza y momentos de una variable aleatoria . . . . . 9
1.3. Transformadas de una variable aleatoria . . . . . . . . . . . . . . 9
1.3.1. Transformada s . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.2. Transformada z . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4. Expresiones para variables aleatorias . . . . . . . . . . . . . . . . 10
1.4.1. Probabilidad conjunta . . . . . . . . . . . . . . . . . . . . 10
Variables aleatorias discretas . . . . . . . . . . . . 10
Variables aleatorias continuas . . . . . . . . . . . . 11
Covarianza y coeciente de correlacion . . . . . . . 11
1.4.2. Suma de dos variables aleatorias . . . . . . . . . . . . . . 11
1.5. Distribuciones de probabilidad . . . . . . . . . . . . . . . . . . . 12
1.5.1. Distribucion de Bernoulli . . . . . . . . . . . . . . . . . . 12
1.5.2. Distribucion Binomial . . . . . . . . . . . . . . . . . . . . 13
1.5.3. Distribucion Geometrica . . . . . . . . . . . . . . . . . . . 13
1.5.4. Distribucion de Pascal . . . . . . . . . . . . . . . . . . . . 14
1.5.5. Distribucion de Poisson . . . . . . . . . . . . . . . . . . . 14
1.5.6. Distribucion Exponencial . . . . . . . . . . . . . . . . . . 14
1.5.7. Distribucion de Erlang . . . . . . . . . . . . . . . . . . . . 15
1.5.8. Distribucion Normal . . . . . . . . . . . . . . . . . . . . . 15
2. Procesos Estocasticos 17
2.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2. Procesos estocasticos estacionarios . . . . . . . . . . . . . . . . . 19
2.2.1. Proceso estocastico estacionario en sentido estricto . . . . 19
2.2.2. Proceso estocastico estacionario en sentido amplio . . . . 19
1
2.3. Continuidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4. Procesos de conteo . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.1. Proceso de Poisson . . . . . . . . . . . . . . . . . . . . . . 20
2.4.2. Distribucion Exponencial . . . . . . . . . . . . . . . . . . 20
3. Simulacion 22
3.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2. Proceso de Simulacion . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3. Simulacion de Monte Carlo . . . . . . . . . . . . . . . . . . . . . 24
3.3.1. Generacion de n umeros aleatorios . . . . . . . . . . . . . . 25
3.3.2. N umeros aleatorios con distribucion especca . . . . . . . 25
Metodo de transformada inversa . . . . . . . . . . 25
Distribucion normal . . . . . . . . . . . . . . . . . 26
Distribucion chi-cuadrado . . . . . . . . . . . . . . 27
3.3.3. Ajuste de Distribuciones . . . . . . . . . . . . . . . . . . . 27
T-test . . . . . . . . . . . . . . . . . . . . . . . . . 27
Kolmogorov-Smirnov . . . . . . . . . . . . . . . . . 28
4. Modelos de Filas de Espera 30
4.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.2. Modelo de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.2.1. Modelo General: Nacimiento y Muerte . . . . . . . . . . . 31
4.2.2. Medidas de desempe no . . . . . . . . . . . . . . . . . . . . 32
4.3. (M/M/1 : DG//) . . . . . . . . . . . . . . . . . . . . . . . . 33
4.3.1. Determinacion de
n
y
n
. . . . . . . . . . . . . . . . . . 33
4.3.2. Determinacion de p
n
en funcion de p
0
. . . . . . . . . . . 34
4.4. (M/M/1 : DG/N/) . . . . . . . . . . . . . . . . . . . . . . . . 35
n
y
n
. . . . . . . . . . . . . . . . . . 35
n
en funcion de p
0
. . . . . . . . . . . 35
4.5. (M/M/c : DG//) . . . . . . . . . . . . . . . . . . . . . . . . 36
n
y
n
. . . . . . . . . . . . . . . . . . 36
n
en funcion de p
0
. . . . . . . . . . . 37
5. Procesos de Markov 38
5.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5.1.1. Estructura de un proceso de Markov . . . . . . . . . . . . 41
5.1.2. Algunas aplicaciones de procesos de Markov de tiempo
discreto . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.1.3. Algunas aplicaciones de procesos de Markov de tiempo
continuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5.1.4. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.2. Cadenas de Markov de tiempo discreto . . . . . . . . . . . . . . . 45
5.2.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . 45
2
5.2.2. Ecuaciones de Chapman-Kolmogorov . . . . . . . . . . . . 45
5.2.3. Teoremas de cadenas de Markov . . . . . . . . . . . . . . 47
Forma Can onica de una cadena absorbente . . . . . . . . 47
Teorema de cadenas regulares . . . . . . . . . . . . . . . . 48
Corolario (c alculo del lmite de la probabilidad de estado ) 50
5.2.4. Tiempos de retorno . . . . . . . . . . . . . . . . . . . . . 52
5.3. Cadenas de Markov de tiempo continuo . . . . . . . . . . . . . . 53
5.3.1. Denicion . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.3.2. Ecuacion de Chapman-Kolmogorov en tiempo contnuo . 54
5.3.3. Propiedad de falta de memoria . . . . . . . . . . . . . . . 54
5.3.4. Procesos estacionarios . . . . . . . . . . . . . . . . . . . . 55
5.4. Cadenas de Markov con recompensa . . . . . . . . . . . . . . . . 57
5.4.1. Proceso con recompensa . . . . . . . . . . . . . . . . . . . 57
5.4.2. Proceso de decision markoviano . . . . . . . . . . . . . . . 58
Bibliografa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3
Captulo 1
Revision de conceptos de
probabilidades
4
1.1. Introducci on
1.1.1. Medida de probabilidad
En la teora de probabilidades, un experimento es cualquier proceso de prue-
ba y observacion. Un experimento con un resultado incierto es llamado un experi-
mento aleatorio. El conjunto de resultados posibles de un experimento aleatorio
es llamado el espacio de muestra, denotado por . Cada resultado w
i
de un
experimento aleatorio es llamado un punto de muestra. Si el conjunto de los
resultados de un espacio de muestra es numerable, entonces para n resultados
posibles se puede denir = {w
1
, w
2
, . . . , w
n
}.
Un evento es la ocurrencia de uno o varios de los resultados posibles de
un experimento. Entonces, un evento es un subconjunto del espacio muestral.
Por ejemplo, en el caso de un experimento del lanzamiento de un dado, los
resultados posibles son representados por = {1, 2, 3, 4, 5, 6}, mientras que
un evento puede ser el conjunto E = {2, 3, 5}. Si el experimento consiste en el
lanzamiento de dos monedas al aire, cada una con resultado cara (C) y sello
(S), se tiene = {(C, C), (C, S), (S, C), (S, S)}; el evento hay al menos una
cara en el resultado queda representado por E = {(C, C), (C, S), (S, C)}.
Sean A y B dos eventos denidos sobre . Entonces, usualmente se denen
los siguientes eventos:
A B, union de los puntos muestrales de los eventos A y B.
A B, interseccion de los puntos muestrales de los eventos A y B.
AB, puntos de A no contenidos en B.
Sea F una familia de subconjuntos de con las propiedades siguientes:
1. F y F.
2. Si A F, entonces

A F, donde

A es el complemento de A, i.e., A =
F

A.
3. F es cerrado frente a la union y la interseccion. Si A
1
, A
2
, . . . , A
k
perte-
necen a F, entonces

k
i=1
A
i
y

k
i=1
A
i
tambien estan en F.
El conjunto F es llamado una -algebra. Una medida de probabilidad deni-
da sobre una -algebra F de es una funcion que mapea elementos de F en el
intervalo cerrado [0, 1]. De esta manera, la probabilidad de un evento A F se
representa por P[A]. La medida de probabilidad satisface los siguientes axiomas
de Kolmogorov:
1. 0 P[A] 1.
2. P[] = 1.
5
3. Dados los conjuntos disjuntos A
1
, A
2
, . . . , A
k
F,
P[A
1
A
2
. . . A
n
] = P[A
1
] +P[A
2
] +. . . +P[A
n
].
La tripla (, F, P) es llamada un espacio de probabilidad. Algunas propieda-
des adicionales de una medida de probabilidad son las siguientes:
1. P[

A] = 1 P[A].
2. P[] = 0.
3. Si A B, entonces P[A] P[B].
4. Dados A y B cualesquiera,
P[A] = P[A B] +P[A

B].
5. Dados A y B cualesquiera,
P[A B] = P[A] +P[B] P[A B].
1.1.2. Probabilidad condicional
Sean A, B F dos eventos. La probabilidad condicional de A dado el evento
B, denotada como P[A | B], es denida por:
P[A | B] =
P[A B]
P[B]
.
Consideremos el ejemplo del lanzamiento de dos dados. Si A es el evento que
el resultado es 7 y B el evento que el primer dado resulta 4. Entonces, se verica
lo siguiente:
P[A | B] =
P[{4, 3}]
P[{4, 1}] +P[{4, 2}] +P[{4, 3}] +P[{4, 4}] +P[{4, 5}] +P[{4, 6}]
,
=
1/36
1/6
=
1
6
.
1.1.3. Independencia
Dos eventos A y B se dicen independientes si P[A | B] = P[A]. De esto se
desprende:
P[A | B] = P[A]
=
P[A]P[B]
P[B]
,
6
con lo cual es inmediato,
P[A B] = P[A]P[B]
1.1.4. Teorema de Bayes
Sea {A
1
, A
2
, . . . , A
n
} una particion del espacio , es decir:
A
i
, i = 1, . . . , n,
A
i
A
j
= , i, j = 1, . . . , n, i = j,
A
1
A
2
. . . A
n
= .
Entonces, si P[A] = 0, i = 1, . . . , n, la expresion
P[A] =
n
i=1
P[A | A
i
]P[A
i
]
se dice la probabilidad total de A. Ahora, suponiendo que el evento A ha
sucedido, pero no se conoce cual de los eventos A
k
ocurrio
1
. Entonces, la pro-
babilidad de que A
k
ocurrio dado que A sucedio queda expresada por
P[A
k
| A] =
P[A
k
A]
n
i=1
P[A | A
i
]P[A
i
]
.
Sabiendo que P[A | A
k
] = P[A
k
A]/P[A
k
], se puede escribir
P[A
k
| A] =
P[A | A
k
]P[A
k
]
n
i=1
P[A | A
i
]P[A
i
]
.
Esta es llamada la regla de Bayes. En esta formula P[A
k
] es llamada probabi-
lidad a priori, mientras que P[A
k
| A] es la probabilidad a posteriori.
1.2. Variables aleatorias
Sea un experimento aleatorio con un espacio de muestra . Una variable
aleatoria X es una funcion que mapea elementos en n umeros reales
x . As,
X : .
Sea A
x
el conjunto de todos los elementos tal que X asigna el valor x, es
decir,
A
x
= { | X() = x}.
1
Dado que A
k
pertenece a la particion de , uno y s olo uno de los eventos ha sucedido.
7
Denotaremos por P[X = x] la probabilidad que la funcion X resulte en el valor
x, es decir la probabilidad de A
x
. Como ejemplo, si se considera el lanzamiento
de dos dados y denimos la variable aleatoria X : {suma de los resultados},
entonces X = 5, es equivalente a:
A
5
= {(1, 4), (2, 3), (3, 2), (4, 1)}.
con lo cual P[X = 5] = 4/36.
Se dene la funcion de distribucion acumulada como
F
X
(x) = P[X x].
Esta expresion denota la probabilidad de que la variable X tome alg un valor
menor o igual a x. Por sus siglas en ingles, esta funcion es usualmente llamada
CDF (cumulative distribution function).
1.2.1. Variables aleatorias discretas
Una variable aleatoria discreta es una variable aleatoria que puede tomar un
n umero contable de valores. Se dene a p
X
(x) como la funcion de distribucion
de masa (PMF, probability mass function, por sus siglas en ingles) mediante
p
X
(x) = P[X = x].
La CDF de una variable aleatoria discreta se dene por
F
X
(x) =
kx
P[X = k].
1.2.2. Variables aleatorias continuas
Una variable aleatoria continua es una variable aleatoria que puede tomar
un n umero no contable de valores posibles. Para toda variable aleatoria conti-
nua X existe una funcion no negativa f
X
(x), llamada funcion de densidad
de probabilidad, denida sobre (, ) tal que para cualquier conjunto de
valores A se tiene
P(X A) =
_
A
f
X
(x)dx.
La funcion de densidad de probabilidad, o PDF (probability distribution fun-
ction), es denida por
f
X
(x) =
dF
X
(x)
dx
.
8
1.2.3. Esperanza y momentos de una variable aleatoria
SI X es una variable aleatoria, se dene la esperanza o media de X, E[X],
como
E[X] = X =
_
i
x
i
p
X
(x
i
), si X es discreta,
_
xf
X
(x)dx, si X es continua.
El momento n-esimo de una variable aleatoria X se dene como
E[X
n
] = X
n
=
_
i
x
n
i
p
X
(x
i
_
x
n
f
X
De esta forma, el primer momento de una variable aleatoria corresponde a la
esperanza.
El n-esimo momento central, alrededor de la media, es denido por
E[(X X)
n
] = (X X)
n
=
_
i
(x
i
X)
n
p
X
(x
i
_
(x X)
n
f
X
Se ve claramente que el momento central con n = 2 corresponde a la varianza,
denotada por
2
X
.
1.3. Transformadas de una variable aleatoria
1.3.1. Transformada s
Sea X una variable aleatoria continua que toma solo valores no negativos.
Se dene la transformada s de f
X
(x), denotada por M
X
(s), como
M
X
(s) = E[e
sX
] =
_

0
e
sx
f
X
(x)dx
Una propiedad importante de esta transformada es la siguiente:
d
ds
M
X
(s) =
d
ds
_

0
e
sx
f
X
(x)dx
=
_

0
xe
sx
f
X
(x)dx,
con lo cual se tiene que s = 0 implica
d
ds
M
X
(s = 0) = E[X].
9
En general,
d
n
ds
n
M
X
(s = 0) = (1)
n
E[X
n
].
1.3.2. Transformada z
Sea X una variable aleatoria discreta que toma solo valores no negativos. Se
dene la transformada z de p
X
(x), denotada por G
X
(z), como
G
X
(z) = E[z
X
] =
x=0
z
x
p
X
(x).
Una propiedad importante de esta transformada es la siguiente:
d
dz
G
X
(z) =
d
dz
0
z
x
p
X
(x)
=
0
xz
x1
p
X
(x),
con lo cual se tiene que z = 1 implica
d
dz
G
X
(z = 1) = E[X].
En general,
E[X
n
] =
d
n
dz
n
G
X
(z = 1) +
d
n1
dz
n1
G
X
(z = 1) +. . . +
d
dz
G
X
(z = 1).
1.4. Expresiones para variables aleatorias
1.4.1. Probabilidad conjunta
Variables aleatorias discretas Sean X e Y variables aleatorias discretas,
entonces se dene la PMF conjunta como
p
XY
(x, y) = P[X = x, Y = y].
Esto implica que las expresiones marginales se obtienen como
p
X
(x) =
y
p
XY
(x, y),
p
Y
(y) =
x
p
XY
(x, y).
10
Si X e Y son variables aleatorias independientes, entonces
p
XY
(x, y) = p
X
(x)p
Y
(y).
Variables aleatorias continuas Sean X e Y variables aleatorias discretas,
entonces se dene la PDF conjunta como
f
XY
(x, y) =

2
xy
F
XY
(x, y).
Las expresiones marginales se obtienen como
f
X
(x) =
_

f
XY
(x, y)dy,
f
Y
(y) =
_

f
XY
(x, y)dx.
Si X e Y son variables aleatorias independientes, entonces
f
XY
(x, y) = f
X
(x)f
Y
(y).
Covarianza y coeciente de correlacion Sean X e Y dos variables alea-
torias con esperanzas E[X] =
X
y E[Y ] =
Y
, respectivamente, y varianzas
2
X
y
2
Y
, respectivamente. Se dene la covarianza de X e Y , denotado por
Cov(X, Y ) =
XY
como
Cov(X, Y ) = E[(X
X
)(Y
Y
)],
= E[XY ]
X
Y
.
Si X e Y son independientes, E[XY ] = E[X]E[Y ] con lo cual Cov(X, Y ) = 0.
Se dene el coeciente de correlacion de X e Y por
XY
=

XY
Y
.
1.4.2. Suma de dos variables aleatorias
Sea X e Y dos variables aleatorias continuas independientes. Denamos S =
X +Y , como la suma de las variables aleatorias tales que el siguiente conjunto
D puede ser considerado:
D = {(x, y) | x +y s},
= {(x, y) | x s y}.
As, consideremos la CDF de S como la expresion
11
F
S
(s) = P[X +Y s] = P[X s y] =
_

_
sy
f
XY
(x, y)dxdy,
=
_

__
sy
f
X
(x)dx
_
f
Y
(y)dy,
=
_

F
X
(s y)f
Y
(y)dy.
La PDF de esta expresion se puede obtener como
f
S
(s) =
d
ds
F
S
(s) =
d
ds
_

F
X
(s y)f
Y
(y)dy,
=
_

d
ds
F
X
(s y)f
Y
(y)dy,
=
_

f
X
(s y)f
Y
(y)dy.
Esta ultima expresion es conocida como la integral de convolucion y se denota
por
f
S
(s) = f
X
(s) f
Y
(s).
Eb general, si S es la suma de n variables aleatorias independientes X
1
, X
2
, . . . , X
n
,
con PDFs f
Xi
(x), i = 1, . . . , n, se tiene
f
S
(s) = f
X1
(s) f
X2
(s) . . . f
Xn
(s).
1.5. Distribuciones de probabilidad
1.5.1. Distribucion de Bernoulli
Una prueba de Bernoulli es un experimento que tiene dos resultados posibles,
los cuales se denominan exito y fracaso. La probabilidad de exito se denota por
p, con lo cual la probabilidad de fracaso es denotada por (1 p). Sea X una
variable aleatoria representando los dos resultados posibles, tal que X = 1
cuando el resultado es exito y X = 0 si el resultado es fracaso. Se tiene entonces
p
X
(x) =
_
_
1 p, si x = 0,
p, si x = 1.
F
X
(x) =
_
_
0, si x < 0,
1 p, si 0 x < 1,
1, si x 1.
12
Ademas, se verica
E[X] = p,
2
X
= p(1 p),
G
X
(z) = 1 p +zp.
1.5.2. Distribucion Binomial
Supongamos que se desarrollan n experimentos de Bernoulli independientes,
cada uno con probabilidad de exito p, y X(n) es una variable aleatoria represen-
tando el n umero de exitos en esos experimentos. Entonces, X(n) es una variable
aleatoria Binomial con parametros (n, p). Se tiene entonces
p
X(n)
(x) =
_
n
x
_
p
x
(1 p)
nx
x = 0, 1, 2, . . . , n.
F
X(n)
(x) = P[X(n) x] =
x
k=0
_
n
k
_
p
k
(1 p)
nk
(1.1)
Ademas, se verica
E[X(n)] = np,
2
X(n)
= np(1 p),
G
X(n)
(z) = (zp + 1 p)
n
.
1.5.3. Distribucion Geometrica
Supongamos que se desarrolla una serie de experimentos de Bernoulli inde-
pendientes, hasta que ocurre el primer exito. Sea X la variable aleatoria repre-
sentando el n umero de pruebas de Bernoulli hasta el primer exito. Entonces, X
es una variable aleatoria Geometrica con parametro (p). Se tiene entonces
p
X
(x) = p
x
(1 p)
x1
x = 1, 2, . . . .
F
X
(x) = P[X x] = 1 (1 p)
x
(1.2)
Ademas, se verica
E[X] = 1/p,
2
X
=
2 p
p
2
,
G
X
(z) =
zp
1 z(1 p)
.
13
1.5.4. Distribucion de Pascal
Supongamos que se desarrolla n experimentos de Bernoulli independientes.
Sea X
k
la variable aleatoria representando el n umero de pruebas de Bernoulli
hasta el k-esimo exito. Entonces, X
k
es una variable aleatoria de Pascal con
parametro (n, k, p). Se tiene entonces
p
X
k
(x) =
_
n 1
k 1
_
p
k
(1 p)
nk
k = 1, 2, . . . ; n = k, k + 1, . . . .
F
X
k
(x) = P[X
k
x] =
x
n=k
_
n 1
k 1
_
p
k
(1 p)
nk
(1.3)
Ademas, se verica
E[X
k
] = k/p,
2
X
k
=
k(1 p)
p
2
,
G
X
k
(z) =
_
zp
1 z(1 p)
_
k
.
1.5.5. Distribucion de Poisson
Una variable aleatoria discreta X es llamada variable aleatoria de Poisson
con parametro si su PMF y CMF son denidas por
p
X
(x) =

x
x!
e
k = 0, 1, 2, . . . .
F
X
(x) = P[X x] =
x
k=0
k
k!
e
(1.4)
Ademas, se verica
E[X] = ,
2
X
= ,
G
X
(z) = e
(z1)
.
1.5.6. Distribucion Exponencial
Una variable aleatoria continua X es llamada variable aleatoria exponencial
con parametro si su PDF y CDF son denidas por
f
X
(x) =
_
e
x
, x 0,
0, x < 0.
14
F
X
(x) = P[X x] = 1 e
x
(1.5)
Ademas, se verica
E[X] = 1/,
2
X
= 1/
2
,
M
X
(s) =

s +
.
1.5.7. Distribucion de Erlang
La distribucion de Erlang es una generalizacion de la distribucion exponen-
cial. Una variable aleatoria continua exponencial es usualmente utilizada para
representar el intervalo de tiempo entre dos eventos sucesivos. Una variable alea-
toria continua de Erlang representa el intervalo de tiempo entre un evento y el
k-esimo evento siguiente. Una variable aleatoria X
k
se dice variable aleatoria de
Erlang de k-esimo orden con parametro si su PDF y CDF son denidas por
f
X
(x) =
_
k
x
k1
e
x
(k1)!
, x 0,
0, x < 0.
F
X
(x) = P[X x] = 1
k1
j=0
(x)
j
e
x
j!
(1.6)
Ademas, se verica
E[X
k
] = k/,
2
X
k
=
k
2
,
M
X
k
(s) =
_

s +
_
k
.
1.5.8. Distribucion Normal
Una variable aleatoria continua X es llamada variable aleatoria normal con
parametros
X
y
2
X
si su PDF y CDF son denidas por
f
X
(x) =
1
_
2
2
X
e
(x
X
)
2
2
2
X
< x < (1.7)
F
X
(x) = P[X x] =
1
2
_
x
(y
X
)
2
2
2
X
dy (1.8)
Para el caso especial en que
X
= 0 y
X
= 1 se tiene
15
f
X
(x) =
1
2
e
x
2
2
< x < (1.9)
F
X
(x) = P[X x] =
1
2
_
x
y
2
2
dy (1.10)
16
Captulo 2
Procesos Estocasticos
17
2.1. Introducci on
Mientras que una variable aleatoria X mapea un elemento s (con
llamado el espacio de muestra) en un n umero X(s), en un proceso estocastico
la variable mapea el espacio muestral a diferentes valores en el tiempo. As,
tenemos el n umero X(t, s), con t T y T llamado el conjunto parametro del
proceso. Para cada s, la variable X(t) es una funcion que depende del tiempo.
Entonces, X(t, s) es una coleccion de funciones del tiempo. Si el tiempo se ja,
entonces se tienen n umeros X(s) y s es una variable aleatoria.
Un proceso estocastico es una coleccion de variables aleatorias {X(t, s) |
t T, s } denido sobre un espacio de probabilidad dado e indexado por
el tiempo t. Un proceso estocastico es llamado tambien un proceso aleatorio y
puede ser clasicado seg un las caractersticas del parametro T:
Si T es un intervalo en R, el proceso es llamado proceso estocastico de
tiempo continuo.
Si T es un conjunto enumerable, el proceso es llamado proceso estocastico
de tiempo discreto.
Cada valor X(t, s) es llamado un estado. Se dice espacio de estados E el conjunto
de todos los valores posibles de X(t, s):
Si E es continuo, el proceso es llamado proceso estocastico de estado con-
tinuo.
Si E es discreto, el proceso es llamado proceso estocastico de estado dis-
creto.
Cuando el n umero X se asocie sin ambig uedad a la variable s , se tendra X(t, s) =
X(t). En ese caso, {X(t) | t T} es el proceso estocastico indexado por t. Dado
que X(t
i
) es el valor del proceso estocastico X(t) en el tiempo t
i
, si consideramos
0 < t
1
< t
2
< . . . < t
n
, la CDF siguiente
F
X
(x
n
, . . . , x
2
, x
1
) = P[X(t
n
) x
n
, . . . , X(t
2
) x
2
, X(t
1
) x
1
] n,
dene competamente el proceso estocastico. En consecuencia, la media del pro-
ceso, llamada la media del conjunto, es denida por
X
(t) = E[X(t)].
Tambien se dene la funcion de autocorrelacion, que mide la correlacion entre
dos observaciones del proceso estocastico, entre X(t) y X(t +)
R
XX
(t, t +) = E[X(t)X(t +)].
Dado que la autocorrelacion es una medida simetrica, R
XX
(t, t +) = R
XX
(t +
, t).
18
2.2. Procesos estocasticos estacionarios
Un proceso estocastico estacionario es un proceso que no vara sus propie-
dades estadsticas en el tiempo. Un procesos aleatorio puede ser estacionario en
el sentido estricto o estacionario en el sentido amplio.
2.2.1. Proceso estocastico estacionario en sentido estricto
Un proceso estocastico es estacionario en el sentido estricto si su CDF es
invariante ante cambios en el punto de origen del parametro del tiempo. Esto
es, para cualquier arbitrario
P[X(t
n
) x
n
, . . . , X(t
1
) x
1
] = P[X(t
n
+) x
n
, . . . , X(t
1
+) x
1
] n.
Por denicion de la invariante, es facil ver que un proceso estocastico estacio-
nario en el sentido estricto verica
X
(t) =
X
(0),
R
XX
(t, t +) = R
XX
(0, )
por lo cual escribimos
X
(0) =
X
y R
XX
(0, ) = R
XX
().
2.2.2. Proceso estocastico estacionario en sentido amplio
Un proceso aleatorio estacionario en el sentido estricto en el cual la media
de conjunto y la autocorrelacion no dependen del tiempo absoluto (origen del
tiempo) es llamado un proceso estocastico estacionario en sentido amplio, tal
que
X
(t) =
X
,
R
XX
(t, t +) = R
XX
().
2.3. Continuidad
2.4. Procesos de conteo
Un proceso de conteo es un proceso estocastico del tipo {N(t), t 0} tal
que N(t) es la variable aleatoria representando el n umero total de eventos de un
fenomeno ocurrido entre un tiempo inicial 0 y un tiempo t. Entonces, se tiene
las siguientes propiedades:
N(t) 0, t.
N(t) es entero.
19
Si s < t, entonces N(s) < N(t).
Para todo s < t, N(t) N(s) representa el n umero de eventos ocurridos
en el intervalo de tiempo (s, t].
Un proceso de conteo tiene incrementos independientes si para todo 0 s
t u v se verica que (N(t) N(s)) es independiente de (N(v) N(u)).
El incremento es estacionario si, cuando t s = v u, se verica la propiedad
N(t) N(s) = N(v) N(u), es decir, los incrementos se igualan para intervalos
de la misma longitud.
2.4.1. Proceso de Poisson
Un proceso de conteo es un proceso de Poisson con tasa de llegada si:
N(0) = 0.
El proceso tiene incrementos independientes.
La probabilidad que el n umero de eventos (cuenta) a ocurrir en un inter-
valo de tiempo t sigue una distribucion de Poisson:
P(N(t +s) N(s) = n) =
(t)
n
e
t
n!
, n = 0, 1, . . . (2.1)
2.4.2. Distribucion Exponencial
Dado un intervalo de tiempo T, consideremos la probabilidad de que ocurra
un evento despues de ese intervalo. Esto equivale a decir que durante T no hay
eventos, es decir n = 0, o bien
P(N(T +s) N(s) = 0) = e
T
. (2.2)
Pero esto implica que el tiempo t que transcurre hasta la ocurrencia de un evento
es mayor que T, es decir
P(t > T) = e
T
, (2.3)
o equivalentemente, P(t T) = 1 e
T
. Esta probabilidad es exactamente
la CDF de la funcion exponencial representada por f(T) = e
T
. De esta
forma, el proceso estocastico de conteo Poisson tiene asociado un proceso es-
tocastico de tiempo de ocurrencia del evento. El valor esperado y la varianza de
t bajo la distribucion exponencial son expresadas por E(t) =
1
y V (t) =
1
2
,
respectivamente.
Las siguientes propiedades son interesantes en esta distribucion, cuando se
considera los modelos de las de espera:
20
1. Dados 0 t
1
t
2
y t 0, se tiene
P(t
1
< t < t
1
+t) > P(t
2
< t < t
2
+t) (2.4)
2. Falta de memoria:
P(t > r +t | t > t) =
P(t > t, t > r +t)
P(t > t)
,
=
P(t > r +t)
P(t > t)
,
=
e
(r+t)
e
t
,
= e
r
,
= P(t > r).
3. Sean t
1
, t
2
, . . . , t
n
variables aleatorias exponenciales independientes, con
parametros
1
,
2
, . . . ,
n
, respectivamente. Sea M la variable aleatoria
que expresa el mnimo de los valores de las n variables exponenciales:
M = mn{t
1
, t
2
, . . . , t
n
}.
Entonces,
P(M > t) = P(t
1
> t, t
2
> t, . . . , t
n
> t),
= P(t
1
> t)P(t
2
> t) . . . P(t
n
> t),
= e
1t
e
2t
. . . e
nt
,
= exp
_
i=1
i
t
_
,
es decir, M es una variable aleatoria con distribucion exponencial de
parametro =
n
i=1
i
.
21
Captulo 3
Simulaci on
22
3.1. Introducci on
3.2. Proceso de Simulaci on
La simulacion es el proceso por el cual se imita el comportamiento de un
sistema para estudiar la interaccion entre sus componentes y las relaciones causa-
efecto que comparten. En general, un proceso de simulacion corresponde a las
siguientes etapas:
Denicion del problema:
En esta etapa se identica y formula el problema de investigacion, se es-
tablecen los objetivos del analisis y se planica el proceso de simulacion
y analisis de los resultados. La simulacion puede tener un proposito ex-
plicativo o prescriptivo. Se dice que el proposito es descriptivo cuando el
analista busca conocer las tendencias del comportamiento del sistema fren-
te a distintos escenarios. Se dice que el propsito es prescriptivo cuando el
analista desea conocer la respuesta del sistema en un momento especco
del tiempo.
Comprension de datos
En esta etapa se identica las variables que sirven para representar las
componentes del sistema simulado y sus interacciones. Las variables pue-
den ser clasicadas como:
exogenas, act uan solo como causas en las interacciones en las que
participan.
endogenas, act uan como efectos en las interacciones en las que par-
ticipan.
Para las variables exogenas hay dos estrategias basicas para obtener datos
que caracterizan su comportamiento: uso de datos recolectados median-
te un metodo estadstico (muestreo o censo) o analtico (ej., ecuaciones
diferenciales), y generacion de datos mediante un proceso de generacion
estocastico.
En el primer caso, el comportamiento de una variable puede ser dicho
determinstico, mientras que en el segundo caso se puede decir estocastico.
Preparacion de datos
En esta etapa, las variables son preparadas formateadas, escaladas, codi-
cadas y/o transformadas para que las componentes y relaciones entre ellas
puedan ser simuladas consistentemente.
Modelamiento
En esta etapa se establecen las relaciones entre las variables identicadas
y se construye un modelo simulable. Un modelo simulable es aquel donde
23
las relaciones causa-efecto, los mecanismos de cambio de estado de todas
las variables del modelo, y los eventos que los gatillan, son denidos, deter-
minista o estocasticamente. El primer estado de una variable del modelo
se dice estado inicial. El ultimo estado que una variable alcanza en un
modelo simulado se dice estado nal.
Simulacion
La simulacion consiste en el desarrollo de los eventos que gatillan los cam-
bios de estado de todas las variables del modelo simulable, desde el estado
inicial hasta el alcance del estado nal de cada una de ellas. Si el desarro-
llo de los eventos ocurre a intervalos regulares de tiempo, la simulacion se
dice de intervalo regular. Caso contrarios, se dice simulacion por eventos.
El modelo simulable debe ser validado para garantizar que las variables
que representan el sistema y las relaciones entre ellas han sido correcta-
mente denidos. Esto se realiza usualmente mediante la denicion de casos
de prueba a traves de los cuales comportamientos conocidos del sistema
simulado pueden ser reproducidos. De lo contrario, el modelo debe ser
ajustado.
Analisis y evaluacion de resultados
Los resultados de la simulacion de un modelo validado pueden ser ana-
lizados para identicar el comportamiento del sistema bajo diferentes si-
tuaciones, es decir, estados iniciales de las variables. El conjunto de valo-
res iniciales de las variables del modelo es denominado una conguracin
inicial, y constituyen un escenario. El proceso de la simulacion permite
conocer la respuesta del sistema bajo distintos escenarios. La evaluacion
de los resultados de la simulacion es el metodo por el cual un analista es-
tablece una relacion causa-efecto entre le escenario o conguracion inicial
y los resultados. Usualmente la evaluacion se reporta usando metricas que
representan el comportamiento del sistema frente a los escenarios.
Implementacion
La etapa de implementacion considera el uso del modelo en un ambiente
donde cumple el prop osito para el que fue denido.
3.3. Simulaci on de Monte Carlo
Se dice que una simulacion es de Monte Carlo cuando las variables exogenas
adoptan valores mediante un proceso de generacion de n umeros aleatorios. En
este caso, la generacion supone la identicacion de una funcion de densidad de
probabilidad asociada a cada variable exogena. Por esta razon una simulacion
de Monte Carlo es denominada tambien simulacion estadstica. En general, el
Metodo de Monte Carlo es cualquier tecnica que utiliza la generacion de n umeros
aleatorios para obtener soluciones de problemas determinsticos.
24
3.3.1. Generaci on de n umeros aleatorios
Un aspecto fundamental de la simulacion de Monte Carlo es el uso de un
generador de n umeros aleatorios, un procedimiento para producir secuencias
de n umeros de acuerdo a una distribucion de probabilidad. Esto signica que
la distribucion de frecuencias de la serie de n umeros producidos satisface las
propiedades de la distribucion de seleccionada. Salvo que se indique lo contrario,
un n umero aleatorio es una observacion producida a partir de una distribucion
uniforme. Si la distribucion es discreta, los n umeros aleatorios son enteros, de
lo contrario, se produce n umeros aleatorios reales.
Cuando se considera n umeros aleatorios enteros pertenecientes a una secuen-
cia n
1
, n
2
, . . . , n
p
, la probabilidad p
j
de la observacion n
j
esta dada por:
p
j
=
1
n
p
n
1
+ 1
. (3.1)
En el caso de n umeros aleatorios uniformes en el intervalo [a, b], la distribucion
de probabilidad queda expresada como:
p
j
=
_
1
ba
si a x b
0 si no.
(3.2)
El metodo congruencial mixto es un procedimiento que genera una secuencia
de n umeros aleatorios enteros x
n
en un intervalo [0, m1], usando la ecuacion
recurrente:
x
n
= (ax
n1
+c)(mod m), (3.3)
donde a, c y mson parametros tales que (a < m) y (c < m). El metodo congruen-
cial multiplicativo supone c = 0, mientras que el metodo congruencial aditivo
a = 1 y c = x
n1
(o alg un valor anterior a x
n
). El valor inicial de la secuencia es
un n umero x
0
, denominado semilla, que puede ser elegido desde una tabla como
la Rand. En cualquiera de estos casos, el procedimiento genera n umeros pseudo-
aleatorios. Notese que este procedimiento implica x
n
{0, 1, 2, . . . , m1}. Por
lo tanto, m es el n umero de valores diferentes que se pueden obtener con el
procedimiento. Si se quiere generar n umeros aleatorios en un computador, se
puede elegir m = 2
b
, donde b representa el n umero de bits del procesador.
Si se desea generar n umeros aleatorios uniformes y
n
, una regla usual a aplicar
es la siguiente:
y
n
=
x
n
+
1
2
m
. (3.4)
3.3.2. N umeros aleatorios con distribuci on especca
Metodo de transformada inversa Sea X una variable aleatoria para la
cual se desea generar observaciones. Conociendo que F(x) = P(X x) es la
funcion de distribucion acumulada, se puede detallar el metodo de transformada
inversa como:
25
1. Generar n umero aleatorio uniforme r [0, 1].
2. Establecer F(x) = r y despejar x.
Por ejemplo, en el caso de la distribucion exponencial f(x) = e
x
(x 0), se
tiene que F(x) = 1 e
x
. Entonces, haciendo F(x) = r es facil obtener
x =
ln(1 r)
. (3.5)
El teorema siguiente establece las condiciones por las cuales el metodo des-
crito es aplicable.
Teorema 1. Sea X una variable aleatoria continua cuya funci on de distribucion
acumulada F es continua, tal que la inversa F
1
existe. Si U = F(X) es una
variable con distribuci on uniforme en el intervalo (0, 1), entonces X = F
1
(U)
sigue la distribucion F.
Demostracion. Puesto que F es invertible se tiene F
1
(u) x. Enseguida,
Pr(F
1
(u) x) = Pr(U F(X)), (3.6)
ya que F es monotona creciente. Luego, sabiendo que Pr(U y) = y, se
concluye
Pr(F
1
(u) x) = F(X). (3.7)
Distribucion normal El teorema central del lmite se nala que la suma de
n n umeros aleatorios uniformes sigue una distribucion normal aproximada con
media n/2 y desviacion estandar
_
n/12. Entonces, si se genera n umeros aleato-
rios uniformes r
1
, r
2
, . . . , r
n
, se puede obtener una observacion x que sigue una
distribucion normal aproximada con media y desviacion estandar mediante
la formula
x =

_
n/12
n
i=1
r
i
+
n
2
_
n/12
. (3.8)
Cuando n = 12
x =
_
n
i=1
r
i

n
2
_
+. (3.9)
26
Distribucion chi-cuadrado Se sabe que la variable aleatoria Y denida co-
mo una suma de los cuadrados de n variables aleatorias x
i
distribuidas normal-
mente sigue una distribucion chi-cuadrado. Entonces, para generar valores y de
Y basta usar la formula
y =
n
i=1
x
2
i
, (3.10)
y generar los valores x
i
mediante las ecuaciones (3.8) o (3.9).
3.3.3. Ajuste de Distribuciones
T-test Supongamos una muestra aleatoria iid X
1
, X
2
, . . . , X
n
, de n valores,
asociada a una funcion de distribucion desconocida, F(x).
El test t o t-test de Student es un tipo de prueba que se utiliza para determi-
nar la cercana entre las medias de dos poblaciones de datos. Existen distintas
versiones para el test (muestras independientes, mismo o diferente tama no, va-
rianzas iguales o diferentes, etc.). En el caso que se quiera determinar si la media
de una muestra es signicativamente similar a la media de una poblacion, se uti-
liza el siguiente estadstico, distribuido como t-student:
t =

X
S/
n
, (3.11)
donde

X es la media de la muestra, la media poblacional, S la desviacion
estandar de la muestra y n el tama no de la muestra. Entonces, se realiza la
siguiente prueba:
H
0
:

X =
H
1
:

X =
Por las caractersticas de la prueba, y la forma de la distribucion t-student, esta
es una prueba dicha de dos colas.
Dada una muestra de datos, y una media poblacional conocida, la hipotesis
se acepta al nivel de signicancia , con n1 grados de libertad, si la siguiente
condicion se cumple:
t
/2
t t
/2
, (3.12)
indicando la caracterstica de simetra de la distribucion t-student.
Si la desviacion estandar de la poblacion es conocida, se puede usar el test
z, que considera que el estadstico de error se distribuye como una variable
aleatoria normal estandar N(0, 1):
z =

X
/
n
. (3.13)
27
En ese caso, la prueba es la misma, y la hipotesis se acepta al nivel de
signicancia si la siguiente condicion se cumple:
z
/2
z z
/2
, (3.14)
donde el valor de z
/2
se obtiene de tabla. Este test funciona bien cuando el
n umero de datos de la muestra es grande, a diferencia del t-test, adaptado a
muestras peque nas. En efecto, este ultimo se dice un test no parametrico, muy
util cuando se dispone de pocos datos, pero donde se conoce que estos provienen
de una distribucion normal.
Como ejemplo, considere que se tiene una muestra aleatoria de datos:
X = {25,8, 24,2, 22,7, 18,8, 25,7, 22, 6, 20,0, 12,1, 15,2, 6,1}.
Suponga que los datos se distribuyen normalmente y que la media poblacional
es = 15,0.
1. calcule el valor t;
2. identique en tabla el valor crtico t
/2
, a un 95 % (http://en.wikipedia.org/),
con 10 grados de libertad;
3. determine el intervalo de conanza para la media poblacional;
4. si se conociera la media poblacional, identique cual es el intervalo que
debiese contener la media muestral para que el 95 % de las veces esa media
fuese signicativamente cercana a la media de la poblacion;
5. en el caso anterior, modique los datos originales hasta encontrar un in-
tervalo que no contenga la media muestral.
Kolmogorov-Smirnov Supongamos una muestra aleatoria iid X
1
, X
2
, . . . , X
n
,
de n, asociada a una funci on de distribucion desconocida, F(x). Sea S(x) la
funcion de distribucion emprica basada en la muestra aleatoria, y F
(x) una
funcion de distribucion hipotetica, completamente especicada.
Se dene S(x) como la funcion de distribucion emprica que aproxima F(x),
la cual queda determinada por:
S(x) =
1
n
n
i=1
I
xix
, (3.15)
donde I
xix
es el n umero de elementos x
i
de la muestra inferiores o iguales a x.
Se dene el estadstico,
D =
sup
x
| F
(x) S(x) |
n
, (3.16)
donde se realiza la siguiente prueba:
28
H
0
: F(x) = F
(x) x (3.17)
H
1
: F(x) = F
(x) x
Si D excede el valor de tabla D
t
, al nivel y n grados de libertad, se dice que
la hipotesis H
0
se rechaza al nivel de signicancia .
Como ejemplo, considere que se tiene una muestra aleatoria de datos X1 =
0,621, X2 = 0,503, X3 = 0,203, X4 = 0,477, X5 = 0,710, X6 = 0,581, X7 =
0,329, X8 = 0,480, X9 = 0,554, X10 = 0,382. La hipotesis indica que estos se
distribuyen uniformemente. Usar el test de KS de una muestra para validar la
armacion:
1. graque la funcion de distribucion acumulada teorica (F
(x));
2. graque la funcion de distribucion emprica (S(x));
3. determine D;
4. identique D
t
(usando tabla), al nivel = 0,05;
5. indique si H
0
se rechaza o acepta.
29
Captulo 4
Modelos de Filas de Espera
30
4.1. Introducci on
Los modelos de las de espera se identican mediante la notacion de Kendall
[5], la cual propone que un modelo se describa por la nomenclatura siguiente:
(a/b/c) : (d/e/f),
donde
a: distribucion de tiempo de llegada
b: distribucion de tiempo de servicio
c: n umero de servidores en paralelo
d: disciplina de servicio
e: n umero maximo de tems permitidos en la la
f: tama no de la fuente de llegada
Por ejemplo, un modelo para el cual las tasas de llegada y de servicio son de tipo
Poisson, o Markovianas, con un servidor, con esquema de servicio cualquiera, sin
restriccion del n umero de tems, y fuente innita, queda descrito por M/M/1 :
DG//.
4.2. Modelo de Poisson
Los modelos de tipo Poisson se caracterizan por tasas de llegada y de servicio
Poisson, es decir, tiempo entre llegadas y tiempo de servicio exponenciales.
En las secciones siguientes presentamos el modelo general de los sistemas con
procesos estocasticos de Poisson, y modelos para casos particulares, usualmente
encontrados en la literatura [3, 5, 6].
4.2.1. Modelo General: Nacimiento y Muerte
Supongamos un sistema que ha alcanzado el estado estable, es decir, el pro-
ceso estocastico se mantiene en estado estacionario donde las variables repre-
sentativas del modelo son estables. En otras palabras, es posible suponer que los
momentos de primer y segundo orden del modelo, en cualquiera de sus variables
aleatorias, pueden ser estimados de manera robusta. Esto signica tambien que
la distribucion de probabilidad asociada a un tipo de variable (por ejemplo la
llegada) no cambia en el tiempo.
El objetivo del modelo que se presenta aqu abajo es encontrar las represen-
taciones generales de las variables de desempe no del sistema de la la de espera
y el servicio.
Sea,
31
n, n umero de tems en el sistema (la y servicio);
n
, tasa de llegada (nacimiento) de los tems;
n
, tasa de salida o servicio (muerte);
p
n
, probabilidad de estado estable de que haya n tems en el sistema.
En estado estable, los ujos de ingreso y salida del sistema deben igualarse.
Entonces, para que el sistema se estabilice en n tems, debe suceder
n1
p
n1
+
n+1
p
n+1
= (
n
+
n
)p
n
n = 1, 2, . . . . (4.1)
es decir, las tasas esperadas de llegada desde los estados n 1 y n + 1 deben
ser iguales a las tasas esperadas de salida desde el estado n. En otras palabras,
debe mantenerse el equilibrio de ujos.
Cuando n = 0, se tiene
1
p
1
=
0
p
0
. (4.2)
Entonces,
p
1
= (
1
)p
0
. (4.3)
Para n = 1,
0
p
0
+
2
p
2
= (
1
+
1
)p
1
, (4.4)
con lo cual es facil comprobar que
p
2
= (
1
)p
0
, (4.5)
y por induccion se verica
p
n
= (
n1
n2
. . .
0
n1
. . .
1
)p
0
n = 1, 2, . . . . (4.6)
Sabiendo que

n=0
p
n
= 1, se determina el valor de p
0
.
4.2.2. Medidas de desempe no
Supongase que hay c servidores que trabajan en paralelo y que sirven una
la unica. Las medidas de desempe no de tal sistema se denen como:
L
s
, n umero esperado de tems en el sistema (la y servicio);
L
q
, n umero esperado de tems en la la;
W
s
, tiempo esperado de tems en el sistema (la y servicio);
W
q
, tiempo esperado de tems en la la;
32
Es facil ver las relaciones siguientes
L
s
=
n=0
np
n
(4.7)
L
q
=
n=c
(n c)p
n
(4.8)
La llamada formula de Little que relaciona el n umero de tems y el tiempo
de espera es la siguiente:
L
s
=
ef
W
s
(4.9)
L
q
=
ef
W
q
. (4.10)
donde
ef
se dene como la tasa de llegada efectiva. Supongase que el n umero
de tems en el sistema es limitado. Entonces, cada vez que el sistema alcanza
el valor N, la tasa de llegada real disminuye.
ef
se interpreta como la tasa de
llegada cuando ese lmite puede ser alcanzado. As,
=
ef
+
perdidos
. (4.11)
Claramente, si el sistema tiene capacidad innita, =
ef
. Por otro lado, se
tiene la siguiente relacion entre los tiempos esperados
W
s
= W
q
+
1
, (4.12)
Multiplicando ambos lados de la ecuacion por
ef
, se deduce
L
s
= L
q
+

ef
, (4.13)
Notese que
perdidos
= p
N
, es decir, la tasa de perdida depende de la
probabilidad del sistema de alcanzar N tems.
4.3. (M/M/1 : DG//)
4.3.1. Determinaci on de
n
y
n
En este modelo la tasa de llegada y de servicio es independiente del n umero
de tems en el sistema. El estado estable supone tambien que el proceso es-
tocastico de llegada y salida es estable. Entonces, se verica
n
= y
n
=
para todo n. Adicionalmente, no existe lmite para el n umero de tems en el
sistema por lo cual
ef
= .
33
4.3.2. Determinaci on de p
n
en funcion de p
0
Deniendo =

, se verica
p
n
=
n
p
0
n = 0, 1, 2, . . . . (4.14)
El valor de p
0
se obtiene sabiendo que
p
0
(1 + +
2
+. . .) = 1. (4.15)
Si < 1 se tiene
p
0
(
1
1
) = 1, (4.16)
o bien,
p
0
= 1 , (4.17)
con lo cual se obtiene,
p
n
= (1 )
n
n = 0, 2, . . . . (4.18)
Las medidas de desempe no para este modelo se determinan como:
L
s
=
n=0
np
n
(4.19)
=
n=0
n(1 )
n
(4.20)
= (1 )
d
d
n=0
n
(4.21)
= (1 )
d
d
_
1
1
_
(4.22)
=

1
. (4.23)
A partir de este resultado se puede deducir las otras medidas (comprobarlo!),
W
s
=
1

(4.24)
W
q
=

(1 )
(4.25)
L
q
=

2
1
. (4.26)
34
4.4. (M/M/1 : DG/N/)
En este modelo, el n umero de tems en el sistema esta limitado a N. Uti-
lizando un procedimiento similar al anterior se puede obtener los resultados
indicados a continuacion.
n
y
n
Cuando el sistema llega a su lmite, la tasa de llegada se ve limitada, no
as la tasa de servicio.
n
=
_
si n = 0, . . . , N 1,
0 si n > N 1,
(4.27)
n
= si n 0. (4.28)
n
en funcion de p
0
Revisando la expresion para p
n
de la ecuacion (4.6), se puede ver que
p
n
=
_
n
p
0
si n N,
0 si n > N,
(4.29)
Mediante la ecuacion (4.29) y teniendo presente el lmite de tems en el
sistema, se puede escribir
p
0
(1 + +
2
+. . . +
N
) = 1, (4.30)
lo que conduce a
p
0
=
_
1
1
N+1
si = 1,
1
N+1
si = 1,
(4.31)
de manera que se obtiene
p
n
=
_
(1)
n
1
N+1
si = 1,
1
N+1
si = 1,
n = 0, . . . , N (4.32)
Cuando el sistema llega a N tems, la esperanza de perdida de tems que
llegan desde la fuente es
perdidos
= p
N
. Esto implica
ef
=
perdidos
= (1 p
N
) (4.33)
Luego, se puede determinar L
s
cuando = 1:
35
L
s
=
N
n=0
np
n
(4.34)
=
(1 )
1
N+1
N
n=0
n
n
(4.35)
=
(1 )
1
N+1
d
d
N
n=0
n
(4.36)
=
(1 )
1
N+1
d
d
_
1
N+1
1
_
(4.37)
=
_
1 (N + 1)
N
+N
N+1
_
(1 )(1
N+1
)
. (4.38)
entonces,
L
s
=
_
(1(N+1)
N
+N
N+1
)
(1)(1
N+1
)
= 1,
N
2
= 1.
(4.39)
El resto de las medidas se determina usando las ecuaciones de la seccion
4.2.2.
4.5. (M/M/c : DG//)
Supongase que hay c servidores que trabajan en paralelo y que sirven una
la unica. El n umero de tems en la la es ilimitado, lo mismo que la fuente de
llegadas.
n
y
n
Dado que no hay lmite en la la, no existen tems perdidos por lo cual la
tasa de llegada iguala la tasa efectiva, es decir,
ef
= . Ademas, si la tasa de
servicio en cada servidor es , entonces a tasa maxima de servicio de c servidores
esta dada por c. Existe una situacion especial cuando el n umero de tems a
servir es inferior al n umero de servidores. Entonces,
n
= (4.40)
n
=
_
n n < c
c n c
(4.41)
36
n
en funcion de p
0
Usando la ecuacion (4.6), se puede ver que:
p
n
=
_

n
(
Q
n
i=1
i)
p
0
n < c
n
(c)
(nc)
(
Q
c
i=1
i)
p
0
n c
(4.42)
=
_

n
(n!
n
)
p
0
=

n
n!
p
0
n < c
n
c!
c
(c)
(nc)
p
0
=

n
c!c
(nc)
p
0
n c
Para determinar p
0
se sabe que

n=0
p
n
= 1. Entonces, suponiendo que
c
< 1,
p
0
=
_
c1
n=0
n
n!
+

c
c!
n=c
_
c
_
nc
_
1
(4.43)
=
_
c1
n=0
n
n!
+

c
c!
_
1
1

c
_
_
1
(4.44)
Se sabe que si n < c la tasa de salida es igual a n y la la no tiene tems
en espera. Luego, dado p
n
y la ecuacion (4.8),
L
q
=
n=c
(n c)p
n
(4.45)
=
k=0
kp
k+c
(4.46)
=
k=0
k
k+c
c
k
c!
p
0
(4.47)
=

c+1
c!c
p
0
k=0
k
_
c
_
k1
(4.48)
=

c+1
c!c
p
0
d
d(
c
)
k=0
_
c
_
k
(4.49)
=

c+1
(c 1)!(c )
2
p
0
(4.50)
L
s
se determina conociendo la ecuacion (4.13). Entonces, dado que
ef
= , se
tiene L
s
= L
q
+. Por otro lado, se sabe que W
s
=
Ls
y W
q
=
Lq
.
37
Captulo 5
Procesos de Markov
38
5.1. Introducci on
La teora de probabilidad moderna estudia los procesos aleatorios donde el
conocimiento de resultados previos inuye en las predicciones para experimentos
futuros. A inicios del 1900, Andrei A. Markov propuso el estudio de experimentos
secuenciales, donde las predicciones de los resultados de experimentos futuros
fueran condicionados por los resultados de experimentos pasados. Estos fueron
llamados experimentos secuenciales. Posteriormente, Norbert Wiener y Andrei
Kolmogorov dieron forma a la teora que se conoce como cadenas de Markov.
Se dice que el proceso estocastico denido por las distribuciones de transicion
es un proceso de Markov de primer orden si la relacion (5.2) es satisfecha.
Si el estado futuro depende del estado actual y del estado precedente, el proceso
es llamado de segundo orden, y as sucesivamente. En general, diremos que la
matriz P = (p
ij
) (i, j = 1, . . .), es la matriz de transicion homogenea, es decir,
las probabilidades de transicion son independientes del tiempo.
Ejemplo 1. Consideremos un modelo basico para aproximar las caractersticas
de un medio de comunicacion de datos en una red de estaciones comunicando
por va inalambrica. El modelo supone dos estados:
e
1
: medio esta ocupado,
e
2
: medio esta desocupado.
Luego, existe un proceso estocastico por el cual el medio cambia de estado. Si e
t
representa el estado del medio en el tiempo t, se dice que hay una transicion de
un paso cuando el medio esta en el estado e
(t+1)
en el tiempo t+1. Denotaremos
por p
ij
la probabilidad siguiente:
p
ij
= P(e
t+1
= e
j
| e
t
= e
i
) i, j {1, 2}, (5.1)
es decir, la probabilidad de ir del estado e
i
al estado e
j
en un paso, o bien en
un intervalo de tiempo. En general, se supondra que:
p
ij
= P(e
t+1
= e
j
| e
t
= e
i
, e
t1
= e
i1
, e
t2
= e
i2
, e
t3
= e
i3
, . . .). (5.2)
O sea, la probabilidad de transicion de llegar al estado e
j
en el tiempo t + 1,
en un paso, depende solo del estado del medio en el tiempo t. En este caso, el
proceso se dice sin memoria cumpliendo la propiedad de Markov.
En el ejemplo, sea P la matriz de transicion de estados, en un paso, denida
de la siguiente manera:
P =
_
p
11
p
12
p
21
p
22
_
, (5.3)
donde,
j
p
ij
= 1, p
ij
0. (5.4)
39
Notese que cada la implica una distribucion de probabilidades, y se supondra que
las distribuciones entre las son independientes. Sea q
it
la probabilidad que el
medio este en el estado i en el tiempo t. Entonces,
i
q
it
= 1, q
i,t
0 (5.5)
Si se deseara simular las transiciones de estado del medio se podra proceder de
la siguiente manera:
1. Inicio
2. t = 0: denir el estado inicial del medio, usando la informacion q
10
y q
20
.
3. t > 0: Para cada t
a) determinar el siguiente estado a visitar;
b) mover el medio al estado a visitar;
4. Fin
Para determinar el estado a visitar, se puede usar la informacion de la distri-
bucion de probabilidad del estado inicial de la transicion, generando la CFD y
enseguida determinar la inversa, como usual. Dado que en este caso se tienen
distribuciones discretas, es necesario denir los intervalos en el rango [0, 1] que
describen cada estado a visitar. El estado inicial del sistema, se podra generar
aleatoriamente, usando q
10
y q
20
.
Una cadena de Markov es un caso especial de proceso de Markov donde
el espacio de estados es discreto y se ha especicado la matriz P y las probabi-
lidades iniciales q
it
. Los estados e
i
(i = 1, 2, . . .) forman un conjunto enumerable
(nito o innito). Seg un que el espacio de estados o el tiempo de un proceso
sean continuos o discretos, se puede distinguir los siguientes tipos de procesos
de Markov (ver Cuadro 5.1):
Cadena de Markov de tiempo discreto (o cadena de Markov de estado y
tiempo discretos).
Cadena de Markov de tiempo continuo.
Proceso de Markov de tiempo discreto.
Proceso de Markov de tiempo continuo.
40
Cuadro 5.1: Tipos de procesos de Markov
Espacio de estados
Discreto Continuo
Tiempo
Discreto CM de tiempo discreto PM de tiempo discreto
Continuo CM de tiempo continuo PM de tiempo continuo
5.1.1. Estructura de un proceso de Markov
Un proceso de salto es un proceso estocastico que hace transiciones entre
estados discretos en tiempos jos o aleatorios. En esos procesos, el sistema entra
en un estado, permanece un tiempo llamado el tiempo de espera y luego salta
a otro estado, etc. Si los tiempos de salto son discretos, el proceso es llamado
cadena de salto.
Hay dos tipos de proceso de salto: puro y explosivo. En un proceso explosivo,
el proceso hace innitos saltos en un intervalo nito de tiempo. En un proceso
puro, el proceso hace un n umero nito de saltos en un intervalo de tiempo. Si
los tiempos de espera de un proceso de salto de tiempo continuo se distribuyen
exponencialmente, el proceso es llamado proceso de salto de Markov. Este tipo
de proceso es una cadena de Markov de tiempo continuo si el tiempo de espera
depende solo del estado actual. Si los tiempos de espera de un proceso de salto
de tiempo discreto son geometricamente distribuidos, el proceso es llamado ca-
dena de salto de Markov. Notese que para el caso de transiciones que ocurren
a intervalos regulares (das, semanas, meses, etc.), una cadena de Markov no es
una cadena de salto de Markov.
No todos los sistemas fsicos pueden ser modelados por procesos de salto. En
esos casos, el espacio de estados y el tiempo son continuos. Un ejemplo de ello
es el movimiento Browniano, descrito por primera vez por el botanico Robert
Brown en 1828, quien observo que las partculas de polen suspendidas en un
uido se movan de una manera irregular.
5.1.2. Algunas aplicaciones de procesos de Markov de tiem-
po discreto
Los procesos de Markov han sido aplicados a diversos problemas. Aqu se
presentan algunos bien conocidos.
Proceso de ramicacion
Considerese un sistema que consiste inicialmente de un conjunto nito de
elementos. A medida que el tiempo pasa, cada elemento puede desaparecer
independientemente con probabilidad p
0
o producir k otros elementos con
probabilidad p
k
(k = 1, 2, . . .. El comportamiento de los nuevos elementos
es igual al de sus padres. Sea X
n
el tama no de la poblacion despues de n
de estos eventos. El proceso {X
n
|n 0} es una cadena de Markov llamada
proceso de ramicacion.
41
Los proceso de ramicacion se usan en diferentes dominios de la ciencia y
la ingeniera: crecimiento de poblacion, expansion de una epidemia, sion
nuclear.
Movilidad social
En sociologa se ha usado cadenas de Markov para determinar como las
clases sociales de padre, abuelo, etc., afectan la clase social de los hijos.
Esto esta basado en el hecho que las personas pueden ser clasicadas en
tres niveles: clase alta, clase media, clase baja. Cuando las probabilidades
condicionales son conocidas, se pueden usar para representar las transicio-
nes entre clases de las generaciones sucesivas en una familia, modelando
la movilidad social como una cadena de Markov.
Proceso de decision de Markov
Un proceso de decision de Markov se usa para modelar sistemas dinami-
cos inciertos cuyos estados cambian con el tiempo. En tales sistemas, el
tomador de decision debe tomar una decision en el tiempo, con resultados
inciertos. Cada accion tomada por el decisor puede generar una recompen-
sa o un costo. El objetivo es encontrar una secuencia optima de acciones
que le permitan al decisor obtener la maxima recompensa esperada en un
intervalo de tiempo, nito o innito.
5.1.3. Algunas aplicaciones de procesos de Markov de tiem-
po continuo
Aplicaciones de procesos de Markov en tiempo continuo ya han sido identi-
cadas anteriormente en este libro. Aqu presentamos casos usuales.
Sistemas de las
Como hemos visto, los sistemas de las pueden encontrarse en m ultiples
aplicaciones. En general, un sistema de las consiste de una la y un
conjunto de servidores. Cuando la llegada de los elemento a la la sigue
una distribucion de Poisson, y los servidores tienen un tiempo de servicio
distribuido exponencialmente, el n umero de elementos se comporta como
una cadena de Markov.
Inventario
Supongamos una bodega donde se controla el inventario de cierto tipo
de producto mediante un mecanismo de reposicion, el cual opera por la
necesidad de responder a la demanda. Sea c la capacidad (en unidades) de
la bodega, I
n
el n umero de unidades de producto en el tiempo n y d
n
la
demanda de unidades en el mismo perodo. El administrador de la bodega
ha denido un modelo de reposicion que se aplica cada perodo: si el nivel
de inventario desciende mas abajo de un nivel permitido m, se pide la
cantidad necesaria para llegar hasta el nivel c, de lo contrario se repone
la cantidad demandada en el perodo. La variable siguiente representa el
42
comportamiento del n umero de unidades de producto en inventario, al
inicio de cada perodo:
I
n
=
_
max{0, c d
n
} I
n1
m
max{0, I
n1
d
n
} I
n1
> m
Si d
1
, d
2
, . . ., son independientes e identicamente distribuidas, el proceso
{I
n
|n 0} es una cadena de Markov.
5.1.4. Ejemplos
A continuacion se presenta algunos ejemplos que dan cuenta de la variedad
de problemas que pueden ser modelados usando procesos de Markov.
Antiguamente, las universidades admitan solo estudiantes hombres. Su-
pongamos que en ese tiempo 80 % de los hijos de hombres que iban a
Harvard fueron a Harvard y el resto fue a Yale, 40 % de los hijos de los
hombres de Yale fueron a Yale, y el resto se divida entre Harvard y Dart-
mouth; y de los hijos de los hombres de Dartmouth, 70 % fue a Dartmouth,
20 % a Harvard y 10 % a Yale. La matriz de transiciones en este caso es
P =
_
_
0, 8 0, 2 0
0, 3 0, 4 0, 3
0, 2 0, 1 0, 7
_
_
El presidente de una nacion le dice a una persona A sobre su intencion de
ir a la re-eleccion. La persona A transmite a otra persona B esa intencion,
la persona B la transmite a C, etc. Supongamos que hay una probabilidad
a de que la intencion positiva se cambie a negativa cuando se transmite
el mensaje, y una probabilidad b de que la respuesta negativa se cambie a
positiva. Entonces, la matriz de transiciones de cambios en las respuestas
esta dada por:
P =
_
1 a a
b 1 b
_
El tipo mas simple de herencia en animales puede ser considerado mediante
un par de genes G y g. Un individuo puede tener una combinacion GG
o Gg, gG o gg. Usualmente, los tipos GG y Gg son indistinguibles en
apariencia, y se dice que G domina al gen g. Un individuo es llamado
dominante si tiene genes GG, recesivo si tiene genes gg y hbrido si tiene
una mezcla Gg (o gG).
En una pareja de animales, la cra hereda un gen del par de cada padre, y
el supuesto basico de la genetica es que esos genes son seleccionados alea-
toriamente, independientemente uno del otro. Este supuesto determina la
43
probabilidad de ocurrencia de cada tipo de cra. La cra de dos padres do-
minantes debe ser dominante, la de dos padres recesivos debe ser recesivo,
y la de uno dominante con uno recesivo debe ser hbrida.
En una pareja con un animal dominante y el otro hbrido, cada cra debe
obtener un gen G del primero y tiene igual probabilidad de obtener un G
o un g del segundo. Esto implica que hay una probabilidad igual de tener
una cra dominante o hbrida. Nuevamente, en una pareja de un recesivo
y un hbrido, hay igual probabilidad de obtener un recesivo o un hbrido.
En una pareja de dos hbridos, la cra tiene igual chance de tener un G
o un g de cada padre. En consecuencia, las probabilidades son 1/4 para
GG, 1/2 para Gg y 1/4 para gg.
Consideremos un proceso de emparejamientos continuos. Comencemos con
un individuo de caracter genetico conocido y emparejemoslo con un hbri-
do. Suponemos que hay al menos una cra. Una cra es elegida al azar y
es emparejada con un hbrido y este proceso es repetido a traves de un
n umero de generaciones. El tipo genetico de la cra elegida en generaciones
sucesivas puede ser representado por una cadena de Markov. Los estados
son dominante, hbrido y recesivo. Las probabilidades de transicion son:
P =
_
_
0, 5 0, 5 0
0, 25 0, 5 0, 25
0 0, 5 0, 5
_
_
Considerese el ejemplo de inventario de la seccion 5.1.3. La probabilidad
de que el valor de demanda d
j
ocurra es expresada como P(d
j
= k) = a
k
.
De esta manera, si el estado del inventario en un momento es I
j
, una
demanda d
j
= k implica que el inventario hace una transicion a I
j
+ k
con probabilidad de transicion a
k
. Entonces, si se dene como estados
del proceso los valores de inventario m, m + 1, m + 2, . . . , c, la matriz de
transiciones de probabilidad que indica el cambio de un nivel de inventario
a otro puede escribirse como
P =
_
_
_
_
_
_
_
_
a
0
0 . . . . . . . . . 1 a
0
a
1
a
0
. . . . . . . . . 1 F(1)
a
2
a
1
. . . . . . . . . 1 F(2)
. . . . . . . . . . . . . . . . . .
a
cm1
a
cm2
. . . . . . . . . 1 F(c m1)
a
cm
a
cm1
. . . . . . . . . 1 F(c m)
_
_
_
_
_
_
_
_
donde F(j) =
j
r=0
a
r
.
44
5.2. Cadenas de Markov de tiempo discreto
5.2.1. Introducci on
El proceso de tiempo discreto {X
k
, k = 0, 1, 2, . . .} es llamado una cadena
de Markov si para todo i, j, k, . . . , m, se cumple lo siguiente:
P(X
k
= j|X
k1
= i, X
k2
= n, . . . , X
0
= m) = P(X
k
= j|X
k1
= i) = p
ijk
(5.6)
La cantidad p
ijk
es llamada la probabilidad de transicion de estado, que es
la probabilidad condicional que el proceso estara en el estado j, en el tiempo
k inmediatamente despues de la transicion, dado que esta en el estado i en el
tiempo k 1. Una cadena de Markov que obedece esta regla es llamada cadena
de Markov no homogenea. Se habla de una cadena de Markov homogenea cuando
esta no depende de la unidad de tiempo, es decir, p
ijk
= p
ij
:
P(X
k
= j|X
k1
= i, X
k2
= n, . . . , X
0
= m) = P(X
k
= j|X
k1
= i) = p
ij
,
(5.7)
que es llamada la probabilidad de transicion de estado homogenea, que satisface
las siguientes condiciones:
1. 0 p
ij
1;
2.

i
p
ij
= 1, i = 1, 2, . . ..
De la denicion precedente se obtiene la siguiente regla de la cadena de Markov:
P(X
k
= j, X
k1
= i
1
, X
k2
= i
2
, . . . , X
0
= i
k
) (5.8)
= P(X
k
= j|X
k1
= i
1
)P(X
k1
= i
1
, X
k2
= i
2
, . . . , X
0
= i
k
)
= P(X
k
= j|X
k1
= i
1
)P(X
k1
= i
1
|X
k2
= i
2
)
P(X
k1
= i
1
, X
k2
= i
2
, . . . , X
0
= i
k
)
. . .
= p
i1j
p
i2i1
. . . p
i
k
i
k1
P(X
0
= i
k
)
5.2.2. Ecuaciones de Chapman-Kolmogorov
Dada una cadena de Markov, supongase que se desea conocer la probabilidad
de que el sistema este en el estado j en el tiempo t
1
. Esta probabilidad se
determina considerando que en t
0
el sistema puede estar en alguno de los estados
i del sistema y que se hace una transicion desde ah seg un probabilidad de
transicion p
ij
:
q
j1
= q
10
p
1j
+q
20
p
2j
+q
30
p
3j
+. . . .
=
i
q
i0
p
ij
.
45
En el caso general se tiene
q
jn
= q
1(n1)
p
1j
+q
2(n1)
p
2j
+q
3(n1)
p
3j
+. . . .
=
i
q
i(n1)
p
ij
=
i
_
q
1(n2)
p
1i
+q
2(n2)
p
2i
+q
3(n2)
p
3i
+. . .
_
p
ij
=
k
q
k(n2)
i
p
ki
p
ij
Usualmente se dene p
(2)
kj
=

i
p
ki
p
ij
, como la probabilidad de ir de k a j en
dos pasos. Se puede demostrar por induccion que
q
jn
=
k
q
k0
p
(n)
kj
.
Las ecuaciones de Chapman-Kolmogorov se denen como
p
(n)
kj
=
i
p
(n1)
ki
p
ij
i, j (5.9)
En terminos generales, las ecuaciones de Chapman-Kolmogorov se escriben
como
p
(n)
kj
=
i
p
(nr)
ki
p
(r)
ij
k, j (5.10)
Esto se puede probar si se observa lo siguiente:
p
(n)
kj
= P[X
n
= j|X
0
= k] (5.11)
=
i
P[X
n
= j, X
r
= i|X
0
= k] (5.12)
=
i
P[X
n
= j|X
r
= i, X
0
= k]P[X
r
= i|X
0
= k] (5.13)
=
i
P[X
n
= j|X
r
= i]P[X
r
= i|X
0
= k] (5.14)
=
i
p
(nr)
ki
p
(r)
ij
(5.15)
En notacion matricial, (5.10) equivale a
P
(n)
= P
(n1)
P, (5.16)
donde P
(n)
es la matriz de transiciones en n pasos. En consecuencia, deniendo
q
n
= (q
1n
, q
2n
, . . .), se puede escribir
46
q
n
= q
0
P
(n)
.
5.2.3. Teoremas de cadenas de Markov
Denicion 1. Un estado i de una cadena de Markov se dice absorbente si es
imposible dejarlo, es decir, p
ii
= 1. Una cadena de Markov es absorbente si ella
tiene al menos un estado absorbente y si es posible ir de cada estado a un estado
absorbente (no necesariamente en un paso).
Denicion 2. En una cadena de Markov absorbente, un estado que no es ab-
sorbente es llamado estado transiente.
Ejemplo 2. Consideremos como ejemplo la matriz siguiente:
P =
_
_
1 0 0
0, 25 0, 5 0, 25
0 0 1
_
_
. (5.17)
En este caso, los estados 1 y 3 son abosrbentes, mientras que el estado 2 es
transiente. La cadena se dice absorbente y cuando el proceso alcanza un estado
absorbente se dice que es absorbido.
Forma Canonica de una cadena absorbente
Consideremos una matriz de transicion de una cadena de Markov, con t
estados transientes y r estados absorbentes. Entonces, podemos acomodar las
las de la matriz de tal manera que se tiene la representacion siguiente:
P =
_
Q R
0 I
_
. (5.18)
Q es una matriz de t t estados transientes, R es una matriz de t r, I es una
matriz de r r estados absorbentes. Se puede mostrar la propiedad siguiente:
P
(n)
=
_
Q
(n)
*
0 I
_
, (5.19)
tal que lm
n
Q
(n)
0.
Teorema 2. En una cadena de Markov absorbente, la probabilidad que el pro-
ceso sea absorbido es 1 (es decir, Q
(n)
0).
Ejemplo 3. Consideremos la matriz siguiente:
P =
_
_
1 0 0
0, 25 0, 5 0, 25
0, 3 0, 3 0, 4
_
_
. (5.20)
47
En este caso, por el teorema anterior es facil ver que las potencias de la matriz
de transiciones convergen a la siguiente matriz (verifquelo):
P
(n)
=
_
_
1 0 0
1 0 0
1 0 0
_
_
. (5.21)
Teorema de cadenas regulares
Denicion 3. Una cadena de Markov se dice ergodica si es posible ir de cual-
quier estado a cualquier estado (no necesariamente en un paso).
Denicion 4. Una cadena de Markov se dice regular si alguna potencia de la
matriz de transicion tiene solo elementos positivos.
Ejemplo 4. La matriz siguiente es ergodica, pero no regular:
P =
_
_
0 0 1
1 0 0
0 1 0
_
_
. (5.22)
Una caracterstica interesante de esta matriz es la periodicidad. Verique que
P
(1)
= P
(3k+1)
, k = 1, 2, . . ..
Cualquier matriz que no tiene ceros es una matriz regular. Sin embargo, una
matriz regular puede tener ceros. Un ejemplo de eso es la matriz siguiente:
P =
_
_
0, 25 0, 75 0
0, 4 0, 3 0, 3
0, 3 0, 3 0, 4
_
_
. (5.23)
que converge a la siguiente matriz (verifquelo)
P
(n)
=
_
_
0, 33 0, 45 0, 22
0, 33 0, 45 0, 22
0, 33 0, 45 0, 22
_
_
. (5.24)
Teorema 3. Sea P la matriz de transiciones de una cadena y sea q el vector de
probabilidad que representa la distribucion de partida. Entonces, la probabilidad
de la cadena de estar en el estado i luego de n pasos esta en la i-esima entrada
del vector
q
(n)
= qP
(n)
(5.25)
Teorema 4 (Fundamental del lmite para cadenas regulares). Sea P la matriz
de transiciones de una cadena regular. Entonces, si n , la matriz P
(n)
se
aproxima a una matriz W con todas sus las iguales al vector = {
1
,
2
, . . .}.
Este vector es estrictamente positivo, es decir, lm
n
q
jn
=
j
(j), tal que,
j
=
i
p
ij
(5.26)
48
donde,

j

j
= 1.
Demostracion.
1
:
Sea X una cadena de Markov con matriz de transiciones P, partiendo en el
estado s
i
. Sea Y una cadena de Markov con matriz de transiciones P, partiendo
con probabilidades iniciales dadas por el vector jo . Los procesos X e Y se
suponen independientes.
Consideremos una tercera cadena de Markov con matriz de transiciones P
,
que observa los procesos X e Y . Los estados de P
son los pares ordenados (i, j),

es decir, los pares tales que X = i y Y = j al mismo tiempo. Las probabilidades
de transicion estan dadas por
P
[(i, j), (k, l)] = p

ik
p
jl
,
indicando que el proceso X hace una transicion de i a k, y en el mismo
intervalo de tiempo el proceso Y hace una transicion de j a l. Dado que P es
regular, hay un n tal que p
(n)
ik
> 0 para todo i y k. Entonces para P
tambien
es posible ir de (i, j) a otro estado (k, l) en a lo mas n pasos. Esto implica que
P
tambien es una cadena regular.

Consideremos T el tiempo en que P
llega por primera vez al estado (k, k),

es decir, X e Y estan en el mismo estado. A partir de ese primer momento, en
el largo plazo X e Y no debieran tener diferencias pues estan gobernadas por
la misma matriz de transiciones. Es facil ver que P(T > n) 0 si n . Si
n T, dado que X e Y estan en el mismo estado en el tiempo T, se verica
P(X
n
= j, n T) = P(Y
n
= j, n T).
Multiplicando ambos lados de la ecuacion anterior por P(n T), la formula de
probabilidad condicional implica
P(X
n
= j | n T) = P(Y
n
= j | n T).
Sabemos que para todo n, P(Y
n
= j) =
j
(consecuencia de la ecuacion (5.10)).
Ademas,
P(Y
n
= j) = P(Y
n
= j, n T) +P(Y
n
= j, n < T).
Pero P(Y
n
= j, n < T) 0 si n , pues P(n < T) 0 cuando n . De
manera que,
P(Y
n
= j, n T)
j
, si n
Esto implica
P(X
n
= j, n T)
j
, si n
1
W. Doeblin, Expose de la Theorie des Chaines Simple Constantes de Markov ` a un Nombre
Fini dEtats, Rev. Mach. de lUnion Interbalkanique, vol. 2 (1937), pp. 77-105.
49
Pero, usando el mismo razonamiento anterior, dado que P(n < T) 0 cuando
n , se puede concluir,
P(X
n
= j)
j
, si n ,
lo que demuestra el teorema.
Notese que si = {
1
,
2
, . . .}, la expresion (5.26) puede ser escrita como
= P, (5.27)
de manera que se interpreta como el vector propio por la izquierda de P.
Corolario (calculo del lmite de la probabilidad de estado )
Sea P(X(0) = i) la probabilidad de que el proceso esta en el estado i antes
de que se haga la primera transicion. Entonces el conjunto de todas las posi-
bilidades, es decir, {P(X(0) = i)}, dene la condicion inicial, tal que para un
proceso de n estados se tiene
n
i=1
P(X(0) = i) = 1. (5.28)
Sea P(X(m) = j) la probabilidad de que el proceso este en el estado j al
nal de m transiciones, entonces para un proceso de n estados se tiene
P(X(m) = j) =
n
i=1
P(X(0) = i)p
(m)
ij
. (5.29)
Por el teorema anterior, se sabe que P(X(m) = j) se aproxima a una constante
a medida que m , es decir,
lm
m
P(X(m) = j) =
j
. (5.30)
Pero, de la ecuacion 5.10 se sabe que
p
(m)
ij
=
k
p
(m1)
ik
p
kj
i, j, (5.31)
con lo cual se tiene
j
= lm
m
k
p
(m1)
ik
p
kj
(5.32)
=
k
p
kj
(5.33)
50
Ejemplo:
Considerese la matriz de probabilidades siguiente:
P =
_
0, 6 0, 4
0, 35 0, 65
_
(5.34)
Determnese las probabilidades lmite de estado.
Solucion:
Por la ecuacion (5.26),
1
= 0, 6
1
+ 0, 35
2
(5.35)
2
= 0, 4
1
+ 0, 65
2
(5.36)
1 =
1
+
2
(5.37)
Hay tres ecuaciones y dos variables, por lo cual una de las ecuaciones
es redundante. Usando la primera y tercera ecuaciones se puede mostrar
facilmente que = {
1
,
2
} = {7/15, 8/15}.
El teorema siguiente proporciona una base para calcular las probabilidades
de estado mediante simulacion.
Teorema 5 (Ley de los grandes n umeros para cadenas de Markov ergodicas).
Sea H
n
j
la proporcion de veces en n pasos que una cadena ergodica (seccion
5.2.4) esta en el estado j. Entonces, para cualquier > 0,
lm
n
P(|H
n
j

j
| > ) 0, (5.38)
independiente del estado de partida.
Ejemplo:
Suponga que la matriz de transiciones que representa los cambios de mo-
dulacion en un canal inalambrico es la siguiente :
P =
_
_
1/2 1/4 1/4
1/2 0 1/2
1/4 1/4 1/2
_
_
Determnese las probabilidades lmite de estado.
Simule el sistema para mostrar que las proporciones de ocurrencia de esta-
do se acercan a las probabilidades lmite. Corra simulaciones de distintas
duraciones.
51
El valor medio de capacidad de canal en cada estado es dado por los valores
siguientes:
1
= 500kbps
2
= 1mbps
3
= 2mbps
(5.39)
Calcule la esperanza de la capacidad del canal mediante simulacion y
usando las probabilidades de estado.
5.2.4. Tiempos de retorno
Sea f
(n)
jj
la probabilidad de regresar al estado j en n pasos. Entonces, se
tiene:
p
jj
= f
(1)
jj
p
(2)
jj
= f
(2)
jj
+f
(1)
jj
p
jj
p
(3)
jj
= f
(3)
jj
+f
(2)
jj
p
jj
+f
(1)
jj
p
(2)
jj
. . .
p
(n)
jj
= f
(n)
jj
+f
(n1)
jj
p
jj
+f
(n2)
jj
p
(2)
jj
+. . . +f
(1)
jj
p
(n1)
jj
,
es decir,
p
(n)
jj
= f
(n)
jj
+
n1
k=1
f
(nk)
jj
p
(k)
jj
. (5.40)
Esto implica
f
(n)
jj
= p
(n)
jj

n1
k=1
f
(nk)
jj
p
(k)
jj
. (5.41)
El sistema puede retornar a j en 1, 2, 3, . . . , n, . . . pasos. Luego, f
(n)
jj
dene una
distribucion de probabilidad si

n=1
f
(n)
jj
= f
jj
= 1. En ese caso, el sistema
vuelve al estado j. El tiempo medio de regreso es denido como
jj
=
n=1
nf
(n)
jj
(5.42)
Seg un el valor de
jj
y f
jj
, los estados de una cadena de Markov se pueden
clasicar como sigue:
Una cadena es irreducible si todos sus estados son ergodicos.
52
estado transitorio f
jj
< 1
estado recurrente f
jj
= 1
estado recurrente nulo
jj
=
estado recurrente no-nulo
jj
<
estado periodico, de perodo T p
(n)
jj
= 0 si (n mod T = 0)
estado recurrente ergodico si no-nulo y aperiodico
estado absorbente j es absorbente si p
jj
= 1
Se puede demostrar que el tiempo medio de retorno esta asociado a las
probabilidades de estado lmite de la siguiente manera:
j
=
1
jj
si
jj
= 0 (5.43)
Ejemplo 5. Consideremos como ejemplo la matriz siguiente:
P =
_
_
0, 25 0, 5 0, 25
0, 4 0, 3 0, 3
0, 3 0, 3 0, 4
_
_
.
En este caso, la matriz corresponde a una cadena regular y las probabilidades de
estado lmite corresponden a = {0, 32; 0, 36; 0, 32}. Realizando la simulacion
del proceso en 14 pasos se obtiene (compruebelo):
_
_
11
22
33
_
_
=
_
_
3, 1
2, 8
3, 0
_
_
,
lo que permite vericar en cada caso
j
= 1/
jj
.
5.3. Cadenas de Markov de tiempo continuo
5.3.1. Denicion
Un proceso estocastico {X(t)|t 0} es una cadena de Markov de tiempo
continuo si, para todo s, t 0 y enteros no negativos i, j, k se cumple
P(X(t +s) = j|X(s) = i, X(u) = k, 0 u s) = P(X(t +s) = j|X(s) = i).
(5.44)
Esta ecuacion implica que la probabilidad de ir de i a j en el tiempo t depende
solo del estado en el tiempo s, es decir, es independiente del pasado. Si la
probabilidad P(X(t+s) = j|X(s) = i) es independiente de s entonces el proceso
estocastico se dice homogeneo en el tiempo. Las cadenas de Markov homogeneas
en el tiempo tienen probabilidades de transicion homogeneas o estacionarias:
53
p
ij
(t) = P(X(t +s) = j|X(s) = i), (5.45)
p
j
(t) = P(X(t) = j), (5.46)
donde, p
ij
(t) es la probabilidad de que el proceso ira desde el estado i al estado
j en un tiempo t, y p
j
(t) es la probabilidad de que el sistema esta en el estado
j en el tiempo t. Dado que estas son probabilidades, se tiene
j
p
ij
(t) = 1, (5.47)
j
p
j
(t) = 1. (5.48)
5.3.2. Ecuacion de Chapman-Kolmogorov en tiempo contnuo
Considerese la siguiente ecuacion:
p
ij
(t +s) =
k
P(X(t +s) = j, X(t) = k|X(0) = i),
=
k
P(X(t +s) = j, X(t) = k, X(0) = i)
P(X(0) = i)
,
=
k
_
P(X(t) = k, X(0) = i)
P(X(0) = i)
__
P(X(t +s) = j, X(t) = k, X(0) = i)
P(X(t) = k, X(0) = i))
_
,
=
k
P(X(t) = k|X(0) = i)P(X(t +s) = j|X(t) = k, X(0) = i),
=
k
P(X(t) = k|X(0) = i)P(X(t +s) = j|X(t) = k),
con lo cual se obtiene:
p
ij
(t +s) =
k
p
ik
(t)p
kj
(s). (5.49)
Esta es la ecuacion de Chapman-Kolmogorov para el caso de cadenas de Markov
de tiempo contnuo.
5.3.3. Propiedad de falta de memoria
Consideremos una cadena de Markov de tiempo contnuo, homogenea. Sea T
i
la variable que representa el tiempo que el proceso ha gastado desde un instante
0 hasta que se encuentra en el estado j. Asimismo, consideremos T
i
el tiempo
que el proceso pasa en el estado i antes de encontrarse en j. Entonces, se observa
que la igualdad
54
P(X(t +s) = j|X(s) = i) = P(X(t) = j|X(0) = i),
equivale a
P(T
i
> t +s|T
i
> s) = P(T
i
> t|s +T
i
> s)
= P(T
i
> t|T
i
> 0)
= P(T
i
> t). (5.50)
Hay una distribucion de probabilidad que tiene esta propiedad, llamada falta de
memoria, que es
P(T
i
> t) = e
t
,
es decir, la distribucion exponencial con funcion de densidad f(t) = e
t
. En
efecto, se tiene la siguiente relacion
P(T
i
> t +s | T
i
> s) =
P(T
i
> t +s, T
i
> s)
P(T
i
> s)
,
=
P(T
i
> t +s)
P(T
i
> s)
,
=
e
(t+s)
e
s
,
= e
t
,
= P(T
i
> t).
5.3.4. Procesos estacionarios
Supongamos un proceso {X(t)|t 0} y X(t) N, en estado estacionario, tal
que el proceso puede realizar transiciones de un estado a otro adyacente como
si fuera un proceso de conteo. Entonces, sea
- n, estado actual del proceso;
-
n
, frecuencia esperada de cambio desde el estado n al n+1 (nacimiento),
por unidad de tiempo ;
-
n
, frecuencia esperada de cambio desde el estado n al n 1 (muerte),
por unidad de tiempo;
- p
n
(t), probabilidad de que el proceso este en el estado n en el tiempo t.
En estado estable, los ujos de ingreso y salida del sistema deben igualarse.
Entonces, para que el sistema se estabilice en el estado n, debe suceder
55
n1
p
n1
(t) +
n+1
p
n+1
(t) = (
n
+
n
)p
n
(t) n = 1, 2, . . . . (5.51)
es decir, las tasas esperadas de llegada y de salida en el estado n deben igualarse,
manteniendo el equilibrio de ujos. Esto es equivalente al razonamiento que
permite obtener las probabilidades de estado en el caso de las de espera.
Consideremos ahora la posibilidad que el proceso pueda realizar transiciones
desde o hacia un estado j desde cualquier otro estado i = 1, 2, . . .. Entonces, sea
-
i
, tasa esperada de salida desde el estado i a cualquier otro estado, por
unidad de tiempo;
-
ij
, tasa esperada de salida desde el estado i al estado j, por unidad de
tiempo;
- p
i
(t), probabilidad de que el proceso este en el estado i en el tiempo t.
Para que el sistema este en equilibrio en j, es decir, que las entradas igualen las
salidas, se debe cumplir
2
i=j
ij
p
i
(t) =
j
p
j
(t) j = 1, 2, . . . . (5.52)
Ademas, si el proceso es ergodico, entonces se cumple
i=j
ij
i
=
j
j
j = 1, 2, . . . , (5.53)
donde
i
, i = 1, 2, . . ., corresponden a las probabilidades de estado lmite, de-
nidas por
i
= lm
t
p
ij
(t) j = 1, 2, . . . , (5.54)
que satisfacen
i
p
ij
(t) =
j
j = 1, 2, . . . . (5.55)
Ejemplo 6. Consideremos como ejemplo dos equipos de proyecto sometidos a
un programa de desarrollo de un sistema crtico. Cada uno de los equipos de tra-
bajo puede desarrollar continuamente. Sin embargo, por diferentes condiciones
los equipos se retrasan. Cuando eso ocurre, se asigna recurso adicional al equipo
retrasado, pero ese recurso alcanza solo para un equipo a la vez. El tiempo medio
de retraso de cada equipo es de 1 da, el que debe recuperarse lo antes posible.
El tiempo medio de recuperacion es de 1/2 da.
2
Notese que en el caso del proceso de conteo, dado el estado n la frecuencia esperada de
cambio es tal que n = n +n.
56
Denamos la variable aleatoria X(t), n umero de equipos retrasados en el
tiempo t. Luego, X(t) {0, 1, 2}. Si la unidad temporal es 1 da, entonces se
puede ver lo siguiente:
w
0
=
0
(5.56)
w
1
=
1
+
1
w
2
=
2
Notemos que si los equipos est an desarrollando normalmente, la tasa potencial
de retraso en un da sera igual a
0
= 2, pues ambos equipos podran fallar. En
cambio, si uno de los equipos se retraso, solo un equipo podra entrar en retraso
en un da, es decir,
1
= 1. Por otro lado, la tasa de recuperacion depende del
recurso asignado de tal manera que
1
= 2 y
2
= 2. Por lo tanto,
w
0
= 2 (5.57)
w
1
= 3
w
2
= 2
Usando la ecuacion (5.53) se llega a:
2
0
= 2
1
(5.58)
3
1
= 2
0
+ 2
2
2
2
=
1
Sabiendo ademas que
0
+
1
+
2
= 1, se puede determinar facilmente que
(
0
,
1
,
2
) = (2/5, 2/5, 1/5).
5.4. Cadenas de Markov con recompensa
5.4.1. Proceso con recompensa
Se dice que una cadena de Markov genera recompensas si una transicion
implica una ganancia (o perdida). Dada que las transiciones se realizan en pro-
babilidad, la recompensa obtenida a partir de un estado inicial corresponde a
una ganancia (o perdida) esperada.
Ejemplo 7. Supongamos un sitio Web de noticias que tiene tres tipos de pagi-
nas: 1, noticias polticas; 2, noticias economicas, 3, noticias deportivas. Luego
57
de un experimento desarrollado con una muestra relevante de usuarios se deter-
mino que un usuario puede hacer transiciones de un tipo de pagina a otro seg un
la siguiente matriz de transiciones:
P =
_
_
0, 25 0, 5 0, 25
0, 4 0, 3 0, 3
0, 3 0, 3 0, 4
_
_
,
Cada vez que un usuario realiza un cambio de estado el periodico digital recibe
una recompensa neta que proviene de los anuncios pagados por las empresas que
publicitan en el medio. Supongamos que la ganancia neta por cada cambio de
estado queda denida por la siguiente matriz
R =
_
_
10 5 2, 5
5 3 4
4 1 2
_
_
.
El periodico esta interesado en saber cual es la ganancia que obtiene por
un usuario que visita el sitio durante n minutos. Entonces, sea g
i,n
la ganancia
esperada en n pasos, a partir del estado i = 1. Luego, la ganancia esperada en un
paso, a partir de i = 1, se calcula como 100, 25+50, 5+2, 50, 25. Asimismo,
la ganancia esperada en dos pasos a partir de i = 1, g
i,2
, esta determinada por
g
i,2
=
3
j=1
p
ij
{r
ij
+g
j,1
} .
Para el ejemplo se tiene
g
i,2
= 0, 25 {10 + (10 0, 25 + 5 0, 5 + 2, 5 0, 25)} +
= 0, 5 {5 + (5 0, 4 + 3 0, 3 + 4 0, 3)} +
= 0, 25 {2, 5 + (4 0, 3 1 0, 3 + 2 0, 4)} .
En terminos generales, se tiene lo siguiente
g
i,n
=
m
j=1
p
ij
{r
ij
+g
j,n1
} .
5.4.2. Proceso de decision markoviano
En el ejemplo de la secci on 5.4.1, supongamos que una vez que se llega a un
estado el periodico tiene la opcion de realizar una accion que cambia el mode-
lo de recompensa y las probabilidades de transicion. Por ejemplo, para evitar
la perdida que puede implicar la transicion desde el estado 3 al estado 2, el
editor puede introducir un anuncio viral que aumenta la posibilidad de perma-
nencia del usuario en la pagina de noticias. Entonces, supongase que el editor
del periodico tiene dos acciones posibles: introducir un anuncio viral (accion 1),
58
o no introducir el anuncio (accion 2). Las opciones disponibles conducen a las
matrices de transicion y recompensas siguientes:
P
1
=
_
_
0, 30 0, 4 0, 3
0, 225 0, 375 0, 4
0, 5 0, 25 0, 25
_
_
,
R
1
=
_
_
7 7 3
4 6 2
5 2 1
_
_
.
P
2
=
_
_
0, 25 0, 5 0, 25
0, 4 0, 3 0, 3
0, 3 0, 3 0, 4
_
_
,
R
2
=
_
_
10 5 2, 5
5 3 4
4 1 2
_
_
.
Entonces, el editor del periodico se enfrenta al problema de determinar cual
sera la estrategia que le genere el mayor retorno esperado en una sesion de
usuario tpica. Si k representa el n umero de una accion, entonces un editor que
desea maximizar sus ganancias aplicara la siguiente funcion para determinar la
ganancia esperada en n minutos, dado un estado inicial i:
g
i,n
= max
k{1,2}
_
_
_
m
j=1
p
k
ij
_
r
k
ij
+g
j,n1
_
_
_
_
.
Notese que esta es una formula recursiva que indica que la ganancia esperada
en n pasos, a partir del estado i, depende de las acciones futuras del tomador
de decision. Este modelo de calculo es llamado programaci on din amica donde el
resultados se puede determinar calculando los terminos en g
j,1
, g
j,2
, . . . , g
j,n1
,
etc., hasta llegar a g
j,n
.
59
Bibliografa
[1] Banks, J., Carson, J., Nelson, B. and Nicol, D., Discrete-Event System Si-
mulation. 3rd edition, Prentice-Hall, 2001.
[2] Feller, W., An Introduction to Probability Theory and Its Applications,
second edition, John Wiley & Sons, 1971.
[3] Prawda, J., Metodos y Modelos de Investigacion de Operaciones. Volumen
II, Modelos Estocasticos, Editorial Limusa, 1987.
[4] Ross, S., Introduction to Probability Models, Eight Edition, Academic Press,
2003.
[5] Taha, H., Investigacion de Operaciones, Alfaomega, 1995.
[6] Winston, W., Operations Research: Applications and Algorithms, Duxbury
Press, 1994.
60

Modelos Estocasticos

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Modelos Estocasticos

Caricato da

Copyright:

Formati disponibili

Modelos Estocasticos

son los pares ordenados (i, j),

[(i, j), (k, l)] = p

tambien es una cadena regular.

llega por primera vez al estado (k, k),

Potrebbero piacerti anche