Sei sulla pagina 1di 38

1

CADENAS DE MARKOV
En los problemas de toma de decisiones, con frecuencia nos enfrentamos a situaciones que tienen
incertidumbre asociada a ellas. Esta incertidumbre proviene de la variacin inherente a las fuentes de esa
variacin que eluden el control o proviene de la inconsistencia de los fenmenos naturales. En lugar de
manejar esta variabilidad como cualitativa, puede incorporarse a un modelo matemtico y manejarse en
forma cuantitativa. Por lo general, este tratamiento puede lograrse si el fenmeno natural muestra un cierto
grado de regularidad, de manera que sea posible describir la variacin mediante un modelo probabilstico.
Este capitulo presenta modelos de probabilidad para procesos que evolucionan en el tiempo de una manera
probabilstica. Tales procesos se llaman procesos estocsticos. Despus de introducir brevemente los
procesos estocsticos generales en la primera seccin, el resto del captulo est dedicado a un tipo especial
de proceso, llamado Cadena de Markov. Las cadenas de Markov tienen la propiedad particular de que las
probabilidades que describen la forma en que el proceso evolucionar en el futuro dependen slo del estado
actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos ocurridos en el
pasado. Muchos procesos se ajustan a esta descripcin por lo que las cadenas de Markov constituyen una
clase de modelos probabilsticos de gran importancia y por lo tanto, se han aplicado con xito en reas tales
como educacin, mercadotecnia, servicios de salud, finanzas, contabilidad y produccin, entre otros.
1.1 QU ES UN PROCESO ESTOCSTICO?
Suponga que se observa una caracterstica de un sistema en un conjunto de puntos discretos del tiempo
(que llamaremos T = {0, 1, 2, , t, } y que no necesariamente son equidistantes) y la cual puede tomar en
cada uno de estos tiempos uno de un nmero finito de estados mutuamente excluyentes, etiquetados como
1, 2, , s
1
. Sea X
t
el valor de la caracterstica del sistema en el tiempo t (X
t
toma valores en el conjunto S =
{1, 2, , s}). En la mayor parte de los casos no se conoce X
t
con certeza antes del tiempo t y por lo tanto se
puede considerar como variable aleatoria. As, un proceso estocstico de tiempo discreto y estado finito
no es ms que un conjunto indexado de variables aleatorias idnticamente distribuidas {X
t
} sobre un
conjunto discreto T, las cuales toman valores en un conjunto S = {1, 2, 3, ., s}, y el cual da una descripcin
de la relacin entre las variables aleatorias X
0
, X
1
, X
2
, , X
t
, . A continuacin se dan unos ejemplos de
procesos estocsticos de tiempo discreto.
Ejemplo 1.1 La ruina del jugador. En el tiempo 0 tengo $2000. En los tiempos 1, 2, participo en un
juego en el que solo puedo apostar $1000. Gano con probabilidad p, y pierdo con
probabilidad 1 - p. Mi meta es aumentar mi capital a $4000, y tan pronto como lo logre se
suspende el juego. El juego tambin se suspende si mi capital se reduce a $0.
Sea t el tiempo despus de terminada la t-sina partida y X
t
la variable aleatoria que
representa el capital que poseo despus del juego cuando el tiempo es t, si es que lo hay.
As, los estados que puede tomar el sistema son:
Estado 0 Tener $0
Estado 1 Tener $1000
Estado 2 Tener $2000
Estado 3 Tener $3000
Estado 4 Tener $4000,
y por lo tanto S = {0, 1, 2, 3, 4}. Entonces se puede considerar que {X
t
} es un proceso
estocstico de tiempo discreto. Ntese que X
0
= 2 es una constante conocida, pero que X
1
y
las dems X
t
son aleatorias. Por ejemplo, X
1
= 3 con probabilidad p y X
1
= 1 con probabilidad
1 - p. Ntese que si X
t
= 4, entonces X
t+1
y todas las dems X
t
tambin sern iguales a 4.

1
Es indiferente si se inicia a etiquetar desde 1 o desde 0.
2
Igualmente, si X
t
= 0, entonces X
t+1
y todas las dems X
t
sern tambin cero. Por razones
obvias, a estos casos se les llama problema de la ruina del jugador.
Ejemplo 1.2 Una urna contiene dos bolas, las cuales se encuentran sin pintar. Se selecciona una bola al
azar y se lanza una moneda. Si la bola elegida no est pintada y la moneda produce cara,
pintamos la bola de rojo; si la moneda produce sello, la pintamos de negro. Si la bola ya est
pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo,
independientemente de si la moneda produce cara o sello. Para modelar este caso como
proceso estocstico, definimos a t como el tiempo despus que la moneda ha sido lanzada
por t-sina vez y se ha pintado la bola escogida. En cualquier tiempo se puede representar el
estado del sistema mediante el vector [u, r, b], donde u es el nmero de bolas sin pintar en la
urna, r el nmero de bolas rojas y b el de bolas negras. Luego los estados del sistema sern:
Estado 1 [2, 0, 0]
Estado 2 [1, 1, 0]
Estado 3 [1, 0, 1]
Estado 4 [0, 1, 1]
Estado 5 [0, 2, 0]
Estado 6 [0, 0, 2].
Se nos dice que X
0
= [2, 0, 0]. Despus del primer lanzamiento una bola habr sido pintada
ya sea de rojo o de negro y el estado ser [1, 1, 0] o [1, 0, 1]. Por lo tanto, podemos asegurar
que X
1
= [1, 1, 0] o X
1
= [1, 0, 1]. Es claro que debe haber alguna relacin entre las X
t
. Por
ejemplo, si X
t
= [0, 2, 0], podemos asegurar que X
t+1
ser [0, 1, 1].
Ejemplo 1.3 Sea X
0
el precio de una accin de la compaa de Computadoras CSL al principio de este
da hbil. Tambin, sea X
t
el precio de esa accin al principio del t-simo da hbil en el
futuro. Es claro que si se conocen los valores de X
0
, X
1
, ., X
t
estos valores dicen algo
acerca distribucin de probabilidad de X
t+1
; el asunto es: qu nos dice el pasado (los
precios de las acciones hasta el tiempo t) acerca de X
t+1
? La respuesta a esta pregunta es
de importancia crtica en finanzas. Para mayores detalles, vase la siguiente seccin.
Ejemplo 1.4 Problema de inventarios. Una tienda de cmaras tiene en almacn un modelo especial
que se puede ordenar cada semana. Sean D
1
, D
2
, . las demandas de este tipo de cmara
durante la primera, segunda, , t-sima semana, respectivamente. Suponga que las D
t
son
variables aleatorias independientes e idnticamente distribuidas con distribucin de
probabilidad conocida. Sea X
t
el nmero de cmaras que se tiene en el momento de iniciar
el proceso. El sbado en la noche la tienda hace un pedido que le entrega el lunes en el
momento de abrir la tienda. La tienda usa la siguiente poltica (s, S)
2
para ordenar: Si el
nmero de cmaras en inventario al final de la semana es menor que s = 1 , ordena (hasta) S
= 3. De otra manera no coloca la orden. Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces {X
t
} es un proceso estocstico. Los estados
posibles del proceso son:
Estado 0 Tener 0 cmaras en inventario al final de la semana
Estado 1 Tener 1 Cmara en inventario al final de la semana
Estado 2 Tener 2 cmaras en inventario al final de la semana
Estado 3 Tener 3 cmaras en inventario al final de la semana.
De hecho, es claro que las variables aleatorias X
t
son dependientes y se pueden evaluar en
forma iterativa por medi
o de la expresin

2
Una poltica (s, S) es una poltica de revisin continua que consiste en ordenar hasta S unidades siempre que el nivel del inventario baje
de s (S > s). Si el nivel de inventario es s o mayor que, no se ordena.
3

>
<
=
+
+
+
1 si } 0 ), {(
1 si } 0 ), 3 {(
1
1
1
t t t
t t
t
mx
mx
X D X
X D
X (1)
Se finalizar esta seccin con una explicacin breve de los procesos estocsticos de tiempo continuo. Un
proceso estocstico de tiempo continuo es simplemente un proceso estocstico en el que el estado del
sistema se puede examinar en cualquier tiempo y no slo en instantes discretos. Por ejemplo, se puede
considerar que el nmero de personas en un supermercado a los t minutos despus de abrir, es un proceso
estocstico de tiempo continuo. Los modelos en los que intervienen estos procesos se estudiaran ms
adelante. Como el precio de una accin se puede observar en cualquier tiempo, y no slo al abrir la bolsa,
este se puede considerar como proceso estocstico de tiempo continuo. Al considerarlo as, se ha podido
llegar a importantes resultados en la teora de finanzas, incluyendo la famosa frmula de Black-Scholes para
opcin de precio.
1.2 QU ES UNA CADENA DE MARKOV?
Es necesario hacer algunas suposiciones sobre la distribucin conjunta de X
0
, X
1
, para obtener resultados
analticos. Hay una suposicin que nos lleva a un tipo especial de procesos estocsticos de tiempo discreto
llamados cadenas de Markov. Para simplificar nuestra presentacin supondremos que en cualquier tiempo,
el proceso estocstico de tiempo discreto puede estar en uno de un nmero finito de estados identificados
por 1, 2, .,s.
DEFINICIN Un proceso estocstico de tiempo discreto es una cadena de Markov si para t = 0, 1, 2,
y todos los estados,
( ) ( )
t t t t t
i | i P i , i , , i , i | i P = = = = = = = =
+ + + + t t t t t
X X X X X X X
1 0 1 1 1 1 0 1 1 1
(2)
En esencia, la ecuacin (1) dice que la distribucin de probabilidad del estado en el tiempo t + 1 depende del
estado en el tiempo t (i
t
) y no depende de los estados por los cuales pas la cadena para llegar a i
t
, en el
tiempo t, es decir, el estado que tomar el sistema en el futuro inmediato solo depende del presente ms no
del pasado. La probabilidad condicional ( )
t t
i | i P = =
+ + t t
X X
1 1
se llama probabilidad de transicin, ya que el
sistema en perodo pasa del estado i
t+1
al estado i
t
.
Adems, si para cualquier par de estados i y j ocurre ( ) i j| P = =
+ t t
X X
1
toma el mismo valor para todo t, se
dice que la cadena de Markov es estacionaria en el tiempo y se puede escribir:
P(X
t+1
= j | X
t
= i) = P(X
1
= j | X
0
= i) = p
ij
(3)
donde p
ij
es la probabilidad de que dado que el sistema est en el estado i en el tiempo t, el sistema estar
en el estado j en el tiempo t + 1. Con frecuencia, en una cadena de Markov, a las p
ij
, se les conoce con el
nombre de probabilidades de transicin estacionarias.
La Ecc. 2 indica que la ley de probabilidad que relaciona el estado tomado en el siguiente periodo con el
estado actual del sistema no cambia, o que permanece estacionaria, en el tiempo. Por este motivo, a
menudo se llama Hiptesis de estabilidad a la ecuacin (2). Toda cadena de Markov que cumple con la
Ecc. 2 se llama cadena estacionaria de Markov.
En la mayora de las aplicaciones, las probabilidades de transicin se presentan como una matriz P de
probabilidad de transicin s s. La matriz de probabilidad de transicin P se puede escribir como
(
(
(
(

=
SS S S
S
S
p p p
p p p
p p p

2 1
2 22 21
1 12 11
P
4
Dado que el estado es i en el tiempo t, el proceso debe estar en algn lugar en el tiempo t + 1. Esto significa
que para cada i,
1 ) | (
1
1
= = =

=
+
s
j
t t
i X j P X o bien que 1
1
=

=
s
j
ij
p
Tambin sabemos que cada elemento de la matriz P debe ser no negativo. Por lo tanto, todos los elementos
de la matriz de probabilidad de transicin son no negativos y adems, los elementos de cada rengln deben
sumar 1.
El estudio de las cadenas de Markov tambin necesita que se defina q
i
como la probabilidad de que la
cadena se encuentre en el estado i en el tiempo 0; en otras palabras, P(X
0
= i) = q
i
. Al vector q = [q
1
, q
2
, ., q
s
]
se le llama distribucin inicial de probabilidad de la cadena de Markov.
Ejemplo 2.1 La ruina del jugador (continuacin). Encuentre la matriz de transicin del Ejemplo 1.1.
Solucin Como la cantidad de dinero que tengo despus de t + 1 jugadas depende de los
antecedentes del juego slo hasta la cantidad de efectivo que tengo despus de t jugadas,
no hay duda que se trata de una cadena de Markov. Debido a que como las reglas del juego
no varan con el tiempo, tambin tenemos una cadena de Markov estacionaria. La matriz de
transicin es la siguiente:
Estado
0 1 2 3 4
0 1 0 0 0 0
1 1 - p 0 P 0 0
P = 2 0 1 - p 0 P 0
3 0 0 1 p 0 p
4 0 0 0 0 1
Si el estado es 0 o 4 no juego ms y, por lo tanto, el estado no puede cambiar; entonces p
00
=
p
44
= 1. Para los dems estados sabemos que, con probabilidad p, el estado del siguiente
periodo ser mayor que el estado actual en 1, y con probabilidad 1 - p, el estado del siguiente
periodo ser menor en 1 que el estado actual.
Una matriz de transicin se puede representar con una grfica en la que cada nodo
represente un estado y arc(i, j) represente la probabilidad de transicin p
ij
. La Fig. 1 es una
representacin grfica de la matriz de probabilidad de transicin para este ejemplo.
Figura 1
Representacin grfica
de la matriz de
transicin para el
ejemplo de la ruina del
jugador

Ejemplo 2.2 (Continuacin) Determine la matriz de transicin del Ejemplo 1.2 de la seccin anterior.
Solucin Como el estado de la urna despus del siguiente lanzamiento de la moneda depende slo
del pasado del proceso hasta el estado de la urna despus del lanzamiento actual, se trata
de una cadena de Markov. Adems, las reglas no varan a travs del tiempo y por lo tanto
tenemos una cadena estacionaria de Markov. La matriz de transicin para el Ejemplo 1.2 es
la siguiente:



5
Estado
[0, 1, 1] [0, 2, 0] [0, 0, 2] [2, 0, 0] [1, 1, 0] [1, 0, 1]


P =
[0, 1, 1] 0 0 0 0
[0, 2, 0] 1 0 0 0 0 0
[0, 0, 2] 1 0 0 0 0 0
[2, 0, 0] 0 0 0 0
[1, 1, 0] 0 0 0
[1, 0, 1] 0 0 0
Para ver cmo se forma la matriz de transicin, determinaremos el rengln [1, 1, 0]. Si el
estado actual es [1, 1, 0], dadas las condiciones del problema, no es posible pasar a
cualquiera de los estados [0, 0, 2], [2, 0, 0] y [1, 1, 0] y por lo tanto la probabilidad de
transicin del estado [1, 1, 0] a cualquiera de estos estados es cero. Ahora bien, si el estado
es [1, 1, 0] para alcanzar el estado [0, 2, 0] debe ocurrir que se escoge una bola sin pintar
(con probabilidad ) y que el resultado del lanzamiento de la moneda sea cara (con
probabilidad ), lo que da una probabilidad de . Pero si lo que ocurre es que se saca una
bola sin pintar (con probabilidad ) y el resultado del lanzamiento de la moneda es sello (con
probabilidad ) se alcanza el estado [0, 1, 1] con probabilidad . Finalmente, si se escoge la
bolla roja (con probabilidad de ), sin importar el resultado del lanzamiento de la moneda a
esta se le cambiar el color y se alcanza as el estado [1, 0, 1] con probabilidad . Lo
anterior se resume en la Tabla 1.
Tabla 1
Clculos de las
probabilidades de
transicin si el estado
actual es [1, 1, 0]
EVENTO PROBABILIDAD ESTADO NUEVO
Sacar cara en el lanzamiento y escoger un a bola sin pintar [0, 2, 0]
Escoger bola roja [1, 0, 1]
Sacar cruz en el lanzamiento y escoger una bola sin pintar [0, 1, 1]
En la Fig. 2 se da una representacin grfica de esta matriz de transicin.
Figura 2
Representacin
grfica de la matriz
de transicin para el
ejemplo de la urna

Ejemplo 2.3 (Continuacin) En los ltimos aos, los estudiantes de finanzas han dedicado mucho
esfuerzo a contestar la pregunta de si el precio diario de una accin se puede describir
mediante una cadena de Markov. Supongamos que el precio diario de una accin, como el
de la compaa de computadoras CSL, se puede representar por una cadena de Markov.
Qu nos dice esto? Simplemente que la distribucin de probabilidad del precio de las
acciones maana depende slo del precio de hoy, pero no de los precios anteriores. Si el
precio de una accin se puede representar como cadena de Markov, los tablistas que
tratan de predecir los precios futuros sobre la base de los comportamientos seguidos durante
el pasado estn mal. Por ejemplo, supongan que el precio diario de una accin de CSL sigue
una cadena de Markov y el precio de hoy es 50 dlares. Entonces, para predecir el precio de
maana no importa si el precio ha aumentado o disminuido durante cada uno de los ltimos
30 das. En cualquier caso, o en cualquier otro caso que pudiera haber conducido al precio
actual de 50 dlares, la prediccin del precio de maana se debe basar slo en el hecho de
6
que hoy el precio de esas acciones es de 50 dlares. En la actualidad, el consenso es que
para la mayor parte de las acciones, su cotizacin diaria se puede describir con una cadena
de Markov. A esta idea se le llama con frecuencia hiptesis del mercado eficiente.
Ejemplo 2.4 Problema de inventario (continuacin). Encontrar la matriz de transicin para el ejemplo
1.4, suponiendo que D
t
tiene una distribucin de probabilidad Poisson con parmetro = 1
3
.
Solucin Para obtener p
00
es necesario evaluar P(X
t+1
=0 | X
t
=0). Si X
t
=0, entonces X
t+1
= mx{(3 D
t+1
),
0}, segn la Ecc 1. Pero como X
t+1
=0, 3 D
t+1
s 0 y por lo tanto D
t+1
> 3. As, p
00
= P(D
t+1
> 3) =
1 - P(D
t+1
s 2) = .080; y p
10
= P(X
t+1
=0 | X
t
=1) se puede obtener de una manera parecida. Si
X
t
=1, entonces X
t+1
= mx{(1 D
t+1
), 0}. Pero como X
t+1
=0, 1 D
t+1
s 0 y por lo tanto la
demanda debe ser 1 o ms. Por esto, p
10
= P(D
t+1
> 1) = 1 - P(D
t+1
= 0) = .632. Para encontrar
p
21
= P(X
t+1
=1 | X
t
=2), observe que X
t+1
= mx{(2 D
t+1
), 0} si X
t
=2. En consecuencia, si X
t+1
=1,
entonces la demanda durante la semana tiene que ser exactamente 1. Por lo tanto, p
21
=
P(D
t+1
=1) = .368. Los elementos restantes se obtienen en forma similar, lo que lleva a la
siguiente matriz de transicin:
3 2 1 0
(
(
(
(

=
368 . 368 . 184 . 080 .
0 368 . 368 . 264 .
0 0 368 . 632 .
368 . 368 . 184 . 080 .
3
2
1
0
P
La Fig. 3 muestra la representacin grfica de esta matriz de transicin.
Figura 3
Representacin grfica para
la matriz de transicin para
el problema de inventario.

PROBLEMAS

3
La distribucin Poisson esta dada por:

\
|
=
= =

caso otro cualquier en , 0
, 2 , 1 , 0 Si
!
) (
x
x
e
x P
x

X
7
GRUPO A
1. En una ciudad, al 90% de los das soleados siguen
das soleados, y al 80% de los das nublados
siguen das nublados. Con esta informacin
modelar el clima de la ciudad como cadena de
Markov.
2. Suponga que la probabilidad de lluvia maana es
0.5 si hoy llueve y que la probabilidad de un da
claro (sin lluvia) maana es 0.9 si hoy est claro.
Suponga adems que estas probabilidades no
cambian si tambin se proporciona informacin
sobre el clima de das anteriores a hoy.
a) Explique por qu las suposiciones
establecidas implican que la propiedad
markoviana se cumple para la evolucin del
clima.
b) Formule la evolucin del clima como una
cadena de Markov definiendo sus estados y
dando su matriz de transicin (de un paso).
3. Considere que si el precio de una accin sube o no
maana depende de si subi o no hoy y ayer. Si la
accin subi hoy y ayer, maana subir con
probabilidad o
1
. Si la accin subi hoy y ayer baj,
maana subir con probabilidad o
2
. Si la accin
baj hoy y ayer subi, la probabilidad de que suba
maana es o
3
. Por ltimo, si la accin baj hoy y
ayer, la probabilidad de que suba maana es o
4
.
Modele esta situacin como una cadena de Markov
y determine la matriz de transicin de un paso.
4. Reconsidere el problema 3. Suponga ahora que el
hecho que la accin suba maana depende de si
subi o no hoy, ayer y antier. Puede este
problema formularse como una cadena de Markov?
Si se puede, cules son los estados posibles?
Explique por qu estos estados dan al proceso la
propiedad markoviana mientras que si definen
como se hizo para los estados en el problema
anterior esto no ocurre.
5. Una fbrica tiene dos mquinas. Durante cualquier
da, cada mquina que trabaja al principio del da
tiene probabilidad x de descomponerse. Si se
descompone una mquina durante el da, se
manda a un taller de reparacin y estar
trabajando despus que se descompuso. Por
ejemplo, si una mquina se descompone durante el
da 3, estar trabajando al principio del da 5. Si se
hace que el estado del sistema sea el nmero de
mquinas que trabajan al principio del da, formule
una matriz de probabilidad de transicin para este
caso.

GRUPO B
6. En relacin con el problema 1, suponga que el
tiempo de maana en la ciudad depende del
tiempo que haya prevalecido los ltimos dos das,
como sigue: (1) Si los ltimos dos das han sido
soleados, entonces el 95% de las veces maana
ser soleado. (2) Si ayer estuvo nublado y hoy
soleado, entonces el 70% de veces maana estar
soleado. (3) Si ayer estuvo soleado y hoy est
nublado, entonces el 60% de las veces maana
estar nublado. (4) Si los ltimos dos das fueron
nublados, entonces el 80% de las veces maana
ser nublado.
Con esta informacin modele el clima de la ciudad
como cadena de Markov. Si el tiempo de maana
dependiera del de los ltimos tres das, cuntos
estados se necesitaran para modelar el clima
como cadena de Markov? Nota: El mtodo que se
usa en este problema se puede aplicar para
modelar un proceso estocstico de tiempo discreto
como cadena de Markov, aun si X
t+1
depende de
los estados anteriores a X
t
, tal como X
t-1
en este
ejemplo.
7. En el Prob. 3, suponga que una mquina que se
descompone regresa al servicio tres das despus.
Por ejemplo, la mquina que se descompone
durante el da 3 estar trabajando al principio del
da 6. Determine una matriz de transicin de
probabilidad para este caso.
1.3 PROBABILIDADES DE TRANSICIN DE n ETAPAS
Suponga que estudiamos una cadena de Markov con matriz P de probabilidad de transicin conocida. Como
todas las cadenas con las que trataremos son estacionarias, no nos importar identificar nuestras cadenas
de Markov como estacionarias. Una pregunta de inters es: si una cadena de Markov est en el estado i en
el tiempo t, cul es la probabilidad que n perodos despus la cadena de Markov est en el estado j? Como
se trata de una cadena de Markov estacionaria, esta probabilidad ser independiente de t y, por lo tanto,
podemos escribir
P(X
t+n
= j | X
t
= i) = P(X
n
= j | X
0
= i) = P
ij
(n)
donde p
ij
(n) se llama probabilidad en la etapa n de una transicin del estado i al estado j.
Es claro que p
ij
(1) = p
ij
. Para determinar p
ij
(2) ntese que si el sistema se encuentra hoy en el estado i,
entonces para que el sistema termine en el estado j dentro de 2 periodos, debe pasar del estado i al estado
k y despus pasar del estado k al estado j (Fig. 3). Este modo de razonar nos permite escribir
8

=
=
=
s k
k
ij
j k k i p
1
) a de n transici de ad probabilid )( a de n transici de dad (probabili ) 2 (
De acuerdo con la definicin de P, la matriz de probabilidad de transicin, replanteamos la ltima ecuacin
en la siguiente forma:

=
=
=
s K
k
kj ik ij
p p p
1
) 2 ( (4)
El segundo miembro de la ecuacin (3) es tan slo el producto escalar del rengln i de la matriz P por la
columna j de esa matriz. Por lo tanto, p
ij
(2) es el ij-simo elemento de la matriz P
2
. Generalizando este modo
de razonar, se puede demostrar que para n > 1,
P
ij
(n) = elemento ij-simo de P
n
(5)
La Ecc. 4 es conocida como Ecuacin de ChapmanKolmogorov.
Figura 4
p
ij
(2) = p
i1
p
1j
+ p
i2
p
2j
+
+ p
is
p
sj


Naturalmente, para n = 0, p
ij
(0) = P(X
0
= j | X
o
=i) y, por lo tanto, debemos escribir

=
=
=
i j
i j
p
ij
si 0
si 1
) 0 (
En el Ejem. 3.1 mostraremos el uso de la ecuacin (5).
Ejemplo 3.1 Ejemplo de Cola. Suponga que toda la industria de refrescos produce dos colas. Cuando
una persona ha comprado la cola 1, hay una probabilidad de 90% de que su siguiente
compra sea de cola 1. Si una persona compr cola 2, hay 80% de probabilidades que su
prxima compra sea de cola 2.
1. Si actualmente una persona es comprador de cola 2, cul es la probabilidad que compre
cola 1 pasadas dos compras a partir de hoy?
2. Si en la actualidad una persona es comprador de cola 1, cul es la probabilidad que
compre cola 1 pasadas tres compras a partir de ahora?
Solucin Consideraremos que las compras de cada una de las personas son una cadena de Markov,
y que el estado en cualquier momento es el tipo de cola que compr la persona por ltima
vez. Por lo tanto, las compras de cola por parte de cada una de las personas se pueden
representar con una cadena de Markov de dos estados donde
Estado 1 = la persona acaba de comprar cola 1
Estado 2 = la persona acaba de comprar cola 2
Si definimos X
n
como el tipo de cola que compra una persona en la n-sima compra futura (la
compra actual = X
0
), entonces X
0
, X
1
, . se pueden describir como una cadena de Markov
con la siguiente matriz de transicin:
9
1 2
P =
1 0.90 0.10
2 0.20 0.80
Podemos contestar ahora las preguntas 1 y 2.
1. Se busca P(X
2
= 1 | X
0
= 2) =p
21
(2) = elemento 21 de P
2
:
(

=
(

=
66 . 0 34 . 0
17 . 0 83 . 0
80 . 0 20 . 0
10 . 0 90 . 0
80 . 0 20 . 0
10 . 0 90 . 0
2
P
Por lo tanto, p
21
(2) = 0.34. Esto significa que hay probabilidad 0.34 de que la persona que
compra cola 2 compre cola 1, despus de dos compras a partir de ahora. Con la teora
bsica de probabilidad, podemos obtener esta respuesta siguiendo un camino distinto (Fig.
4). Ntese que p
21
(2) = (probabilidad que la siguiente compra sea cola 1 y la segunda sea
cola 1) + (probabilidad que la siguiente compra sea cola 2 y la segunda sea cola 1) = p
2I
p
11
+
p
22
p
21
= (0.20)(0.90) + (0.80)(0.20) =0.34.
Figura 5
Probabilidad de que a
dos periodos a partir de
ahora, un comprador de
cola 2 compre cola 1.

2. Buscamos p
11
(3) = elemento 11 de P
3
:
(

=
(

= =
562 . 0 438 . 0
219 . 0 781 . 0
66 . 0 34 . 0
17 . 0 83 . 0
80 . 0 20 . 0
10 . 0 90 . 0
) (
2 3
P P P
Por lo tanto, p
11
(3) = 0.781.
En muchos casos conocemos el estado de la cadena de Markov en el tiempo 0. Como se defini en la Secc.
1.2, sea q
i
la probabilidad que la cadena est en el estado i en el tiempo 0. Entonces podemos determinar la
probabilidad de que el sistema est en el estado i en el tiempo n mediante el siguiente razonamiento (Fig. 5):
Figura 6
Determinacin de la
probabilidad de estar en
el estado j en el tiempo
n cuando se desconoce
el estado inicial

Probabilidad de estar en el estado j en el tiempo n
10

=
=
=
s i
i 1
(probabilidad de que el estado original sea i)
X (probabilidad de pasar de i a j en n transiciones)

=
=
=
s i
i
ij i
n p q
1
) (
= q (columna j de P
n
) (6)
donde q = [q
1
, q
2
, ..., q
n
].
Para mostrar el uso de la ecuacin (6) contestaremos la siguiente pregunta: supongamos que el 60% de toda
la gente toma hoy cola 1 y el 40% cola 2. A tres compras a partir de ahora, qu fraccin de los compradores
estar tomando cola 1? Como q =[.60, .40] y
q (columna 1 de P
3
) = probabilidad de que a tres compras a partir de este momento una
persona tome cola 1,
la probabilidad que se busca es
| | 6438 . 0
438 . 0
781 . 0
40 . 0 60 . 0 =
(


Por lo tanto, a tres compras de este momento el 64% de las personas estar comprando cola 1.
Para mostrar el comportamiento de las probabilidades de transicin en n etapas para grandes valores de n,
hemos calculado algunas de las probabilidades transicin de n etapas para el ejemplo de la cola y se
muestran en la Tabla 2. Cuando n es grande, p
11
(n) y p
21
(n) son casi constantes y tienden a .67. Esto quiere
decir que para n grande, independientemente del estado inicial, hay una probabilidad de 0.67 de que una
persona compre cola 1. Igualmente, vemos que para n grande, tanto p
12
(n) como p
22
(n) son casi constantes y
tienden a 0.33. Esto significa que para n grande, haciendo caso omiso del estado inicial, hay una
probabilidad 0.33 de que una persona sea comprador de cola 2. En la Secc. 1.5 estudiaremos con
detenimiento estas tendencias de probabilidad de transicin en la etapa n.
Tabla 2
Probabilidades de
transicin en n etapas
para el ejemplo de Cola
n P
11
(n) P
12
(n) P
21
(n) P
22
(n)
1 0.90 0.10 0.20 0.80
2 .83 0.17 0.34 0.66
3 .078 0.22 0.44 0.56
4 0.75 0.25 0.51 0.49
5 0.72 0.28 0.56 0.44
10 0.68 0.32 0.65 0.35
20 0.67 0.33 0.67 0.33
30 0.67 0.33 0.67 0.33
40 0.67 0.33 0.67 0.33
PROBLEMAS
GRUPO A
1. Cada familia colombiana se puede clasificar como
habitante de zona urbana, rural o suburbana.
Durante un ao determinado, el 15% de todas las
familias urbanas se cambian a una zona suburbana
y el 5% se cambian a una zona rural. Tambin, el
6% de las familias suburbanas pasan a zona
urbana y el 4% se mudan a zona rural. Por ltimo,
el 4% de las familias rurales pasan a una zona
urbana y el 6% se mudan a una zona suburbana.
(a) Si una familia actualmente vive en una zona
urbana, cul es la probabilidad que despus
de 2 aos viva en zona urbana? En zona
suburbana? En zona rural?
(b) Supongamos que en la actualidad el 40% de
las familias viven en zona urbana, el 35% en
11
zona suburbana y el 25% en zona rural.
Despus de dos aos, qu porcentaje de las
familias colombianas vivir en zona urbana?
(c) Qu problemas se pueden presentar si este
modelo se usara para predecir la distribucin
futura de la poblacin en Colombia?
2. Se pregunta lo siguiente acerca del Problema de la
ruina del jugador (Secc. 1 y Secc. 2).
(a) Despus de jugar dos veces, cul es la
probabilidad que tenga $3,000? Cul la de
que tenga $2,000?
(b) Despus de jugar tres veces, cul es la
probabilidad que tenga $2,000?
3. En el Ejem. 2.2, determine las siguientes
probabilidades de transicin en n etapas:
(a) Despus de haber pintado 2 bolas, cul es la
probabilidad que el estado sea [0, 2, 0]?
(b) Despus de haber pintado tres bolas, cul es
la probabilidad que el estado sea [0, 1, 1]?
Trace un diagrama como el de la Fig. 5.
4. Reconsidere el problema 2 de la seccin anterior.
(a) Encuentre la matriz de transicin de n
transiciones P(n) para n = 2, 5, 10, 20.
(b) La probabilidad de que llueva hoy es 0.5. Use
los resultados del inciso (a) para determinar la
probabilidad de que llueva dentro de n das,
para n = 2, 5, 10, 20.
5. Suponga que una red de comunicaciones transmite
dgitos binarios, 0 o 1, en donde cada dgito se
transmite 10 veces sucesivas. Durante cada
transmisin, la probabilidad de que ese dgito se
transmita correctamente es de .99. En otras
palabras, se tiene una probabilidad de .01 de que el
dgito transmitido se registre con el valor opuesto al
final de la transmisin. Si X
0 denota el dgito binario
que entra al sistema, X
1 el dgito binario registrado
despus de la primera transmisin, X
2
el dgito
binario registrado despus de la segunda
transmisin, ., entonces {X
t
} es una cadena de
Markov.
(a) Determine la matriz de transicin.
(b) Disee un programa que permita encontrar la
matriz de transicin de 10 pasos P(10). Use
este resultado para identificar la probabilidad
de que un dgito que entra a la red se registre
correctamente despus de la ltima
transmisin.
(c) Suponga que la red se redisea para mejorar
la probabilidad de la exactitud de una sola
transmisin de 0.99 a 0.999. Repita el inciso (b)
para encontrar la nueva probabilidad de que
un dgito que entra a la red se registre
correctamente despus de la ltima
transmisin.
6. Una partcula se mueve sobre un crculo por
puntos marcados 0, 1, 2, 3, 4 (en el sentido de las
manecillas del reloj). La partcula comienza en el
punto 0. En cada paso tiene una probabilidad de
0.5 de moverse un punto en el sentido de las
manecillas del reloj (0 sigue al 4) y una probabilidad
de 0.5 de moverse un punto en el sentido opuesto.
Sea X
n
(n > 0) la localizacin en el crculo despus
del paso n; {X
n
} es entonces una cadena de
Markov.
(a) Encuentre la matriz de transicin.
(b) Use el programa hecho en el problema
anterior para determinar la matriz de transicin
P(n) para n = 5, 10, 20, 40, 80.
1.4 CLASIFICACIN DE ESTADOS EN UNA CADENA DE MARKOV
En la Secc. 1.3 se mostr que despus de muchas transiciones, las probabilidades de transicin de n etapas
tienden a estabilizarse. Antes de poder describir esto con ms detalle, necesitamos estudiar cmo los
matemticos clasifican los estados de una cadena de Markov. La siguiente matriz de transicin se usar
para mostrar la mayora de las definiciones siguientes (Fig. 6):
(
(
(
(
(
(

=
2 . 0 8 . 0 0 0 0
1 . 0 4 . 0 5 . 0 0 0
0 7 . 0 3 . 0 0 0
0 0 0 5 . 0 5 . 0
0 0 0 6 . 0 4 . 0
P
DEFINICIN Dados dos estados i y j, la trayectoria de i a j es la sucesin de transiciones que
comienza en i y termina en j, de modo que cada transicin de la secuencia tenga
probabilidad positiva de presentarse.
12
Figura 7
Representacin grfica
de la matriz de
transicin

DEFINICIN Un estado j es alcanzable desde un estado i si hay una trayectoria que vaya de i a j , es
decir, si para algn n >1, p
ij
(n) > 0.
Entonces, que el estado j sea alcanzable desde el estado i significa que es posible que el sistema llegue
eventualmente al estado j si comienza en el estado i.
DEFINICIN Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i es alcanzable
desde j.
Para la matriz P de probabilidad de transicin representada en la Fig. 6, el estado 5 es alcanzable desde el
estado 3 (a travs de la trayectoria 345), pero el estado 5 no es alcanzable desde el estado 1 (no hay
trayectoria que vaya de 1 a 5 en la Fig. 6). Tambin, los estados 1 y 2 se comunican: podemos pasar de 1 a
2 y de 2 a 1.
DEFINICIN Un conjunto de estados S en una cadena de Markov es conjunto cerrado si ningn
estado fuera de S es alcanzable desde un estado en S.
De la cadena de Markov con la matriz P de la Fig. 6, tanto S
1
= {1, 2} como S
2
={3, 4, 5} son conjuntos
cerrados. Observe que una vez que entramos a un conjunto cerrado no podemos dejarlo nunca. En la Fig. 6
ningn arco comienza en S
1
y termina en S
2
o principia en S
2
y termina en S
1
. Es evidente que todos los
estados de un conjunto cerrado se comunican y por lo tanto estos no son ms que clases de equivalencia
inducidas por la relacin de comunicacin.
DEFINICIN Una cadena de Markov es irreducible si todos sus estados pertenecen al mismo
conjunto cerrado.
Lo anterior significa que todos los estados de la cadena pertenecen a la misma clase de equivalencia
inducida por la relacin de comunicacin y por lo tanto todos sus estados se comunican. El problema de
inventario corresponde a una cadena de Markov irreducible (Fig. 3), ya que todos sus estados se comunican.
DEFINICIN Un estado i es estado absorbente si p
ii
= 1
Siempre que entramos a un estado de absorcin, nunca lo podremos dejar. En el Ejem. 1, la ruina del
jugador, los estados 0 y 4 son absorbentes. Es natural que un estado absorbente sea un conjunto cerrado
que slo contenga un estado.
DEFINICIN Un estado i es estado transitorio si exite un estado j alcanzable desde i, pero el estado i
no es alcanzable desde el estado j.
En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se
regrese a l. En el ejemplo de la ruina del jugador, los estados 1, 2 y 3 son estados transitorios. Por ejemplo
13
(Fig. 1), desde el estado 2 es posible pasar por la trayectoria 234, pero no hay modo de regresar al
estado 2 desde el estado 4. Igualmente, en el Ejem. 2.1, [2, 0, 0], [1, 1, 0] y [1, 0, 1] son estados transitorios.
En la Fig. 2, hay una trayectoria desde [1, 0, 1] a [0, 0, 2], pero una vez que se hayan pintado ambas bolas,
no hay manera de regresar a [1, 0, 1].
Despus de un gran nmero de periodos, la probabilidad de encontrarse en cualquier estado de transicin i
es cero. Cada vez que entramos a un estado i de transicin, hay una probabilidad positiva de dejar i para
siempre y terminar en el estado j, descrito en la definicin de estado transitorio. As, al final, tenemos la
seguridad de entrar al estado j (y en ese caso nunca regresaremos al estado i). As, suponga que en el
Ejem. 2.2 nos encontramos en el estado transitorio [1, 0, 1]. Con probabilidad 1, la bola no pintada la
pintaremos finalmente y nunca regresaremos a ese estado [1, 0, 1] (Fig. 2).
DEFINICIN Si un estado no es transitorio, se llama estado recurrente.
En el Ejem. 2.1, los estados 0 y 4 son estados recurrentes (y tambin estados absorbentes
4
). En el Ejem.
2.2, [0, 2, 0], [0, 0, 2] y [0, 1, 1] son estados recurrentes. Para la matriz de transicin de la Fig. 7 todos los
estados son recurrentes.
La recurrencia es una propiedad de clase, es decir, todos los estados de una clase (o conjunto cerrado) son
recurrentes o son transitorios. Entonces, todos los estados de una cadena de Markov de estado finito
irreducible son recurrentes
DEFINICIN Un estado i es peridico con periodo k >1 si k es el menor nmero tal que todas las
trayectorias que parten del estado i y regresan al estado i tienen una longitud mltiplo de
k. Si un estado recurrente no es peridico, se llama aperidico.
Al igual que la recurrencia es una propiedad de clase, tambin lo es la periodicidad. Esto es, si el estado i en
una clase tiene perodo k, todos los estados de esta clase (o conjunto cerrado) tienen perodo k.
Para la cadena de Markov cuya matriz de transicin es
(
(
(

=
0 0 1
1 0 0
0 1 0
Q
cada estado tiene periodo 3. Por ejemplo, si comenzamos en el estado 1, la nica manera de regresar a ese
estado es seguir la trayectoria 1231 durante, digamos, m veces (Fig. 8). Por lo tanto, cualquier regreso
al estado 1 tomar 3m transiciones, de modo que el estado 1 tiene periodo 3. Donde nos encontremos,
tenemos la seguridad de regresar all tres periodos despus.
Figura 8
Cadena peridica de
Markov con k = 3.


DEFINICIN Si todos los estados de una cadena son recurrentes, aperidicos y se comunican entre s,
se dice que la cadena es ergdica.
El ejemplo de la ruina del jugador no es cadena ergdica porque, por ejemplo, los estados 3 y 4 no se
comunican. El Ejem. 2 tampoco es una cadena ergdica porque, por ejemplo, [2, 0, 0] y [0, 1, 1] no se

4
Todo estado absorbente es recurrente. Lo contrario no es cierto.
14
comunican. El Ejem. 4, el ejemplo de la cola, es cadena ergdica de Markov. De las siguientes tres cadenas
de Markov, P
1
y P
3
son ergdicas y P
2
no es ergdica.
(
(
(

=
4
3
4
1
2
1
2
1
3
2
3
1
1
0
0
0
P Ergdica
(
(
(
(
(

=
4
3
4
1
3
1
3
2
2
1
2
1
2
1
2
1
0 0
0 0
0 0
0 0
2
P No ergdica
(
(
(

=
3
1
3
2
3
1
3
2
4
1
2
1
4
1
0
0
3
P Ergdica
P
2
no es ergdica porque hay dos clases cerradas de estados (la clase 1 = {1, 2} y la clase 2 = {3, 4}) y los
estados en clases diferentes no se comunican entre s.
Despus de las prximas dos secciones, la importancia del concepto presentado en esta seccin ser
aclarada.
PROBLEMAS
GRUPOA
1. En el Ejem. 2.1, cul es el periodo de los estados
1 y 3?
2. La cadena de Markov de la Secc. 1.3, Prob. 1, es
ergdica?
3. Se tiene la siguiente matriz de transicin:
(
(
(
(
(
(
(
(

=
3
2
3
1
2
1
4
1
4
1
0 0 0 0
0 0 0 0 0 1
0 0 0
0 1 0 0 0 0
1 0 0 0 0 0
0 0 0 1 0 0
P
(a) Cules estados son transitorios?
(b) Cules estados son recurrentes?
(c) Identifique todos los conjuntos cerrados de
estados.
(d) Es ergdica esa cadena?
4. Para cada una de las siguientes matrices.
Determine si la cadena de Markov es ergdica.
Tambin, para cada cadena, determine los estados
recurrentes, transitorios y absorbentes.
(
(
(

=
1 . 5 . 4 .
0 7 . 3 .
2 . 8 . 0
1
P
(
(
(
(
(

=
1 0 0 0
0 1 . 5 . 4 .
1 . 9 . 0 0
0 0 8 . 2 .
2
P
5. En la Serie Mundial de Pquer de 1980 participaron
54 jugadores. Cada uno de ellos comenz con
10000 dlares. Los juegos continuaron hasta que
uno de los jugadores gan todo el dinero de los
dems. Si se modelara esta Serie Mundial como
cadena de Markov, cuntos estados absorbentes
tendra esa cadena?
6. Cul de las siguientes cadenas es ergdica?
(
(
(

=
5 . 5 . 0
4 . 3 . 3 .
6 . 0 4 .
1
P
(
(
(
(
(

=
8 . 0 0 2 .
2 . 1 . 1 . 6 .
2 . 4 . 2 . 2 .
3 . 0 0 7 .
2
P
1.5 PROBABILIDADES DE ESTADO ESTABLE Y TIEMPOS MEDIOS DE PRIMER PASAJ E
En nuestra descripcin del ejemplo de Cola (Ejem. 4), encontramos que despus de largo tiempo, la
probabilidad de que la siguiente compra de una persona fuera de cola 1 tiende a 0.67, y la de que la compra
siguiente fuera de cola 2 a 0.33 (Tabla 2). Estas probabilidades no dependieron de si la persona era al
principio tomador de cola 1 o de cola 2. En esta seccin describiremos el importante concepto de
probabilidades de estado estable, el cual se puede usar para describir el comportamiento de una cadena de
Markov a largo plazo.
El resultado siguiente es vital para comprender las probabilidades de estado estable y el comportamiento a
largo plazo de cadenas de Markov.
TEOREMA 1 Sea P la matriz de transicin de una cadena ergdica de s estados
5
. Existe entonces un
vector | |
s
t t t t
2 1
= tal que

5
Para ver por qu el teorema 1 no puede ser vlido para una cadena no ergdica, vanse los problemas 9 y 10 al final de esta seccin.
15
(
(
(
(

=

s
s
s
n
t t t
t t t
t t t

2 1
2 1
2 1
lim
n
P
Recuerde que el ij-simo elemento de P
n
es p
ij
(n). El teorema 1 establece que para cualquier estado inicial i,
j ij
n
n p t =

) ( lim
Observe que para n grande, P
n
tiende a una matriz con renglones idnticos. Esto quiere decir que despus
de mucho tiempo, la cadena de Markov se estabiliza e, independientemente del estado inicial i, hay una
probabilidad t
j
de que nos encontremos en el estado j.
El vector | |
s
t t t t
2 1
= a menudo se llama distribucin de estado estable, o tambin distribucin
de equilibrio para la cadena de Markov. Cmo podemos encontrar la distribucin de probabilidades
estacionaria para una cadena dada cuya matriz de transicin es P? Segn el teorema 1, para n grande y
para toda i,
p
ij
(n + 1) ~ p
ij
(n) ~ t
j
, (7)
Como p
ij
(n + 1) = (rengln i de P
n
)(columna j de P), podemos escribir

=
= +
s
k
kj ik ij
p n p n p
1
) ( ) 1 ( (8)
Si n es grande, al sustituir la ecuacin (6 ) en la (7) se obtiene

=
=
s
k
kj k j
p
1
t t para j = 0, 1, , s (9)
En forma matricial, la ecuacin (8) se puede escribir como:
t = t P (9')
Desafortunadamente, el sistema de ecuaciones que especifica la ecuacin (8) tiene un nmero infinito de
soluciones, porque el rango de la matriz P siempre resulta s 1. Para obtener valores nicos de
probabilidades de estado estable, note que para toda n y toda i,
p
i1
(n) + p
i2
(n) + ... + p
is
(n) = 1 (10)
Al hacer que n tienda al infinito en la Ecc. (9), obtenemos
t
1
+ t
2
+ ... +t
s
= 1 (11)
As, despus de reemplazar cualquiera de las ecuaciones (9) por (11), podemos usar el nuevo conjunto de
ecuacuines para despejar las probabilidades de estado estable.
Para mostrar cmo determinar las probabilidades de estado estable, las calcularemos para el Ejem. 4, de la
Cola. Recuerde que la matriz de transicin de ese ejemplo era
(

=
80 . 0 20 . 0
10 . 0 90 . 0
P
Entonces las ecuaciones (9) o (9) producen
| | | |
(

=
80 . 0 20 . 0
10 . 0 90 . 0
2 1 2 1
t t t t
16
t
1
= 0.90t
1
+ 0.20t
2

t
2
= 0.10t
1
+ 0.80t
2

Al reemplazar ha segunda ecuacin por la condicin t
1
+ t
2
= 1, obtenemos el sistema
t
1
= 0.90t
1
+ 0.20t
2

1 = t
1
+ t
2

Al despejar t
1
y t
2
, resulta que t
1
= 2/3 y t
2
= 1/3. Por lo tanto, despus de largo tiempo, hay probabilidad 2/3
de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona dada compre cola 2.
ANLISIS DE ESTADO TRANSITORIO
Un vistazo a la Tabla 2 muestra que para el Ejem. 3.1 se alcanza el estado estable, a dos cifras decimales,
slo despus de 10 transiciones. No se puede dar una regla general acerca de qu tan rpido alcanzan las
cadenas de Markov el estado estable, pero si P contiene muy pocos elementos que queden cerca de 0 o de
1, en general, se alcanza en forma muy rpida el estado estable. El comportamiento de una cadena de
Markov antes de alcanzar el estado estable se llama comportamiento transitorio (o a plazo corto). Para
estudiar el comportamiento transitorio de una cadena de Markov, tan slo se usan las frmulas para p
ij
(n) de
las ecuaciones (4) y (5). Sin embargo es bueno saber que para n grande, las probabilidades de estado
estable describen con exactitud la probabilidad de encontrarse en un estado determinado.
INTERPRETACIN INTUITIVA DE LAS PROBABILIDADES DE ESTADO ESTABLE
Se puede dar una interpretacin intuitiva de las ecuaciones (8) de probabilidad de estado estable. Al restar
t
j
p
jj
de ambos lados de (8) se obtiene

=
=
j k
kj k jj j
p p t t ) 1 ( (12)
La ecuacin (11) dice que en el estado estable,
La probabilidad de que el sistema en una transicin determinada deje el estado j
= probabilidad de que en una transicin determinada entre al estado j (13)
Recurdese que en el estado estable, la probabilidad de que el sistema est en el estado j es t
j
. Segn esa
observacin se concluye que
Probabilidad de que una transicin particular deje el estado j
= (probabilidad de que el periodo actual comience en j)
x (probabilidad de que la transicin actual deje j)
= t
j
(1 p
jj
)
y
Probabilidad de que determinada transicin entre al estado j
=

k
(probabilidad de que el periodo actual comience en k = j)
x (probabilidad de que la transicin actual entre a j)
=

= j k
kj k
p t
Es aceptable la ecuacin (12). Si fuese violada para cualquier estado, entonces para un estado j el lado
derecho de (12) sera mayor que el lado izquierdo. Esto ocasionara una probabilidad de acumulacin en el
estado j y no existira una distribucin de estado estable. Se puede considerar que la ecuacin (12) dice que
en el estado estable, el flujo de probabilidad hacia cada estado debe ser igual al flujo de probabilidad que
sale de cada estado. Esto explica por qu las probabilidades de estado estable se llaman con frecuencia
probabilidades de equilibrio.
USO DE LAS PROBABILIDADES DE ESTADO ESTABLE PARA TOMAR DECISIONES
17
Ejemplo 4.1 Suponga, en el Ejem. 3.1, que cada cliente hace una compra de cola durante cualquier
semana (52 semanas = 1 ao). Suponga que hay 100 millones de clientes de cola. La
produccin de una unidad de venta de cola cuesta 1 dlar y se vende a 2 dlares. Una
empresa de publicidad garantiza, por 500 millones de dlares al ao, un decremento del 10%
al 5% de la fraccin de consumidores de cola 1, que se cambian a cola 2 despus de una
compra. Debe contratar a la empresa de publicidad la compaa que fabrica la cola 1?
Solucin En la actualidad, una fraccin t
1
= 2/3 de todas las compras es de cola 1. Cada compra de
cola 1 le deja al fabricante 1 dlar. Como hay un total de 52(100,000,000) = 5,200,000,000 de
compras de cola cada ao, las ganancias actuales del fabricante de cola 1, al ao, son
2/3(5200000000) = 3466666667 dlares
La empresa de publicidad ofrece cambiar la matriz P a
(

=
80 . 0 20 . 0
05 . 0 95 . 0
1
P
Para P
1
, las ecuaciones de estado estable se transforman en
t
1
= 0.95t
1
+ 0.20t
2

t
2
= 0.05t
1
+ 0.80t
2

Al reemplazar la segunda ecuacin por t
1
+ t
2
= 1 y despejar, obtenemos t
1
= 0.8 y t
2
= 0.2.
En este caso, la ganancia anual de la productora de cola 1 ser
(.80)(5200000000) 500000000 = 3660000000 dlares
Por lo tanto, el fabricante de cola 1 debe contratar la agencia de publicidad.
TIEMPOS PROMEDIO DE PRIMER PASAJ E
En una cadena ergdica, sea m
ij
= nmero esperado de transiciones antes de alcanzar por primera vez el estado j, dado
que estamos actualmente en el estado i. m
ij
se llama tiempo promedio de primer pasaje del estado i al estado j. En el
Ejem. 3.1, m
12 sera el nmero esperado de botellas de cola que adquiere un comprador de cola 1, antes de comprar una
botella de cola 2.
Suponga que el sistema se encuentra ahora en el estado i. Entonces, puede suceder que pase en una transicin
directamente al estado j, con probabilidad p
ij
, o que pase a cualquier estado k = j, con probabilidad p
ik
. En este ltimo
caso, se necesitar un promedio de 1 + m
kj
transiciones para pasar de i a j. Este modo de pensar indica que

=
+ + =
j k
kj ik ij ij
m p p m )] 1 ( [ ) 1 ( para j = 1, 2, , s

= =
+ + =
j k
kj ik
j k
ik ij ij
m p p p m para j = 1, 2, , s
Como
1 = +

= j k
ik ij
p p ,
podemos reformular la ltima ecuacin como

=
+ =
j k
kj ik ij
m p m 1 para j = 1, 2, , s (14)
Al resolver las ecuaciones lineales representadas en (14), podemos encontrar todos los tiempos promedios
de primer pasaje. Se puede demostrar que
i
ii
m
t
1
=
18
Con ello se puede simplificar el uso de las ecuaciones (14).
Para mostrar el uso de ellas, despejaremos los tiempos promedio de primer pasaje en el Ejem. 3.1.
Recordemos que t
1
= 2/3 y que t
2
= 1/3. Entonces
5 . 1
1
3
2
11
= = m y 3
1
3
1
22
= = m
Entonces (14) lleva a las dos ecuaciones siguientes:
m
12
=1 +p
11
m
12
= 1 + 0.9m
12
, m
21
= 1 + p
22
m
21
= 1 + 0.8m
21

Resolviendo esas ecuaciones encontrarnos que m
12
= 10 y m
21
= 5. Esto quiere decir que, por ejemplo, una
persona que haba tomado cola 1 tomar un promedio de diez botellas de refresco antes de cambiar a cola
2.
PROBLEMAS
GRUPOA
1. Determine las probabilidades de estado estable
para el Prob. 1 de la Secc. 1.3.
2. En el problema de la ruina del jugador (Ejem. 3),
por qu no es razonable hablar de probabilidades
de estado estable?
3. Para cada una de las siguientes cadenas de
Markov, determine la fraccin de las veces, a largo
plazo, que se ocupar cada estado.
(a)
(

2
1
2
1
3
1
3
2
(b)
(
(
(

0 2 . 8 .
8 . 2 . 0
0 2 . 8 .

(c) Determine todos los tiempos promedio de
primer pasaje del inciso (b).
4. Al principio de cada ao, mi automvil est en
buen, regular o mal estado. Un buen automvil
ser bueno al principio del ao siguiente, con
probabilidad .85, regular con probabilidad .10 y mal
con probabilidad .05. Un automvil regular estar
regular al principio del ao siguiente con
probabilidad 0.70 y mal con probabilidad 0.30.
Cuesta 6000 dlares comprar un buen automvil,
uno regular se puede conseguir por 2000 dlares;
uno malo no tiene valor de venta, y se debe
reemplazar de inmediato por uno bueno. Cuesta
1000 dlares al ao el funcionamiento de un buen
automvil, y 1500 dlares el de uno regular. Debo
reemplazar mi automvil tan pronto como se vuelve
regular, o debo esperar hasta que se
descomponga? Suponga que el costo de
funcionamiento de un automvil durante un ao
depende del tipo de vehculo que se tiene a la
mano al principio del ao (despus de llegar
cualquier auto nuevo, si es el caso).
5. Se dice que una matriz cuadrada es doblemente
estocstica si todos sus elementos son no
negativos y los elementos de cada rengln y cada
columna suman 1. Para cualquier matriz ergdica y
doblemente estocstica, demuestre que todos los
estados tienen la misma probabilidad de estado
estable.
6. Este problema mostrar por qu las probabilidades
de estado estable se llaman a veces
probabilidades estacionarias. Sean t
1
, t
2
,..., t
s
las
probabilidades de estado estable para una cadena
ergdica con matriz P de transicin. Suponga
tambin que la cadena de Markov comienza en el
estado i con probabilidad t
i
.
(a) Cul es la probabilidad que despus de una
transicin el sistema se encuentre en el estado
i? Sugerencia: Usar la Ecc. 8.
(b) Para cualquier valor de n (n = 1, 2,...), cul es
la probabilidad de que una cadena de Markov
se encuentre en el estado i despus de n
transiciones?
(c) Por qu a las probabilidades de estado estable
se les llama a veces probabilidades
estacionarias?
7. Se tienen dos acciones. Las acciones 1 siempre se
venden a 10 dlares o 20 dlares. Si hoy las
acciones 1 se venden a 10 dlares, hay una
probabilidad 0.80 de que maana se vendan a 10
dlares. Si las acciones 1 se venden hoy a 20
dlares, hay una probabilidad 0.90 de que maana
se vendan a 20 dlares. Las acciones 2 siempre
se venden a 10 dlares o a 25 dlares. Si se
venden hoy a 10 dlares, hay una probabilidad 0.90
de que se vendan maana a 10 dlares. Si se
venden hoy a 25 dlares, hay una probabilidad 0.85
de que maana se vendan a 25 dlares. En
promedio, qu acciones se venden a mayor
precio? Determine e interprete todos los tiempos
promedio de primer pasaje.
GRUPO B
8. La compaa de seguros Payoff cobra a sus
clientes de acuerdo a su historia de accidentes. Un
cliente que no haya tenido accidentes durante los
ltimos dos aos paga 100 dlares de prima anual.
Quien haya tenido un accidente en cada uno de los
dos ltimos aos paga una prima anual de 400
dlares. A los que hayan tenido un accidente
19
durante slo uno de los ltimos dos aos se les
cobra una prima anual de 300 dlares. Un cliente
que tuvo un accidente durante el ltimo ao tiene
una probabilidad de 10% de accidentarse durante
este ao. Si un cliente no ha tenido un accidente
durante el ltimo ao, tiene una probabilidad de 3%
de sufrir un accidente durante este ao. Durante un
ao dado, cul es la prima que paga en promedio
un cliente de Payoff? (Sugerencia: En caso de
dificultad, pruebe con una cadena de Markov de
cuatro estados.)
9. Se tiene la siguiente cadena no ergdica:
(
(
(
(
(

=
3
1
3
2
3
2
3
1
2
1
2
1
2
1
2
1
0 0
0 0
0 0
0 0
P
(a) Por qu esta cadena es no ergdica?
(b) Explique por qu falla el teorema 1 en esta
cadena. Sugerencia: Determine si es cierta la
siguiente ecuacin:
) ( ) (
32 12
n p lim n p lim
n n
=
(c) A pesar del hecho que falla el teorema 1,
determine
), (
13
n p lim
N
), (
21
n p lim
n

), (
43
n p lim
n
) (
41
n p lim
n

10. Se tiene la siguiente cadena no ergdica
(
(
(

=
0 0 1
1 0 0
0 1 0
P
(a) Por qu esta cadena es no ergdica?
(b) Explique por qu el teorema 1 falla para esta
cadena. Sugerencia: Demuestre que no existe
) (
11
n p lim
n
al hacer una lista del
comportamiento que sigue P
11
(n) a medida que
aumenta n.
1.6 CADENAS ABSORBENTES
Muchas aplicaciones interesantes de las cadenas de Markov incluyen cadenas en las que algunos de los
estados son absorbentes y el resto son transitorios. A esas cadenas se les llama cadenas absorbentes.
Veamos una cadena absorbente de Markov: si comenzamos en un estado transitorio, entonces al final
tendremos la seguridad de dejar el estado transitorio y terminar en uno de los estados absorbentes. Para ver
por qu nos interesan las cadenas absorbentes, describiremos las siguientes dos situaciones:
Ejempl0 6.1 Cuentas por cobrar El estado de cuentas por cobrar en una empresa se modela con
frecuencia como cadena absorbente de Markov
6
. Suponga que una empresa supone que
una cuenta es incobrable si han pasado ms de tres meses de su fecha de vencimiento.
Entonces, al principio de cada mes, se puede clasificar cada cuenta en uno de los siguientes
estados especficos:

Estado 1 Cuenta nueva.
Estado 2 Los pagos de la cuenta estn retrasados un mes.
Estado 3 Los pagos de la cuenta estn retrasados dos meses.
Estado 4 Los pagos de la cuenta estn retrasados tres meses.
Estado 5 Se ha saldado la cuenta.
Estado 6 Se ha cancelado la cuenta por ser mal pagador
Supongamos que los ltimos datos indican que la siguiente cadena de Markov describe
cmo cambia el estado de una cuenta de un mes al siguiente:
Nueva 1 mes 2 meses 3 meses Pagada Incobrable
Nueva 0.0 0.6 0.0 .0.0 0.4 0.0
1 mes 0.0 0.0 0.5 0.0 0.5 0.0
2 meses 0.0 0.0 0.0 0.4 0.6 0.0
3 meses 0.0 0.0 0.0 0.0 0.7 0.3
Pagada 0.0 0.0 0.0 0.0 1.0 0.0
Incobrable 0.0 0.0 0.0 0.0 0.0 1.0

6
Este ejemplo se basa en Cyert, Davidson y Thompson (1963).
20
Por ejemplo, si al principio de un mes una cuenta lleva dos meses de vencida, hay 40% de
probabilidades de que no se pague al principio del mes siguiente y, por lo tanto, que tenga
tres meses de retraso y una probabilidad de 60% de que se pague.
Para simplificar el ejemplo, supondremos que despus de tres meses, la cuenta o se cobra o
se considera incobrable. Una vez que una deuda se paga o se considera incobrable, se
cierra y no se tienen ms transiciones. Por lo tanto, Pagada e Incobrable son estados
absorbentes. Como toda cuenta al final o se paga o se considera incobrable, las cuentas
Nueva, 1 mes, 2 meses y 3 meses son estados transitorios. Por ejemplo, una cuenta vencida
hace 2 meses puede seguir la trayectoria 2 meses pagada, pero no hay regreso posible de
Pagada a 2 meses.
Una cuenta nueva normal ser absorbida ya sea como pagada o como incobrable. Una
pregunta de mayor inters es: cul es la probabilidad de que una cuenta nueva finalmente
se pueda cobrar? Ms adelante en esta seccin se encontrar la respuesta.
Ejemplo 6.2 Planificacin de personal La empresa de abogados Mason y Burger emplea a tres
categoras de abogados: principiantes, con experiencia y socios. Durante un ao
determinado hay una probabilidad 0.15 que un abogado principiante sea ascendido a
abogado con experiencia y una probabilidad 0.05 que deje la empresa. Tambin, hay una
probabilidad 0.20 que un abogado con experiencia sea ascendido a socio y una probabilidad
0.10 que deje la empresa. Tambin hay una probabilidad 0.05 que un socio deje la empresa.
La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podra contestar. Por ejemplo, cul
es la probabilidad que un abogado principiante recin contratado se vaya antes de ser
socio? En promedio, cunto tiempo permanece un abogado principiante recin contratado
con la empresa? Las respuestas se deducirn despus en esta seccin.
Modelaremos la trayectoria de un abogado en Mason y Burger como cadena absorbente de
Markov con la siguiente matriz de probabilidad de transicin:

Principiante Experimentado Asociado
Sale sin ser
socio
Sale siendo
socio
Principiante 0.8 0.15 0.00 0.05 0.00
Experimentado 0.00 0.70 0.20 0.10 0.00
Asociado 0.00 0.00 0.95 0.00 0.05
Sale sin ser socio 0.00 0.00 0.00 1.00 0.00
Sale siendo socio 0.00 0.00 0.00 0.00 1.00
Los dos ltimos estados son estados absorbentes y los dems son transitorios. Por ejemplo,
Experimentado es estado transitorio, porque hay una trayectoria de Experimentado a Sale
sin ser socio, pero no hay trayectoria que regrese de Sale sin ser socio a Experimentado.
Suponemos que una vez que un abogado sale de la empresa nunca regresa.
Para toda cadena absorbente se desea conocer: (1) Si la cadena comienza en un estado determinado
transitorio, y antes de alcanzar un estado absorbente, cul el nmero esperado de veces que se llegar a
otro estado transitorio?, o dicho de otra manera, cuntos periodos esperamos pasar por un determinado
estado transitorio antes que se efecte la absorcin, partiendo de otro estado transitorio? (2) Si una cadena
inicia en un estado transitorio dado, cul es la probabilidad terminar en cada uno de los estados
absorbentes?
Para contestar estas preguntes necesitamos formular la matriz de transicin con los estados en una lista con
el siguiente orden: primero los estados transitorios y despus los absorbentes. Para precisar, se supondr
que hay s m estados transitorios (t
1
, t
2
, . . ., t
s-m
) y m estados absorbentes (a
1
, a
2
, . . . , a
m
). Entonces la matriz
de transicin para la cadena de absorcin puede escribirse como sigue:
s m m
21
Columnas columnas
P = s - m renglones Q R
m renglones 0 I
En este formato, los renglones y las columnas de P corresponden, en orden, a los estados t
1
, t
2
,, ..., t
s-m
, a
1
, a
2
,
..., a
m
. En este caso, I es una matriz identidad m x m que refleja el hecho de que nunca podemos dejar un
estado absorbente; Q es una matriz (s m) x (s m) que representa las transiciones entre los estados
transitorios; R es una matriz (s m) x m que representa las transiciones desde los estados transitorios a los
estados absorbentes; 0 es una matriz m x (s m) que consta de ceros. Esto refleja el hecho de que es
imposible ir de un estado absorbente a uno transitorio.
Aplicando esta notacin al Ejem. 6.1, tenemos que
t
1
= Nueva
t
2
= 1 mes
t
3
= 2 meses
t
4
= 3 meses
a
1
= Pagada
a
2
= Incobrable
Entonces, para ese ejemplo, la matriz de probabilidad de transicin se puede expresar como
Nueva 1 mes 2 meses 3 meses Pagada Incobrable
Nueva 0.0 0.6 0.0 0.0 0.4 0.0
1 mes 0.0 0.0 0.5 0.0 0.5 0.0
2 meses 0.0 0.0 0.0 0.4 0.6 0.0
3 meses 0.0 0.0 0.0 0.0 0.7 0.3
Pagada 0.0 0.0 0.0 0.0 1.0 0.0
Incobrable 0.0 0.0 0.0 0.0 0.0 1.0
Entonces s = 6, m = 2 y
4 4
0 0 0 0
4 . 0 0 0 0
0 5 . 0 0 0
0 0 6 . 0 0

(
(
(
(

= Q
2 4
3 . 0 7 . 0
0 6 . 0
0 5 . 0
0 4 . 0

(
(
(
(

= R
Para el Ejem. 6.2, sean
t
1
= Principiante
t
2
= Experimentado
t
3
= Socio
a
1
= Sale sin ser socio
a
2
= Sale siendo socio
y podemos escribir la matriz de probabilidad de transicin como

Principiante Experimentado Asociado
Sale sin ser
socio
Sale siendo
socio
Principiante 0.80 0.15 0.00 0.05 0.00
Experimentado 0.00 0.70 0.20 0.10 0.00
Asociado 0.00 0.00 0.95 0.00 0.05
Sale sin ser
socio
0.00 0.00 0.00 1.00 0.00
Sale siendo
socio
0.00 0.00 0.00 0.00 1.00
22
Entonces s = 3, m = 2, y
3 3
95 . 0 0 0
20 . 0 70 . 0 0
0 15 . 0 80 . 0

(
(
(

= Q
2 3
05 . 0 0
0 10 . 0
0 05 . 0

(
(
(

= R
Podemos ahora investigar algunos hechos acerca de las cadenas absorbentes (Kemeny y Snell (1960)):
(1) Si la cadena comienza en un determinado estado transitorio, y antes de alcanzar un estado absorbente,
cul es entonces el nmero esperado de veces en las que el sistema entrar en cada estado
transitorio? Cuntos perodos esperamos pasar en un estado transitorio dado antes de que se lleve a
cabo la absorcin?
Respuesta: Si en este momento estamos en el estado transitorio t
i
, el nmero esperado de periodos que
pasarn en un estado transitorio t
j
antes de la absorcin es el ij-simo elemento de la matriz (I Q)
-1
.
Para una demostracin vea el Prob. 8 al final de esta seccin.
(2) Si una cadena inicia en un estado transitorio dado, qu probabilidad hay de terminar en cada uno de
los estados absorbentes?
Respuesta: Si en este momento estamos en un estado transitorio i, la probabilidad de ser absorbidos
finalmente por un estado absorbente a
j
es el ij-simo elemento de la matriz (I Q)
-1
R. Para una
demostracin vea el Prob. 9 al final de esta seccin.
La matriz (I Q)
-1
a menudo se llama matriz fundamental de la cadena de Markov. El lector que se
interese en proseguir el estudio de cadenas de absorcin debe consultar Kemeny y Snell (1960).
Ejempl0 6.1 Cuentas por cobrar (continuacin)
1. Cul es la probabilidad que una cuenta nueva sea cobrada alguna vez?
2. Cul es la probabilidad que una cuenta atrasada un mes se vuelva finalmente
incobrable?
3. Si las ventas de la empresa son 100 000 dlares en promedio mensual cunto dinero
ser incobrable cada ao?
Solucin De la descripcin anterior, recuerde que
(
(
(
(

=
0 0 0 0
4 . 0 0 0 0
0 5 . 0 0 0
0 0 6 . 0 0
Q
(
(
(
(

=
3 . 0 7 . 0
0 6 . 0
0 5 . 0
0 4 . 0
R
Entonces
(
(
(
(

=
1 0 0 0
4 . 0 1 0 0
0 5 . 0 1 0
0 0 6 . 0 1
Q I
Usando el mtodo Gauss -Jordan llegamos a
4 3 2 1
t t t t
(
(
(
(

=

1 0 0 0
40 . 0 1 0 0
20 . 0 50 . 0 1 0
12 . 0 30 . 0 60 . 0 1
) (
4
3
2
1
t
t
t
t
1
Q I
23
Para contestar las preguntas 1 a 3 necesitamos calcular
2 1
a a
(
(
(
(

=

300 . 0 700 . 0
120 . 0 880 . 0
060 . 0 940 . 0
036 . 0 964 . 0
) (
4
3
2
1
t
t
t
t
R Q I
1

Entonces
1. t
1
= Nueva, a
1
= Pagada. As, la probabilidad de que una cuenta nueva se pague
finalmente es el elemento 11 de (I Q)
-1
R = 0.964.
2. t
2
= 1 mes, a
2
= Incobrable. Entonces, la probabilidad que una cuenta atrasada un mes
se vuelva incobrable es el elemento 22 de (I Q)
-1
R = 0.060.
3. De la respuesta 1, slo el 3.6% de todas las deudas son incobrables. Como las cuentas
totales del ao son 1200000 dlares en promedio, (0.036)(1200000) = 43200 dlares sern
impagables al ao.
Ejemplo 6.2 (continuacin) Planificacin del personal
1. Cul es la duracin promedio de un abogado joven recin contratado en la empresa?
2. Cul es la probabilidad de que un abogado joven llegue a ser socio?
3. Cul es la duracin promedio que pasa un socio en el bufete?
Solucin Recordemos que,
(
(
(

=
95 . 0 0 0
20 . 0 70 . 0 0
0 15 . 0 80 . 0
Q
(
(
(

=
05 . 0 0
0 10 . 0
0 05 . 0
R
Entonces,
(
(
(

=
05 . 0 0 0
20 . 0 30 . 0 0
0 15 . 0 20 . 0
Q I
Usando el mtodo Gauss - Jordan se encuentra que
3 2 1
t t t
(
(
(

=

20 0 0
0
10 5 . 2 5
) (
3
40
3
10
3
2
1
t
t
t
1
Q I
Entonces,
2 1
a a
(
(
(

=

1 0
50 . 0 50 . 0
) (
3
2
3
1
3
2
1
t
t
t
R Q I
1

Por lo tanto,
1. El tiempo esperado que un abogado principiante permanece en la empresa = (duracin
esperada del abogado principiante en la empresa como principiante) + (tiempo esperado
que el abogado principiante permanece en la empresa como abogado con experiencia) +
24
(tiempo esperado que el abogado principiante permanece en la empresa como socio).
Entonces
Tiempo esperado como principiante = 11 ) (
1
Q I


= 5
Tiempo esperado como con experiencia = 12 ) (
1
Q I

= 2.5
Tiempo esperado como socio = 13 ) (
1
Q I

= 10
Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la
empresa es 5 + 2.5 + 10 = 17.5 aos.
2. La probabilidad de que un abogado principiante recin ingresado llegue a ser socio es
tan slo la probabilidad de que salga de la empresa siendo socio. Como t
1
= Principiante
y a
2
= Sale siendo socio, la respuesta es el elemento 12 de (I Q)
-1
R = 0.50.
3. Como t
3
= Socio, buscamos el nmero esperado de aos que pasa en t
3
, dado que
comenzamos en t
3
. Este es justamente el elemento 33 de (I Q)
-1
R = 20 aos. Es
razonable, porque durante cada ao hay una probabilidad en 20 que un socio deje el
bufete y, por lo tanto, debe tardar un promedio de 20 aos en dejar la empresa.
PROBLEMAS
GRUPO A
1. El departamento de admisin del colegio estatal ha
modelado la trayectoria de un estudiante en esa
institucin como cadena de Markov:




Ter Sal 4o 3er o 2 1er
(
(
(
(
(
(
(
(

1 0 0 0 0 0
0 1 0 0 0 0
85 . 05 . 10 . 0 0 0
0 05 . 80 . 15 . 0 0
0 05 . 0 85 . 10 . 0
0 10 . 0 0 80 . 10 .
Termina
Sale
ao 4o
ao 3er
ao 2o
ao 1er

Se observa el estado de cada estudiante al
principio de cada semestre de otoo. Por ejemplo,
si un estudiante es de 3er ao al principio de este
semestre de otoo, habr 80% de probabilidades
de que al principio del siguiente semestre de otoo
sea de cuarto ao, 15% de probabilidad de que an
sea de 3er ao y 5% de que salga. Suponemos que
una vez que sale un estudiante ya nunca vuelve a
inscribirse.
(a) S un estudiante entra al colegio a primer ao,
cuntos aos se espera que pasen siendo
estudiante?
(b) Cul es la probabilidad de que se grade un
estudiante de nuevo ingreso?
2. El Herald Tribble obtuvo la siguiente informacin
acerca de sus suscriptores: durante el primer ao
como suscriptores, el 20% cancelan sus
suscripciones. De los que se han suscrito por un
ao, el 10% cancelan durante el segundo ao. De
los que se han suscrito por ms de dos aos, el 4%
cancelan durante cualquier ao dado. En
promedio, cunto tiempo se suscribe una persona
al Herald Tribble?
3. Un bosque consta de dos tipos de rboles: los que
tienen de 0 a 1.50 m de alto, y los que son ms
altos. Cada ao, muere el 40% de los rboles que
tienen menos de 1.50 m, el 10% se venden a 20
dlares cada uno, 30% permanecen entre 0 y 1.50
m, y el 20% crecen ms de 1.50 m. Cada ao, el
50% de los rboles de ms de 1.50 m se venden a
50 dlares, el 20% se venden a 30 dlares, y el 30%
permanecen en el bosque.
(a) Cul es la probabilidad de que muera un
rbol de 0 a 1.50 m antes de venderse?
(b) Si se planta un rbol de menos de 1.50 m,
cul es el ingreso esperado que se va a tener
con ese rbol?
4. Las cadenas absorbentes de Markov se usan en
ventas para modelar la probabilidad de que un
cliente que se localiza por telfono compre
finalmente algn producto. Considere un cliente
posible a quien nunca le ha llamado acerca de
comprar un producto. Despus de una llamada,
hay una probabilidad de 60% de que tenga poco
inters en el producto, de 30% que muestre un gran
inters en el producto, y 10% de que sea borrado
de la lista de los posibles clientes de la compaa.
Se tiene un cliente que actualmente tiene poco
inters en el producto. Despus de otra llamada,
hay 30% de probabilidades de que compre el
producto, 20% de probabilidades de que sea
borrado de la lista, 30% de que el cliente an tenga
poco inters y 20% de que exprese un inters alto.
Para un cliente que actualmente expresa alto
inters, despus de otra llamada hay 50% de
probabilidades de que compre el producto, 40% de
25
probabilidades de que siga teniendo gran inters y
10% de probabilidades que tenga poco inters.
(a) Cul es la probabilidad de que un nuevo
posible cliente al final compre el producto?
(b) Cul es la probabilidad de que un posible
cliente con poco inters sea borrado de la lista
finalmente?
(c) En promedio, cuntas veces habr que
llamar por telfono a un nuevo posible cliente
para que compre el producto, o para que sea
borrado de la lista?
GRUPO B
5. En el problema de la ruina del jugador (Ejem. 1),
suponga que p = 0.60.
(a) Qu probabilidad hay de que alcance a ganar
4 dlares?
(b) Cul es la probabilidad de que salga sin
dinero?
(c) Cul es la duracin esperada del juego?
6. En el cuidado de pacientes ancianos en un hospital
psiquitrico, una meta principal es la colocacin
correcta de los pacientes en pensiones u
hospitales para ancianos. El movimiento de
pacientes entre el hospital, los hogares externos y
el estado absorbente (la muerte) se puede describir
mediante la siguiente cadena de Markov. La unidad
de tiempo es un mes:
Muer Hog Hosp
(
(
(

1 0 0
006 . 969 . 025 .
006 . 003 . 991 .
Muerte
Hogares
Hospital

Cada mes que pasa un paciente en el hospital
cuesta 655 dlares al estado, y cada mes que pasa
en una pensin le cuesta 226 dlares, tambin al
estado. Para mejorar la frecuencia de xitos de
colocacin de pacientes, el estado recientemente
comenz un "programa de resocializacin
geritrica" (GRP) para preparar a los pacientes a
desempearse en las pensiones. Algunos
pacientes se colocan en el GRP y a continuacin
pasan a pensiones. Es menos probable que estos
pacientes no se puedan ajustar a sus pensiones.
Otros pacientes continan pasando en forma
directa del hospital a las pensiones sin haber
tomado parte en el (GRP). El estado paga 680
dlares cada mes lo que cuesta el paciente en el
GRP. El movimiento de los pacientes est
gobernado por la siguiente cadena de Markov:
Muer Pensi Pen.GRP Hosp GRP
(
(
(
(
(
(

1 0 0 0 0
006 . 969 . 0 025 . 0
006 . 0 969 . 0 025 .
006 . 003 . 0 978 . 013 .
006 . 0 112 . 028 . 854 .
Muerte
Pensi
Pen.GRP
Hosp
GRP

(a) El GRP, ahorra fondos al estado?
(b) Bajo el sistema anterior y bajo el GRP, calcule
el nmero esperado de meses que pasa un
paciente en el hospital.
7. Freezco, Inc., vende refrigeradores. La fbrica
otorga una garanta en todos los refrigeradores que
especifica de cambio gratis de cualquier unidad
que se descomponga antes de tres aos. Se nos
da la siguiente informacin: (1) el 3% de todos los
refrigeradores nuevos falla durante su primer ao
de funcionamiento; (2) el 5% de todos los
refrigeradores con 1 ao de funcionamiento falla
durante el segundo ao de trabajo, y (3) el 7% de
todos los refrigeradores con dos aos de
funcionamiento falla durante su tercer ao. La
garanta no vale para el refrigerador de repuesto.
(a) Use la teora de cadenas de Markov para
predecir la fraccin de todos los refrigeradores
que deber cambiar Freezco.
(b) Suponga que a Freezco le cuesta 500 dlares
cambiar un refrigerador y que vende 10,000
refrigeradores al ao. Si la fbrica redujera el
plazo de garanta a dos aos, cunto dinero
se ahorrara en costos de reemplazo?
8. Para una matriz Q que represente las transiciones
entre estados transitorios en una cadena
absorbente de Markov, se puede demostrar que
(I Q)
-1
= I + Q + Q
2
+ ... + Q
n
+ ...
(a) Explique por qu es posible esta expresin de
(I Q)
-1
.
(b) Defina a m
ij
= nmero esperado de perodos
pasados en el estado transitorio t
j
antes de la
absorcin, si se sabe que iniciamos en el
estado t
i
. Suponga que el periodo inicial se
pasa en el estado t
i
. Explicar por qu m
ij
=
(probabilidad de que estemos al principio en el
estado t
i
) + (probabilidad que estemos en el
estado t
j
despus de la primera transicin) +
(probabilidad que estemos en el estado t
j

despus de la segunda transicin) + ... +
(probabilidad que estemos en el estado t
j

despus de la n-sima transicin) + .
(c) Explique por qu la probabilidad de que
estemos inicialmente en el estado t
j
=
elemento ij-simo de la matriz identidad (s m)
x (s m). Explique por qu la probabilidad de
que estemos en el estado t
i
despus de la n-
sima transicin = elemento ij-simo de Q
n
.
(d) Ahora explique por qu m
ij
= elemento ij de (I
Q)
-1
.
9. Defina
b
ij
= probabilidad de terminar en un estado
absorbente a
j
dado que iniciamos en un
estado transitorio t
j
.
r
ij
= ij-simo elemento de R
q
ik
= ik-simo elemento de Q.
B = matriz (s m) x m cuyo ij-simo elemento es b
ij
.
Suponga que iniciamos en el estado t
i
. En nuestra
primera transicin, pueden suceder tres tipos de
eventos:
26
Evento 1 Pasamos al estado absorbente a
j
, con
probabilidad r
ij
.
Evento 2 Pasamos al estado absorbente que no es
a
j
, con probabilidad

= j k
kj ik
b q .
Evento 3 Pasamos al estado transitorio t
k
, con
probabilidad q
ik
.
(a) Explique por qu

=
=
+ =
m s k
k
kj ik ij ij
b q r b
1

(b) Ahora demuestre que b
ij
= ij-simo elemento
de (R + QB) y que B = R + QB.
(c) Demuestre que B = (I Q)
-1
R y que b
ij
= ij-
simo elemento de B = (I Q)
-1
R.
GRUPO C
9. General Motors tiene tres divisiones automotrices
(divisin 1, divisin 2 y divisin 3). Tambin tiene
una divisin de contabilidad y una de consultora
de administracin. La pregunta es: Qu fraccin
del costo de las divisiones de contabilidad y de
consultora de administracin se debe cargar a
cada divisin automotriz? Suponemos que el costo
total de los departamentos de contabilidad y
consultora se deben repartir entre las tres
divisiones automotrices. Durante un ao
determinado, el trabajo de las divisiones de
contabilidad y consultora se asigna como se ve en
la Tabla 4.
Por ejemplo, contabilidad emplea el 10% de su
tiempo en problemas generados por el
departamento de contabilidad, 20% en trabajos
generados por la divisin 3, etc. Cada ao, cuesta
63 millones de dlares la operacin del
departamento de contabilidad, y 210 millones de
dlares la del departamento de consultora de
administracin. Qu fraccin de esos costos se
debe asignar a cada divisin automotriz? Imaginar
1 dlar en costos incurridos en trabajos de
contabilidad. Hay una probabilidad 0.20 de que
estos costos se asignen a cada divisin automotriz,
probabilidad 0.30 de que se asigne a consultora y
probabilidad 0.10 que se asigne a contabilidad. Si el
dlar se asigna a una divisin automotriz, sabemos
a qu divisin se debe cargar ese dlar. Por
ejemplo, si el dlar se carga a consultora,
repetimos el proceso hasta que, por ltimo, el dlar
se cargue a una divisin automotriz. Use el
conocimiento de cadenas de Markov para
establecer como asignar los costos de
funcionamiento de los departamentos de
contabilidad y asesora entre las tres divisiones
automotrices.
Tabla 4
CONTABILIDAD CONSULTORIA
DE ADMON
DIVISION 2 DIVISION 3
Contabilidad 10% 30% 20% 20% 20%
Administracin 30% 20% 30% 0% 20%
1.7 MODELOS DE PLANEACIN DE PERSONAL
Muchas empresas, como por ejemplo Mason y Burger del Ejem. 6.2, emplean varias categoras de personal.
Con fines de planeacin a largo plazo, a menudo es til poder predecir el nmero de empleados de cada
categora que, s las tendencias actuales continan, estarn disponibles en el estado estable. Se pueden
hacer esas predicciones a travs de un anlisis semejante al de la Secc. 1.5 de probabilidades de estado
estable para cadenas de Markov.
Ms formalmente, se tiene una organizacin cuyos miembros se clasifican en cualquier punto en el tiempo
en uno de los s grupos (identificados como 1, 2,..., s). Durante cada periodo, una fraccin p
ij
de los que
inician un periodo en el grupo i, al siguiente periodo inician en un grupo j. Tambin, durante cada periodo,
una fraccin p
is+1
de todos los miembros del grupo i dejan la organizacin. Sea P la matriz s x (s + 1) cuyo
elemento ij es p
ij
. Al principio de cada periodo, la organizacin contrata H
i
miembros del grupo i. Sea N
i
(t) el
nmero de miembros del grupo i al principio del periodo t. Una pregunta de inters natural es si N
i
(t) tiende a
un lmite a medida que crece t, o no. Si existe el lmite, lo llamaremos N
i
. Si cada N
i
(t) tiende a un lmite,
llamamos a N = (N
1
, N
2
, ... ,N
s
) el censo de estado estable de la organizacin.
Si existe censo de estado estable podemos encontrarlo al resolver un sistema de s ecuaciones que se
plantea como sigue: tan slo ntese que para que exista ese estado, debe ser vlido que, para i = 1, 2, ..., s
Nmero de personas que entran al grupo i durante cada periodo
= nmero de personas que salen del grupo i durante cada periodo (14)
27
Despus de todo, si la ecuacin (14) no fuera vlida para todos los grupos, entonces el nmero de personas
en al menos un grupo se acumulara a medida que pasara el tiempo. Ntese que

=
+ =
i k
ki k i
p N H
i
perodo cada
durante estado al entran que personas de Nmero

=
=
i k
ik i
p N
i
perodo cada
durante estado del salen que personas de Nmero

Entonces la ecuacin que se usa para calcular el censo de estado estable es
) , , 2 , 1 ( s i p N p N H
i k
ik i
i k
ki k i
= = +

= =
(14)
Dados los valores de las p
ij
y de las H
i
, se puede usar la ecuacin (14) para despejar el censo de estado
estable. A la inversa, dadas las p
ij
y un censo deseado de estado estable, se puede usar la ecuacin (14)
para determinar una poltica de contratacin, especificada por los valores de H
1
, H
2
, ... ,H
s
, que logre el censo
deseado de estado estable. Podr ser imposible mantener algunos censos de estado estable a menos que
algunas H
i
sean negativas, lo que equivale a despedir empleados.
Los dos ejemplos que siguen muestran el uso de la ecuacin de censo de estado estable.
Ejemplo 7.1 Suponga que se puede clasificar a cada norteamericano en uno de tres grupos: nios,
adultos que trabajan, o retirados. Durante un periodo de un ao, 0.959 de los nios an son
nios, 0.04 de los nios pasan a ser adultos que trabajan y 0.001 de los nios mueren.
Durante cualquier ao, 0.96 de los adultos que trabajan permanecen como tales, 0.03 pasan
a ser retirados y 0.01 mueren. Tambin, 0.95 de los retirados permanecen retirados y 0.05 de
los retirados mueren. Nacen mil nios cada ao.
1. Determine el censo de estado estable.
2. Cada persona retirada recibe una pensin de 5000 dlares por ao. El fondo de pensin
se sufraga con pagos de los adultos que trabajan. Cunto dinero debe aportar cada
adulto que trabaja, al ao, para el fondo de pensin?
Solucin 1.Sea
Grupo 1 = nios
Grupo 2 = adultos que trabajan
Grupo 3 = retirados
Grupo 4 = muertos
Los datos son H
1
= 1000, H
2
=H
3
= 0 y
(
(
(

=
050 . 0 950 . 0 0 0
010 . 0 030 . 0 960 . 0 0
001 . 0 0 040 . 0 959 . 0
P
Entonces la ecuacin (14) o la (14) es:
Nm. que entra al grupo i cada ao = Nm. que sale del grupo i cada ao
1000 = (0.04 + 0.001)N
1
(nios)
0.04N
1
= (0.030 + 0.010)N
2
(adultos que trabajan
0.03N
2
= 0.050N
3
(retirados)
Al resolver este sistema de ecuaciones nos encontramos con que N
1
= N
2
= 24390.24, y N
3
=
14634.14.
28
2. Como en el estado estable hay 14634.14 personas retiradas, en el estado estable reciben
14634.14 x (5000) dlares al ao. Por lo tanto, cada adulto que trabaja debe pagar
ao por dolares 3000
24 . 24390
5000 14 . 14634
=


Este resultado es razonable, porque en el estado estable hay 5/3 de adultos que, trabajan en
comparacin con los retirados.
Ejemplo 7.2 Regresemos al bufete de abogados Mason y Burger (Ejem. 6.2). Supongamos que la meta a
largo plazo de ese bufete es tener 50 abogados principiantes, 30 con experiencia y 10
socios. Para alcanzar este censo de estado estable, cuntos abogados de cada tipo deben
contratar cada ao?
Solucin Sean
Grupo 1 = abogados principiantes
Grupo 2 = abogados con experiencia
Grupo 3 = socios
Grupo 4 = abogados que salen del bufete
Mason y Burger desean obtener N
1
= 50, N
2
= 30 y N
3
= 10. Recurdese que en el Ejem. 6.2
(
(
(

=
05 . 0 95 . 0 0 0
10 . 0 20 . 0 70 . 0 0
05 . 0 0 15 . 0 80 . 0
P
Entonces la ecuacin (14) o la (14) es
Nm. que entra al grupo i = Nm. que sale del grupo i
H
1
= (0.15 + 0.05)50 (abogados principiantes)
(0.15)50 + H
2
= (0.20 + 0.10)30 (abogados con experiencia)
(0.20)30 + H
3
= (0.05)10 (asociados)
La solucin nica de este sistema de ecuaciones es H
1
= 10, H
2
= 1.5, H
3
= -5.5. Esto significa
que para mantener el censo deseado de estado estable, Mason y Burger deben despedir 5.5
socios cada ao. Esto es razonable, porque cada ao hay 0.20(30) = 6 abogados con
experiencia que pasan a ser socios, y una vez que lo hacen, permanecen en ese puesto un
promedio de 20 aos. Esto muestra que para mantener el nmero de asociados en 10,
deben despedirse algunos de ellos. Otra solucin podra ser reducir, a menos de su valor
actual de 0.20, la fraccin de abogados con experiencia que pasan a ser socios cada ao.
Para mayor informacin acerca de los modelos de planeacin de personal, se aconseja consultar el
excelente libro de Grinold y Marshall (1977).
PROBLEMAS
GRUPO A
1. Este problema es acerca del Prob. 1 de la Secc.
19.6. Supongamos que cada ao el colegio estatal
admite 7,000 estudiantes de nuevo ingreso, 500 de
segundo ao y 500 de tercer ao. A largo plazo,
cul ser la composicin del estudiantado en ese
colegio?
2. En el Ejem. 9, suponga que el progreso de la
medicina ha reducido la tasa anual de mortalidad
de retirados de 5% a 3%. Cunto aumenta la
contribucin anual para pensiones, debido a esto,
que pagan los adultos que trabajan?
3. La ciudad de Nueva York produce 1,000 ton de
contaminacin al da, Jersey City 100, y Newark 50.
Cada da 1/3 de la contaminacin de Nueva York
es llevada por el viento a Newark, 1/3 se disipa y
1/3 permanece en Nueva York. Tambin
diariamente, 1/3 de la contaminacin de Jersey City
es llevada por el viento a Nueva York, 1/3
29
permanece en Jersey City y 1/3 pasa a Newark. Y
por ltimo, 1/3 de la contaminacin de Newark
permanece all y el resto pasa a Jersey City. En un
da normal, cul ciudad ser la ms
contaminada?
4. Circula dinero entre los tres planetas "capitales" de
la federacin: Vulcano, Fobos y Marte. En forma
ideal, a la federacin le gustara tener 5 mil
millones de dlares en circulacin en cada planeta.
Cada mes 1/3 de todo el dinero de Vulcano sale de
circulacin, 1/3 permanece all y 1/3 termina en
Fobos. Cada mes, 1/3 del dinero en Marte
permanece all, 1/3 pasa a Fobos y 1/3 pasa a
Vulcano. Tambin cada mes, 2/3 del dinero de
Fobos pasa a Marte y 1/3 permanece all. La
federacin inyecta dinero al sistema en Vulcano.
Hay algn modo de tener un nivel de estado
estable de 5 mil millones de dlares en circulacin
en cada planeta?
GRUPO B
5. Todos los profesores de la Facultad de Comercio
de una universidad se clasifican como de tiempo
completo y de tiempo parcial. Cada ao el 10% de
los de tiempo parcial pasan a ser de tiempo
completo y el 10% salen de la Facultad; el 95% de
los de tiempo completo permanecen y el 5% salen.
La Facultad de Comercio desea mantener un
profesorado de 100 miembros, de los cuales el x%
son de tiempo parcial. Determine una poltica de
contratacin que logre esta meta. Para qu
valores de x se necesita despedir profesores de
tiempo completo, de acuerdo con la poltica de
contratacin? Describa una poltica que mantenga
un 10% de tiempo parcial. Describa una poltica de
contratacin que mantenga 40% del profesorado
de tiempo parcial?
GRUPO C
6. Por simplicidad, supongamos que la sangre fresca
que obtiene un hospital se echa a perder si no se
utiliza en 5 das. El hospital recibe 100 medios
litros de sangre fresca diariamente de un banco de
sangre local. Son posibles dos polticas para
determinar el orden en el que se hacen
transfusiones de sangre (vase tabla 5). Por
ejemplo, segn la poltica 1, la sangre tiene un 10%
de probabilidades de usarse en transfusin durante
su primer da en el hospital. Segn la poltica 2, la
sangre con cuatro das de antigedad tiene el 10%
de probabilidad de ser usada.
Tabla 5
EDAD DE LA SANGRE
(al inicio del da)
Probabilidad de uso
en transfusiones
0 1 2 3 4
Poltica 1 .10 .20 .30 .40 .50
Poltica 2 .50 .40 .30 .20 .10
(a) La poltica FIFO (First-in, First-out), primeras
entradas primeras salidas, usa primero la
sangre "vieja", mientras que la poltica LIFO
(Last-in, First out) ltimas entradas primeras
salidas emplea primero la sangre "nueva".
Cul poltica es LIFO y cul FIFO?
(b) Para cada poltica, determine la probabilidad
de que se eche a perder un medio litro de
sangre recin llegada al hospital.
(c) Para cada poltica, determine el nmero
promedio de medios litros de sangre en
inventario.
(d) Para cada poltica, determine la edad
promedio de la sangre que se usa en
transfusiones.
(e) Haga comentarios de los mritos relativos de
las polticas FIFO y LIFO.
1.8 DISTRIBUCIN EXPONENCIAL
En esta seccin nos dedicaremos al estudio de una distribucin de probabilidad que es de gran importancia
en el estudio de las cadenas de Markov de tiempo continuo, la distribucin exponencial.
Una distribucin exponencial con parmetro tiene una funcin de densidad

<
>
=

0 si 0
0 si
) (
t
t e
t f
t

. (15)
En la Fig. 2 se muestra la funcin de densidad para la distribucin exponencial. Aqu se observa que f(t)
disminuye rpidamente a medida que t crece. Esto indica que son poco probables valores muy grandes de la
variable y por lo tanto
| | | | t t t P t P A + s s > A s s T T 0
30
Figura 9
Funcin de densidad
para una variable
aleatoria X con
distribucin
exponencial

Se puede demostrar que la funcin de densidad acumulada para una variable X que tenga distribucin de
probabilidad exponencial esta dada por

>
<
= s =
0 si 1
0 si 0
) ( ) (
x e
x
x P F
x
X X . (16)
Igualmente, e integrando por partes, podemos demostrar que el promedio de una variable aleatoria X con
distribucin exponencial, E(X), est dado por

1
) ( = X E . (17)
A su vez, la varianza de esta misma variable es
2
1

= X Var (18)
PROPIEDAD DE AMNESIA DE LA DISTRIBUCION EXPONENCIAL.
La razn por la cual es importante la distribucin exponencial para el estudio de las cadenas de Markov de
tiempo continuo se encuentra en el siguiente, lema:
LEMA 1 Si T tiene distribucin exponencial, entonces para todo valor no negativo de t y s,
| | ) ( | t P s s t P > = > + > T T T (19)
Demostracin Notaremos primero que,
| | | |
t
t
x
t
x
e e dx e t P


= = = >
}
T (20)
Entonces
| |
| |
| | s P
s s t P
s s t P
>
> + >
= > + >
T
T T
T T |
De la Ecc. (20),
| | | |
s s t
e s P e s s t P
+
= > = > + > T T T y
) (

As,
| | | | t P e
e
e
s s t P
t
s
s t
> = = = > + >

+
T T T

) (
|
Se puede demostrar que no hay otra funcin de densidad que satisfaga la Ecc. (19) (vase Feller (1957)).
Por razones que se hacen evidentes, se dice que una funcin de densidad que satisfaga la Ecc. (19) tiene la
propiedad de amnesia, o de no memoria. Suponga que sabemos que un sistema no ha cambiado de
estado durante las ltimas s horas, lo que equivale a que nos digan que T > s y que nos pregunten cul es la
probabilidad que no cambie de estado durante las siguientes t horas, es decir T > t + s. Entonces, la Ecc. (19)
31
quiere decir que esta probabilidad no depende del valor de s, y que para todos los valores de s esta
probabilidad es igual a P[T > t]. En resumen, si conocemos que han pasado al menos s unidades de tiempo
durante las cuales el sistema se encuentra en un determinado estado, entonces la distribucin del tiempo
que queda para que el sistema cambie de estado, t, no depende de s. Por ejemplo, si t = 4, entonces la Ecc.
(19) produce, para s = 5, s = 3, s = 2 y s = 0,
| | | | | | | | | | 4 0 | 0 4 2 | 2 4 3 | 3 4 5 | 5 4 > = > + > = > + > = > + > = > + > T T T T T T T T T P P P P P
La propiedad de amnesia de la distribucin exponencial es importante porque establece que la distribucin
de probabilidad del tiempo que falta para que el sistema cambie de estado, es independiente del tiempo
haya transcurrido desde el ltimo cambio de estado. Para decirlo en trminos concretos, suponga que
nuestro sistema es un banco en donde el estado del sistema esta dado por el nmero de clientes que hay
dentro de l y que el estado del sistema cambia cuando entra o sale un cliente del banco. Para simplificar
consideremos solo la entrada de clientes al banco y supngase que los tiempos entre llegadas se distribuyen
exponencialmente con = 6. Entonces la propiedad de amnesia significa que no importa cunto tiempo haya
pasado desde la ltima llegada, la distribucin de probabilidades que rige el tiempo para la siguiente llegada
tiene la funcin de densidad 6e
-6t
. Esto significa que para predecir los comportamientos de las llegadas
futuras no necesitamos mantener registro de cunto tiempo haya pasado desde la ltima llegada. Esta
observacin puede simplificar mucho el anlisis de un sistema.
RELACIN ENTRE LA DISTRIBUCIN DE POISSON Y LA DISTRIBUCIN EXPONENCIAL
Si los tiempos entre la ocurrencia de un mismo tipo de evento son exponenciales, la distribucin de
probabilidad del nmero de eventos que ocurren en cualquier intervalo de tiempo t est dada por el siguiente
teorema importante:
TEOREMA 1 Los tiempos entre ocurrencia de un mismo tipo eventos son exponenciales con parmetro
si y slo si el nmero de eventos que suceden en un intervalo t sigue una distribucin
de Poisson con parmetro t.
Una variable aleatoria discreta N tiene una distribucin de Poisson con parmetro si, para n = 0, 1, 2, .,
) , 2 , 1 , 0 (
!
) ( = = =

n
n
e
n P
n

N (21)
Si N es una variable aleatoria de Poisson, se puede demostrar que E(N) = VarN = . Si hacemos que N
t
sea
el nmero de ocurrencias de eventos de un mismo tipo durante cualquier intervalo de tiempo de longitud t, el
Teorema 1 establece que
) , 2 , 1 , 0 (
!
) (
) ( = = =

n
n
t e
n P
n t
t

N
Como N
t
, es de Poisson con parmetro t, E(N
t
) = Varn
a
= t. Un promedio de t llegadas se suceden durante
un intervalo de tiempo de longitud t y, entonces se puede pensar que es el nmero promedio de llegadas
por unidad de tiempo, o rapidez de llegadas.
Qu hiptesis se necesitan para que los tiempos entre ocurrencias de un mismo tipo de eventos sean
exponenciales? El Teorema 2, ms adelante, nos da una respuesta parcial. Veamos las dos hiptesis
siguientes:
1. Las ocurrencias de eventos del mismo tipo definidas en intervalos de tiempo que no se traslapan son
independientes (por ejemplo, el nmero de llegadas que se tiene entre los tiempos 1 y 10 no nos da
informacin alguna acerca del nmero de llegadas entre los tiempos 30 y 50).
2. Para At pequeo, y cualquier valor de t, la probabilidad de que se tenga la ocurrencia de un evento entre
los tiempos t y t + At es At + o(At), donde o(At) es cualquier cantidad que satisfaga
32
0
) (
lim
0
=
A
A
A
t
t
t
o

Tambin, la probabilidad de que no ocurra el evento durante el intervalo entre t y t + At es 1 - t + o(At) y la
probabilidad que ocurre ms de un evento en ese intervalo es o(At).
TEOREMA 2 Si son vlidas las hiptesis 1 y 2, entonces N, sigue una distribucin de Poisson con
parmetro t, y los tiempos entre llegadas son exponenciales con parmetro . Esto es,
f(t) = e
-t
.
En esencia, el Teorema 2 establece que si la rapidez de ocurrencia de eventos es estable, es decir, si no
pueden tenerse ocurrencia de eventos en masa y si los eventos ocurridos en el pasado no afectan los que
ocurrirn en el futuro, entonces los tiempos entre ocurrencia de eventos del mismo tipo seguirn una
distribucin exponencial con parmetro y el nmero de eventos ocurridos en cualquier intervalo de longitud
t es de Poisson con parmetro t. Las hiptesis del Teorema 2 pueden parecer demasiado restrictivas, pero
con frecuencia los tiempos entre ocurrencias de eventos del mismo tipo son exponenciales aun cuando no
se satisfagan las hiptesis del Teorema 2 (vase Denardo (1982)). Sucede que en muchas aplicaciones, la
hiptesis de tiempos exponenciales entre ocurrencia de eventos del mismo tipo es una muy buena
aproximacin a la realidad.
El Ejem. 8.1 ilustra la relacin entre la distribucin exponencial y la de Poisson
EJ EMPLO 8.1 El nmero de tarros de cerveza pedidos en el Dicks Pub sigue una distribucin de Poisson
con promedio de 30 cervezas por hora.
1. Calcule la probabilidad de que se pidan exactamente 60 cervezas entre las 10 p.m. y las
12 de la noche.
2. Determine el promedio y la desviacin estndar del nmero de cervezas pedidas entre
las 9 p.m. y la 1 a.m.
3. Calcule la probabilidad de que el tiempo entre dos pedidos consecutivos sea entre 1 y 3
minutos.
Solucin 1. El nmero de cervezas pedido entre las 10 p.m. y las 12 de la noche sigue una
distribucin de Poisson con parmetro 2(30) = 60. De la Ecc. (19), la probabilidad de que se
pidan 60 cervezas entre las 10 p.m. y la medianoche es
! 60
60
60 60
e

2. = 30 cervezas por hora; t = 4 horas. Entonces, el nmero promedio de cervezas
pedidas entre las 9 p.m. y la 1 a.m. es 4(30) = 120 cervezas. La desviacin estndar del
nmero de cervezas pedido entre las 10 p.m. y la 1 a.m. es (120)
1/2
= 10.95.
3. Sea T el tiempo en minutos entre pedidos sucesivos de cerveza. El nmero
promedio de pedidos por minuto es exponencial con parmetro, o razn 5 . 0
60
30
= cervezas
por minuto. Entonces la funcin de densidad de probabilidad entre pedidos de cerveza es
0.5e
-0.5t
. Entonces
38 . 0 ) 5 . 0 ( ) 3 1 (
5 . 1 5 . 0
3
1
5 . 0
= = = s s

}
e e dt e P
t
T
PROBLEMAS
GRUPO A
1. El tiempo entre llegadas de autobuses sigue una distribucin exponencial con promedio de 60
33
minutos.
(a) Cul es la probabilidad de que lleguen
exactamente cuatro autobuses durante las
siguientes 2 horas?
(b) Cul es la probabilidad de que por lo menos
dos autobuses lleguen durante las siguientes 2
horas?
(c) Cul es la probabilidad de que no lleguen
autobuses durante las prximas 2 horas?
(d) Acaba de llegar un autobs. Cul es la
probabilidad de que pasen entre 30 y 90
minutos para que llegue el siguiente?
1.9 CADENAS DE MARKOV DE TIEMPO CONTINUO
Todas las secciones anteriores hacen la suposicin de que el parmetro t del tiempo es discreto (es decir; t =
0, 1, 2, ...). Tal suposicin es adecuada para muchos problemas, pero existen ciertos casos (como en
algunos modelos de lneas de espera) en los que se requiere un parmetro (llamado t) de tiempo continuo,
debido a que la evolucin del proceso se est observando de manera continua a travs del tiempo. La
definicin de una cadena de Markov dada en la seccin 2 tambin se extiende a esos procesos continuos.
Esta seccin est dedicada a la descripcin de estas cadenas de Markov de tiempo continuo y sus
propiedades.
Para modelar este este tipo de de procesos, como antes, se etiquetan los estados posibles del sistema como
1, ., s. Comenzando en el tiempo 0 y dejando que el parmetro t corra continuamente, para t > 0 sea la
variable aleatoria X(t) el estado del sistema en el tiempo t. Entonces X(t) tomar uno de sus s valores
posibles en un intervalo 0 s t < t
1
, despus saltar a otro valor en el siguiente intervalo t
1
s t < t
2
y as
sucesivamente, donde los puntos de trnsito t
1
, t
2
, son puntos aleatorios en el tiempo (no necesariamente
enteros), tal como se ilustra en la Figura 10.
Figura 10
Estados tomados por un
sistema en diferentes
puntos del tiempo
cuando este corre de
manera continua

Ahora consideremos los siguientes tres puntos en el tiempo:
1. t = r ( donde r > 0),
2. t = s (donde s > r) y
3. t = s + t ( donde t> 0),
interpretados como sigue:
t = r es un tiempo pasado,
t = s es el tiempo presente,
t = s + t es t unidades hacia el futuro.
Por lo tanto, el estado del sistema se ha observado en los tiempos t = s y t = r. Estos estados se etiquetan
como
X(s)=i y X(r)=x(r).
Dada esta informacin, el paso natural es buscar la distribucin de probabilidad del estado del sistema en el
tiempo t = s + t. En otras palabras, determinar el valor de
P[X(s+t) = j | X(s) = i y X(r) = x(r)], para cada j = 0,1,..., s.
Con frecuencia es muy difcil derivar estas probabilidades condicionales. Sin embargo, esta tarea se
simplifica considerablemente si el proceso estocstico involucrado posee la siguiente propiedad clave.

34
PROPIEDAD MARKOVIANA
Un proceso estocstico de tiempo continuo {X(t); t> 0} tiene la propiedad markoviana si
P[X(t+s) = j | X(s)=i y X(r) = x(r)] = P[X(t+s) = j |X(s) = i]
Para toda i,j = 0, 1,., s y para toda r > 0, s > r y t>0.
Observe que P[X(t+s) = j | X(s) = i] es una probabilidad de transicin, igual a las probabilidades de transicin
de las cadenas de Markov de tiempo discreto que se estudiaron en las secciones anteriores, donde la nica
diferencia es que ahora no es necesario que t sea entero.
DEFINICIN
Si las probabilidades de transicin son independientes de s, de manera que
P[X(t+s) = j | X(s) = i] = P[X(t) = j | X(0) = i]
para toda s > 0, se dice que las probabilidades de transicin son estacionarias.
Para simplificar la notacin se denotarn estas probabilidades estacionarias por
Pij(t) = P{X(t) = j | X(0) = i}
en donde se har referencia a Pij(t) como la funcin de probabilidad de transicin de tiempo continuo. Se
supone que

=
=
=

j i
j i
t P
ij
t
si , 0
si , 1
) ( lim
0

As, un proceso estocstico de tiempo continuo {X(t); t> 0} es una cadena de Markov de tiempo continuo si
cumple la propiedad markoviana.
Aqu se restringir el estudio a las cadenas de Markov de tiempo continuo a aquellas con un nmero finito de
estados y el donde las probabilidades de transicin sean estacionarias.
ALGUNAS VARIABLES ALEATORIAS IMPORTANTES
En el anlisis de las cadenas de Markov de tiempo continuo, un conjunto importante de variables aleatorias
es el siguiente.
TIEMPO DE PERMANENCIA EN EL ESTADO i
Cada vez que el proceso entra en el estado i, la cantidad de tiempo que pasa en ese estado antes
de moverse a uno diferente es una variable aleatoria T
i
, donde i = 0, 1, ., s.
Suponga que el proceso entra en el estado i en el tiempo t = s. Entonces, para cualquier cantidad de
tiempo fija t > 0, observe que T
i
> t si y slo si X(t) = i para toda t en el intervalo s s t s s + t. Por lo tanto, la
propiedad markoviana (con probabilidades de transicin estacionarias) implica que
P[T
i
> t+s | T
i
> s] = P[T
i
> t].
sta no es ms que la propiedad de amnesia exhibida por la distribucin de probabilidad exponencial, la cual
significa que la distribucin de probabilidad del tiempo que falta para que el proceso haga una transicin
fuera de un estado dado siempre es la misma, independientemente del valor s, es decir, del tiempo haya
pasado el proceso en ese estado.
Este resultado lleva a una forma equivalente de definir una cadena de Markov de tiempo continuo:
35
1. La variable aleatoria T
i
tiene una distribucin exponencial con media
i

1
.
2. Cuando sale de un estado i, el proceso se mueve a otro estado j, con probabilidad p
ij
en donde p
ij

satisface las condiciones
i p
ii
toda para , 0 = ,
y
. toda para 1
0
i p
S
j
ij
=

=

3. El siguiente estado que se visita despus del estado i es independiente del tiempo que pas en el
estado i.
Igual que las probabilidades de transicin de un paso jugaron un papel primordial al describir una cadena de
Markov de tiempo discreto, el papel anlogo para la cadena de Markov de tiempo continuo lo tienen las
intensidades de transicin.
Las intensidades de transicin son
s i
t
t p
p
dt
d
ii
t
ii i
, , 2 , 1 para ,
) ( 1
lim ) 0 (
0
=

= =


y
i j p
t
t p
p
dt
d
ij i
ij
t
ij ij
= = = =

toda para ,
) (
lim ) 0 (
0

donde p
ij
(t) es la funcin de probabilidad de transicin de tiempo continuo introducida al principio de la
seccin y p
ij
es la probabilidad descrita en la propiedad 2 el prrafo anterior. Ms an,
i
segn se defini
aqu, resulta ser tambin el parmetro de la distribucin exponencial para T
i
(vea la propiedad 1 del prrafo
anterior).
La interpretacin intuitiva de
i
y
ij
es que son tasas de transicin. En particular,
i
es la tasa de transicin
hacia afuera del estado i en el sentido de que
i
es el nmero esperado de veces en las que el proceso deja
el estado i por unidad de tiempo que pasa en el estado i. As,
i
es el recproco del tiempo esperado de
permanencia en el estado i cada vez que este estado es visitado; es decir,
) (
1
i
T E
i
= . (22)
De manera similar,
ij
es la tasa de transicin del estado i al estado j en el sentido de que
ij
es el nmero
esperado de veces que el proceso transita directamente del estado i al estado j por unidad de tiempo que
pasa en el estado i. As,

=
=
i j
ij i
(23)
Igual que
i
es el parmetro de la distribucin exponencial para T
i
, cada
ij
es el parmetro de una
distribucin exponencial para una variable aleatoria relacionada que se describe en seguida.
Cada vez que el proceso entra al estado i, la cantidad de tiempo que pasar en el estado i antes de que
ocurra una transicin directa al estado j es una variable aleatoria T
ij
donde i, j = 0,1,., s y j = i. Las T
ij
, son
variables aleatorias independientes, donde cada T
ij
tiene una distribucin exponencial con parmetro
ij
, de
manera que
ij
E

1
) ( =
ij
T . (24)
El tiempo que pasa en el estado i hasta que ocurre una transicin (T
i
) es el mnimo (sobre j = i) de las T
ij
.
Cuando ocurre la transicin, la probabilidad de que sea al estado j es
36
i
ij
ij
p

= . (25)
PROBABILIDADES DE ESTADO ESTABLE
Igual que las probabilidades de transicin de una cadena de Markov de tiempo discreto satisfacen las
ecuaciones de Chapman-Kolmogorov, la funcin de probabilidad de transicin de tiempo continuo satisface
estas ecuaciones. Entonces, para cualesquiera estados i y j, y nmeros no negativos t y s (0 s s s t),

=
=
S
k
kj ik ij
s t p s p t p
1
) ( ) ( ) ( (26)
Se dice que un par de estados i y j se comunican si existen tiempos t
1
y t
2
tales que p
ij
(t
1
) > 0 y p
ij
(t
2
) > 0. Se
dice que todos los estados que se comunican forman una clase. Si todos los estados en una cadena forman
una sola clase, es decir, si la cadena de Markov es irreducible (lo que se supondr de aqu en adelante),
entonces, p
ij
(t)> 0, para toda t > 0 y todos los estados i y j. Ms an,
j ij
t
t p t =

) ( lim
siempre existe y es independiente del estado inicial de la cadena de Markov, para j = 0, 1. ., s. Estas
probabilidades se conocen comnmente como las probabilidades de estado estable (o probabilidades
estacionarias) de la cadena de Markov.
Las t
j
satisfacen las ecuaciones
0 toda para y , , 2 , 1 para ) (
1
> = =

=
t s j t p
s
k
kj k j
t t . (27)
Restando a ambos miembros de la Ecc. 27 t
j
p
jj
(t), se tiene:
( )

=
=
j k
kj k jj j
t p t p ) ( ) ( 1 t t .
Dividiendo cada trmino de la anterior igualdad por t y calculando el lmite cuando t tiende a cero se obtiene:
( )

=

=

j k
kj
t
k
jj
t
j
t
t p
t
t p ) (
lim
) ( 1
lim
0 0
t t
s j
j k
kj k j j
, , 2 , 1 para , = =

=
t t (28)
Este nuevo conjunto de s ecuaciones es ms til para el clculo de las probabilidades de estado estable,
que el obtenido en las Eccs. 27. Nuevamente el conjunto de Ecc. 28 no es linealmente independiente, ya
que se obtiene del conjunto de Eccs. 27 que tampoco lo es, y por lo tanto debe eliminarse una cualquiera de
sus ecuaciones y reemplazarse por
. 1
0
=

=
s
k
j
t (29)
El conjunto de Eccs. 28 tiene una interpretacin intuitiva. El lado izquierdo (t
j

j
) es la tasa a la que el
proceso deja el estado j, ya que t
j
es la probabilidad (de estado estable) de que el proceso est en el estado
j y
j
es la tasa de transicin hacia afuera del estado j dado que el proceso se encuentra en el estado j. De
manera similar, cada trmino de lado derecho (t
k

kj
) es la tasa a la que el proceso entra al estado j desde el
estado k, ya que
kj
es la tasa de transicin del estado k al j dado que el proceso se encuentra en el estado k.
Sumando sobre toda k = j, todo el lado derecho proporciona la tasa a la que el proceso entra al estado j
desde cualquier estado. Por eso la ecuacin global establece que la tasa a la cual el proceso deja el estado j
debe ser igual a la tasa en la que el proceso entra al estado j.
Como cada una de las primeras s ecuaciones de estado estable requiere que las dos tasas estn
37
balanceadas (sean iguales), a veces estas ecuaciones se llaman ecuaciones de balance.
EJ EMPLO 9.1 Un taller tiene dos mquinas idnticas que operan continuamente excepto cuando se
descomponen. Como lo hacen con bastante frecuencia, la tarea con ms alta prioridad
para una persona de mantenimiento que trabaja tiempo completo es repararlas en cuanto
lo necesiten. El tiempo requerido para reparar una mquina tiene distribucin exponencial
con media de
2
1
da. Una vez que se termina la reparacin, el tiempo que transcurre hasta
la siguiente descompostura tiene distribucin exponencial con media de 1 da. Estas
distribuciones son independientes.
Solucin Definamos la variable aleatoria X(t) como
X(t) = nmero de mquinas descompuestas en el tiempo t,
de forma que los valores posibles de X(t) son 0, 1, 2. Por lo tanto, si se corre el parmetro
t de manera continua desde el tiempo 0, el proceso estocstico de tiempo continuo {X(t);
t > 0} proporciona la evolucin del nmero de mquinas descompuestas.
Como tanto el tiempo de reparacin como el tiempo hasta la siguiente descompostura
tienen distribuciones exponenciales, {X(t); t > 0} este proceso es una cadena de Markov
de tiempo continuo

con estados 0, 1, 2. En consecuencia, se pueden usar las ecuaciones
28 y 29 para encontrar la distribucin de probabilidad de estado estable del nmero de
mquinas descompuestas. Para hacer esto, se deben determinar todas las tasas de
transicin, esto es, las
j
y
kj
para k, j = 0, 1, 2.
El estado (nmero de mquinas descompuestas) aumenta en 1 cuando ocurre una
descompostura y disminuye en 1 cuando se termina una reparacin. Como tanto las
descomposturas como las reparaciones ocurren una a la vez,
02

20
= 0. El tiempo
esperado de reparacin es
2
1
da, de manera que la tasa a la que se terminan las
reparaciones (cuando hay mquinas descompuestas) es 2 por da, lo que implica que
21
=

10
= 2. De igual forma, el tiempo esperado hasta que se descompone una mquina en
operacin es 1 da, de manera que la tasa a la que se descompone (cuando est
operando) es 1 mquina por da; esto implica que
12
= 1. Durante los tiempos en los que
las dos mquinas operan, las descomposturas ocurren a una tasa de 1 + 1 = 2 mquinas
por da, as,
01
= 2. Estas tasas de transicin se resumen en el diagrama de tasas que se
muestra en la figura 11.
Figura 11
Diagrama de tasas
para el ejemplo de
una cadena de
Harkov de tiempo
continuo

Se pueden usar estas tasas para calcular la tasa de transicin total hacia afuera de
cada estado (Ecc. 20), as:
2
3
2
21 20 2
12 10 1
02 01 0
= + =
= + =
= + =




Sustituyendo todas las tasas en las ecuaciones de estado estable (Eccs 18 y 19), se
obtiene
Ecuacin de balance para el estado 0: 2t
0
= 2t
1

38
Ecuacin de balance para el estado 1: 3t
1
= 2t
0
+ 2t
2

Ecuacin de balance para el estado 2: 2t
2
= t
1
Las probabilidades suman 1: t
0
+ t
1
+ t
2
= 1
Cualquiera de las ecuaciones de balance (digamos, la segunda) se puede eliminar como
redundante, y la solucin simultnea de las ecuaciones restantes da la distribucin de
estado estable como
( ) ( )
5
1
5
2
5
2
2 1 0
, , , , = t t t
Entonces, a la larga, ambas mquinas estarn descompuestas simultneamente 20% del
tiempo y estar descompuesta una mquina otro 40% del tiempo.
El siguiente captulo (sobre teora de colas) contiene muchos ejemplos de cadenas de Markov de tiempo
continuo. De hecho, la mayor parte de los modelos bsicos de la teora de colas caen dentro de esta
categora. El ejemplo que se acaba de dar en realidad se ajusta a uno de estos modelos (la variacin de
fuente de entrada finita al modelo M/M/s).
PROBEMAS
GRUPO A
1. Reconsidere el ejemplo presentado al final de esta
seccin. Suponga que ahora se agrega al taller una
tercera mquina, idntica a las dos primeras. La
persona de mantenimiento debe atender a todas
las mquinas.
a) Desarrolle un diagrama de tasas para esta
cadena de Markov.
b) Construya las ecuaciones de estado estable.
c) Resuelva estas ecuaciones para obtener las
probabilidades de estado estable.
2. El estado de una cadena de Markov de tiempo
continuo est definido como el nmero de trabajos
que hay en el momento actual en cierto centro de
trabajo, donde se permite un mximo de tres
trabajos. Los trabajos llegan individualmente.
Siempre que hay menos de tres trabajos, el tiempo
que transcurre hasta la siguiente llegada tiene
distribucin exponencial con media de de da.
Los trabajos se procesan uno a la vez y dejan el
centro de inmediato. Los tiempos de procesado
tienen una distribucin exponencial con media de
de da.
a) Construya el diagrama de tasas para esta
cadena de Markov.
b) Escriba las ecuaciones de estado estable.
c) Resuelva estas ecuaciones para obtener las
probabilidades de estado estable.

Potrebbero piacerti anche