CADENAS DE MARKOV

En los problemas de toma de decisiones, con frecuencia nos enfrentamos a situaciones que tienen
incertidumbre asociada a ellas. Esta incertidumbre proviene de la variacin inherente a las fuentes de esa
variacin que eluden el control o proviene de la inconsistencia de los fenmenos naturales. En lugar de
manejar esta variabilidad como cualitativa, puede incorporarse a un modelo matemtico y manejarse en
forma cuantitativa. Por lo general, este tratamiento puede lograrse si el fenmeno natural muestra un cierto
grado de regularidad, de manera que sea posible describir la variacin mediante un modelo probabilstico.
Este capitulo presenta modelos de probabilidad para procesos que evolucionan en el tiempo de una manera
probabilstica. Tales procesos se llaman procesos estocsticos. espu!s de introducir brevemente los
procesos estocsticos generales en la primera seccin, el resto del captulo est dedicado a un tipo especial
de proceso, llamado Cadena de Markov. "as cadenas de #ar$ov tienen la propiedad particular de que las
probabilidades que describen la forma en que el proceso evolucionar en el futuro dependen slo del estado
actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos ocurridos en el
pasado. #uchos procesos se ajustan a esta descripcin por lo que las cadenas de #ar$ov constituyen una
clase de modelos probabilsticos de gran importancia y por lo tanto, se han aplicado con !%ito en reas tales
como educacin, mercadotecnia, servicios de salud, finan&as, contabilidad y produccin, entre otros.
1.1 QU ES UN PROCESO ESTOCSTICO?
'uponga que se observa una caracterstica de un sistema en un conjunto de puntos discretos del tiempo
(que llamaremos T = {0, 1, 2, , t, ) y que no necesariamente son equidistantes* y la cual puede tomar en
cada uno de estos tiempos uno de un n+mero finito de estados mutuamente e%cluyentes, etiquetados como
1, 2, , s
1
. 'ea Xt el valor de la caracterstica del sistema en el tiempo t (Xt toma valores en el conjunto S ,
-1, 2, , s)*. En la mayor parte de los casos no se conoce Xt con certe&a antes del tiempo t y por lo tanto se
puede considerar como variable aleatoria. .s, un ro!e"o e"#o!$"#%!o de #%e&o d%"!re#o ' e"#ado (%n%#o
no es ms que un conjunto inde%ado de variables aleatorias id!nticamente distribuidas -Xt) sobre un
conjunto discreto T, las cuales toman valores en un conjunto S = {1, 2, 3, , s}, y el cual da una descripcin
de la relacin entre las variables aleatorias X0 , X1, X2, , Xt, . . continuacin se dan unos ejemplos de
procesos estocsticos de tiempo discreto.
E)e&*o 1.1 +a r,%na de* ),-ador. En el tiempo 0 tengo $2000. En los tiempos 1, 2, participo en un
juego en el que solo puedo apostar $1000. /ano con probabilidad p, y pierdo con
probabilidad 1 - p. #i meta es aumentar mi capital a $4000, y tan pronto como lo logre se
suspende el juego. El juego tambi!n se suspende si mi capital se reduce a $0.
'ea t el tiempo despu!s de terminada la t-sina partida y Xt la variable aleatoria que
representa el capital que poseo despu!s del juego cuando el tiempo es t, si es que lo hay.
.s, los estados que puede tomar el sistema son0
Estado 0 Tener $0
Estado 1 Tener $1000
Estado 2 Tener $2000
Estado 3 Tener $3000
Estado 4 Tener $4000,
y por lo tanto S = {0, 1, 2, 3, 4}. Entonces se puede considerar que -Xt} es un proceso
estocstico de tiempo discreto. 1tese que X0 = 2 es una constante conocida, pero que X1 y
las dems Xt son aleatorias. Por ejemplo, X1 = 3 con probabilidad p y X1 = 1 con probabilidad
1 - p. 1tese que si Xt = 4, entonces Xt+1 y todas las dems Xt tambi!n sern iguales a 4.
2
Es indiferente si se inicia a etiquetar desde 1 o desde 0.
2
3gualmente, si Xt , 0, entonces Xt+1 y todas las dems Xt sern tambi!n cero. Por ra&ones
obvias, a estos casos se les llama problema de la ruina del jugador.
E)e&*o 1.. 4na urna contiene dos bolas, las cuales se encuentran sin pintar. 'e selecciona una bola al
a&ar y se lan&a una moneda. 'i la bola elegida no est pintada y la moneda produce cara,
pintamos la bola de rojo5 si la moneda produce sello, la pintamos de negro. 'i la bola ya est
pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo,
independientemente de si la moneda produce cara o sello. Para modelar este caso como
proceso estocstico, definimos a t como el tiempo despu!s que la moneda ha sido lan&ada
por t-sina ve& y se ha pintado la bola escogida. En cualquier tiempo se puede representar el
estado del sistema mediante el vector 6u, r, b7, donde u es el n+mero de bolas sin pintar en la
urna, r el n+mero de bolas rojas y b el de bolas negras. "uego los estados del sistema sern0
Estado 1 [2, 0, 0]
Estado 2 [1, 1, 0]
Estado 3 [1, 0, 1]
Estado 4 [0, 1, 1]
Estado 5 [0, 2, 0]
Estado 6 [0, 0, 2].
'e nos dice que X0 = [2, 0, 0]. espu!s del primer lan&amiento una bola habr sido pintada
ya sea de rojo o de negro y el estado ser [1, 1, 0] o [1, 0, 1]. Por lo tanto, podemos asegurar
que X1 = [1, 1, 0] o X1 = [1, 0, 17. Es claro que debe haber alguna relacin entre las Xt. Por
ejemplo, si Xt = [0, 2, 0], podemos asegurar que Xt+1 ser [0, 1, 1].
E)e&*o 1./ 'ea X0 el precio de una accin de la compa8a de 9omputadoras 9'" al principio de este da
hbil. Tambi!n, sea Xt el precio de esa accin al principio del t-simo da hbil en el futuro. Es
claro que si se conocen los valores de X0, X1, , Xt estos valores dicen algo acerca
distribucin de probabilidad de Xt+15 el asunto es0 :qu! nos dice el pasado (los precios de las
acciones hasta el tiempo t* acerca de Xt+1; "a respuesta a esta pregunta es de importancia
crtica en finan&as. Para mayores detalles, v!ase la siguiente seccin.
E)e&*o 1.0 Pro1*e&a de %nven#ar%o". 4na tienda de cmaras tiene en almac!n un modelo especial
que se puede ordenar cada semana. 'ean D1, D2, las demandas de este tipo de cmara
durante la primera, segunda, , t-sima semana, respectivamente. 'uponga que las Dt son
variables aleatorias independientes e id!nticamente distribuidas con distribucin de
probabilidad conocida. 'ea Xt el n+mero de cmaras que se tiene en el momento de iniciar el
proceso. El sbado en la noche la tienda hace un pedido que le entrega el lunes en el
momento de abrir la tienda. "a tienda usa la siguiente poltica (s, S*
<
para ordenar0 'i el
n+mero de cmaras en inventario al final de la semana es menor que s = 1 , ordena (hasta* S
= 3. e otra manera no coloca la orden. 'e supone que las ventas se pierden cuando la
demanda e%cede el inventario. Entonces -Xt) es un proceso estocstico. "os estados
posibles del proceso son0
Estado 0 Tener 0 cmaras en inventario al final de la semana
Estado 1 Tener 1 9mara en inventario al final de la semana
Estado 2 Tener 2 cmaras en inventario al final de la semana
Estado 3 Tener 3 cmaras en inventario al final de la semana.
e hecho, es claro que las variables aleatorias Xt son dependientes y se pueden evaluar en
forma iterativa por medio de la e%presin
<
4na poltica (s, S* es una poltica de revisin continua que consiste en ordenar hasta S unidades siempre que el nivel del inventario baje
de s (S s*. 'i el nivel de inventario es s o mayor que, no se ordena.
<

'

<

+
+
+
1 si } 0 ), {(
1 si } 0 ), 3 {(
1
1
1
t t t
t t
t
mx
mx
X D X
X D
X (2*
'e finali&ar esta seccin con una e%plicacin breve de los procesos estocsticos de tiempo continuo. 4n
proceso estocstico de tiempo continuo es simplemente un proceso estocstico en el que el estado del
sistema se puede e%aminar en cualquier tiempo y no slo en instantes discretos. Por ejemplo, se puede
considerar que el n+mero de personas en un supermercado a los t minutos despu!s de abrir, es un proceso
estocstico de tiempo continuo. "os modelos en los que intervienen estos procesos se estudiaran ms
adelante. 9omo el precio de una accin se puede observar en cualquier tiempo, y no slo al abrir la bolsa,
este se puede considerar como proceso estocstico de tiempo continuo. .l considerarlo as, se ha podido
llegar a importantes resultados en la teora de finan&as, incluyendo la famosa frmula de =lac$>'choles para
opcin de precio.
1.. QU ES UNA CADENA DE MARKOV?
Es necesario hacer algunas suposiciones sobre la distribucin conjunta de X0, X1, para obtener resultados
analticos. ?ay una suposicin que nos lleva a un tipo especial de procesos estocsticos de tiempo discreto
llamados cadenas de #ar$ov. Para simplificar nuestra presentacin supondremos que en cualquier tiempo,
el proceso estocstico de tiempo discreto puede estar en uno de un n+mero finito de estados identificados
por 1, 2, ,s.
DEFINICIN 4n proceso estocstico de tiempo discreto es una !adena de Markov si para t , 0, 1, 2,
y todos los estados,
( ) ( )
t t t t t
i | i P i , i , , i , i | i P
+ + + + t t t t t
X X X X X X X
1 0 1 1 1 1 0 1 1 1
(<*
En esencia, la ecuacin (2* dice que la distribucin de probabilidad del estado en el tiempo t + 1 depende del
estado en el tiempo t (it) y no depende de los estados por los cuales pas la cadena para llegar a it, en el
tiempo t, es decir, el estado que tomar el sistema en el futuro inmediato solo depende del presente ms no
del pasado. "a probabilidad condicional ( )
t t
i | i P
+ + t t
X X
1 1
se llama probabilidad de transicin, ya que
el sistema en perodo pasa del estado it+1 al estado it.
.dems, si para cualquier par de estados i y j ocurre ( ) i j| P
+ t t
X X
1
toma el mismo valor para todo t,
se dice que la cadena de #ar$ov es estacionaria en el tiempo y se puede escribir0
P(Xt+1 = j | Xt = i) = P(X1 = j | X0 = i) = pij (@*
donde pij es la probabilidad de que dado que el sistema est en el estado i en el tiempo t, el sistema estar
en el estado j en el tiempo t + 1. 9on frecuencia, en una cadena de #ar$ov, a las pij, se les conoce con el
nombre de ro1a1%*%dade" de #ran"%!%2n e"#a!%onar%a".
"a Ecc. < indica que la ley de probabilidad que relaciona el estado tomado en el siguiente periodo con el
estado actual del sistema no cambia, o que permanece estacionaria, en el tiempo. Por este motivo, a
menudo se llama 3%2#e"%" de e"#a1%*%dad a la ecuacin (<*. Toda cadena de #ar$ov que cumple con la
Ecc. < se **a&a !adena e"#a!%onar%a de Markov.
En la mayora de las aplicaciones, las probabilidades de transicin se presentan como una &a#r%4 P de
ro1a1%*%dad de #ran"%!%2n s s. "a matri& de probabilidad de transicin P se puede escribir como
@
1
1
1
1
]
1

SS S S
S
S
p p p
p p p
p p p

2 1
2 22 21
1 12 11
P
ado que el estado es i en el tiempo t, el proceso debe estar en alg+n lugar en el tiempo t + 1. Esto significa
que para cada i,
1 ) | (
1
1

+
s
j
t t
i X j P X
o bien que
1
1

s
j
ij
p
Tambi!n sabemos que cada elemento de la matri& P debe ser no negativo. Por lo tanto, todos los elementos
de la matri& de probabilidad de transicin son no negativos y adems, los elementos de cada rengln deben
sumar 1.
El estudio de las cadenas de #ar$ov tambi!n necesita que se defina qi como la probabilidad de que la
cadena se encuentre en el estado i en el tiempo 05 en otras palabras, P(X0 = i) = qi. .l vector q = [q1, q2, , qs]
se le llama d%"#r%1,!%2n %n%!%a* de ro1a1%*%dad de la cadena de #ar$ov.
E)e&*o ..1 La ruina del jugador (continuacin). Encuentre la matri& de transicin del Ejemplo 2.2.
So*,!%2n 9omo la cantidad de dinero que tengo despu!s de t + 1 jugadas depende de los
antecedentes del juego slo hasta la cantidad de efectivo que tengo despu!s de t jugadas,
no hay duda que se trata de una cadena de #ar$ov. ebido a que como las reglas del juego
no varan con el tiempo, tambi!n tenemos una cadena de #ar$ov estacionaria. "a matri& de
transicin es la siguiente0
Estao
0 1 2 3 4
0 1 0 0 0 0
1 1 - p 0 P 0 0
P = 2 0 1 - p 0 P 0
3 0 0 1 - p 0 p
4 0 0 0 0 1
'i el estado es 0 o 4 no juego ms y, por lo tanto, el estado no puede cambiar5 entonces p00 =
p44 = 1. Para los dems estados sabemos que, con probabilidad p, el estado del siguiente
periodo ser mayor que el estado actual en 1, y con probabilidad 1 - p, el estado del siguiente
periodo ser menor en 1 que el estado actual.
4na matri& de transicin se puede representar con una grfica en la que cada nodo
represente un estado y arc(i, j) represente la probabilidad de transicin pij. "a Aig. 2 es una
representacin grfica de la matri& de probabilidad de transicin para este ejemplo.
5%-,ra 1
Bepresentacin grfica
de la matri& de
transicin para el
ejemplo de la ruina del
jugador
E)e&*o ... (Continuacin) etermine la matri& de transicin del Ejemplo 2.< de la seccin anterior.
C
So*,!%2n 9omo el estado de la urna despu!s del siguiente lan&amiento de la moneda depende slo
del pasado del proceso hasta el estado de la urna despu!s del lan&amiento actual, se trata
de una cadena de #ar$ov. .dems, las reglas no varan a trav!s del tiempo y por lo tanto
tenemos una cadena estacionaria de #ar$ov. "a matri& de transicin para el Ejemplo 2.< es
la siguiente0
Estao
[0, 1, 1] [0, 2, 0] [0, 0, 2] [2, 0, 0] [1, 1, 0] [1, 0, 1]
P =
[0, 1, 1] 0 ! ! 0 0 0
[0, 2, 0] 1 0 0 0 0 0
[0, 0, 2] 1 0 0 0 0 0
[2, 0, 0] 0 0 0 0 ! !
[1, 1, 0] " " 0 0 0 !
[1, 0, 1] " 0 " 0 ! 0
Para ver cmo se forma la matri& de transicin, determinaremos el rengln [1, 1, 0]. 'i el
estado actual es [1, 1, 0], dadas las condiciones del problema, no es posible pasar a
cualquiera de los estados 60, 0, 27, 62, 0, 07 y 61, 1, 07 y por lo tanto la probabilidad de
transicin del estado [1, 1, 0] a cualquiera de estos estados es cero. .hora bien, si el estado
es [1, 1, 0] para alcan&ar el estado [0, 2, 0] debe ocurrir que se escoge una bola sin pintar
(con probabilidad !* y que el resultado del lan&amiento de la moneda sea cara (con
probabilidad !*, lo que da una probabilidad de D. Pero si lo que ocurre es que se saca una
bola sin pintar (con probabilidad !* y el resultado del lan&amiento de la moneda es sello (con
probabilidad !* se alcan&a el estado [0, 1, 1] con probabilidad D. Ainalmente, si se escoge la
bolla roja (con probabilidad de !*, sin importar el resultado del lan&amiento de la moneda a
esta se le cambiar el color y se alcan&a as el estado [1, 0, 1] con probabilidad E. "o
anterior se resume en la Tabla 2.
Ta1*a 1
9lculos de las
probabilidades de
transicin si el estado
actual es 62, 2, F7
EGE1TH PBH=.=3"3. E'T.H 14EGH
'acar cara en el lan&amiento y escoger un a bola sin pintar D [0, 2, 0]
Escoger bola roja E [1, 0, 1]
'acar cru& en el lan&amiento y escoger una bola sin pintar D [0, 1, 1]
En la Aig. < se da una representacin grfica de esta matri& de transicin.
5%-,ra .
Bepresentacin
grfica de la matri&
de transicin para el
ejemplo de la urna
E)e&*o ../ (Continuacin) En los +ltimos a8os, los estudiantes de finan&as han dedicado mucho
esfuer&o a contestar la pregunta de si el precio diario de una accin se puede describir
mediante una cadena de #ar$ov. 'upongamos que el precio diario de una accin, como el
de la compa8a de computadoras 9'", se puede representar por una cadena de #ar$ov.
I
:Ju! nos dice esto; 'implemente que la distribucin de probabilidad del precio de las
acciones ma8ana depende slo del precio de hoy, pero no de los precios anteriores. 'i el
precio de una accin se puede representar como cadena de #ar$ov, los KtablistasL que
tratan de predecir los precios futuros sobre la base de los comportamientos seguidos durante
el pasado estn mal. Por ejemplo, supongan que el precio diario de una accin de 9'" sigue
una cadena de #ar$ov y el precio de hoy es 50 dlares. Entonces, para predecir el precio de
ma8ana no importa si el precio ha aumentado o disminuido durante cada uno de los +ltimos
30 das. En cualquier caso, o en cualquier otro caso que pudiera haber conducido al precio
actual de 50 dlares, la prediccin del precio de ma8ana se debe basar slo en el hecho de
que hoy el precio de esas acciones es de 50 dlares. En la actualidad, el consenso es que
para la mayor parte de las acciones, su coti&acin diaria se puede describir con una cadena
de #ar$ov. . esta idea se le llama con frecuencia 6%2#e"%" de* &er!ado e(%!%en#e.
E)e&*o ..0 Pro1*e&a de %nven#ar%o 7!on#%n,a!%2n8. Encontrar la matri& de transicin para el ejemplo
2.C, suponiendo que Dt tiene una distribucin de probabilidad Poisson con parmetro , 1
3
.
So*,!%2n Para obtener p00 es necesario evaluar P(Xt+1=0 | Xt=0). 'i Xt,F, entonces Xt+1= m#${(3 % Dt+1),
0}, seg+n la Ecc 2. Pero como Xt+1=0, 3 % Dt+1 0 y por lo tanto Dt+1 3. .s, p00= P(Dt+1 3) = 1
- P(Dt+1 2) = .0&05 y p10= P(Xt+1=0 | Xt=1) se puede obtener de una manera parecida. 'i Xt,2,
entonces Xt+1= m#${(1 % Dt+1), 0}. Pero como Xt+1=0, 1 % Dt+1 0 y por lo tanto la demanda debe
ser 1 o ms. Por esto, p10= P(Dt+1 1) = 1 - P(Dt+1 = 0) = .632. Para encontrar '21, P(Xt+1=1 |
Xt=2), observe que Xt+1= m#${(2 % Dt+1), 0} si Xt,2. En consecuencia, si Xt+1=1, entonces la
demanda durante la semana tiene que ser e%actamente 1. Por lo tanto, '21, P(Dt+1=1) = .36&.
"os elementos restantes se obtienen en forma similar, lo que lleva a la siguiente matri& de
transicin0
3 2 1 0
1
1
1
1
]
1

36& . 36& . 1&4 . 0&0 .

0 36& . 36& . 264 .
0 0 36& . 632 .
36& . 36& . 1&4 . 0&0 .
3
2
1
0
P
"a Aig. @ muestra la representacin grfica de esta matri& de transicin.
5%-,ra /
Bepresentacin grfica para
la matri& de transicin para
el problema de inventario.
PROBLEMA
!R"PO A 2. En una ciudad, al (0) de los das soleados siguen
das soleados, y al &0) de los das nublados
siguen das nublados. 9on esta informacin
@
"a distribucin Poisson esta dada por0

*aso ot+o *,a-.,i/+ /n , 0

, 2 , 1 , 0 Si
0
) (
x
x
e
x P
x

X
M
modelar el clima de la ciudad como cadena de
#ar$ov.
<. 'uponga que la probabilidad de lluvia ma8ana es
0.5 si hoy llueve y que la probabilidad de un da
claro (sin lluvia* ma8ana es 0.( si hoy est claro.
'uponga adems que estas probabilidades no
cambian si tambi!n se proporciona informacin
sobre el clima de das anteriores a hoy.
a* E%plique por qu! las suposiciones
establecidas implican que la propiedad
mar$oviana se cumple para la evolucin del
clima.
b* Aormule la evolucin del clima como una
cadena de #ar$ov definiendo sus estados y
dando su matri& de transicin (de un paso*.
@. 9onsidere que si el precio de una accin sube o no
ma8ana depende de si subi o no hoy y ayer. 'i la
accin subi hoy y ayer, ma8ana subir con
probabilidad 1. 'i la accin subi hoy y ayer baj,
ma8ana subir con probabilidad 2. 'i la accin
baj hoy y ayer subi, la probabilidad de que suba
ma8ana es 3. Por +ltimo, si la accin baj hoy y
ayer, la probabilidad de que suba ma8ana es 4.
#odele esta situacin como una cadena de #ar$ov
y determine la matri& de transicin de un paso.
C. Beconsidere el problema @. 'uponga ahora que el
hecho que la accin suba ma8ana depende de si
subi o no hoy, ayer y antier. :Puede este
problema formularse como una cadena de #ar$ov;
'i se puede, :cules son los estados posibles;
E%plique por qu! estos estados dan al proceso la
propiedad mar$oviana mientras que si definen
como se hi&o para los estados en el problema
anterior esto no ocurre.
I. 4na fbrica tiene dos mquinas. urante cualquier
da, cada mquina que trabaja al principio del da
tiene probabilidad x de descomponerse. 'i se
descompone una mquina durante el da, se
manda a un taller de reparacin y estar
trabajando despu!s que se descompuso. Por
ejemplo, si una mquina se descompone durante el
da 3, estar trabajando al principio del da 5. 'i se
hace que el estado del sistema sea el n+mero de
mquinas que trabajan al principio del da, formule
una matri& de probabilidad de transicin para este
caso.
!R"PO B
M. En relacin con el problema 2, suponga que el
tiempo de ma8ana en la ciudad depende del
tiempo que haya prevalecido los +ltimos dos das,
como sigue0 (2* 'i los +ltimos dos das han sido
soleados, entonces el (5) de las veces ma8ana
ser soleado. (<* 'i ayer estuvo nublado y hoy
soleado, entonces el 10) de veces ma8ana estar
soleado. (@* 'i ayer estuvo soleado y hoy est
nublado, entonces el 60) de las veces ma8ana
estar nublado. (C* 'i los +ltimos dos das fueron
nublados, entonces el &0) de las veces ma8ana
ser nublado.
9on esta informacin modele el clima de la ciudad
como cadena de #ar$ov. 'i el tiempo de ma8ana
dependiera del de los +ltimos tres das, :cuntos
estados se necesitaran para modelar el clima
como cadena de #ar$ov; No#a: El m!todo que se
usa en este problema se puede aplicar para
modelar un proceso estocstico de tiempo discreto
como cadena de #ar$ov, aun si Xt+1 depende de
los estados anteriores a Xt, tal como Xt-1 en este
ejemplo.
N. En el Prob. @, suponga que una mquina que se
descompone regresa al servicio tres das despu!s.
Por ejemplo, la mquina que se descompone
durante el da 3 estar trabajando al principio del
da 6. etermine una matri& de transicin de
probabilidad para este caso.
1./ PRO9A9I+IDADES DE TRANSICI:N DE n ETAPAS
'uponga que estudiamos una cadena de #ar$ov con matri& P de probabilidad de transicin conocida. 9omo
todas las cadenas con las que trataremos son estacionarias, no nos importar identificar nuestras cadenas
de #ar$ov como estacionarias. 4na pregunta de inter!s es0 si una cadena de #ar$ov est en el estado i en
el tiempo t, :cul es la probabilidad que n perodos despu!s la cadena de #ar$ov est! en el estado j; 9omo
se trata de una cadena de #ar$ov estacionaria, esta probabilidad ser independiente de t y, por lo tanto,
podemos escribir
P(Xt+n = j | Xt = i) = P(Xn = j | X0 = i) = Pij(n)
donde pi2(n) se llama ro1a1%*%dad en *a e#aa n de una transicin del estado i al estado j.
Es claro que pij(1) = pij. Para determinar pij(2) ntese que si el sistema se encuentra hoy en el estado i,
entonces para que el sistema termine en el estado j dentro de 2 periodos, debe pasar del estado i al estado
y despu!s pasar del estado al estado j (Aig. @*. Este modo de ra&onar nos permite escribir
N

ij
j i p
1
) a / n t+ansi*i3 / a '+o4a4i-i )( a / n t+ansi*i3 / a ('+o4a4i-i ) 2 (
e acuerdo con la definicin de P, la matri& de probabilidad de transicin, replanteamos la +ltima ecuacin
en la siguiente forma0

s !

j i ij
p p p
1
) 2 ( (C*
El segundo miembro de la ecuacin (@* es tan slo el producto escalar del rengln i de la matri& P por la
columna j de esa matri&. Por lo tanto, pij(2) es el ij-simo elemento de la matri& P
2
. /enerali&ando este modo
de ra&onar, se puede demostrar que para n 5 1,
Pij(n) = elemento ij-simo de P
n
(I*
"a Ecc. C es conocida como E!,a!%2n de C6a&an;Ko*&o-orov.
5%-,ra 0
pij(2) = pi1 p12 + pi2 p22 +
+ pisps2
1aturalmente, para n = 0, pij(0) = P(X0 = j | Xo = i) y, por lo tanto, debemos escribir

'

i j
i j
p
ij
si 0
si 1
) 0 (
En el Ejem. @.2 mostraremos el uso de la ecuacin (I*.
E)e&*o /.1 Eje#$lo de Cola% 'uponga que toda la industria de refrescos produce dos colas. 9uando
una persona ha comprado la cola 2, hay una probabilidad de (0) de que su siguiente
compra sea de cola 2. 'i una persona compr cola <, hay &0) de probabilidades que su
pr%ima compra sea de cola <.
2. 'i actualmente una persona es comprador de cola <, :cul es la probabilidad que compre
cola 2 pasadas dos compras a partir de hoy;
<. 'i en la actualidad una persona es comprador de cola 2, :cul es la probabilidad que
compre cola 2 pasadas tres compras a partir de ahora;
So*,!%2n 9onsideraremos que las compras de cada una de las personas son una cadena de #ar$ov,
y que el estado en cualquier momento es el tipo de cola que compr la persona por +ltima
ve&. Por lo tanto, las compras de cola por parte de cada una de las personas se pueden
representar con una cadena de #ar$ov de dos estados donde
Estado 1 , la persona acaba de comprar cola 2
Estado 2 , la persona acaba de comprar cola <
O
'i definimos Xn como el tipo de cola que compra una persona en la n-sima compra futura (la
compra actual = X0*, entonces X0, X1, se pueden describir como una cadena de #ar$ov
con la siguiente matri& de transicin0
1 2
P =
1 0.(0 0.10
2 0.20 0.&0
Podemos contestar ahora las preguntas 2 y <.
2. 'e busca P(X2 = 1 | X0 = 2) = p21(2) = elemento 21 de P
2
0
1
]
1

1
]
1

1
]
1

66 . 0 34 . 0
11 . 0 &3 . 0
&0 . 0 20 . 0
10 . 0 (0 . 0
&0 . 0 20 . 0
10 . 0 (0 . 0
2
P
Por lo tanto, p21(2) = 0.34. Esto significa que hay probabilidad 0.34 de que la persona que
compra cola < compre cola 2, despu!s de dos compras a partir de ahora. 9on la teora
bsica de probabilidad, podemos obtener esta respuesta siguiendo un camino distinto (Aig.
C*. 1tese que p21(2) = (probabilidad que la siguiente compra sea cola 2 y la segunda sea
cola 2* P (probabilidad que la siguiente compra sea cola < y la segunda sea cola 2* , p26p11 +
p22p21= (0.20)(0.(0) + (0.&0)(0.20) = 0.34.
5%-,ra <
Probabilidad de que a
dos periodos a partir de
ahora, un comprador de
cola < compre cola 2.
<. =uscamos p11(3) = elemento 11 de P
3
:
1
]
1

1
]
1

1
]
1

562 . 0 43& . 0
21( . 0 1&1 . 0
66 . 0 34 . 0
11 . 0 &3 . 0
&0 . 0 20 . 0
10 . 0 (0 . 0
) (
2 3
P P P
Por lo tanto, p11(3) = 0.1&1.
En muchos casos conocemos el estado de la cadena de #ar$ov en el tiempo 0. 9omo se defini en la 'ecc.
2.<, sea qi la probabilidad que la cadena est! en el estado i en el tiempo 0. Entonces podemos determinar la
probabilidad de que el sistema est! en el estado i en el tiempo n mediante el siguiente ra&onamiento (Aig. I*0
Q
5%-,ra =
eterminacin de la
probabilidad de estar en
el estado j en el tiempo
n cuando se desconoce
el estado inicial
Probabilidad de estar en el estado j en el tiempo n

s i
i 1
(probabilidad de que el estado original sea i*
R (probabilidad de pasar de i a 2 en n transiciones*

s i
i
ij i
n p q
1
) (
= q(columna j de P
n
* (M*
donde q = [q1, q2, ..., qn].
Para mostrar el uso de la ecuacin (M* contestaremos la siguiente pregunta0 supongamos que el 60) de toda
la gente toma hoy cola 2 y el 40) cola <. . tres compras a partir de ahora, :qu! fraccin de los compradores
estar tomando cola 2; 9omo q = [.60, .40] y
q(columna 2 de P
3
) , probabilidad de que a tres compras a partir de este momento una
persona tome cola 2,
la probabilidad que se busca es
[ ] 643& . 0
43& . 0
1&1 . 0
40 . 0 60 . 0
1
]
1

Por lo tanto, a tres compras de este momento el 64) de las personas estar comprando cola 2.
Para mostrar el comportamiento de las probabilidades de transicin en n etapas para grandes valores de n,
hemos calculado algunas de las probabilidades transicin de n etapas para el ejemplo de la cola y se
muestran en la Tabla <. 9uando n es grande, p11(n) y p21(n) son casi constantes y tienden a .61. Esto quiere
decir que para n grande, independientemente del estado inicial, hay una probabilidad de 0.61 de que una
persona compre cola 2. 3gualmente, vemos que para n grande, tanto p12(n) como p22(n) son casi constantes y
tienden a 0.33. Esto significa que para n grande, haciendo caso omiso del estado inicial, hay una
probabilidad 0.33 de que una persona sea comprador de cola <. En la 'ecc. 2.I estudiaremos con
detenimiento estas tendencias de probabilidad de transicin en la etapa n.
Ta1*a .
Probabilidades de
transicin en n etapas
para el ejemplo de 9ola
n P11(n) P12(n) P21(n) P22(n)
1 0.(0 0.10 0.20 0.&0
2 .&3 0.11 0.34 0.66
3 .01& 0.22 0.44 0.56
4 0.15 0.25 0.51 0.4(
2F
5 0.12 0.2& 0.56 0.44
10 0.6& 0.32 0.65 0.35
20 0.61 0.33 0.61 0.33
30 0.61 0.33 0.61 0.33
40 0.61 0.33 0.61 0.33
PROBLEMA
!R"PO A
2. 9ada familia colombiana se puede clasificar como
habitante de &ona urbana, rural o suburbana.
urante un a8o determinado, el 15) de todas las
familias urbanas se cambian a una &ona suburbana
y el 5) se cambian a una &ona rural. Tambi!n, el
6) de las familias suburbanas pasan a &ona
urbana y el 4) se mudan a &ona rural. Por +ltimo,
el 4) de las familias rurales pasan a una &ona
urbana y el 6) se mudan a una &ona suburbana.
(a* 'i una familia actualmente vive en una &ona
urbana, :cul es la probabilidad que despu!s
de 2 a8os viva en &ona urbana; :En &ona
suburbana; :En &ona rural;
(b* 'upongamos que en la actualidad el 40) de
las familias viven en &ona urbana, el 35) en
&ona suburbana y el 25) en &ona rural.
espu!s de dos a8os, :qu! porcentaje de las
familias colombianas vivir en &ona urbana;
(c* :Ju! problemas se pueden presentar si este
modelo se usara para predecir la distribucin
futura de la poblacin en 9olombia;
<. 'e pregunta lo siguiente acerca del Problema de la
ruina del jugador ('ecc. 2 y 'ecc. <*.
(a* espu!s de jugar dos veces, :cul es la
probabilidad que tenga S3,000; :9ul la de
que tenga S2,000;
(b* espu!s de jugar tres veces, :cul es la
probabilidad que tenga S<,FFF;
@. En el Ejem. <.<, determine las siguientes
probabilidades de transicin en n etapas0
(a* espu!s de haber pintado 2 bolas, :cul es la
probabilidad que el estado sea [0, 2, 0];
(b* espu!s de haber pintado tres bolas, :cul es
la probabilidad que el estado sea [0, 1, 1];
Trace un diagrama como el de la Aig. I.
C. Beconsidere el problema < de la seccin anterior.
(a* Encuentre la matri& de transicin de n
transiciones P(n) para n = 2, 5, 10, 20.
(b* "a probabilidad de que llueva hoy es 0.5. 4se
los resultados del inciso (a* para determinar la
probabilidad de que llueva dentro de n das,
para n = 2, 5, 10, 20.
I. 'uponga que una red de comunicaciones transmite
dgitos binarios, 0 o 1, en donde cada dgito se
transmite 10 veces sucesivas. urante cada
transmisin, la probabilidad de que ese dgito se
transmita correctamente es de .((. En otras
palabras, se tiene una probabilidad de .01 de que el
dgito transmitido se registre con el valor opuesto al
final de la transmisin. 'i X0 denota el dgito binario
que entra al sistema, X1 el dgito binario registrado
despu!s de la primera transmisin, X2 el dgito
binario registrado despu!s de la segunda
transmisin, , entonces -Xt) es una cadena de
#ar$ov.
(a* etermine la matri& de transicin.
(b* ise8e un programa que permita encontrar la
matri& de transicin de 10 pasos P(10). 4se
este resultado para identificar la probabilidad
de que un dgito que entra a la red se registre
correctamente despu!s de la +ltima
transmisin.
(c* 'uponga que la red se redise8a para mejorar
la probabilidad de la e%actitud de una sola
transmisin de 0.(( a 0.(((. Bepita el inciso (b*
para encontrar la nueva probabilidad de que
un dgito que entra a la red se registre
correctamente despu!s de la +ltima
transmisin.
M. 4na partcula se mueve sobre un crculo por
puntos marcados 0, 1, 2, 3, 4 (en el sentido de las
manecillas del reloj*. "a partcula comien&a en el
punto 0. En cada paso tiene una probabilidad de
0.5 de moverse un punto en el sentido de las
manecillas del reloj (0 sigue al 4* y una probabilidad
de 0.5 de moverse un punto en el sentido opuesto.
'ea Xn (n 0) la locali&acin en el crculo despu!s
del paso n5 -Xn) es entonces una cadena de
#ar$ov.
(a* Encuentre la matri& de transicin.
(b* 4se el programa hecho en el problema
anterior para determinar la matri& de transicin
P(n) para n , I, 2F, <F, CF, OF.
1.0 C+ASI5ICACI:N DE ESTADOS EN UNA CADENA DE MARKOV
En la 'ecc. 2.@ se mostr que despu!s de muchas transiciones, las probabilidades de transicin de n etapas
tienden a estabili&arse. .ntes de poder describir esto con ms detalle, necesitamos estudiar cmo los
22
matemticos clasifican los estados de una cadena de #ar$ov. "a siguiente matri& de transicin se usar
para mostrar la mayora de las definiciones siguientes (Aig. M*0
1
1
1
1
1
1
]
1

2 . 0 & . 0 0 0 0
1 . 0 4 . 0 5 . 0 0 0
0 1 . 0 3 . 0 0 0
0 0 0 5 . 0 5 . 0
0 0 0 6 . 0 4 . 0
P
DEFINICIN ados dos estados i y j, la #ra'e!#or%a de i a j es la sucesin de transiciones que
comien&a en i y termina en j, de modo que cada transicin de la secuencia tenga
probabilidad positiva de presentarse.
5%-,ra >
Bepresentacin grfica
de la matri& de
transicin
DEFINICIN 4n estado j es a*!an4a1*e desde un estado i si hay una trayectoria que vaya de i a j , es
decir, si para alg+n n 1, pij(n) 5 0.
Entonces, que el estado j sea alcan&able desde el estado i significa que es posible que el sistema llegue
eventualmente al estado j si comien&a en el estado i.
DEFINICIN 'e dice que dos estados i y j se !o&,n%!an si j es alcan&able desde i, e i es alcan&able
desde j.
Para la matri& P de probabilidad de transicin representada en la Aig. M, el estado 5 es alcan&able desde el
estado 3 (a trav!s de la trayectoria 37475*, pero el estado 5 no es alcan&able desde el estado 1 (no hay
trayectoria que vaya de 1 a 5 en la Aig. M*. Tambi!n, los estados 1 y 2 se comunican0 podemos pasar de 1 a
2 y de 2 a 1.
DEFINICIN 4n conjunto de estados S en una cadena de #ar$ov es !on),n#o !errado si ning+n
estado fuera de S es alcan&able desde un estado en S.
e la cadena de #ar$ov con la matri& P de la Aig. M, tanto S1 = {1, 2} como S2 = {3, 4, 5} son conjuntos
cerrados. Hbserve que una ve& que entramos a un conjunto cerrado no podemos dejarlo nunca. En la Aig. M
ning+n arco comien&a en S1 y termina en S2 o principia en S2 y termina en S1. Es evidente que todos los
estados de un conjunto cerrado se comunican y por lo tanto estos no son ms que clases de equivalencia
inducidas por la relacin de comunicacin.
DEFINICIN 4na cadena de #ar$ov es %rred,!%1*e si todos sus estados pertenecen al mismo
conjunto cerrado.
2<
"o anterior significa que todos los estados de la cadena pertenecen a la misma clase de equivalencia
inducida por la relacin de comunicacin y por lo tanto todos sus estados se comunican. El problema de
inventario corresponde a una cadena de #ar$ov irreducible (Aig. @*, ya que todos sus estados se comunican.
DEFINICIN 4n estado i es e"#ado a1"or1en#e si pii = 1
'iempre que entramos a un estado de absorcin, nunca lo podremos dejar. En el Ejem. 2, la ruina del
jugador, los estados 0 y 4 son absorbentes. Es natural que un estado absorbente sea un conjunto cerrado
que slo contenga un estado.
DEFINICIN 4n estado i es e"#ado #ran"%#or%o si e%ite un estado j alcan&able desde i, pero el estado
i no es alcan&able desde el estado j.
En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se
regrese a !l. En el ejemplo de la ruina del jugador, los estados 1, 2 y 3 son estados transitorios. Por ejemplo
(Aig. 2*, desde el estado 2 es posible pasar por la trayectoria 27374, pero no hay modo de regresar al
estado 2 desde el estado 4. 3gualmente, en el Ejem. <.2, [2, 0, 0], [1, 1, 0] 8 [1, 0, 1] son estados transitorios.
En la Aig. <, hay una trayectoria desde [1, 0, 1] a [0, 0, 2], pero una ve& que se hayan pintado ambas bolas,
no hay manera de regresar a [1, 0, 1].
espu!s de un gran n+mero de periodos, la probabilidad de encontrarse en cualquier estado de transicin i
es cero. 9ada ve& que entramos a un estado i de transicin, hay una probabilidad positiva de dejar i para
siempre y terminar en el estado j, descrito en la definicin de estado transitorio. .s, al final, tenemos la
seguridad de entrar al estado j (y en ese caso nunca regresaremos al estado i*. .s, suponga que en el
Ejem. <.< nos encontramos en el estado transitorio [1, 0, 1]. 9on probabilidad 1, la bola no pintada la
pintaremos finalmente y nunca regresaremos a ese estado [1, 0, 1] (Aig. <*.
DEFINICIN 'i un estado no es transitorio, se llama e"#ado re!,rren#e.
En el Ejem. <.2, los estados 0 y 4 son estados recurrentes (y tambi!n estados absorbentes
C
*. En el Ejem.
<.<, [0, 2, 0], [0, 0, 2] y [0, 1, 1] son estados recurrentes. Para la matri& de transicin de la Aig. N todos los
estados son recurrentes.
"a recurrencia es una propiedad de clase, es decir, todos los estados de una clase (o conjunto cerrado* son
recurrentes o son transitorios. Entonces, todos los estados de una cadena de #ar$ov de estado finito
irreducible son recurrentes
DEFINICIN 4n estado i es er%2d%!o con periodo 51 si es el menor n+mero tal que todas las
trayectorias que parten del estado i y regresan al estado i tienen una longitud m+ltiplo de
. 'i un estado recurrente no es peridico, se llama aer%2d%!o.
.l igual que la recurrencia es una propiedad de clase, tambi!n lo es la periodicidad. Esto es, si el estado i en
una clase tiene perodo , todos los estados de esta clase (o conjunto cerrado* tienen perodo .
Para la cadena de #ar$ov cuya matri& de transicin es
1
1
1
]
1

0 0 1
1 0 0
0 1 0
Q
cada estado tiene periodo 3. Por ejemplo, si comen&amos en el estado 1, la +nica manera de regresar a ese
estado es seguir la trayectoria 1727371 durante, digamos, m veces (Aig. O*. Por lo tanto, cualquier regreso
C
Todo estado absorbente es recurrente. "o contrario no es cierto.
2@
al estado 1 tomar 3m transiciones, de modo que el estado 1 tiene periodo 3. onde nos encontremos,
tenemos la seguridad de regresar all tres periodos despu!s.
5%-,ra ?
9adena peridica de
#ar$ov con = 3.
DEFINICIN 'i todos los estados de una cadena son recurrentes, aperidicos y se comunican entre s,
se dice que la cadena es er-2d%!a.
El ejemplo de la ruina del jugador no es cadena ergdica porque, por ejemplo, los estados 3 y 4 no se
comunican. El Ejem. < tampoco es una cadena ergdica porque, por ejemplo, [2, 0, 0] y [0, 1, 1] no se
comunican. El Ejem. C, el ejemplo de la cola, es cadena ergdica de #ar$ov. e las siguientes tres cadenas
de #ar$ov, P1 y P3 son ergdicas y P2 no es ergdica.
1
1
1
]
1

4
3
4
1
2
1
2
1
3
2
3
1
1
0
0
0
P Ergdica
1
1
1
1
1
]
1

4
3
4
1
3
1
3
2
2
1
2
1
2
1
2
1
0 0
0 0
0 0
0 0
2
P 1o ergdica
1
1
1
]
1

3
1
3
2
3
1
3
2
4
1
2
1
4
1
0
0
3
P
Ergdica
P2 no es ergdica porque hay dos clases cerradas de estados (la clase 1 = {1, 2} y la clase 2 = {3, 4}* y los
estados en clases diferentes no se comunican entre s.
espu!s de las pr%imas dos secciones, la importancia del concepto presentado en esta seccin ser
aclarada.
PROBLEMA
!R"POA
2. En el Ejem. <.2, :cul es el periodo de los estados
1 y 3;
<. "a cadena de #ar$ov de la 'ecc. 2.@, Prob. 2, :es
ergdica;
@. 'e tiene la siguiente matri& de transicin0
1
1
1
1
1
1
1
1
]
1

3
2
3
1
2
1
4
1
4
1
0 0 0 0
0 0 0 0 0 1
0 0 0
0 1 0 0 0 0
1 0 0 0 0 0
0 0 0 1 0 0
P
(a* :9ules estados son transitorios;
(b* :9ules estados son recurrentes;
(c* 3dentifique todos los conjuntos cerrados de
estados.
(d* :Es ergdica esa cadena;
C. Para cada una de las siguientes matrices.
etermine si la cadena de #ar$ov es ergdica.
Tambi!n, para cada cadena, determine los estados
recurrentes, transitorios y absorbentes.
1
1
1
]
1

1 . 5 . 4 .
0 1 . 3 .
2 . & . 0
1
P
1
1
1
1
1
]
1

1 0 0 0
0 1 . 5 . 4 .
1 . ( . 0 0
0 0 & . 2 .
2
P
I. En la 'erie #undial de Pquer de 1(&0 participaron
54 jugadores. 9ada uno de ellos comen& con
10000 dlares. "os juegos continuaron hasta que
uno de los jugadores gan todo el dinero de los
dems. 'i se modelara esta 'erie #undial como
cadena de #ar$ov, :cuntos estados absorbentes
tendra esa cadena;
2C
M. :9ul de las siguientes cadenas es ergdica;
1
1
1
]
1

5 . 5 . 0
4 . 3 . 3 .
6 . 0 4 .
1
P
1
1
1
1
1
]
1

& . 0 0 2 .
2 . 1 . 1 . 6 .
2 . 4 . 2 . 2 .
3 . 0 0 1 .
2
P
1.< PRO9A9I+IDADES DE ESTADO ESTA9+E @ TIEMPOS MEDIOS DE PRIMER PASAAE
En nuestra descripcin del ejemplo de 9ola (Ejem. C*, encontramos que despu!s de largo tiempo, la
probabilidad de que la siguiente compra de una persona fuera de cola 2 tiende a 0.61, y la de que la compra
siguiente fuera de cola < a 0.33 (Tabla <*. Estas probabilidades no dependieron de si la persona era al
principio tomador de cola 2 o de cola <. En esta seccin describiremos el importante concepto de
probabilidades de estado estable, el cual se puede usar para describir el comportamiento de una cadena de
#ar$ov a largo pla&o.
El resultado siguiente es vital para comprender las probabilidades de estado estable y el comportamiento a
largo pla&o de cadenas de #ar$ov.
&EOREMA ' 'ea P la matri& de transicin de una cadena ergdica de s estados
I
. E%iste entonces un
vector [ ]
s

2 1
tal que
1
1
1
1
]
1

s
s
s
n

2 1
2 1
2 1
-im
n
P
Becuerde que el ij-simo elemento de P
n
es pij"n). El teorema 2 establece que para cualquier estado inicial i,
j ij
n
n p

) ( -im
Hbserve que para n grande, P
n
tiende a una matri& con renglones id!nticos. Esto quiere decir que despu!s
de mucho tiempo, la cadena de #ar$ov se estabili&a e, independientemente del estado inicial i, hay una
probabilidad j de que nos encontremos en el estado j.
El vector [ ]
s

2 1
a menudo se llama d%"#r%1,!%2n de e"#ado e"#a1*e, o tambi!n
d%"#r%1,!%2n de eB,%*%1r%o para la cadena de #ar$ov. :9mo podemos encontrar la distribucin de
probabilidades estacionaria para una cadena dada cuya matri& de transicin es P; 'eg+n el teorema 2, para
n grande y para toda i,
pij(n + 1) pij(n) j, (N*
9omo pij(n + 1) = (rengln i de P
n
*(columna j de P*, podemos escribir

+
s

j i ij
p n p n p
1
) ( ) 1 ( (O*
I
Para ver por qu! el teorema 2 no puede ser vlido para una cadena no ergdica, v!anse los problemas Q y 2F al final de esta seccin.
2I
'i n es grande, al sustituir la ecuacin (M* en la (N* se obtiene

j j
p
1
para j = 0, 1, , s (Q*
En forma matricial, la ecuacin (O* se puede escribir como0
, P (QT*
esafortunadamente, el sistema de ecuaciones que especifica la ecuacin (O* tiene un n+mero infinito de
soluciones, porque el rango de la matri& P siempre resulta 1. Para obtener valores +nicos de
probabilidades de estado estable, note que para toda n y toda i,
pi1(n) + pi2(n) + ... + pis(n) = 1 (2F*
.l hacer que n tienda al infinito en la Ecc. (Q*, obtenemos
1 + 2 + ... +s = 1 (22*
.s, despu!s de reempla&ar cualquiera de las ecuaciones (Q* por (22*, podemos usar el nuevo conjunto de
ecuacuines para despejar las probabilidades de estado estable.
Para mostrar cmo determinar las probabilidades de estado estable, las calcularemos para el Ejem. C, de la
9ola. Becuerde que la matri& de transicin de ese ejemplo era
1
]
1

&0 . 0 20 . 0
10 . 0 (0 . 0
P
Entonces las ecuaciones (Q* o (QU* producen
[ ] [ ]
1
]
1

&0 . 0 20 . 0
10 . 0 (0 . 0
2 1 2 1

1 = 0.(01 + 0.202
2 = 0.101 + 0.&02
.l reempla&ar ha segunda ecuacin por la condicin 1 + 2 = 1, obtenemos el sistema
1 = 0.(01 + 0.202
1 = 1 + 2
.l despejar 1 y 2, resulta que 1 = 293 y 2 = 193. Por lo tanto, despu!s de largo tiempo, hay probabilidad 293
de que una persona dada compre cola 2 y 193 de probabilidad de que una persona dada compre cola <.
AN+ISIS DE ESTADO TRANSITORIO
4n vista&o a la Tabla < muestra que para el Ejem. @.2 se alcan&a el estado estable, a dos cifras decimales,
slo despu!s de 10 transiciones. 1o se puede dar una regla general acerca de qu! tan rpido alcan&an las
cadenas de #ar$ov el estado estable, pero si P contiene muy pocos elementos que queden cerca de 0 o de
1, en general, se alcan&a en forma muy rpida el estado estable. El comportamiento de una cadena de
#ar$ov antes de alcan&ar el estado estable se llama !o&or#a&%en#o #ran"%#or%o (o a pla&o corto*. Para
estudiar el comportamiento transitorio de una cadena de #ar$ov, tan slo se usan las frmulas para pij(n) de
las ecuaciones (C* y (I*. 'in embargo es bueno saber que para n grande, las probabilidades de estado
estable describen con e%actitud la probabilidad de encontrarse en un estado determinado.
INTERPRETACI:N INTUITIVA DE +AS PRO9A9I+IDADES DE ESTADO ESTA9+E
'e puede dar una interpretacin intuitiva de las ecuaciones (O* de probabilidad de estado estable. .l restar
jpjj de ambos lados de (O* se obtiene
2M

j
j jj j
p p ) 1 ( (2<*
"a ecuacin (22* dice que en el estado estable,
"a probabilidad de que el sistema en una transicin determinada deje el estado j
, probabilidad de que en una transicin determinada entre al estado j (2@*
Becu!rdese que en el estado estable, la probabilidad de que el sistema est! en el estado j es j. 'eg+n esa
observacin se concluye que
Probabilidad de que una transicin particular deje el estado j
, (probabilidad de que el periodo actual comience en j*
% (probabilidad de que la transicin actual deje j*
, j(1 pjj)
y
Probabilidad de que determinada transicin entre al estado j
,

(probabilidad de que el periodo actual comience en j*

% (probabilidad de que la transicin actual entre a j*
,

j
j
p
Es aceptable la ecuacin (2<*. 'i fuese violada para cualquier estado, entonces para un estado j el lado
derecho de (2<* sera mayor que el lado i&quierdo. Esto ocasionara una probabilidad de KacumulacinL en el
estado j y no e%istira una distribucin de estado estable. 'e puede considerar que la ecuacin (2<* dice que
en el estado estable, el KflujoL de probabilidad hacia cada estado debe ser igual al flujo de probabilidad que
sale de cada estado. Esto e%plica por qu! las probabilidades de estado estable se llaman con frecuencia
probabilidades de equilibrio.
USO DE +AS PRO9A9I+IDADES DE ESTADO ESTA9+E PARA TOMAR DECISIONES
E)e&*o 0.1 'uponga, en el Ejem. @.2, que cada cliente hace una compra de cola durante cualquier
semana (52 semanas , 1 a8o*. 'uponga que hay 100 millones de clientes de cola. "a
produccin de una unidad de venta de cola cuesta 1 dlar y se vende a 2 dlares. 4na
empresa de publicidad garanti&a, por 500 millones de dlares al a8o, un decremento del 10)
al 5) de la fraccin de consumidores de cola 2, que se cambian a cola < despu!s de una
compra. :ebe contratar a la empresa de publicidad la compa8a que fabrica la cola 2;
So*,!%2n En la actualidad, una fraccin 1 = 293 de todas las compras es de cola 2. 9ada compra de
cola 2 le deja al fabricante 1 dlar. 9omo hay un total de 52(100,000,000) = 5,200,000,000 de
compras de cola cada a8o, las ganancias actuales del fabricante de cola 2, al a8o, son
293(5200000000) = 3466666661 dlares
"a empresa de publicidad ofrece cambiar la matri& P a
1
]
1

&0 . 0 20 . 0
05 . 0 (5 . 0
1
P
Para P1, las ecuaciones de estado estable se transforman en
1 = 0.(51 + 0.202
2 = 0.051 + 0.&02
.l reempla&ar la segunda ecuacin por 1 + 2 = 1 y despejar, obtenemos 1 = 0.& y 2 = 0.2.
2N
En este caso, la ganancia anual de la productora de cola 2 ser
(.&0)(5200000000) 500000000 = 3660000000 dlares
Por lo tanto, el fabricante de cola 2 debe contratar la agencia de publicidad.
TIEMPOS PROMEDIO DE PRIMER PASAAE
En una cadena ergdica, sea mij , n+mero esperado de transiciones antes de alcan&ar por primera ve& el estado j, dado
que estamos actualmente en el estado i. mij se llama #%e&o ro&ed%o de r%&er a"a)e del estado i al estado j. En el
Ejem. @.2, m12 sera el n+mero esperado de botellas de cola que adquiere un comprador de cola 2, antes de comprar una
botella de cola <.
'uponga que el sistema se encuentra ahora en el estado i. Entonces, puede suceder que pase en una transicin
directamente al estado j, con probabilidad pij, o que pase a cualquier estado j, con probabilidad pi. En este +ltimo
caso, se necesitar un promedio de 1 + mj transiciones para pasar de i a j. Este modo de pensar indica que

+ +
j
j i ij ij
m p p m )] 1 ( [ ) 1 (
para j = 1, 2, , s


+ +
j
j i
j
i ij ij
m p p p m
para j = 1, 2, , s
9omo
1 +

j
i ij
p p
,
podemos reformular la +ltima ecuacin como

+
j
j i ij
m p m 1
para j = 1, 2, , s (2C*
.l resolver las ecuaciones lineales representadas en (2C*, podemos encontrar todos los tiempos promedios
de primer pasaje. 'e puede demostrar que
i
ii
m

9on ello se puede simplificar el uso de las ecuaciones (2C*.

Para mostrar el uso de ellas, despejaremos los tiempos promedio de primer pasaje en el Ejem. @.2.
Becordemos que 2 , <V@ y que < , 2V@. Entonces
5 . 1
1
3
2
11
m
y
3
1
3
1
22
m
Entonces (2C* lleva a las dos ecuaciones siguientes0
m1# = 1 +p11m1# = 1 + 0.(m1#, m#1 = 1 + p##m#1 = 1 + 0.&m#1
Besolviendo esas ecuaciones encontrarnos que m1# = 10 y m#1 = 5. Esto quiere decir que, por ejemplo, una
persona que haba tomado cola 2 tomar un promedio de die& botellas de refresco antes de cambiar a cola
<.
PROBLEMA
!R"POA
2. etermine las probabilidades de estado estable
para el Prob. 2 de la 'ecc. 2.@.
<. En el problema de la ruina del jugador (Ejem. @*,
:por qu! no es ra&onable hablar de probabilidades
de estado estable;
@. Para cada una de las siguientes cadenas de
2O
#ar$ov, determine la fraccin de las veces, a largo
pla&o, que se ocupar cada estado.
(a*
1
]
1

2
1
2
1
3
1
3
2
(b*
1
1
1
]
1

0 2 . & .
& . 2 . 0
0 2 . & .
(c* etermine todos los tiempos promedio de
primer pasaje del inciso (b*.
C. .l principio de cada a8o, mi automvil est en
buen, regular o mal estado. 4n buen automvil
ser bueno al principio del a8o siguiente, con
probabilidad .&5, regular con probabilidad .10 y mal
con probabilidad .05. 4n automvil regular estar
regular al principio del a8o siguiente con
probabilidad 0.10 y mal con probabilidad 0.30.
9uesta 6000 dlares comprar un buen automvil,
uno regular se puede conseguir por 2000 dlares5
uno malo no tiene valor de venta, y se debe
reempla&ar de inmediato por uno bueno. 9uesta
1000 dlares al a8o el funcionamiento de un buen
automvil, y 1500 dlares el de uno regular. :ebo
reempla&ar mi automvil tan pronto como se vuelve
regular, o debo esperar hasta que se
descomponga; 'uponga que el costo de
funcionamiento de un automvil durante un a8o
depende del tipo de vehculo que se tiene a la
mano al principio del a8o (despu!s de llegar
cualquier auto nuevo, si es el caso*.
I. 'e dice que una matri& cuadrada es doblemente
estocstica si todos sus elementos son no
negativos y los elementos de cada rengln y cada
columna suman 1. Para cualquier matri& ergdica y
doblemente estocstica, demuestre que todos los
estados tienen la misma probabilidad de estado
estable.
M. Este problema mostrar por qu! las probabilidades
de estado estable se llaman a veces
probabilidades estacionarias. 'ean 1, 2,..., s las
probabilidades de estado estable para una cadena
ergdica con matri& P de transicin. 'uponga
tambi!n que la cadena de #ar$ov comien&a en el
estado i con probabilidad i.
(a* :9ul es la probabilidad que despu!s de una
transicin el sistema se encuentre en el estado
i? S,-eren!%a: 4sar la Ecc. O.
(b* Para cualquier valor de n (n = 1, 2,...), :cul es
la probabilidad de que una cadena de #ar$ov
se encuentre en el estado i despu!s de n
transiciones;
(c* Por qu! a las probabilidades de estado estable
se les llama a veces probabilidades
estacionarias;
N. 'e tienen dos acciones. "as acciones 2 siempre se
venden a 10 dlares o 20 dlares. 'i hoy las
acciones 2 se venden a 10 dlares, hay una
probabilidad 0.&0 de que ma8ana se vendan a 10
dlares. 'i las acciones 2 se venden hoy a 20
dlares, hay una probabilidad 0.(0 de que ma8ana
se vendan a 20 dlares. "as acciones < siempre
se venden a 10 dlares o a 25 dlares. 'i se
venden hoy a 10 dlares, hay una probabilidad 0.(0
de que se vendan ma8ana a 10 dlares. 'i se
venden hoy a 25 dlares, hay una probabilidad 0.&5
de que ma8ana se vendan a 25 dlares. En
promedio, :qu! acciones se venden a mayor
precio; etermine e interprete todos los tiempos
promedio de primer pasaje.
!R"PO B
O. "a compa8a de seguros Payoff cobra a sus
clientes de acuerdo a su historia de accidentes. 4n
cliente que no haya tenido accidentes durante los
+ltimos dos a8os paga 100 dlares de prima anual.
Juien haya tenido un accidente en cada uno de los
dos +ltimos a8os paga una prima anual de 400
dlares. . los que hayan tenido un accidente
durante slo uno de los +ltimos dos a8os se les
cobra una prima anual de 300 dlares. 4n cliente
que tuvo un accidente durante el +ltimo a8o tiene
una probabilidad de 10) de accidentarse durante
este a8o. 'i un cliente no ha tenido un accidente
durante el +ltimo a8o, tiene una probabilidad de 3)
de sufrir un accidente durante este a8o. urante un
a8o dado, :cul es la prima que paga en promedio
un cliente de Payoff; (S,-eren!%a: En caso de
dificultad, pruebe con una cadena de #ar$ov de
cuatro estados.*
Q. 'e tiene la siguiente cadena no ergdica0
1
1
1
1
1
]
1

3
1
3
2
3
2
3
1
2
1
2
1
2
1
2
1
0 0
0 0
0 0
0 0
P
(a* :Por qu! esta cadena es no ergdica;
(b* E%plique por qu! falla el teorema 2 en esta
cadena. S,-eren!%a: etermine si es cierta la
siguiente ecuacin0
) ( ) (
32 12
n p $im n p $im
n n

(c* . pesar del hecho que falla el teorema 2,
determine
), (
13
n p $im
%
), (
21
n p $im
n
), (
43
n p $im
n
) (
41
n p $im
n
2F. 'e tiene la siguiente cadena no ergdica
1
1
1
]
1

0 0 1
1 0 0
0 1 0
P
(a* :Por qu! esta cadena es no ergdica;
(b* E%plique por qu! el teorema 2 falla para esta
cadena. S,-eren!%a: emuestre que no e%iste
) (
11
n p $im
n
al hacer una lista del
2Q
comportamiento que sigue P11(n) a medida que aumenta n.
1.= CADENAS A9SOR9ENTES
#uchas aplicaciones interesantes de las cadenas de #ar$ov incluyen cadenas en las que algunos de los
estados son absorbentes y el resto son transitorios. . esas cadenas se les llama !adena" a1"or1en#e".
Geamos una cadena absorbente de #ar$ov0 si comen&amos en un estado transitorio, entonces al final
tendremos la seguridad de dejar el estado transitorio y terminar en uno de los estados absorbentes. Para ver
por qu! nos interesan las cadenas absorbentes, describiremos las siguientes dos situaciones0
E)e&*C =.1 Cuenta( $or co)rar El estado de cuentas por cobrar en una empresa se modela con
frecuencia como cadena absorbente de #ar$ov
M
. 'uponga que una empresa supone que
una cuenta es incobrable si han pasado ms de tres meses de su fecha de vencimiento.
Entonces, al principio de cada mes, se puede clasificar cada cuenta en uno de los siguientes
estados especficos0
Estado 1 9uenta nueva.
Estado 2 "os pagos de la cuenta estn retrasados un mes.
Estado 3 "os pagos de la cuenta estn retrasados dos meses.
Estado 4 "os pagos de la cuenta estn retrasados tres meses.
Estado 5 'e ha saldado la cuenta.
Estado 6 'e ha cancelado la cuenta por ser mal pagador
'upongamos que los +ltimos datos indican que la siguiente cadena de #ar$ov describe
cmo cambia el estado de una cuenta de un mes al siguiente0
:,/;a 1 m/s 2 m/s/s 3 m/s/s <a=aa 6n*o4+a4-/
:,/;a 0.0 0.6 0.0 .0.0 0.4 0.0
1 m/s 0.0 0.0 0.5 0.0 0.5 0.0
2 m/s/s 0.0 0.0 0.0 0.4 0.6 0.0
3 m/s/s 0.0 0.0 0.0 0.0 0.1 0.3
<a=aa 0.0 0.0 0.0 0.0 1.0 0.0
6n*o4+a4-/ 0.0 0.0 0.0 0.0 0.0 1.0
Por ejemplo, si al principio de un mes una cuenta lleva dos meses de vencida, hay 40) de
probabilidades de que no se pague al principio del mes siguiente y, por lo tanto, que tenga
tres meses de retraso y una probabilidad de 60) de que se pague.
Para simplificar el ejemplo, supondremos que despu!s de tres meses, la cuenta o se cobra o
se considera incobrable. 4na ve& que una deuda se paga o se considera incobrable, se
cierra y no se tienen ms transiciones. Por lo tanto, Pagada e 3ncobrable son estados
absorbentes. 9omo toda cuenta al final o se paga o se considera incobrable, las cuentas
1ueva, 2 mes, < meses y @ meses son estados transitorios. Por ejemplo, una cuenta vencida
hace 2 meses puede seguir la trayectoria < meses pagada, pero no hay regreso posible de
Pagada a < meses.
4na cuenta nueva normal ser absorbida ya sea como pagada o como incobrable. 4na
pregunta de mayor inter!s es0 :cul es la probabilidad de que una cuenta nueva finalmente
se pueda cobrar; #s adelante en esta seccin se encontrar la respuesta.
E)e&*o =.. Plani*icacin de $er(onal "a empresa de abogados #ason y =urger emplea a tres
categoras de abogados0 principiantes, con e%periencia y socios. urante un a8o
M
Este ejemplo se basa en 9yert, avidson y Thompson (2QM@*.
<F
determinado hay una probabilidad 0.15 que un abogado principiante sea ascendido a
abogado con e%periencia y una probabilidad 0.05 que deje la empresa. Tambi!n, hay una
probabilidad 0.20 que un abogado con e%periencia sea ascendido a socio y una probabilidad
0.10 que deje la empresa. Tambi!n hay una probabilidad 0.05 que un socio deje la empresa.
"a empresa nunca degrada a un abogado.
'urgen muchas preguntas interesantes que la empresa podra contestar. Por ejemplo, :cul
es la probabilidad que un abogado principiante reci!n contratado se vaya antes de ser
socio; En promedio, :cunto tiempo permanece un abogado principiante reci!n contratado
con la empresa; "as respuestas se deducirn despu!s en esta seccin.
#odelaremos la trayectoria de un abogado en #ason y =urger como cadena absorbente de
#ar$ov con la siguiente matri& de probabilidad de transicin0
<+in*i'iant/ E$'/+im/ntao >so*iao
Sa-/ sin s/+
so*io
Sa-/ si/no
so*io
<+in*i'iant/ 0.& 0.15 0.00 0.05 0.00
E$'/+im/ntao 0.00 0.10 0.20 0.10 0.00
>so*iao 0.00 0.00 0.(5 0.00 0.05
Sa-/ sin s/+ so*io 0.00 0.00 0.00 1.00 0.00
Sa-/ si/no so*io 0.00 0.00 0.00 0.00 1.00
"os dos +ltimos estados son estados absorbentes y los dems son transitorios. Por ejemplo,
E%perimentado es estado transitorio, porque hay una trayectoria de E%perimentado a 'ale
sin ser socio, pero no hay trayectoria que regrese de 'ale sin ser socio a E%perimentado.
'uponemos que una ve& que un abogado sale de la empresa nunca regresa.
Para toda cadena absorbente se desea conocer0 (2* 'i la cadena comien&a en un estado determinado
transitorio, y antes de alcan&ar un estado absorbente, :cul el n+mero esperado de veces que se llegar a
otro estado transitorio;, o dicho de otra manera, :cuntos periodos esperamos pasar por un determinado
estado transitorio antes que se efect+e la absorcin, partiendo de otro estado transitorio; (<* 'i una cadena
inicia en un estado transitorio dado, :cul es la probabilidad terminar en cada uno de los estados
absorbentes;
Para contestar estas preguntes necesitamos formular la matri& de transicin con los estados en una lista con
el siguiente orden0 primero los estados transitorios y despu!s los absorbentes. Para precisar, se supondr
que hay s m estados transitorios (t1, t#, & & &, ts-m* y m estados absorbentes (a1, a2, . . & , am*. Entonces la matri&
de transicin para la cadena de absorcin puede escribirse como sigue0
s -m m
?o-,mnas *o-,mnas
P = s - m +/n=-on/s Q R
m +/n=-on/s 0 I
En este formato, los renglones y las columnas de P corresponden, en orden, a los estados t1, t#,, ..., ts-m, a1, a#,
..., am. En este caso, I es una matri& identidad m % m que refleja el hecho de que nunca podemos dejar un
estado absorbente5 Q es una matri& (s 7 m* % (s 7 m) que representa las transiciones entre los estados
transitorios5 R es una matri& (s 7 m* % m que representa las transiciones desde los estados transitorios a los
estados absorbentes5 0 es una matri& m % (s ' m) que consta de ceros. Esto refleja el hecho de que es
imposible ir de un estado absorbente a uno transitorio.
.plicando esta notacin al Ejem. M.2, tenemos que
t1 , 1ueva
t# , 2 mes
t( , < meses
t) , @ meses
a1 , Pagada
<2
a# , 3ncobrable
Entonces, para ese ejemplo, la matri& de probabilidad de transicin se puede e%presar como
:,/;a 1 m/s 2 m/s/s 3 m/s/s <a=aa 6n*o4+a4-/
:,/;a 0.0 0.6 0.0 0.0 0.4 0.0
1 m/s 0.0 0.0 0.5 0.0 0.5 0.0
2 m/s/s 0.0 0.0 0.0 0.4 0.6 0.0
3 m/s/s 0.0 0.0 0.0 0.0 0.1 0.3
<a=aa 0.0 0.0 0.0 0.0 1.0 0.0
6n*o4+a4-/ 0.0 0.0 0.0 0.0 0.0 1.0
Entonces s = 6, m = 2 y
4 4
0 0 0 0
4 . 0 0 0 0
0 5 . 0 0 0
0 0 6 . 0 0

1
1
1
1
]
1

Q
2 4
3 . 0 1 . 0
0 6 . 0
0 5 . 0
0 4 . 0

1
1
1
1
]
1

R
Para el Ejem. M.<, sean
t1 , Principiante
t# , E%perimentado
t(, 'ocio
a1 , 'ale sin ser socio
a# , 'ale siendo socio
y podemos escribir la matri& de probabilidad de transicin como
<+in*i'iant/ E$'/+im/ntao >so*iao
Sa-/ sin s/+
so*io
Sa-/ si/no
so*io
<+in*i'iant/ 0.&0 0.15 0.00 0.05 0.00
E$'/+im/ntao 0.00 0.10 0.20 0.10 0.00
>so*iao 0.00 0.00 0.(5 0.00 0.05
Sa-/ sin s/+
so*io
0.00 0.00 0.00 1.00 0.00
Sa-/ si/no
so*io
0.00 0.00 0.00 0.00 1.00
Entonces s = 3, m = 2, y
3 3
(5 . 0 0 0
20 . 0 10 . 0 0
0 15 . 0 &0 . 0

1
1
1
]
1

Q
2 3
05 . 0 0
0 10 . 0
0 05 . 0

1
1
1
]
1

R
Podemos ahora investigar algunos hechos acerca de las cadenas absorbentes (Wemeny y 'nell (2QMF**0
(2* 'i la cadena comien&a en un determinado estado transitorio, y antes de alcan&ar un estado absorbente,
:cul es entonces el n+mero esperado de veces en las que el sistema entrar en cada estado
transitorio; :9untos perodos esperamos pasar en un estado transitorio dado antes de que se lleve a
cabo la absorcin;
Re",e"#aD 'i en este momento estamos en el estado transitorio ti, el n+mero esperado de periodos que
pasarn en un estado transitorio tj antes de la absorcin es el ij-simo elemento de la matri& (I ' Q*
>2
.
Para una demostracin vea el Prob. O al final de esta seccin.
<<
(<* 'i una cadena inicia en un estado transitorio dado, :qu! probabilidad hay de terminar en cada uno de
los estados absorbentes;
Re",e"#aD 'i en este momento estamos en un estado transitorio i, la probabilidad de ser absorbidos
finalmente por un estado absorbente aj es el ij-simo elemento de la matri& (I ' Q*
>2
R. Para una
demostracin vea el Prob. Q al final de esta seccin.
"a matri& (I ' Q*
>2
a menudo se llama matri& (,nda&en#a* de *a !adena de Markov. El lector que se
interese en proseguir el estudio de cadenas de absorcin debe consultar Wemeny y 'nell (2QMF*.
E)e&*C =.1 C,en#a" or !o1rar 7!on#%n,a!%2n8
2. :9ul es la probabilidad que una cuenta nueva sea cobrada alguna ve&;
<. :9ul es la probabilidad que una cuenta atrasada un mes se vuelva finalmente
incobrable;
@. 'i las ventas de la empresa son 2FF FFF dlares en promedio mensual :cunto dinero
ser incobrable cada a8o;
So*,!%2n e la descripcin anterior, recuerde que
1
1
1
1
]
1

0 0 0 0
4 . 0 0 0 0
0 5 . 0 0 0
0 0 6 . 0 0
Q
1
1
1
1
]
1

3 . 0 1 . 0
0 6 . 0
0 5 . 0
0 4 . 0
R
Entonces
1
1
1
1
]
1

1 0 0 0
4 . 0 1 0 0
0 5 . 0 1 0
0 0 6 . 0 1
Q I
4sando el m!todo /auss >Xordan llegamos a
4 3 2 1
t t t t
1
1
1
1
]
1

1 0 0 0
40 . 0 1 0 0
20 . 0 50 . 0 1 0
12 . 0 30 . 0 60 . 0 1
) (
4
3
2
1
t
t
t
t
1
Q I
Para contestar las preguntas 2 a @ necesitamos calcular
2 1
a a
1
1
1
1
]
1

300 . 0 100 . 0
120 . 0 &&0 . 0
060 . 0 (40 . 0
036 . 0 (64 . 0
) (
4
3
2
1
t
t
t
t
R Q I
1
Entonces
2. t1 , 1ueva, a1 , Pagada. .s, la probabilidad de que una cuenta nueva se pague
finalmente es el elemento 11 de (I ' Q*
>2
R , 0.(64.
<. t# , 2 mes, a# , 3ncobrable. Entonces, la probabilidad que una cuenta atrasada un mes
se vuelva incobrable es el elemento 22 de (I ' Q*
>2
R , 0.060.
<@
@. e la respuesta 2, slo el 3.6) de todas las deudas son incobrables. 9omo las cuentas
totales del a8o son 1200000 dlares en promedio, (0.036)(1200000) = 43200 dlares sern
impagables al a8o.
E)e&*o =.. 7!on#%n,a!%2n8 P*an%(%!a!%2n de* er"ona*
2. :9ul es la duracin promedio de un abogado joven reci!n contratado en la empresa;
<. :9ul es la probabilidad de que un abogado joven llegue a ser socio;
@. :9ul es la duracin promedio que pasa un socio en el bufete;
So*,!%2n Becordemos que,
1
1
1
]
1

(5 . 0 0 0
20 . 0 10 . 0 0
0 15 . 0 &0 . 0
Q
1
1
1
]
1

05 . 0 0
0 10 . 0
0 05 . 0
R
Entonces,
1
1
1
]
1

05 . 0 0 0
20 . 0 30 . 0 0
0 15 . 0 20 . 0
Q I
4sando el m!todo /auss > Xordan se encuentra que
3 2 1
t t t
1
1
1
]
1

20 0 0
0
10 5 . 2 5
) (
3
40
3
10
3
2
1
t
t
t
1
Q I
Entonces,
2 1
a a
1
1
1
]
1

1 0
50 . 0 50 . 0
) (
3
2
3
1
3
2
1
t
t
t
R Q I
1
Por lo tanto,
2. El tiempo esperado que un abogado principiante permanece en la empresa , (duracin
esperada del abogado principiante en la empresa como principiante* P (tiempo esperado
que el abogado principiante permanece en la empresa como abogado con e%periencia* P
(tiempo esperado que el abogado principiante permanece en la empresa como socio*.
Entonces
Tiempo esperado como principiante ,
11 ) (
1
Q I

, 5
Tiempo esperado como con e%periencia ,
12 ) (
1
Q I

, 2.5
Tiempo esperado como socio ,
13 ) (
1
Q I

, 10
Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la
empresa es 5 + 2.5 + 10 = 11.5 a8os.
<C
<. "a probabilidad de que un abogado principiante reci!n ingresado llegue a ser socio es
tan slo la probabilidad de que salga de la empresa siendo socio. 9omo t1 , Principiante
y a# , 'ale siendo socio, la respuesta es el elemento 12 de (I ' Q*
>2
R , 0.50.
@. 9omo t( , 'ocio, buscamos el n+mero esperado de a8os que pasa en t(, dado que
comen&amos en t(. Este es justamente el elemento 33 de (I ' Q*
>2
R , 20 a8os. Es
ra&onable, porque durante cada a8o hay una probabilidad en 20 que un socio deje el
bufete y, por lo tanto, debe tardar un promedio de 20 a8os en dejar la empresa.
PROBLEMA
!R"PO A
2. El departamento de admisin del colegio estatal ha
modelado la trayectoria de un estudiante en esa
institucin como cadena de #ar$ov0
@/+ Sa- 4o 3/+ o 2 1/+
1
1
1
1
1
1
1
1
]
1

1 0 0 0 0 0
0 1 0 0 0 0
&5 . 05 . 10 . 0 0 0
0 05 . &0 . 15 . 0 0
0 05 . 0 &5 . 10 . 0
0 10 . 0 0 &0 . 10 .
@/+mina
Sa-/
aAo 4o
aAo 3/+
aAo 2o
aAo 1/+
'e observa el estado de cada estudiante al
principio de cada semestre de oto8o. Por ejemplo,
si un estudiante es de 3/+ a8o al principio de este
semestre de oto8o, habr &0) de probabilidades
de que al principio del siguiente semestre de oto8o
sea de cuarto a8o, 15) de probabilidad de que a+n
sea de 3/+ a8o y 5) de que salga. 'uponemos que
una ve& que sale un estudiante ya nunca vuelve a
inscribirse.
(a* ' un estudiante entra al colegio a primer a8o,
:cuntos a8os se espera que pasen siendo
estudiante;
(b* :9ul es la probabilidad de que se grad+e un
estudiante de nuevo ingreso;
<. El Herald Trile obtuvo la siguiente informacin
acerca de sus suscriptores0 durante el primer a8o
como suscriptores, el 20) cancelan sus
suscripciones. e los que se han suscrito por un
a8o, el 10) cancelan durante el segundo a8o. e
los que se han suscrito por ms de dos a8os, el 4)
cancelan durante cualquier a8o dado. En
promedio, :cunto tiempo se suscribe una persona
al Herald Trile;
@. 4n bosque consta de dos tipos de rboles0 los que
tienen de 0 a 1.50 m de alto, y los que son ms
altos. 9ada a8o, muere el 40) de los rboles que
tienen menos de 1.50 m, el 10) se venden a 20
dlares cada uno, 30) permanecen entre 0 y 1.50
m, y el 20) crecen ms de 2.IF m. 9ada a8o, el
50) de los rboles de ms de 1.50 m se venden a
50 dlares, el 20) se venden a 30 dlares, y el 30)
permanecen en el bosque.
(a* :9ul es la probabilidad de que muera un
rbol de 0 a 1.50 m antes de venderse;
(b* 'i se planta un rbol de menos de 1.50 m,
:cul es el ingreso esperado que se va a tener
con ese rbol;
C. "as cadenas absorbentes de #ar$ov se usan en
ventas para modelar la probabilidad de que un
cliente que se locali&a por tel!fono compre
finalmente alg+n producto. 9onsidere un cliente
posible a quien nunca le ha llamado acerca de
comprar un producto. espu!s de una llamada,
hay una probabilidad de 60) de que tenga poco
inter!s en el producto, de 30) que muestre un gran
inter!s en el producto, y 10) de que sea borrado
de la lista de los posibles clientes de la compa8a.
'e tiene un cliente que actualmente tiene poco
inter!s en el producto. espu!s de otra llamada,
hay 30) de probabilidades de que compre el
producto, 20) de probabilidades de que sea
borrado de la lista, 30) de que el cliente a+n tenga
poco inter!s y 20) de que e%prese un inter!s alto.
Para un cliente que actualmente e%presa alto
inter!s, despu!s de otra llamada hay 50) de
probabilidades de que compre el producto, 40) de
probabilidades de que siga teniendo gran inter!s y
10) de probabilidades que tenga poco inter!s.
(a* :9ul es la probabilidad de que un nuevo
posible cliente al final compre el producto;
(b* :9ul es la probabilidad de que un posible
cliente con poco inter!s sea borrado de la lista
finalmente;
(c* En promedio, :cuntas veces habr que
llamar por tel!fono a un nuevo posible cliente
para que compre el producto, o para que sea
borrado de la lista;
!R"PO B
I. En el problema de la ruina del jugador (Ejem. 2*,
suponga que p = 0.60.
(a* :Ju! probabilidad hay de que alcance a ganar
4 dlares;
(b* :9ul es la probabilidad de que salga sin
dinero;
<I
(c* :9ul es la duracin esperada del juego;
M. En el cuidado de pacientes ancianos en un hospital
psiquitrico, una meta principal es la colocacin
correcta de los pacientes en pensiones u
hospitales para ancianos. El movimiento de
pacientes entre el hospital, los hogares e%ternos y
el estado absorbente (la muerte* se puede
describir mediante la siguiente cadena de #ar$ov.
"a unidad de tiempo es un mes0
B,/+ Co= Cos'
1
1
1
]
1

1 0 0
006 . (6( . 025 .
006 . 003 . ((1 .
B,/+t/
Co=a+/s
Cos'ita-
9ada mes que pasa un paciente en el hospital
cuesta 655 dlares al estado, y cada mes que pasa
en una pensin le cuesta 226 dlares, tambi!n al
estado. Para mejorar la frecuencia de !%itos de
colocacin de pacientes, el estado recientemente
comen& un Yprograma de resociali&acin
geritricaY (/BP* para preparar a los pacientes a
desempe8arse en las pensiones. .lgunos
pacientes se colocan en el /BP y a continuacin
pasan a pensiones. Es menos probable que estos
pacientes no se puedan ajustar a sus pensiones.
Htros pacientes contin+an pasando en forma
directa del hospital a las pensiones sin haber
tomado parte en el (/BP*. El estado paga 6&0
dlares cada mes lo que cuesta el paciente en el
/BP. El movimiento de los pacientes est
gobernado por la siguiente cadena de #ar$ov0
B,/+ </nsi </n.DE< Cos' DE<
1
1
1
1
1
1
]
1

1 0 0 0 0
006 . (6( . 0 025 . 0
006 . 0 (6( . 0 025 .
006 . 003 . 0 (1& . 013 .
006 . 0 112 . 02& . &54 .
B,/+t/
</nsi
</n.DE<
Cos'
DE<
(a* El /BP, :ahorra fondos al estado;
(b* =ajo el sistema anterior y bajo el /BP, calcule
el n+mero esperado de meses que pasa un
paciente en el hospital.
N. Aree&co, 3nc., vende refrigeradores. "a fbrica
otorga una garanta en todos los refrigeradores que
especifica de cambio gratis de cualquier unidad
que se descomponga antes de tres a8os. 'e nos
da la siguiente informacin0 (2* el 3) de todos los
refrigeradores nuevos falla durante su primer a8o
de funcionamiento5 (<* el 5) de todos los
refrigeradores con 1 a8o de funcionamiento falla
durante el segundo a8o de trabajo, y (@* el 1) de
todos los refrigeradores con dos a8os de
funcionamiento falla durante su tercer a8o. "a
garanta no vale para el refrigerador de repuesto.
(a* 4se la teora de cadenas de #ar$ov para
predecir la fraccin de todos los refrigeradores
que deber cambiar Aree&co.
(b* 'uponga que a Aree&co le cuesta 500 dlares
cambiar un refrigerador y que vende 10,000
refrigeradores al a8o. 'i la fbrica redujera el
pla&o de garanta a dos a8os, :cunto dinero
se ahorrara en costos de reempla&o;
O. Para una matri& Q que represente las transiciones
entre estados transitorios en una cadena
absorbente de #ar$ov, se puede demostrar que
(I Q)
-1
= I + Q + Q
2
+ ... + Q
n
+ ...
(a* E%plique por qu! es posible esta e%presin de
(I Q)
-1
.
(b* efina a mij , n+mero esperado de perodos
pasados en el estado transitorio tj antes de la
absorcin, si se sabe que iniciamos en el
estado ti. 'uponga que el periodo inicial se
pasa en el estado ti. E%plicar por qu! mij ,
(probabilidad de que estemos al principio en el
estado ti* P (probabilidad que estemos en el
estado tj despu!s de la primera transicin* P
(probabilidad que estemos en el estado tj
despu!s de la segunda transicin* P ... P
(probabilidad que estemos en el estado tj
despu!s de la n>!sima transicin* P .
(c* E%plique por qu! la probabilidad de que
estemos inicialmente en el estado tj ,
elemento i2-simo de la matri& identidad (s ' m)
$ (s ' m). E%plique por qu! la probabilidad de
que estemos en el estado ti despu!s de la n-
sima transicin , elemento ij-simo de Q
n
.
(d* .hora e%plique por qu! mij , elemento ij de (I
Q)
-1
.
Q. efina
bij , probabilidad de terminar en un estado
absorbente aj dado que iniciamos en un
estado transitorio tj.
rij , ij-simo elemento de R
qi , i-simo elemento de Q.
B , matri& (s ' m) $ m cuyo ij-simo elemento es bij.
'uponga que iniciamos en el estado ti. En nuestra
primera transicin, pueden suceder tres tipos de
eventos0
E+ento ' Pasamos al estado absorbente aj, con
probabilidad rij.
E+ento , Pasamos al estado absorbente que no es
aj, con probabilidad
j
j i
b q
.
E+ento - Pasamos al estado transitorio t, con
probabilidad qi.
(a* E%plique por qu!

+
m s

j i ij ij
b q r b
1
(b* .hora demuestre que bij , ij>!simo elemento
de (R + QB) y que B = R + QB.
(c* emuestre que B = (I Q)
-1
R y que bij = ij-
simo elemento de B = (I Q)
-1
R.
!R"PO C
Q. /eneral #otors tiene tres divisiones automotrices
(divisin 2, divisin < y divisin @*. Tambi!n tiene
una divisin de contabilidad y una de consultora
<M
de administracin. "a pregunta es0 :Ju! fraccin
del costo de las divisiones de contabilidad y de
consultora de administracin se debe cargar a
cada divisin automotri&; 'uponemos que el costo
total de los departamentos de contabilidad y
consultora se deben repartir entre las tres
divisiones automotrices. urante un a8o
determinado, el trabajo de las divisiones de
contabilidad y consultora se asigna como se ve en
la Tabla C.
Por ejemplo, contabilidad emplea el 10) de su
tiempo en problemas generados por el
departamento de contabilidad, 20) en trabajos
generados por la divisin @, etc. 9ada a8o, cuesta
63 millones de dlares la operacin del
departamento de contabilidad, y 210 millones de
dlares la del departamento de consultora de
administracin. :Ju! fraccin de esos costos se
debe asignar a cada divisin automotri&; 3maginar
1 dlar en costos incurridos en trabajos de
contabilidad. ?ay una probabilidad 0.20 de que
estos costos se asignen a cada divisin automotri&,
probabilidad 0.30 de que se asigne a consultora y
probabilidad 0.10 que se asigne a contabilidad. 'i
el dlar se asigna a una divisin automotri&,
sabemos a qu! divisin se debe cargar ese dlar.
Por ejemplo, si el dlar se carga a consultora,
repetimos el proceso hasta que, por +ltimo, el dlar
se cargue a una divisin automotri&. 4se el
conocimiento de cadenas de #ar$ov para
establecer como asignar los costos de
funcionamiento de los departamentos de
contabilidad y asesora entre las tres divisiones
automotrices.
Tabla 4
?F:@>G6H6I>I ?F:SJH@FE6>
IE >IBF:
I6K6S6F: 2 I6K6S6F: 3
?onta4i-ia 10) 30) 20) 20) 20)
>minist+a*i3n 30) 20) 30) 0) 20)
1.> MODE+OS DE P+ANEACI:N DE PERSONA+
#uchas empresas, como por ejemplo #ason y =urger del Ejem. M.<, emplean varias categoras de personal.
9on fines de planeacin a largo pla&o, a menudo es +til poder predecir el n+mero de empleados de cada
categora que, s las tendencias actuales contin+an, estarn disponibles en el estado estable. 'e pueden
hacer esas predicciones a trav!s de un anlisis semejante al de la 'ecc. 2.I de probabilidades de estado
estable para cadenas de #ar$ov.
#s formalmente, se tiene una organi&acin cuyos miembros se clasifican en cualquier punto en el tiempo
en uno de los s grupos (identificados como 1, 2,..., s*. urante cada periodo, una fraccin pij de los que
inician un periodo en el grupo i, al siguiente periodo inician en un grupo j. Tambi!n, durante cada periodo,
una fraccin pis+1 de todos los miembros del grupo i dejan la organi&acin. 'ea P la matri& s % (s + 1* cuyo
elemento ij es pij. .l principio de cada periodo, la organi&acin contrata *i miembros del grupo i. 'ea %i(t) el
n+mero de miembros del grupo i al principio del periodo t. 4na pregunta de inter!s natural es si %i(t) tiende a
un lmite a medida que crece t, o no. 'i e%iste el lmite, lo llamaremos %i. 'i cada %i(t) tiende a un lmite,
llamamos a N = (%1, %#, &&& ,%s) el censo de estado estable de la organi&acin.
'i e%iste censo de estado estable podemos encontrarlo al resolver un sistema de s ecuaciones que se
plantea como sigue0 tan slo ntese que para que e%ista ese estado, debe ser vlido que, para i = 1, 2, ..., s
1+mero de personas que entran al grupo i durante cada periodo
, n+mero de personas que salen del grupo i durante cada periodo (2C*
espu!s de todo, si la ecuacin (2C* no fuera vlida para todos los grupos, entonces el n+mero de personas
en al menos un grupo se acumulara a medida que pasara el tiempo. 1tese que

+
i
i i
p % *
i
'/+Loo *aa
,+ant/ /stao a- /nt+an .,/ '/+sonas / :Mm/+o

i
i i
p %
i
'/+Loo *aa
,+ant/ /stao /- sa-/n .,/ '/+sonas / :Mm/+o
<N
Entonces la ecuacin que se usa para calcular el censo de estado estable es
) , , 2 , 1 ( s i p % p % *
i
i i
i
i i
+


(2CU*
ados los valores de las pij y de las *i, se puede usar la ecuacin (2CU* para despejar el censo de estado
estable. . la inversa, dadas las pij y un censo deseado de estado estable, se puede usar la ecuacin (2CU*
para determinar una poltica de contratacin, especificada por los valores de *1, *#, &&& ,*s, que logre el censo
deseado de estado estable. Podr ser imposible mantener algunos censos de estado estable a menos que
algunas *i sean negativas, lo que equivale a despedir empleados.
"os dos ejemplos que siguen muestran el uso de la ecuacin de censo de estado estable.
E)e&*o >.1 'uponga que se puede clasificar a cada norteamericano en uno de tres grupos0 ni8os,
adultos que trabajan, o retirados. urante un periodo de un a8o, 0.(5( de los ni8os a+n son
ni8os, 0.04 de los ni8os pasan a ser adultos que trabajan y 0.001 de los ni8os mueren.
urante cualquier a8o, 0.(6 de los adultos que trabajan permanecen como tales, 0.03 pasan
a ser retirados y 0.01 mueren. Tambi!n, 0.(5 de los retirados permanecen retirados y 0.05 de
los retirados mueren. 1acen mil ni8os cada a8o.
2. etermine el censo de estado estable.
<. 9ada persona retirada recibe una pensin de 5000 dlares por a8o. El
fondo de pensin se sufraga con pagos de los adultos que trabajan. :9unto dinero
debe aportar cada adulto que trabaja, al a8o, para el fondo de pensin;
So*,!%2n 2.'ea
/rupo 2 , ni8os
/rupo < , adultos que trabajan
/rupo @ , retirados
/rupo C , muertos
"os datos son *1 = 1000, *2 =*3 = 0 y
1
1
1
]
1

050 . 0 (50 . 0 0 0
010 . 0 030 . 0 (60 . 0 0
001 . 0 0 040 . 0 (5( . 0
P
Entonces la ecuacin (2C* o la (2CU* es0
1+m. que entra al grupo i cada a8o , 1+m. que sale del grupo i cada a8o
1000 = (0.04 + 0.001)%1 (ni8os*
0.04%1 = (0.030 + 0.010)%2 (adultos que trabajan
F.03%2 = 0.050%( (retirados*
.l resolver este sistema de ecuaciones nos encontramos con que %1 = %2 = 243(0.24, y %3 =
14634.14.
<. 9omo en el estado estable hay 14634.14 personas retiradas, en el estado estable reciben
14634.14 % (5000) dlares al a8o. Por lo tanto, cada adulto que trabaja debe pagar
aAo 'o+ o-a+/s 3000
24 . 243(0
5000 14 . 14634

Este resultado es ra&onable, porque en el estado estable hay 593 de adultos que, trabajan en
comparacin con los retirados.
<O
E)e&*o >.. Begresemos al bufete de abogados #ason y =urger (Ejem. M.<*. 'upongamos que la meta a
largo pla&o de ese bufete es tener IF abogados principiantes, @F con e%periencia y 2F
socios. Para alcan&ar este censo de estado estable, :cuntos abogados de cada tipo deben
contratar cada a8o;
So*,!%2n 'ean
/rupo 2 , abogados principiantes
/rupo < , abogados con e%periencia
/rupo @ , socios
/rupo C , abogados que salen del bufete
#ason y =urger desean obtener %1 = 50, %# = 30 y %( = 10. Becu!rdese que en el Ejem. M.<
1
1
1
]
1

05 . 0 (5 . 0 0 0
10 . 0 20 . 0 10 . 0 0
05 . 0 0 15 . 0 &0 . 0
P
Entonces la ecuacin (2C* o la (2CU* es
1+m. que entra al grupo i , 1+m. que sale del grupo i
*1 = (0.15 + 0.05)50 (abogados principiantes*
(0.15)50 + *2 = (0.20 + 0.10)30 (abogados con e%periencia*
(0.20)30 + *3 = (0.05)10 (asociados*
"a solucin +nica de este sistema de ecuaciones es *1 = 10, *2 = 1.5, *3 = -5.5. Esto significa
que para mantener el censo deseado de estado estable, #ason y =urger deben despedir I.I
socios cada a8o. Esto es ra&onable, porque cada a8o hay 0.20(30) = 6 abogados con
e%periencia que pasan a ser socios, y una ve& que lo hacen, permanecen en ese puesto un
promedio de <F a8os. Esto muestra que para mantener el n+mero de asociados en 10,
deben despedirse algunos de ellos. Htra solucin podra ser reducir, a menos de su valor
actual de 0.20, la fraccin de abogados con e%periencia que pasan a ser socios cada a8o.
Para mayor informacin acerca de los modelos de planeacin de personal, se aconseja consultar el
e%celente libro de /rinold y #arshall (2QNN*.
PROBLEMA
!R"PO A
2. Este problema es acerca del Prob. 2 de la 'ecc.
2Q.M. 'upongamos que cada a8o el colegio estatal
admite 1,000 estudiantes de nuevo ingreso, 500 de
segundo a8o y 500 de tercer a8o. . largo pla&o,
:cul ser la composicin del estudiantado en ese
colegio;
<. En el Ejem. Q, suponga que el progreso de la
medicina ha reducido la tasa anual de mortalidad
de retirados de 5) a 3). :9unto aumenta la
contribucin anual para pensiones, debido a esto,
que pagan los adultos que trabajan;
@. "a ciudad de 1ueva Zor$ produce 1,000 ton de
contaminacin al da, Xersey 9ity 100, y 1e[ar$ 50.
9ada da 193 de la contaminacin de 1ueva Zor$
es llevada por el viento a 1e[ar$, 193 se disipa y
193 permanece en 1ueva Zor$. Tambi!n
diariamente, 193 de la contaminacin de Xersey 9ity
es llevada por el viento a 1ueva Zor$, 193
permanece en Xersey 9ity y 193 pasa a 1e[ar$. Z
por +ltimo, 193 de la contaminacin de 1e[ar$
permanece all y el resto pasa a Xersey 9ity. En un
da normal, :cul ciudad ser la ms
contaminada;
C. 9ircula dinero entre los tres planetas YcapitalesY de
la federacin0 Gulcano, Aobos y #arte. En forma
ideal, a la federacin le gustara tener 5 mil
millones de dlares en circulacin en cada planeta.
9ada mes 193 de todo el dinero de Gulcano sale de
circulacin, 193 permanece all y 193 termina en
Aobos. 9ada mes, 193 del dinero en #arte
permanece all, 193 pasa a Aobos y 193 pasa a
Gulcano. Tambi!n cada mes, 293 del dinero de
Aobos pasa a #arte y 193 permanece all. "a
federacin inyecta dinero al sistema en Gulcano.
<Q
:?ay alg+n modo de tener un nivel de estado
estable de 5 mil millones de dlares en circulacin
en cada planeta;
!R"PO B
I. Todos los profesores de la Aacultad de 9omercio
de una universidad se clasifican como de tiempo
completo y de tiempo parcial. 9ada a8o el 2F\ de
los de tiempo parcial pasan a ser de tiempo
completo y el 2F\ salen de la Aacultad5 el QI\ de
los de tiempo completo permanecen y el I\ salen.
"a Aacultad de 9omercio desea mantener un
profesorado de 2FF miembros, de los cuales el x+
son de tiempo parcial. etermine una poltica de
contratacin que logre esta meta. :Para qu!
valores de x se necesita despedir profesores de
tiempo completo, de acuerdo con la poltica de
contratacin; escriba una poltica que mantenga
un 2F\ de tiempo parcial. escriba una poltica de
contratacin que mantenga CF\ del profesorado
de tiempo parcial;
!R"PO C
M. Por simplicidad, supongamos que la sangre fresca
que obtiene un hospital se echa a perder si no se
utili&a en ! das. El hospital recibe 2FF medios
litros de sangre fresca diariamente de un banco de
sangre local. 'on posibles dos polticas para
determinar el orden en el que se hacen
transfusiones de sangre (v!ase tabla I*. Por
ejemplo, seg+n la poltica 2, la sangre tiene un 2F\
de probabilidades de usarse en transfusin durante
su primer da en el hospital. 'eg+n la poltica <, la
sangre con cuatro das de antig]edad tiene el 2F\
de probabilidad de ser usada.
Tabla 5
EI>I IE H> S>:DEE
(a- ini*io /- La)
<+o4a4i-ia / ,so
/n t+ansN,sion/s
0 1 2 3 4
<o-Lti*a 1 .10 .20 .30 .40 .50
<o-Lti*a 2 .50 .40 .30 .20 .10
(a* "a poltica A3AH ("irst#in, "irst#out), primeras
entradas primeras salidas, usa primero la
sangre YviejaY, mientras que la poltica "3AH
($ast#in, "irst out) +ltimas entradas primeras
salidas emplea primero la sangre YnuevaY.
:9ul poltica es "3AH y cul A3AH;
(b* Para cada poltica, determine la probabilidad
de que se eche a perder un medio litro de
sangre reci!n llegada al hospital.
(c* Para cada poltica, determine el n+mero
promedio de medios litros de sangre en
inventario.
(d* Para cada poltica, determine la edad
promedio de la sangre que se usa en
transfusiones.
(e* ?aga comentarios de los m!ritos relativos de
las polticas A3AH y "3AH.
1.? DISTRI9UCI:N EEPONENCIA+
En esta seccin nos dedicaremos al estudio de una distribucin de probabilidad que es de gran importancia
en el estudio de las cadenas de #ar$ov de tiempo continuo, la distribucin e%ponencial.
4na distribucin e%ponencial con parmetro tiene una funcin de densidad

'

<

0 si 0
0 si
) (
t
t e
t ,
t

. (2I*
En la Aig. < se muestra la funcin de densidad para la distribucin e%ponencial. .qu se observa que ,(t)
disminuye rpidamente a medida que t crece. Esto indica que son poco probables valores muy grandes de la
variable y por lo tanto
[ ] [ ] t t t P t P + > T T 0
5%-,ra F
Auncin de densidad
para una variable
aleatoria X con
distribucin
e%ponencial
@F
'e puede demostrar que la funcin de densidad acumulada para una variable X que tenga distribucin de
probabilidad e%ponencial esta dada por

'

<

0 si 1
0 si 0
) ( ) (
x e
x
x P -
x
X X . (2M*
3gualmente, e integrando por partes, podemos demostrar que el promedio de una variable aleatoria X con
distribucin e%ponencial, E(X), est dado por

1
) ( X E . (2N*
. su ve&, la varian&a de esta misma variable es
2
1

X .ar (2O*
PROPIEDAD DE AMNESIA DE +A DISTRI9UCION EEPONENCIA+.
"a ra&n por la cual es importante la distribucin e%ponencial para el estudio de las cadenas de #ar$ov de
tiempo continuo se encuentra en el siguiente, lema0
LEMA ' 'i T tiene distribucin e%ponencial, entonces para todo valor no negativo de t y s,
[ ] ) ( | t P s s t P > > + > T T T
(2Q*
De#o(tracin 1otaremos primero que,
[ ] [ ]
t
t
x
t
x
e e dx e t P

>

T (<F*
Entonces
[ ]
[ ]
[ ] s P
s s t P
s s t P
>
> + >
+ >
T
T T
T T |
e la Ecc. (<F*,
[ ] [ ]
s s t
e s P e s s t P
+
> > + > T T T 8
) (
.s,
[ ] [ ] t P e
e
e
s s t P
t
s
s t
> > + >

+
T T T

) (
|
'e puede demostrar que no hay otra funcin de densidad que satisfaga la Ecc. (2Q* (v!ase Aeller (2QIN**.
Por ra&ones que se hacen evidentes, se dice que una funcin de densidad que satisfaga la Ecc. (2Q* tiene la
ro%edad de a&ne"%a, o de no memoria. 'uponga que sabemos que un sistema no ha cambiado de
estado durante las +ltimas s horas, lo que equivale a que nos digan que T 5 s y que nos pregunten cul es la
probabilidad que no cambie de estado durante las siguientes t horas, es decir T 5 t + s. Entonces, la Ecc. (2Q*
quiere decir que esta probabilidad no depende del valor de s, y que para todos los valores de s esta
probabilidad es igual a P[T 5 t]. En resumen, si conocemos que han pasado al menos s unidades de tiempo
durante las cuales el sistema se encuentra en un determinado estado, entonces la distribucin del tiempo
que queda para que el sistema cambie de estado, t, no depende de s. Por ejemplo, si t = 4, entonces la Ecc.
(2Q* produce, para s = 5, s = 3, s = 2 8 s = 0,
[ ] [ ] [ ] [ ] [ ] 4 0 | 0 4 2 | 2 4 3 | 3 4 5 | 5 4 > > + > > + > + > + > T T T T T T T T T P P P P P
"a propiedad de amnesia de la distribucin e%ponencial es importante porque establece que la distribucin
de probabilidad del tiempo que falta para que el sistema cambie de estado, es independiente del tiempo
@2
%aya transcurrido desde el &ltimo camio de estado. Para decirlo en t!rminos concretos, suponga que
nuestro sistema es un banco en donde el estado del sistema esta dado por el n+mero de clientes que hay
dentro de !l y que el estado del sistema cambia cuando entra o sale un cliente del banco. Para simplificar
consideremos solo la entrada de clientes al banco y supngase que los tiempos entre llegadas se distribuyen
e%ponencialmente con = 6. Entonces la propiedad de amnesia significa que no importa cunto tiempo haya
pasado desde la +ltima llegada, la distribucin de probabilidades que rige el tiempo para la siguiente llegada
tiene la funcin de densidad 6e
-6t
. Esto significa que para predecir los comportamientos de las llegadas
futuras no necesitamos mantener registro de cunto tiempo haya pasado desde la +ltima llegada. Esta
observacin puede simplificar mucho el anlisis de un sistema.
RE+ACI:N ENTRE +A DISTRI9UCI:N DE POISSON @ +A DISTRI9UCI:N EEPONENCIA+
'i los tiempos entre la ocurrencia de un mismo tipo de evento son e%ponenciales, la distribucin de
probabilidad del n+mero de eventos que ocurren en cualquier intervalo de tiempo t est dada por el siguiente
teorema importante0
&EOREMA ' "os tiempos entre ocurrencia de un mismo tipo eventos son e%ponenciales con parmetro
si y slo si el n+mero de eventos que suceden en un intervalo t sigue una distribucin
de Poisson con parmetro t.
4na variable aleatoria discreta N tiene una distribucin de Poisson con parmetro si, para n = 0, 1, 2, ,
) , 2 , 1 , 0 (
0
) (

n
n
e
n P
n

N (<2*
'i N es una variable aleatoria de Poisson, se puede demostrar que E(N) = Ka+N = . 'i hacemos que Nt sea
el n+mero de ocurrencias de eventos de un mismo tipo durante cualquier intervalo de tiempo de longitud t, el
Teorema 2 establece que
) , 2 , 1 , 0 (
0
) (
) (

n
n
t e
n P
n t
t

N
9omo Nt, es de Poisson con parmetro t, E(%t) = Ka+na = t. 4n promedio de t llegadas se suceden durante
un intervalo de tiempo de longitud t y, entonces se puede pensar que es el n+mero promedio de llegadas
por unidad de tiempo, o rapide& de llegadas.
:Ju! hiptesis se necesitan para que los tiempos entre ocurrencias de un mismo tipo de eventos sean
e%ponenciales; El Teorema <, ms adelante, nos da una respuesta parcial. Geamos las dos hiptesis
siguientes0
2. "as ocurrencias de eventos del mismo tipo definidas en intervalos de tiempo que no se traslapan son
independientes (por ejemplo, el n+mero de llegadas que se tiene entre los tiempos 1 y 10 no nos da
informacin alguna acerca del n+mero de llegadas entre los tiempos 30 y 50*.
<. Para t peque8o, y cualquier valor de t, la probabilidad de que se tenga la ocurrencia de un evento entre
los tiempos t y t + t es t + (t), donde (t) es cualquier cantidad que satisfaga
0
) (
-im
0

t
t
t

Tambi!n, la probabilidad de que no ocurra el evento durante el intervalo entre t y t + t es 1 - t + (t) y la

probabilidad que ocurre ms de un evento en ese intervalo es (t).
&EOREMA , 'i son vlidas las hiptesis 2 y <, entonces N, sigue una distribucin de Poisson con
parmetro t, y los tiempos entre llegadas son e%ponenciales con parmetro . Esto es,
,(t) = /
-t
.
@<
En esencia, el Teorema < establece que si la rapide& de ocurrencia de eventos es estable, es decir, si no
pueden tenerse ocurrencia de eventos en masa y si los eventos ocurridos en el pasado no afectan los que
ocurrirn en el futuro, entonces los tiempos entre ocurrencia de eventos del mismo tipo seguirn una
distribucin e%ponencial con parmetro y el n+mero de eventos ocurridos en cualquier intervalo de longitud
t es de Poisson con parmetro t. "as hiptesis del Teorema < pueden parecer demasiado restrictivas, pero
con frecuencia los tiempos entre ocurrencias de eventos del mismo tipo son e%ponenciales aun cuando no
se satisfagan las hiptesis del Teorema < (v!ase enardo (2QO<**. 'ucede que en muchas aplicaciones, la
hiptesis de tiempos e%ponenciales entre ocurrencia de eventos del mismo tipo es una muy buena
apro%imacin a la realidad.
El Ejem. O.2 ilustra la relacin entre la distribucin e%ponencial y la de Poisson
EAEMP+O ?.1 El n+mero de tarros de cerve&a pedidos en el Dic'(s )u sigue una distribucin de Poisson
con promedio de 30 cerve&as por hora.
2. 9alcule la probabilidad de que se pidan e%actamente 60 cerve&as entre las 10 p.m. y las
12 de la noche.
<. etermine el promedio y la desviacin estndar del n+mero de cerve&as pedidas entre
las ( p.m. y la 1 a.m.
@. 9alcule la probabilidad de que el tiempo entre dos pedidos consecutivos sea entre 1 y 3
minutos.
So*,!%2n 2. El n+mero de cerve&as pedido entre las 10 p.m. y las 12 de la noche sigue una
distribucin de Poisson con parmetro 2(30) = 60. e la Ecc. (2Q*, la probabilidad de que se
pidan 60 cerve&as entre las 10 p.m. y la medianoche es
0 60
60
60 60
e
<. = 30 cerve&as por hora5 t = 4 horas. Entonces, el n+mero promedio de cerve&as
pedidas entre las ( p.m. y la 1 a.m. es 4(30) = 120 cerve&as. "a desviacin estndar del
n+mero de cerve&as pedido entre las 10 p.m. y la 1 a.m. es (120)
192
= 10.(5.
@. 'ea T el tiempo en minutos entre pedidos sucesivos de cerve&a. El n+mero
promedio de pedidos por minuto es e%ponencial con parmetro, o ra&n
5 . 0
60
30


cerve&as por minuto. Entonces la funcin de densidad de probabilidad entre pedidos de
cerve&a es 0.5e
-0.5t
. Entonces
3& . 0 ) 5 . 0 ( ) 3 1 (
5 . 1 5 . 0
3
1
5 . 0

e e dt e P
t
T
PROBLEMA
!R"PO A
2. El tiempo entre llegadas de autobuses sigue una
distribucin e%ponencial con promedio de MF
minutos.
(a* :9ul es la probabilidad de que lleguen
e%actamente cuatro autobuses durante las
siguientes < horas;
(b* :9ul es la probabilidad de que por lo menos
dos autobuses lleguen durante las siguientes <
horas;
(c* :9ul es la probabilidad de que no lleguen
autobuses durante las pr%imas < horas;
(d* .caba de llegar un autob+s. :9ul es la
probabilidad de que pasen entre @F y QF
minutos para que llegue el siguiente;
1.F CADENAS DE MARKOV DE TIEMPO CONTINUO
Todas las secciones anteriores hacen la suposicin de que el parmetro t del tiempo es discreto (es decir5 t ,
F, 2, <, ...*. Tal suposicin es adecuada para muchos problemas, pero e%isten ciertos casos (como en
@@
algunos modelos de lneas de espera* en los que se requiere un parmetro (llamado tU* de tiempo continuo,
debido a que la evolucin del proceso se est observando de manera continua a trav!s del tiempo. "a
definicin de una cadena de #ar$ov dada en la seccin < tambi!n se e%tiende a esos procesos continuos.
Esta seccin est dedicada a la descripcin de estas cadenas de #ar$ov de tiempo continuo y sus
propiedades.
Para modelar este este tipo de de procesos, como antes, se etiquetan los estados posibles del sistema como
1, , s. 9omen&ando en el tiempo 0 y dejando que el parmetro t/ corra continuamente, para t/ 0 sea la
variable aleatoria X(t/) el estado del sistema en el tiempo t/. Entonces X(t/) tomar uno de sus s valores
posibles en un intervalo 0 t/ O t1, despu!s saltar a otro valor en el siguiente intervalo t1 t/ O t2 y as
sucesivamente, donde los puntos de trnsito t1, t2, P son puntos aleatorios en el tiempo (no necesariamente
enteros*, tal como se ilustra en la Aigura 2F.
5%-,ra 1C
Estados tomados por un
sistema en diferentes
puntos del tiempo
cuando este corre de
manera continua
.hora consideremos los siguientes tres puntos en el tiempo0
2. tQ = r ( donde r 0*,
<. t/ = s (donde s 0 r* y
@. t/ = s + t ( donde t5 0*,
interpretados como sigue0
t/ = r es un tiempo pasado,
t/ = s es el tiempo presente,
t/ = s + t es t unidades hacia el futuro.
Por lo tanto, el estado del sistema se ha observado en los tiempos t/ = s y t/ = r. Estos estados se etiquetan
como
X(s)=i y X(r)=x(r).
ada esta informacin, el paso natural es buscar la distribucin de probabilidad del estado del sistema en el
tiempo t/ = s + t. En otras palabras, determinar el valor de
P[X(s+t) = j | X(s) = i 8 X(r) = x(r)], para cada 2 = 0,1,..., s.
9on frecuencia es muy difcil derivar estas probabilidades condicionales. 'in embargo, esta tarea se
simplifica considerablemente si el proceso estocstico involucrado posee la siguiente propiedad clave.
PROPIEDAD MAR.O/IANA
4n proceso estocstico de tiempo continuo {X(t/)1 tQ5 0} tiene la propiedad mar$oviana si
P[X(t+s) = j | R(s)=i 2 R(r) = x(r)] = P[X(t+s) = j |X(s) = i]
Para toda i,j = 0, 1,, s y para toda r 5 0, s 5 r y t00.
Hbserve que P[X(t+s) = j | X(s) = i] es una probabilidad de transicin, igual a las probabilidades de transicin
de las cadenas de #ar$ov de tiempo discreto que se estudiaron en las secciones anteriores, donde la +nica
diferencia es que ahora no es necesario que t sea entero.
@C
DEFINICIN
'i las probabilidades de transicin son independientes de s, de manera que
P[X(t+s) = j | X(s) = i] = P[X(t) = j | X(0) = i]
para toda s 5 0, se dice que las probabilidades de transicin son estacionarias.
Para simplificar la notacin se denotarn estas probabilidades estacionarias por
Pij(t) = P{X(t) = j | X(0) = i}
en donde se har referencia a Pij(t) como la funcin de probabilidad de transicin de tiempo continuo. 'e
supone que

'

j i
j i
t P
ij
t
si , 0
si , 1
) ( -im
0
.s, un proceso estocstico de tiempo continuo {X(t/)1 tQ5 0} es una cadena de #ar$ov de tiempo continuo si
cumple la propiedad mar'oviana.
.qu se restringir el estudio a las cadenas de #ar$ov de tiempo continuo a aquellas con un n+mero finito de
estados y el donde las probabilidades de transicin sean estacionarias.
A+GUNAS VARIA9+ES A+EATORIAS IMPORTANTES
En el anlisis de las cadenas de #ar$ov de tiempo continuo, un conjunto importante de variables aleatorias
es el siguiente.
&IEMPO DE PERMANENCIA EN EL E&ADO i
9ada ve& que el proceso entra en el estado i, la cantidad de tiempo que pasa en ese estado antes
de moverse a uno diferente es una variable aleatoria Ti, donde i = 0, 1, , s&
'uponga que el proceso entra en el estado i en el tiempo t/ = s. Entonces, para cualquier cantidad de
tiempo fija t 5 0, observe que Ti 5 t si y slo si X(t/) = i para toda t/ en el intervalo s t/ s + t. Por lo tanto, la
propiedad mar$oviana (con probabilidades de transicin estacionarias* implica que
P[Ti 0 t+s | Ti 0 s] = P[Ti 0 t].
^sta no es ms que la propiedad de amnesia e%hibida por la distribucin de probabilidad e%ponencial, la cual
significa que la distribucin de probabilidad del tiempo *ue +alta para que el proceso haga una transicin
fuera de un estado dado siempre es la misma, independientemente del valor s, es decir, del tiempo haya
pasado el proceso en ese estado.
Este resultado lleva a una forma equivalente de definir una cadena de #ar$ov de tiempo continuo0
2. "a variable aleatoria Ti tiene una distribucin e%ponencial con media
i

1
.
<. 9uando sale de un estado i, el proceso se mueve a otro estado j, con probabilidad pij en donde pij
satisface las condiciones
i p
ii
toa 'a+a , 0 ,
y
@I
. toa 'a+a 1
0
i p
S
j
ij

@. El siguiente estado que se visita despu!s del estado i es independiente del tiempo que pas en el
estado i.
3gual que las probabilidades de transicin de un paso jugaron un papel primordial al describir una cadena de
#ar$ov de tiempo discreto, el papel anlogo para la cadena de #ar$ov de tiempo continuo lo tienen las
intensidades de transicin.
"as inten(idade( de tran(icin son
s i
t
t p
p
dt
d
ii
t
ii i
, , 2 , 1 'a+a ,
) ( 1
-im ) 0 (
0

y
i j p
t
t p
p
dt
d
ij i
ij
t
ij ij

toa 'a+a ,
) (
-im ) 0 (
0

donde pij(t) es la +uncin de proailidad de transicin de tiempo continuo introducida al principio de la
seccin y pij es la probabilidad descrita en la propiedad < el prrafo anterior. #s a+n, i seg+n se defini
aqu, resulta ser tambi!n el parmetro de la distribucin e%ponencial para Ti (vea la propiedad 2 del prrafo
anterior*.
"a interpretacin intuitiva de i y ij es que son tasas de transicin. En particular, i es la tasa de transicin
%acia a+uera del estado i en el sentido de que i es el n+mero esperado de veces en las que el proceso deja
el estado i por unidad de tiempo que pasa en el estado i. .s, i es el recproco del tiempo esperado de
permanencia en el estado i cada ve& que este estado es visitado5 es decir,
) (
1
i
T E
i

. (<<*
e manera similar, ij es la tasa de transicin del estado i al estado j en el sentido de que ij es el n+mero
esperado de veces que el proceso transita directamente del estado i al estado j por unidad de tiempo que
pasa en el estado i. .s,

i j
ij i

(<@*
3gual que i es el parmetro de la distribucin e%ponencial para Ti, cada ij es el parmetro de una
distribucin e%ponencial para una variable aleatoria relacionada que se describe en seguida.
9ada ve& que el proceso entra al estado i, la cantidad de tiempo que pasar en el estado i antes de que
ocurra una transicin directa al estado j es una variable aleatoria Tij donde i, j = 0,1,, s y j i. "as Tij, son
variables aleatorias independientes, donde cada Tij tiene una distriucin e,ponencial con parmetro ij, de
manera que
ij
E

1
) (
ij
T
. (<C*
El tiempo que pasa en el estado i hasta que ocurre una transicin (Ti* es el m-nimo (sobre j i* de las Tij.
9uando ocurre la transicin, la probabilidad de que sea al estado j es
i
ij
ij
p

. (<I*
PRO9A9I+IDADES DE ESTADO ESTA9+E
@M
3gual que las probabilidades de transicin de una cadena de #ar$ov de tiempo discreto satisfacen las
ecuaciones de 9hapman>Wolmogorov, la funcin de probabilidad de transicin de tiempo continuo satisface
estas ecuaciones. Entonces, para cualesquiera estados i y j, y n+meros no negativos t y s (0 s t*,

j i ij
s t p s p t p
1
) ( ) ( ) ( (<M*
'e dice que un par de estados i y j se comunican si e%isten tiempos t1 y t2 tales que pij(t1) 5 0 y pij(t2) 5 0. 'e
dice que todos los estados que se comunican forman una clase. 'i todos los estados en una cadena forman
una sola clase, es decir, si la cadena de #ar$ov es irreducile (lo que se supondr de aqu en adelante*,
entonces, pij(t)5 0, para toda t 0 0 y todos los estados i y j. #s a+n,
j ij
t
t p

) ( -im
siempre e%iste y es independiente del estado inicial de la cadena de #ar$ov, para j = 0, 1. , s. Estas
probabilidades se conocen com+nmente como las probabilidades de estado estable (o proailidades
estacionarias* de la cadena de #ar$ov.
"as j satisfacen las ecuaciones
0 toa 'a+a 8 , , 2 , 1 'a+a ) (
1

t s j t p
s

j j
. (<N*
Bestando a ambos miembros de la Ecc. <N jpjj(t), se tiene0
( )

j
j jj j
t p t p ) ( ) ( 1
.
ividiendo cada t!rmino de la anterior igualdad por t y calculando el lmite cuando t tiende a cero se obtiene0
( )

j
j
t

jj
t
j
t
t p
t
t p ) (
-im
) ( 1
-im
0 0

s j
j
j j j
, , 2 , 1 'a+a ,

(<O*
Este nuevo conjunto de s ecuaciones es ms +til para el clculo de las probabilidades de estado estable,
que el obtenido en las Eccs. <N. 1uevamente el conjunto de Ecc. <O no es linealmente independiente, ya
que se obtiene del conjunto de Eccs. <N que tampoco lo es, y por lo tanto debe eliminarse una cualquiera de
sus ecuaciones y reempla&arse por
. 1
0

j
(<Q*
El conjunto de Eccs. <O tiene una interpretacin intuitiva. El lado i&quierdo (j j* es la tasa a la que el
proceso deja el estado j, ya que j es la probabilidad (de estado estable* de que el proceso est! en el estado
j y j es la tasa de transicin hacia afuera del estado j dado que el proceso se encuentra en el estado j. e
manera similar, cada t!rmino de lado derecho ( j* es la tasa a la que el proceso entra al estado j desde el
estado , ya que j es la tasa de transicin del estado al j dado que el proceso se encuentra en el estado .
'umando sobre toda j, todo el lado derecho proporciona la tasa a la que el proceso entra al estado j
desde cualquier estado. Por eso la ecuacin global establece que la tasa a la cual el proceso deja el estado j
debe ser igual a la tasa en la que el proceso entra al estado j.
9omo cada una de las primeras s ecuaciones de estado estale requiere que las dos tasas est!n
alanceadas (sean iguales*, a veces estas ecuaciones se llaman ecuaciones de balance.
@N
EAEMP+O F.1 4n taller tiene dos mquinas id!nticas que operan continuamente e%cepto cuando se
descomponen. 9omo lo hacen con bastante frecuencia, la tarea con ms alta prioridad
para una persona de mantenimiento que trabaja tiempo completo es repararlas en cuanto
lo necesiten. El tiempo requerido para reparar una mquina tiene distribucin e%ponencial
con media de
2
1
da. 4na ve& que se termina la reparacin, el tiempo que transcurre hasta
la siguiente descompostura tiene distribucin e%ponencial con media de 2 da. Estas
distribuciones son independientes.
So*,!%2n efinamos la variable aleatoria X(t/) como
X(t/) , n+mero de mquinas descompuestas en el tiempo t/,
de forma que los valores posibles de X(t/) son 0, 1, 2. Por lo tanto, si se corre el parmetro
t/ de manera continua desde el tiempo 0, el proceso estocstico de tiempo continuo {X(t/)1
t/ 0} proporciona la evolucin del n+mero de mquinas descompuestas.
9omo tanto el tiempo de reparacin como el tiempo hasta la siguiente descompostura
tienen distribuciones e%ponenciales, {X(t/)1 t/ 0} este proceso es una cadena de .ar'ov
de tiempo continuo

con estados 0, 1, 2. En consecuencia, se pueden usar las ecuaciones
<O y <Q para encontrar la distribucin de probabilidad de estado estable del n+mero de
mquinas descompuestas. Para hacer esto, se deben determinar todas las tasas de
transicin, esto es, las j y j para , j = 0, 1, 2.
El estado (n+mero de mquinas descompuestas* aumenta en 1 cuando ocurre una
descompostura y disminuye en 1 cuando se termina una reparacin. 9omo tanto las
descomposturas como las reparaciones ocurren una a la ve&, 02 20 = 0. El tiempo
esperado de reparacin es
2
1
da, de manera que la tasa a la que se terminan las
reparaciones (cuando hay mquinas descompuestas* es 2 por da, lo que implica que 21 =
10 = 2. e igual forma, el tiempo esperado hasta que se descompone una mquina en
operacin es 1 da, de manera que la tasa a la que se descompone (cuando est
operando* es 1 mquina por da5 esto implica que 12 = 1. urante los tiempos en los que
las dos mquinas operan, las descomposturas ocurren a una tasa de 1 + 1 = 2 mquinas
por da, as, 01 , 2. Estas tasas de transicin se resumen en el diagrama de tasas que se
muestra en la figura 22.
5%-,ra 11
iagrama de tasas
para el ejemplo de
una cadena de
?ar$ov de tiempo
continuo
'e pueden usar estas tasas para calcular la tasa de transicin total hacia afuera de
cada estado (Ecc. <F*, as0
2
3
2
21 20 2
12 10 1
02 01 0
+
+
+



'ustituyendo todas las tasas en las ecuaciones de estado estable (Eccs 2O y 2Q*, se
obtiene
Ecuacin de balance para el estado F0 20 = 21
@O
Ecuacin de balance para el estado 20 31 = 20 + 22
Ecuacin de balance para el estado <0 22 = 1
"as probabilidades suman 20 0 + 1 + 2 = 1
9ualquiera de las ecuaciones de balance (digamos, la segunda* se puede eliminar como
redundante, y la solucin simultnea de las ecuaciones restantes da la distribucin de
estado estable como
( ) ( )
5
1
5
2
5
2
2 1 0
, , , ,
Entonces, a la larga, ambas mquinas estarn descompuestas simultneamente 20) del
tiempo y estar descompuesta una mquina otro 40) del tiempo.
El siguiente captulo (sobre teora de colas* contiene muchos ejemplos de cadenas de #ar$ov de tiempo
continuo. e hecho, la mayor parte de los modelos bsicos de la teora de colas caen dentro de esta
categora. El ejemplo que se acaba de dar en realidad se ajusta a uno de estos modelos (la variacin de
fuente de entrada finita al modelo 3434s).
PROBEMA
!R"PO A
2. Beconsidere el ejemplo presentado al final de esta
seccin. 'uponga que ahora se agrega al taller una
tercera mquina, id!ntica a las dos primeras. "a
persona de mantenimiento debe atender a todas
las mquinas.
a* esarrolle un diagrama de tasas para esta
cadena de #ar$ov.
b* 9onstruya las ecuaciones de estado estable.
c* Besuelva estas ecuaciones para obtener las
probabilidades de estado estable.
<. El estado de una cadena de #ar$ov de tiempo
continuo est definido como el n+mero de trabajos
que hay en el momento actual en cierto centro de
trabajo, donde se permite un m%imo de tres
trabajos. "os trabajos llegan individualmente.
'iempre que hay menos de tres trabajos, el tiempo
que transcurre hasta la siguiente llegada tiene
distribucin e%ponencial con media de de E da.
"os trabajos se procesan uno a la ve& y dejan el
centro de inmediato. "os tiempos de procesado
tienen una distribucin e%ponencial con media de D
de da.
a* 9onstruya el diagrama de tasas para esta
cadena de #ar$ov.
b* Escriba las ecuaciones de estado estable.
c* Besuelva estas ecuaciones para obtener las
probabilidades de estado estable.
@Q