Mod Esto Unidad 04

Unidad 4: Cadenas de Markov en Tiempo
Discreto
Modelos Estocásticos
Profesor Alvaro J Cepeda Ortiz
alvarocepeda@Hotmail.com
Unidad 4: Proceso de Renovación
1 Definición, propiedades, probabilidades de transición.
2 Ecuaciones de Chapman-Kolmogorov
3 Clasificación de estados, análisis del estado transiente
3 Análisis en el largo plazo, distribución límite
Introducción a las Cadenas de Markov
Matriz de Transición
Existen casos en que toman en cuenta la incertidumbre acerca de MUCHOS eventos futuros
posibles. Por lo que existen modelos de probabilidad para procesos que evolucionan en el
tiempo de manera probabilística. Lo que hemos visto hasta ahora son procesos estocásticos
que tienen estas características.
Las cadenas de markov tienen la particularidad de que las probabilidades que describen la
forma en que el proceso evolucionará en el futuro dependen sólo del estado actual en que se
encuentra el proceso, por lo que es independiente del pasado.
Estados: {1,2,………s}
Estados:
{1,2,………s}
Definición Formal Cadena de Markov
Una cadena de Markov es un proceso estocástico a tiempo discreto {Xn:n=0, 1, . . }, con espacio
de estados discreto, y que satisface la propiedad de Markov, esto es, para cualquier entero n
>0, y para cualesquiera estados x0, . . . , xn+1, se cumple:
P( X n1 x0 ,...,xn )  P( X n1 xn )

Si el tiempo n+1 se considera como un tiempo futuro, el tiempo n como el presente
y los tiempos 0, 1, . . . , n−1 como el pasado, entonces la condición establece que
la distribución de probabilidad del estado del proceso al tiempo futuro n+1 depende
únicamente del estado del proceso al tiempo n, y no depende de los estados en los
tiempos pasados 0, 1, . . . , n−1.
Es posible demostrar que la condición es equivalente a poder calcular la distribución conjunta
de las variables X0,X1, . . . ,Xn de la siguiente forma
P( x0 , x1 ,......,xn )  P( x0 ) P( x1 x0 )....P( xn xn1 )
Tomaremos como espacio de estados de una cadena de Markov al conjunto discreto {0,1,2…},
o cualquier subconjunto finito que conste de los primeros elementos de este conjunto. Cuando
el espacio de estados es finito se dice que la cadena de Markov es finita.
Ejemplo Matriz de Transición

El monto de dinero que tengo después de t+1 jugadas depende de la historia del juego después
de haber realizado t jugadas. Dado que las reglas del juego no cambian a través del tiempo,
tenemos una Cadena de Markov Estacionaria. La matriz de transición es la siguiente: (estado i
significa que tenemos i pesos). Suponiendo que se parte con $1.
Si el estado es $0 o $4, yo no seguiré

jugando, así es que el estado no cambia.
Además p00 = p44 = 1.
Para todos los otros estados, sabemos que
con una probabilidad p, el próximo estado
excederá al actual en 1, y con una
probabilidad 1-p, el estado del próximo
período será 1 menos que el actual estado.
Ejemplo Markov
Una urna contiene 2 bolas sin pintar en su estado presente. Se elige una bola tirando una
moneda al aire. Si la bola no está pintada y la moneda es “cara”, se pinta la bola de color rojo; sí
la bola no está pintada y la moneda es “sello”, se pinta la bola de color negro. Sí la bola está
pintada (ya sea rojo o negro), se cambia el color de la bola (de rojo a negro o bien de negro a
rojo).
1. Encuentre la matriz de transición del problema.
2. Confeccionar el diagrama de markov
Podemos definir el un [s r n], donde s: n°bolas sin pintar; r: n°bolas rojas; rn n°bolas negras.
Ejemplo Markov
Inventarios
Ejemplo de Markov en Inventarios

Una tienda de cámaras tiene en el almacén un modelo especial de cámara que se puede
obtener cada semana. Sean D1, D2, …. las demandas de la cámara por cada semana. Suponga
que Di son variables aleatorias independientes e idénticamente distribuidas con una distribución
de Poisson con media 1.
Sea X0 el número de cámaras en el momento que se inicia el proceso, X1 el número de cámaras
que se tienen al final de la semana 1, y así sucesivamente. Supongamos que X0=3.
El sábado en la noche la tienda hace un pedido que le entregan en el momento de abrir la
tienda el día Lunes. La tienda utiliza la siguiente política para ordenar: si no hay cámaras en el
inventario ordena 3 cámaras. De otra manera si se cuenta con cámaras en el almacén, no se
hace el pedido. Se supone que las ventas se pierden cuando la demanda excede el inventario.
Entonces Xt para t=0,1, … es un proceso estocástico. Los estados posibles del proceso son 0,
1, 2, 3 que representan el número de cámaras en inventario al final de la semana. Las variables
aleatorias Xt, son dependientes y se pueden evaluar en forma iterativa por medio de la siguiente
expresión:
máx 3  Dt 1, 0 
  Sí Xt=0
X t 1   
máxX t  Dt 1, 0
 Si Xt≥1, para t= 0,1,2,3

Inventarios
Para obtener la matriz de transición de un paso…
Dado que Dt+1 tiene una distribución de Poisson con media 1. Entonces:
Se debe obtener el complemento, ya que las filas deben sumar 1.
Inventarios
Para la primera fila de P, se trata de la transición de estado de Xt=0 a algún estado Xt+1.
Xt+1= máx { 3-Dt+1,0} si Xt=0
Por lo tanto para la transición a Xt+1=3, Xt+1=2, Xt+1=1 ,
Una transición de Xt=0 a Xt+1=0 implica que la demanda de cámaras en la semana t+1 es 3 o
más, después que se agregaron 3 cámaras al inventario agotado al principio de la semana, de
manera que
Para los otros dos reglones de P

Xt+1= máx { Xt-Dt+1,0} si Xt+1≥1
Esto implica que Xt+1≤Xt, entonces p12=0, p13=0 y p23=0. Para las otras restricciones,
Inventarios
Para la última fila de P, la semana t+1 comienza con 3 cámaras en inventario y los cálculos de
las probabilidades de transición son justo las mismas que para la primera fila. La matriz de
transición completa es:
Cadenas de Markov
Matriz de Transición de n Pasos

Supongamos que estamos trabajando con una cadena de Markov con una matriz de transición
P la que es estacionaria.
Cabe preguntar, si una cadena de markov en estado i en el tiempo m, ¿cuál es la probabilidad
que en n períodos posteriores la cadena de markov este en estado j?
Dado que es estacionaria, la probabilidad será independiente de m, así es que:
Donde Pij(n) es llamada la probabilidad en n pasos de la transición desde el estado i al j.

Claramente, Pij(1)= pij, . Para determinar Pij(2), el sistema es ahora en el estado i, entonces para
que el sistema termine en el estado j dos períodos desde ahora, necesitamos ir del estado i a
algún estado k y luego ir del estado k a algún estado j.
Podemos expresar:
k s
Pij (2)  
(Prob de ir desde i a
k)*(prob de ir desde k a j)
k 1
Cadenas de Markov
Matriz de Transición de n Pasos

Usando la definición anterior.
k s
Pij (2)   pik pkj
k 1
Así se dice, que Pij(n), es la matriz de transición de n pasos.

Ahora bien para n=0, Pij(0) = P(X0=j | X0=i), así es que se deduce:
Cadenas de Markov
Ejemplo Matriz de Transición de n Pasos

Supongamos que existe dos tipos de colas (bebidas) en todo chile. Dado que la última compra
de una persona fue cola 1, hay un 90% de probabilidades de que compre la cola 1 nuevamente.
Dado que la última compra de una persona fue la cola 2, hay un 80% de probabilidades que la
próxima compra sea la cola 2.
1. Si una persona actualmente consume la cola 2, ¿cuál es la probabilidad de que ella
empiece a comprar la cola 1 después de 2 compras desde ahora?
2. Si una persona esta actualmente consumiendo la cola 1. ¿cuál es la probabilidad de que
compre la cola 1 después de 3 compras desde ahora?
Solución
Se pueden tratar a las personas como cadenas de markov, en que el estado actual es
consumiendo una determinada cola. Así es que cada persona puede ser representada en 2
estados, donde:
Estado 1: la última compra de la persona fue en la cola 1
Estado 2: la última compra de la persona fue en la cola 2
Sí definimos que Xn será el tipo de cola de la persona en su “n” ava vez que compre (la cola
presente = X0), así és que X0, X1, … puede ser descrita como una cadena de markov con la
siguiente matriz de transición.
Cadenas de Markov
Respondiendo la pregunta 1
Se busca P(X2 = 1 | X0= 2) = P21(2) = elemento 2,1 de P2.
Por lo tanto, P21(2) = 0.34. Esto significa que la probabilidad es 34% que un consumidor cola 2
compre cola 1 en el futuro.
Notar que P21(2) = (probabilidad que la siguiente compra sea cola 1 y la segunda compra sea
cola 1) + (probabilidad que la siguiente compra sea cola 2 y la segunda compra sea cola 1) =
p21 p11+ p22 p21 = (0.2*.09)+(0.8*0.2) =.34.
Cadenas de Markov
Respondiendo la pregunta 2
Se busca P11(3) = elemento 1,1 de P3.
Por lo tanto, P11(3) = 0.781.

Multiplicación de Matrices
 0.9 * 0.83  0.1* 0.34 0.9 * 0.17  0.1* 0.66 

 
 0.2 * 0.83  0.8 * 0.34 0.2 * 0.17  0.8 * 0.66 
¿Qué pasa si no sabemos la situación inicial de la cadena de markov?

Digamos que qi es la probabilidad de la cadena en el estado i en el tiempo 0. Entonces
podemos determinar la probabilidad de que el sistema en el estado i y en el tiempo n usando el
siguiente razonamiento.
la probabilidad de estar en el estado j en el tiempo n
i s

(Prob que el estado original sea
i)*(prob de ir desde i a j en n
k 1 transiciones)
i s
  qi Pij (n)
k 1
= q (columna j de Pn donde q=[q1, q2, q3…. qs]
Supongamos que 60% de las personas consumen cola 1, y 40% consumen cola 2. Tres
compras desde ahora, qué fracción de los consumidores comprarán cola 1?
Dado que q=[0.60, 0.40] y q(columna 1 de P3 )= probabilidad que después de 3 compras la
persona prefiera cola 1. la probabilidad será:
0.781
0.60 0.40*  
0.438 
Clasificación de Estados
Alcanzable
Un estado j es alcanzables desde i si existe un camino que nos lleve desde i a j.
Comunicados
El estado i y j están comunicados si j es alcanzable desde i, y i es alcanzable desde j.
Cerrado
Un conjunto S en una cadena de Markov es un conjunto cerrado si no existen estados fuera de
S que sean alcanzados desde algún estado de S.
Absorbente
Se dice que el estado i es un estado absorbente si pii=1.
Transiente
Un estado i es un estado transiente si
existe un estado j que es alcanzado
desde i, pero el estado i no es alcanzado
desde j.
Recurrente
Un estado no transiente es recurrente.
Clasificación de Estados
Periódico
Un estado es periódico con periodo k>1 si k es el menor número tal que todos los caminos
llevan del estado i de vuelta al estado i tienen un largo que es múltiplo de k. Sí un estado
recurrente no es periódico, se denomina aperiódico.
Ergódico
Sí todos los estados de una cadena son recurrentes, y comunicados unos con otros, la cadena
se denomina ergódica.
Ergódica No Ergódica Ergódica
Estados estables y Media de primer paso
En nuestro ejemplo anterior de las colas 1 y 2, podemos tener el siguiente resultado después de
aplicar n pasos de la matriz de transición.
Como se puede observar las probabilidades no dependen si la persona inicialmente se

encuentra consumiendo la cola 1 o la cola 2. Es decir existe propiedades que se cumplen en
cadenas de markov de pasos grandes.
Sea P la matriz de transición para una cadena ergódica de s-estados. Entonces existe un vector

   1 2 3 ... n

Se cumple que
Observe que para un n grande Pn se aproxima una matriz con filas idénticas. Independiente del
estado inicial i, existe una probabilidad πj, que esté en el estado j.
El vector π = [π1 π2 …. πn ] es usualmente llamado el estado estable de la distribución, o
distribución de equilibrio, para una cadena de markov. Además, se tiene para n suficientemente
grande, se tiene.
Además, Pij (n+1) = (fila i de Pn)*(columna j de P), se puede escribir.
Substituyendo las ecuaciones anteriores, podemos tener.
En forma matricial se puede escribir.
Para obtener los valores únicos de los estados de probabilidades estacionarios, se tiene para
cualquier n y cualquier i.
Como se analizará el caso de n tiende a infinito.
Con esta propiedad podemos tener un sistema de ecuaciones, para el ejemplo de las colas 1 y
2… tenemos.
La matriz de transición de las colas 1 y 2 es:
Utilizando el vector.
Adicionalmente tenemos:
Resolviendo las ecuaciones se tiene
Es decir, existe un 2/3 de probabilidad que la persona consuma cola 1, y 1/3 de probabilidades
que consuma cola 2.
Ejemplo Transiciones
El ascensor de un edificio con Planta Baja y dos pisos realiza viajes de un piso a otro piso. El
piso en el que finaliza el viaje n-ésimo del ascensor sigue una cadena de Markov. Se sabe que
la mitad de los viajes que parten de la planta baja se dirigen a cada uno de los otros dos pisos,
mientras que si un viaje comienza en el primer piso, sólo el 25% de las veces finaliza en el
segundo. Por último, si un trayecto comienza en el segundo piso, siempre finaliza en la planta
baja. Se pide:
1. Calcular la matriz de probabilidades de transición de la cadena
2. Dibujar el gráfico
3. ¿Cuál es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada uno
de los tres pisos (por separado).
a) Los estados de la cadena los denotaremos por { 0, 1 , 2} haciendo corresponder el 0 al bajo

y 1 y 2 al primer y segundo piso respectivamente.
Las probabilidades de transición son:
p00 es la probabilidad de que el ascensor se encuentre en la planta baja si en la etapa anterior
estaba en la planta baja. Obviamente es 0, porque se supone que de etapa a etapa el ascensor
se mueve.
p01 = es la probabilidad de que el ascensor se encuentre en la planta primera si en la etapa
anterior estaba en la planta baja. Obviamente es ½. Basta leer el enunciado.
Y así sucesivamente vamos obteniendo las distintas probabilidades de transición cuya matriz
es:
1/2
3/4
1/2 1/2
1/4
c) π * P= π, siendo π = (x,y,z) los valores de las probabilidades pedidas, y añadiendo la

ecuación x+y+z = 1
Siendo las soluciones X = 8/17; y =4/17, z= 5/17
Ejemplo
Sigamos con el ejemplo de las colas 1 y 2. Supongamos que cada consumidor hace una
compra 1 vez a la semana (52 semanas en un año), y supongamos que existen 100 millones de
consumidores de Cola. Una unidad de cola cuesta $1 a la compañía para poder venderla en $2.
Una agencia de publicidad dice que con $500 millones por año, la compañía reducirá de 10% a
5% la fracción de consumidores de cola 1 que se cambian a consumir cola 2. ¿Debería la
compañía contratar la agencia de publicidad?.
Solución
Dado que tenemos una cantidad de transiciones considerable, podemos utilizar los valores de
π1= 2/3 de todas las compras son cola 1. Cada cola 1 comprada tiene una ganancia de $1.
Dado que el total de compras en un año es 52(100.000.000) o 5,2 billones, la ganancia anual de
la cola 1 en un año sería:
2/3 (5.200.000.000) = $3.466.666.667.
La agencia de publicidad indica que la matriz cambiará a:
Para P1 la ecuación de estados estable sería:
Reemplazando π1+ π2 =1, se tiene que

π1=0.8 y π2= 0.2
Se tiene que (0.8)*5.200.000.000-500.0000=$3.660.000.000
Es por esto que Cola 1 debería contratar la agencia de publicidad.
Media de primer paso

Resulta de interés saber cuantos paso se requieren para cambiar de un estado i a otro j.
Para una cadena ergódica, sea
mij = el número esperado de transiciones antes que se alcance el estado j, dado que
estamos actualmente en el estado i.
Se le llama media de primer paso desde el estado i al j.
Asumamos:
- Actualmente estamos en el estado i
- pij la probabilidad de pasar del estado i al estado j
- Para k≠j, tendríamos la probabilidad de ir de i a k representada por pik
- En este caso tomará un promedio de 1+mkj transiciones de ir de i a j. Esto implica
Dado que
Se obtiene
Podemos resolver la ecuación linear, obteniendo las medias de primer paso para cada
transición. Se puede mostrar que.
Para el caso las colas 1 y 2, teníamos que π1=2/3 y π2= 1/3, entonces
m11= 1/(2(/3)= 1.5 y m22= 1/(1/3) = 3
Ahora utilizando la fórmula anterior.
Resolviendo estas 2 ecuaciones tenemos.

m12= 10 y m21 = 5
La persona que consume cola 1 tomará en promedio 10 veces la cola 1 antes de cambiarse a la
cola 2.
Cadenas absorbentes
Existen variados casos en que algunos estados de la matriz de transición son absorbentes y el
resto transiente, a esto se les denomina cadenas absorbentes.
Ejemplo
La firma consultora strategos tiene tres tipos de consultores. Junior, Senior y Partners. Durante
una determinado año, existe una probabilidad del 15% de que un consultor Junior sea
promovido a Senior y un 5% de probabilidad de que deje la empresa. A su vez, existe un 20%
de probabilidad que un consultor Senior sea promovido a Partner y un 10% de probabilidad de
que deje la empresa. Existe un 5% de probabilidad de que un Partner deje la empresa.
¿Cuál es la probabilidad de que un consultor junior deje la firma antes de convertirse en
Partner?.
¿Cuál es el tiempo promedio en que el consultor Junior permanece en la compañía?.
Solución
Primero debemos representar el plan de carrera posible.
Junior Senior Partner Deja Deja

Tipo1 Tipo2
Consultor Junior
Los últimos 2
Consultor Senior
estados son
Consultor Partner absorbentes, y
Deja como no Partner los demás son
Deja como Partner transientes.
Cadenas absorbentes
En el caso de las cadenas absorbentes deseamos contestar dos preguntas:

¿Sí estamos en un estado transiente, y antes que alcancemos un estado absorbente, cuál es el
número esperado de transiciones para que cada estado sea completado?
¿Sí empezamos en una estado transiente, cuál es la probabilidad de terminar en un estado
absorbente?
Para esto es posible escribir la matriz de la siguiente forma:
I es una matriz de m*m en la que nunca dejaremos el estado

Q es una matriz de (s-m)*(s-m) que representa los estados transientes.
R es una matriz de (s-m)*m que representa la transición de estados transientes hacia
absorbentes.
Cadenas absorbentes
Para el caso de la firma consultora
y llamemos
Consultor Junior t1
Consultor Senior t2
Consultor Partner t3
Deja como no Partner a1
Deja como Partner a2
Sí nos encontramos en el tiempo presente ti, el número esperado de periodos necesarios para
llegar al estado transiente tj antes de la absorción es el ij ésimo elemento de la matriz (I-Q)-1
Sí la cadena de markov empieza en un estado transiente, ¿cuál sería la probabilidad de
terminar en un estado absorbente?. Sí estamos en un estado transiente ti, la probabilidad de
que eventualmente pasemos a un estado absorbente aj, es el ij ésimo elemento de la matriz (I-
Q)-1 R.
La matriz (I-Q)-1 es llamada la matriz fundamental de la cadena de markov.
Cadenas Abosorbentes
Del ejemplo de la planificación del RRHH

¿Cuál es el período promedio que un consultor junior permanece en la empresa?
¿Cuál es la probabilidad que un consultor junior se convierta en partner?
¿Cuál es el tiempo promedio que un partner permanece en la compañía (como partner)?
Solución:
Tenemos..
Entonces…
Obteniendo la matriz inversa se obtiene…
Cadenas Abosorbentes
Además se obtiene
a1 a2
Para la pregunta 1: El valor esperado que un consultor junior permanece en la empresa (como
junior) + el valor esperado de un consultor que entro como junior y prosigue como senior+ el
valor esperado de un consultor que entro como junior y prosigue como partner es el valor
esperado del tiempo de un consultor junior en la empresa.
1
1
( I  Q)11 5 1
( I  Q)12  2.5 ( I  Q)13  10
Entonces el tiempo total es 17.5
Para la pregunta 2: La probabilidad de que un consultor junior se convierta en partner y de que
deje la firma como partner. Esto corresponde al valor 1,2 de la matriz
1
(I  Q)12 * R  0.5
1
Para la pregunta 3: Esto corresponde al elemento 3,3 de la matriz ( I  Q)33  20
Ejercicios
Ejercicios
 0.701 0.298 
P 
8
0.697 0.302 
Ejercicios
Decisión Markoviana
Es la aplicación de programación dinámica a la solución de un proceso

estocástico de decisión con una cantidad finita de estados.
Las probabilidades de transición entre los estados se describen con una
cadena de Markov.
La estructura de recompensa del proceso se describe con una matriz que
representa el ingreso (o costo) asociado al movimiento de un estado a
otro.
Las matrices de transición e ingreso dependen de las alternativas de
decisión disponibles para quien toma decisiones.
El objetivo es determinar la política óptima que maximice el ingreso
esperado durante la cantidad finita o infinita de etapas.
Ejemplo Decisión Markoviana
Cada año, al comenzar la estación para Mejorar los Viñas (de marzo a septiembre) un
agrónomo usa una prueba química para determinar el estado del suelo. Dependiendo de los
resultados de las pruebas, la productividad para la nueva estación cae en uno de los tres
estados: 1) bueno, 2) regular y 3) malo.
A través de los años el agrónomo observó que las condiciones meteorológicas prevalecientes
durante el invierno (octubre a febrero) juegan un papel importante en la determinación de la
condición del suelo, dejándolo igual o empeorándolo, pero nunca mejorándolo. En este
respecto, el estado del suelo en el año anterior es un factor importante para la productividad del
presente año. Usando los datos de las pruebas hechas por el agrónomo, las probabilidades de
transición durante un periodo de un año, de un estado de productividad a otro, se representan
con la siguiente cadena de markov
PA
El agrónomo puede alterar la matriz de transición con acciones adicionales. En el caso normal,
se aplica fertilizante para mejorar las condiciones del suelo, y se obtiene la siguiente matriz:
PB =
Dado que las viñas son negocios muy rentables, se asoció la matriz de transición con una
estructura de ingresos de un estado a otro. Dado que el agrónomo tiene la opción de usar o no
fertilizante, la ganancia o pérdida va dependiendo de la decisión tomada. Las matrices RA y RB
resumen los ingresos en millones de dólares, correspondiente a las matrices PA y PB
respectivamente.
RA= RB=
¿Cuáles serían las decisiones óptimas en 3 años?
Se pueden abordar el problema como un modelo de programación dinámica en 3 años.
En nuestro ejemplo tenemos:

i 𝒗𝑨𝒊 𝒗𝑩
𝒊
1 5.3 4.7
2 3 3.1
3 -1 0.4
K=1; no fertilizar
K=2; fertilizar
Entonces en la Etapa 3
Etapa 2
Entonces en la Etapa 1
La solución nos indica que el agrónomo en los años 1 y 2 debe aplicar fertilizante
independiente del estado del sistema. En el año 3 sólo se debe aplicar fertilizante si el
sistema se encuentra en el estado 2 o 3. Los ingresos totales esperados son:
10.74 si el estado es bueno en el año 1
7.92 si el estado es regular en el año 1
4.23 si el estado es malo en el año 1
Ejercicios Varios
Consideré un ratón ubicado en un tablero con 9 compartimientos dispuestos de la siguiente

forma.
1 2 3
4 5 6
7 8 9
El ratón se mueve de un compartimiento a otro contiguo en forma aleatoria. Por ejemplo: si tiene
k comportamientos contiguos, escoge 1 de ellos con probabilidad 1/k (no se considera el
comportamiento actual).
Sea Xn= número del comportamiento en que se encuentra el ratón después de la movida
numero “n”.
Obtenga la matriz de transición y el diagrama de markov
Ejercicios Varios
Una empresa manufacturera desea planificar su política de Marketing de Largo Plazo. La

empresa ha definido tres niveles para la inversión mensual en publicidad: USD30.000
USD50.000 Y USD80.000. La información histórica indica que el nivel de ventas mensuales se
asocia con la inversión en publicidad mediante las siguientes probabilidades.
Ventas mes siguiente
Estado Inversión USD 30.000 Inversión usd 50.000 Inversión usd 80.000
venta
mes
anterior
Altas Medias Bajas Altas Medias Bajas Altas Medias Bajas
Altas 0,2 0,5 0,3 0,4 0,4 0,2 0,7 0,2 0,1
Medias 0,1 0,5 0,4 0,3 0,4 0,3 0,5 0,3 0,2
Bajas 0,1 0,3 0,6 0,2 0,2 0,6 0,3 0,3 0,4
El ingreso neto promedio mensual (sin considerar la inversión en publicidad) para cada uno de
los niveles de ventas es de USD 300.000 para las ventas altas, USD 220.000 para las ventas
medias y USD 150.000 para las ventas bajas.
Ejercicios Varios
Sí la empresa desea usar la siguiente política de publicidad.

- Sí las ventas durante un mes fueron bajas, invertir USD 80.000 en publicidad en el mes
siguiente.
- Sí las ventas durante un mes fueron medias, invertir USD50.000 en publicidad en el mes
siguiente.
- Sí las ventas durante un mes fueron altas, invertir USD30.000 en publicidad el mes
siguiente
a) Obtenga el valor del beneficio neto promedio mensual de la empresa en el largo plazo al
utilizar la política señalada.
b) Sí las ventas en el mes actual fueron medias ¿Cuál es el valor esperado del ingreso neto
promedio en el próximo mes?
c) Suponga ahora que la empresa decide que su inversión promedio mensual en publicidad no
puede superar USD60.000 ¿Es factible la política propuesta anteriormente?
Ejercicios Varios
Un proceso de producción incluye una máquina que se deteriora con rapidez tanto en la calidad
como en la cantidad de producción con el trabajo pesado, por lo que se inspecciona al final de
cada día. Después de la inspección, se clasifica la condición de la máquina en uno de los
siguientes estados:
La ocurrencia de las inspección dentro de un año entrego lo siguientes resultados:
a) Encuentre las probabilidades de largo plazo 0 1 2 3

b) Si los costos de los estados son: 0, $1.000, 0 0 310 22 22
$3.000 y $6.000, respectivamente para los
estados ¿Cuál es el costo esperado a la larga? 1 0 266 44 44
c) Encuentre el tiempo de recurrencia esperado para 2 0 0 177 177
el estado 0. 3 1 0 0 0
Fin Unidad 04

Mod Esto Unidad 04

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Mod Esto Unidad 04

Caricato da

Copyright:

Formati disponibili

Unidad 4: Cadenas de Markov en Tiempo

1 Definición, propiedades, probabilidades de transición.

3 Clasificación de estados, análisis del estado transiente

3 Análisis en el largo plazo, distribución límite

P( X n1 x0 ,...,xn )  P( X n1 xn )

P( x0 , x1 ,......,xn )  P( x0 ) P( x1 x0 )....P( xn xn1 )

Ejemplo Matriz de Transición

Si el estado es $0 o $4, yo no seguiré

Ejemplo de Markov en Inventarios

Para obtener la matriz de transición de un paso…

Se debe obtener el complemento, ya que las filas deben sumar 1.

Para los otros dos reglones de P

Matriz de Transición de n Pasos

Donde Pij(n) es llamada la probabilidad en n pasos de la transición desde el estado i al j.

Matriz de Transición de n Pasos

Así se dice, que Pij(n), es la matriz de transición de n pasos.

Ejemplo Matriz de Transición de n Pasos

Por lo tanto, P11(3) = 0.781.

 0.9 * 0.83  0.1* 0.34 0.9 * 0.17  0.1* 0.66 

¿Qué pasa si no sabemos la situación inicial de la cadena de markov?

= q (columna j de Pn donde q=[q1, q2, q3…. qs]

Ergódica No Ergódica Ergódica

Como se puede observar las probabilidades no dependen si la persona inicialmente se

Además, Pij (n+1) = (fila i de Pn)*(columna j de P), se puede escribir.

Substituyendo las ecuaciones anteriores, podemos tener.

En forma matricial se puede escribir.

Como se analizará el caso de n tiende a infinito.

La matriz de transición de las colas 1 y 2 es:

Resolviendo las ecuaciones se tiene

a) Los estados de la cadena los denotaremos por { 0, 1 , 2} haciendo corresponder el 0 al bajo

c) π * P= π, siendo π = (x,y,z) los valores de las probabilidades pedidas, y añadiendo la

Siendo las soluciones X = 8/17; y =4/17, z= 5/17

Para P1 la ecuación de estados estable sería:

Reemplazando π1+ π2 =1, se tiene que

Media de primer paso

Ahora utilizando la fórmula anterior.

Resolviendo estas 2 ecuaciones tenemos.

Junior Senior Partner Deja Deja

En el caso de las cadenas absorbentes deseamos contestar dos preguntas:

I es una matriz de m*m en la que nunca dejaremos el estado

Para el caso de la firma consultora

Del ejemplo de la planificación del RRHH

Obteniendo la matriz inversa se obtiene…

Es la aplicación de programación dinámica a la solución de un proceso

¿Cuáles serían las decisiones óptimas en 3 años?

Se pueden abordar el problema como un modelo de programación dinámica en 3 años.

En nuestro ejemplo tenemos:

Consideré un ratón ubicado en un tablero con 9 compartimientos dispuestos de la siguiente

Una empresa manufacturera desea planificar su política de Marketing de Largo Plazo. La

Ventas mes siguiente

Sí la empresa desea usar la siguiente política de publicidad.

La ocurrencia de las inspección dentro de un año entrego lo siguientes resultados:

a) Encuentre las probabilidades de largo plazo 0 1 2 3

Potrebbero piacerti anche