EJERCICIOS SOBRE PROCESOS ESTOCASTICOS.

CADENAS DE MARKOV DISCRETAS

1. Considera el proceso estocstico {X(t), t > 0}; definido por:

X(t) = Rt+ St2; donde R y S son v. a.

a) Dibuja unas cuantas realizaciones del proceso suponiendo que R y S son v. a. independientes distribuidas N(0, 1)
b) Si de nuevo R y S son independientes con distribucin N(0; 1), calcular y dibujar E[X(t)], Var[X(t)] y la autocovarianza.
c) En el caso anterior Qu ocurre si R tiene media igual a 1?
d) Repetir el apartado anterior suponiendo que ahora R y S tienen distribucin N(0,1) con Cov(A; B) = 0.5.
e) Es {X(t)} estacionario?
2) Cundo un PE tiene incrementos independientes?
Si un PE tiene incrementos independientes entonces es una cadena de Markov. (V o F. Explique)
3) Pruebe que si un estado es transitorio y la probabilidad de que regrese al estado i es fii entonces la probabilidad de
que no regrese al estado i ser 1 - fii y el nmero esperado de perodos en que el proceso est en estado i es 1/(1 - fii).
4) En una cadena de Markov, las probabilidades de transicin son probabilidades condicionales. Cmo podemos
calcular las probabilidades no condicionales? PXn = j.

5) Si se cumple que P[Xt+1 = jXt = i] = P[X1 = j X0 = i] para todo i, j Z. y todo t = 0,1, entonces se dice que las
probabilidades de transicin, de un paso, son estacionarias. Demuestre que lo anterior implica que

P[Xt+n = jXt = i] = P[Xn = j X0 = i], para todo t = 0,1,

6) Una partcula realiza una caminata aleatoria simtrica (con p = ) sobre Z (conjunto de los nmeros enteros)
empezando en cero. Encuentre, por simulacin, la probabilidad de que la partcula se encuentre nuevamente en el
origen en el sexto paso,
Leer y entender el tema sobre caminatas aleatorias en el texto de L. Rincn (pginas 7 a 11) en especial la proposicin
2.2 que nos sirve para calcular sta probabilidad y compararla con el resultado de la simulacin.

7) Considere un caso igual al del inventario de cmaras discutido en clase, con la siguiente distribucin de probabilidad
para la demanda: P[D = 0] = 0.30; P[D = 1] = 0.25; P[D = 2] = 0.30; P[D 3] = 0.15. La poltica de pedido consiste en
ordenar 3 unidades siempre que no queden cmaras en la tienda.
a) Encuentre la matriz de transicin (de un paso)
b) Simule o realiza un posible resultado para las primeras 5 semanas, despus de abrir la tienda por primera vez.

8) Para la cadena de Markov, definida por la siguiente matriz de transicin, determine la fraccin a largo plazo del
tiempo que estar ocupado cada estado. Determine los tiempos promedios de recurrencia para cada estado.
ESTADOS 1 2 3
1 0,8 0,2 0,0
2 0,0 0,2 0,8
3 0,8 0,2 0,0

9) Dado el laberinto de la Figura, a partir de cada posicin slo se permite pasar a los estados como indica el diagrama
con idntica probabilidad para todas las posibilidades. Suponga que no se permite permanecer en la misma posicin al
efectuar un movimiento.
a) Porqu esta situacin puede modelarse con una cadena de Markov? Explique el modelo
b) Encuentre la matriz de probabilidades de transicin de esta cadena de Markov
c) Calcule p(2)44. p(3)23. Qu significan estas probabilidades?
d) Cmo podemos calcular las probabilidades no condicionales PXn = j?. Aplique su deduccin para calcular P(X4 = 3)
en la cadena de Markov definida por esta matriz de transicin.
e) Es este proceso es estacionario?
f) Escriba las ecuaciones de estado estable de este proceso markoviano
g) Es esta una cadena irreducible? Explique
e) determine la fraccin de largo plazo del tiempo que estar ocupado cada estado. Determine los tiempos promedios
de recurrencia para cada estado.

10) Una partcula realiza una caminata aleatoria simtrica sobre Z empezando en cero.

a) Encuentre la probabilidad de que la partcula se encuentre nuevamente en el origen en el sexto paso.

b) Cul es la probabilidad de que la partcula regrese al estado cero por primera vez en el sexto paso?

11) Una matriz cuadrada es doblemente estocstica si sus elementos son no negativos y la suma de los elementos de
cada fila y de cada columna es igual a 1. Para cualquier matriz ergdica, doblemente estocstica, demuestre que los
estados tienen la misma probabilidad de estado estable.

12)Considere el siguiente proceso estocstico: Yn = (Xn +Xn-1)

Determinar y dar el significado estadstico de la media, la auto-correlacin y la estacionariedad dbil del proceso Yn.
Suponga que Xn es una sucesin de variables aleatorias independientes e idnticamente distribuidas.

13) Una urna tiene inicialmente dos bolas sin pintar. Se elige una bola al azar y se lanza una moneda. Si la bola elegida
no est pintada y resulta cara en la moneda, la bola extrada se pinta de rojo y se regresa a la urna. Si la bola elegida no
est pintada y resulta sello en la moneda, la bola extrada se pinta de blanco y se regresa a la urna. Si la bola ya est
pintada se cambia el color de la bola (ya sea que resulte cara o sello en la moneda).

a) Mediante un proceso estocstico modele el estado de la urna en un instante t (discreto).

b) Pruebe que este proceso se puede considerar como una cadena de Markov
c) Encuentre la matriz de probabilidades de transicin (de un paso)
d) Por qu este proceso es estacionario?
e) Despus de que se pintan dos bolas cul es la probabilidad de que las dos bolas en la urna sean rojas?
f) Escriba las ecuaciones de estado estable de este proceso markoviano
g) Es esta una cadena irreducible? Explique

Ayuda: defina t como el tiempo despus de que la moneda se lanz la t-sima vez y se pint la bola elegida. Para definir
los estados use una terna de la forma (u, r, b) donde u es el # de bolas sin pintar, r es el # de bolas rojas y b el # de bolas
blancas.

14) Escriba falso o verdadero. Justifique su respuesta

a) Una cadena de markov ergdica es irreducible
b) Una cadena de markov aperidica es ergdica
c) Las ecuaciones Chapman Kolmogorov se cumplen para cualquier cadena de Markov
d) Si en una cadena de Markov discreta se cumple que
P[Xt+1 = j Xt = i] = P[X1 = j X0 = i] para todo i, j Z. y todo t = 0,1, entonces tambin se cumple que
P[Xt+n = j Xt = i] = P[Xn = j X0 = i], para todo t = 0,1,
e) En una cadena de Markov no todos los estados pueden ser transitorios. Esto implica que en una cadena de Markov
irreducible todos los estados son recurrentes.

15) Sea 1, 2, una sucesin de v. a. iid que cumple P[i = +1] = p y P[i = -1] = q, i en donde p + q = 1, definimos la
siguiente relacin: Xn = X0 + 1 + 2 + + n [tomar X0 = 0]
a) Es {Xn} un proceso estocstico? Por qu? b) puede usted identificar esta relacin con algn proceso en particular
de los definidos en clase? Cul? y Por qu? c) Demuestre que, para cualquier n 0, E(Xn) = n(p q) d) Demuestre que,
para cualquier n 0, Var(Xn) = 4npq

16) Escriba falso o verdadero. Justifique su respuesta

a) Un caminata aleatoria no simtrica en Z es un proceso estacionario
b) En una caminata aleatoria en Z la probabilidad P(Xn = 2kX0 = k) siempre es posible calcularla
c) Cualquier cadena de markov ergdica es irreducible
d) Una cadena de markov ergdica es peridica
e) Las ecuaciones Chapman Kolmogorov se cumplen para toda cadena de Markov
f) En una cadena de Markov puedo calcular la matriz de probabilidades de transicin (PT) de tres pasos mediante P(3) = P3
donde P es la matriz de probabilidades de transicin de un paso.
g) Todo estado absorbente es recurrente
h) En una cadena de Markov no todos los estados pueden ser transitorios. Esto implica que en una cadena de Markov
irreducible todos los estados son recurrentes.

17) Suponga que la moneda 1 tiene una probabilidad 0.7 de caer cara y la moneda 2 tiene una probabilidad 0.6 de caer
cara. Cada da lanzamos una de las monedas. Si la moneda lanzada hoy cae cara entonces seleccionamos la moneda 1
para ser lanzada maana y si cae sello seleccionamos la moneda 2 para lanzarla maana. Suponga que inicialmente se
escoge la moneda para ser lanzada (1 2) con igual probabilidad.

a) Describa este experimento mediante un procesos estocstico. Especifique todos sus elementos lo mejor posible.
b) Use su modelo para responder: Cul es la probabilidad de que la moneda lanzada el tercer da despus de iniciados
los lanzamientos sea la moneda 1? Suponga que la moneda lanzada el da lunes cay cara, cul es la probabilidad de
que la moneda lanzada el da viernes de la misma semana, tambin caiga cara?

18) La licuadora de mi casa se deteriora con el tiempo (como todas las cosas) por lo que hemos decidido inspeccionarla
al finalizar cada semestre. Despus de cada inspeccin se clasifica su condicin en uno de cuatro casos posibles, a saber:
1) muy buena, 2) buena, 3) aceptable, 4) mala (se reemplaza).

a) Justifique porque es posible modelar la evolucin del deterioro de la licuadora como una cadena de Markov de
tiempo discreto (que se puede denotar como {Xn}).

Suponga que las probabilidades de transicin estn dadas por (considerar los estados 0, 1, 2, y 3 para los casos
anteriormente descritos):

b) Calcule las siguientes probabilidades y de su significado:

i) p12, ii) p(2)12, iii) p(X4 = 2)
c) Encuentre las probabilidades de estado estable J, j = 0, 1, 2, 3.
d) Si los costos respectivos de estar en cada estado son $0, $1, $3, $6 cul es el costo diario esperado a la larga?
e) Encuentre el tiempo promedio de recurrencia de cada estado. Interprete

19) Sea 1, 2, una sucesin de v. a. iid que cumple P[i = +1] = p y P[i = -1] = q, i en donde p + q = 1, definimos la
siguiente relacin: Xn = X0 + 1 + 2 + + n [tomar X0 = 0]
a) Es {Xn} un proceso estocstico? Por qu? Puede usted identificar esta relacin con algn proceso en particular de
los visto en clase? Cul? y Por qu? Es este proceso una cadena de Markov? Por qu?
b) Demuestre que para cuales quiera que sean los enteros x y n tales que n x n y para cuando x y n sean ambos
pares o ambos impares se cumple que:

para cualquier otro caso estas probabilidades son nulas.

c) Si el proceso es simtrico (p = ) y empieza en cero. Calcule la probabilidad de que la partcula se encuentre
nuevamente en el origen en el 5 paso y en el 8 paso.
d) Demuestre que E(Xn) = n(p q) y E(Xn) = 4npq

20) Seis bolas (numeradas del 1 al 6) estn distribuidas en dos urnas (A y B). Inicialmente 3 de ellas en cada urna. Cada
minuto se escoge una bola, de las 6, al azar y se cambia de urna (ver figura). Sea Xn el nmero de bolas en la urna A
despus de n extracciones.

a) Modele este experimento como un proceso estocstico (especifique lo mejor posible sus elementos). Muestre que
este proceso estocstico es una cadena de Markov.
b) Deduzca y escriba la matriz de transicin de un paso
c) Calcule e interprete las siguientes probabilidades p23, p(3)23
d) Calcule las probabilidades (no condicionales) de los estados reflejantes
e) Calcule, si existen, las probabilidades de estado estable

21) En un da cualquiera Gary est alegre (A), bien (B) o triste (T). Si est alegre hoy entonces estar A, B o T maana con
probabilidades 0.5, 0.4, 0.1 respectivamente. Si el se siente bien hoy el se sentir A, B o T maana con probabilidades
0.3, 0.4, 0.3 respectivamente. Si est triste hoy entonces estar A, B o T con probabilidades 0.2, 0.3, 0,5 maana.

a) Escriba la matriz de probabilidades de transicin.

b) Gary se encuentra actualmente en un estado de nimo alegre. Cul es la probabilidad de que l no se encuentre en
un estado de nimo triste en cualquiera de los siguientes tres das?
c) Gary estaba en un estado de nimo triste hace cuatro das. Dado que no se ha sentido alegre en una semana, cul es
la probabilidad de que se sienta triste hoy?
d) Calcule las probabilidades de estado estable e interprtelas

22) Para el problema del inventario de las cmaras, calcular las probabilidades de estado estable (a largo plazo),
suponiendo la demanda Poisson ( = 1). Utilice el mtodo de valores y vectores propios.

23) Se dice que una matriz de transicin P es doblemente estocstica si la suma de los elementos por cada fila es igual a
1 y por cada columna es tambin igual a 1. Si una matriz de estas modela una cadena de Markov irreducible y aperidica
consistente en M + 1 estados. Demuestre que las probabilidades de estado estable j = 1/(M + 1) para j = 0, 1, 2, , M