PROBLEMAS DE CADENAS DE MARKOV

M1.

Estudiar los procesos estocsticos definidos por las matrices:

0.4 0.6 0.8 0.2 0 0 0.5

P1 =

0.2 0.3

1 1/4 1/2

0 1/2 1/2

P2 =

1/4 0

0.4

0.1 0.5 0.2 0.1

0.5 0.2 0 0.3

0 0.3 0.4 0.1

P3 =

0 0.4 0.5

0.4

0.1 0.2 0 0.4

0.4 0.2 0.2 0.1

0.1 0.5 0.2 0.3

P4 =

0.1 0.6 0.2

1/4

0 1/2 0

3/4 1/4 1/2

P5 =

1/4 1/2

Problemes de MEIO

M2. Considerar un proceso probabilidades de transicin:

1/8 1/8 1/4 0

markoviano con la siguiente matriz de

3/4 1/4 1/4

P=

1/2 3/4

a) Cual es el tiempo medio de primer paso de 3 a 2? b) Cuales deberian ser las probabilidades iniciales de estado 0 = 1 0 , 2 0 , 3 0 para que el proceso entrase en estado estacionario despues de una transicion? M3. Un taller de reparaciones puede efectuar el trabajo A o el trabajo B pero no los dos simultaneamente; la tarea A requiere 2 dias y la B 1 dia. Los posibles estados del taller son pues: 1 = ninguna tarea, 2 = primer dia de la tarea A 3 = segundo dia de la tarea A 4 = tarea B La probabilidad de una nueva demanda de tarea A al principio de cada dia es a; la de la tarea B es b. No hay colas, si el taller est a mitad de ejecucin de una tarea A, la llegada de una nueva demanda se pierde. La nica ambigedad se plantea cuando el taller termina un trabajo al final de un dia y tiene la posibilidad de empezar al dia siguiente con una tarea A o una B. Las dos polticas son posibles: 1) Empezar siempre con una tarea A con preferencia a una B 2) Empezar siempre con una tarea B con preferencia a una A a) Demostrar que para la poltica 1 la matriz de probabilidades de transicion es:
(1- a) (1- b) a 0 a a 0 1 0 0 b (1- a) 0 b (1- a) b ( 1- a)

P=

0 (1- a) (1- b) (1- a) (1- b)

b) Encontrar las probabilidades lmite de estados para este proceso c) Encontrar la matriz de probabilidades de transicin para la poltica 2 d) Cual es la relacin entre los porcentajes lmite de dias de desocupacin de ambas polticas?

Problemes de MEIO

M4.

El siguiente proceso de Markov empieza en el estado 1

0 0.5 0 0.2 0.5 0.6 0.8

P=

0.4 0

Encontrar las probabilidades de que: a) El proceso est en el estado 3 despues de tres transiciones b) El proceso llegue al estado 3 por primera vez despus de n transiciones c) El proceso no haya llegado an al estado 2 despus de n transiciones d) Despus de la tercera transicin desde el estado 3 hasta el 2 las dos transiciones siguientes sean 213 o 233 e) El proceso entre en el estado 2 exactamente una vez en las tres primeras transiciones f) El proceso realice la transicin 1 2 exactamente una vez en las tres primeras transiciones g) El nmero esperado de veces que el proceso entrar en el estado 2 durante las tres primeras transiciones. M5. Supongamos que la probabilidad de que maana llueva si hoy est lloviendo es 0.6, y que la probabilidad de que maana haga buen tiempo si hoy hace buen tiempo es 0.4. a) Determinar la matriz de probabilidades de transicin de la cadena de Markov correspondiente. b) Hallar la distribucin de probabilidad del estado estacionario. M6. Determinar las clases de las siguientes cadenas de Markov y decir si son o no recurrentes
0 0 0 1 1 1/3 0 0 0 2/3 0 0 0 1 0 1/2 1/2 0 0 1/2 1/2 0 0 0 0 1/2

a)

1 0 0

b)

0 0 1/2

Problemes de MEIO

M7. Consideremos el siguiente juego: un jugador apuesta una unidad en cada partida. Tiene una probabilidad p de ganar y q=1-p de perder. seguir jugando hasta que se arruina o alcanza una fortuna de T unidades. Sea Xn la fortuna del jugador en la n-sima partida.

X n+1

Xn + 1 Xn - 1

con probabilidad p con probabilidad q = 1 - p

0 < Xn < T

Xn+1 = Xn

Xn = 0 T

es una cadena de Markov. Supongamos que las sucesivas partidas del juego son independientes y que la fortuna inicial del jugador es X0
Xn

a) Determinar la matriz de probabilidades de transicin de 1 paso de la cadena de Markov b) Hallar las clases de la cadena de Markov c) Sean T = 3 y p = 0.3 Hallar 10, 1, 20, 2 d) Sean T = 3 y p = 0.7 Hallar 10, 1, 20, 2 Qu se puede deducir de c) y d)?

M8. Supongamos que una red de comunicaciones transmite dgitos binarios 0 o 1. Al recorrer la red, existe una probabilidad q de que el dgito binario se reciba de forma incorrecta en el siguiente paso. Si X0 denota un dgito binario que entra en el sistema, X1 el dgito recibido despus de la primera transicin, X2 el dgito recibido despus de la segunda transicin, ... Xn , entonces es una cadena de Markov. Hallar la matriz de probabilidades probabilidad del estado estacionario. de transicin y la distribucin de

Problemes de MEIO

M9. Considerar la siguiente poltica (k,Q) de gestin de inventarios. Sean D1,D2,... las demandas de un producto en los perodos 1,2,...., respectivamente.Si la demanda durante un periodo excede el nmero de items disponibles, la demanda insatisfecha es retenida, de manera que se satisface cuando llega el siguiente pedido de reposicin del inventario. Denotemos por Zn (n=0,1,2,...) la cantidad de inventario disponible menos el nmero de unidades retenidas antes de efectuar un pedido de reposicin de inventario al final del periodo n (Z0=0). Si Zn es cero o positivo, no se retienen rdenes. Si Zn es negativo, entonces -Zn representa el nmero de unidades de demanda retrasada y no queda inventario disponible. Si al principio del periodo n, Zn<k=1, se efectua un pedido de reposicin de 2m (Qm en el caso general) unidades, donde m es el menor entero tal que Z n+2m>=1. (La cantidad pedida es el menor mltiplo entero de 2, que lleva el nivel de inventario hasta al menos una unidad). Sean Dn variables aleatorias independientes e identicamente distribuidas que toman cada uno de los valores 0,1,2,3,4 con probabilidad 1/5. Denotemos por Xn el valor del stock disponible despus de efectuar el pedido al final del periodo n (X0=2). Resulta entonces: Xn= Xn-1 - Dn+2m, Xn= Xn-1 - Dn, Si Xn-1-Dn<1 (n=1,2,3,....) Si Xn-1-Dn >=1

y Xn es una cadena de Markov con solo dos estados: 1,2. a) Encontrar la Matriz de Transiciones b) Encontrar las probabilidades del estado estacionario c) Suponer que el coste de efectuar un pedido de reposicin es (3+3m). El coste de mantenimiento del stock es Zn, si Zn>=0, y cero en caso contrario. El coste de ruptura del stock es -4Zn, si Zn<0. Encontrar el coste medio esperado por unidad de tiempo. d) Comprobar que, en general, para una politica (k,Q) los estados posibles son k,k+1,k+2,......,k+Q-1.

Problemes de MEIO

M10. El Servicio Hidrolgico de la Comunidad Autnoma de X planea construir un embalse para regular la cuenca de uno de sus rios con el objetivo de satisfacer los requerimientos de agua para regado. La capacidad mxima del embalse previsto ser de 4.000.000 m3, o, de manera abreviada 4 unidades de agua (1 unidad de agua = 1.000.000 m3 ). Antes de proceder a la construccin el Servicio desearia tener alguna idea sobre la efectividad del mismo a largo plazo. Para ello se ha llevado a cabo un estudio sobre los volmenes semanales de agua aportados por el ro, encontrndose con que ppueden aproximarse por medio de la siguiente distribucin de probabilidad discreta: Aportacin semanal en unidades de agua 2 3 4 5 ------------------------------------------------------------------Probabilidad 0.3 0.4 0.2 0.1 El Servicio est considerando la posibilidad de contratos de regado que requeriran el consumo de 2 unidades de agua por semana, pero adicionalmente, para mantener los estndares de calidad del agua para otros usos, deber dejar salir al menos 1 unidad de agua por semana. Por lo tanto el objetivo semanal ser dejar salir 3 unidades de agua. Si el estado del embalse (nivel del embalse) ms la aportacin de agua del rio es menor que esta cantidad se tendr que dejar salir menos agua, afectando la carencia a los regadios. Si el embalse est lleno, cualquier exceso ser vertido por los aliviaderos. El nivel mnimo admitido del embalse (estado mnimo) no podr ser inferior a una unidad de agua. a) Representar el diagrama de transiciones, encontrar la matriz de probabilidades de transicin, y comprobar que se trata de un proceso markoviano. b) Cual ser el nmero medio de semanas transcurrido desde que el embalse se encuentra en el estado con 2 unidades de agua hasta que est totalmente lleno? c) Supuesto el embalse en el estado mnimo con 1 unidad de agua, Cuantas semanas tardar, en promedio, en volver a estar en la misma situacin? d) Suponiendo que la primera semana partimos de una situacin en la que se embalsaban 3 unidades de agua Cual es la probabilidad de que dos semanas despus se encuentre al mnimo?.

Problemes de MEIO

M11. Una tienda de venta de ordenadores personales tiene un modelo particular cuyo stock puede reponerse semanalmente. Representemos por D1, D2,....., la demanda de este modelo durante la primera semana, la segunda, etc.. Suponemos que las demandas D i son variables aleatorias independientes e identicamente distribuidas, que tienen una distribucin de Poison de parmetro =2. Supongamos que X0 representa el nmero de unidades del modelo en el momento inicial, X1 el nmero de unidades disponibles al final de la primera semana, X2 el nmero de unidades disponibles al final de la segunda semana, y as sucesivamente. Supongamos que X0=3. El sbado por la noche la tienda efecta un pedido al almacn central que le es servido el lunes por la maana aprimera hora. La tienda utiliza la siguiente poltica de gestin de stocks: si el nmero de unidades disponibles al final de la semana es menor de 2 unidades, la tienda efecta un pedido de reposicin de 3 unidades. En caso contrario no efectua ningn pedido. Se supone que las ventas se pierden cuando la demanda es superior al inventario disponible. Los posibles estados del proceso son los enteros Xt que representan el nmero de unidades disponibles al final de cada semana. Se pide: a) Encontrar una expresin que permita evaluar iterativamente las variables aleatorias Xt. b) Comprobar que las Xt, t=0,1,2,...., constituyen una cadena de Markov. c) Calcular la matriz de probabilidades de transicin. d) Partiendo de un estado con tres unidades disponibles, Cual es el tiempo medio hasta que el stock es cero. e) Suponiendo que cada unidad en stock comporta un coste semanal de 300 pts., Cual seria el coste medio semanal esperado a largo plazo?.

Problemes de MEIO

M12. Una mquina tiene dos piezas colocadas en paralelo de manera que para funcionar utiliza solo una de ellas, quedando la otra de repuesto para reemplazar a la que trabaja cuando esta se estropea, si est en condiciones de trabajar. Las piezas trabajan de manera que se estropean durante un periodo de tiempo dado con una probabilidad q. Supongamos que la pieza que est trabajando, en caso de que se estropee, lo hace al final de un periodo, de manera que la pieza de repuesto empieza a trabajar, si est en condiciones de hacrlo, al principio del periodo siguiente. Hay un nico mecnico para reparar las piezas estropeadas, que tarda dos periodos en reparar una pieza estropeada. El proceso puede describirse mediante un vector Xt de dos componentes U y V, donde U representa el nmero de piezas hbiles, trabajando o en condiciones de trabajar, al final del periodo t-simo, y V toma el valor 1 si el mecnico requier nicamente un periodo adicional para completar una reparacion, si ya est procediendo a ella, y 0 en caso contrario. Por lo tanto, el espacio de estados consta de cuatro estados: (2,0), (1,0), (0,1), y (1,1) (Por ejemplo, el estado (1,1) implica que una componente opera y la otra necesita un periodo adicional para acabar de ser reparada). Denotemos los cuatro estados por 0,1,2 y 3 respectivamente (Es decir Xt = 0 quiere decir Xt = (2,0), por ejemplo). a) Comprobar que X t , t=0,1,2,......, es una cadena de Markov. Describir el diagrama de transiciones y hallar la matriz de probabilidades de transicin. b) Hallar la distribucin de probabilidad del estado estacionario.

Problemes de MEIO

M13. Las familias de cierto pas se clasifican segn residan en reas rurales, urbanas o suburbanas. Los estudios de movilidad demogrfica estiman que, en promedio, en el curso de un ao, el 15% de las familias urbanas cambia de residencia y se traslada a un rea suburbana, y el 5% a un rea rural; mientras que el 6% de las familias residentes en reas suburbanas se traslada a reas urbanas, y el 4% a reas rurales, y finalmente el 4% de las familias rurales migra a las reas urbanas y el 6% a las suburbanas. a) Cal es la probabilidad de que una familia que vive ahora en un rea urbana siga viviendo en un rea urbana dentro de dos aos?. Y en una suburbana?. Y en una rural?. b) Supongamos que en el presente el 40% de las familias del pas viven en reas urbanas, el 35% en suburbanas y el 25% en rurales. Qu porcentaje de familias vivir en reas urbanas dentro de dos aos?. c) Qu distribucin de poblacin es de prever en el futuro si las tendencias no cambian?.

M14. Un bosque consta de dos tipos de rboles: jvenes (entre 0 y 3 mts de altura) y adultos (ms de 3 mts). Cada ao, el 30% de los rboles jvenes muere, el 10% se vende por $20 cada uno, el 20% se mantine entre 0 y 3 mts y el 40% crece superando los 3 mts. Cada ao, el 40% de los rboles adultos se vende por $50, el 20% se vende por $20, el 30% permanece en el bosque y un 10% muere. a) Cul es la probabilidad de que un rbol joven muera antes de ser vendido ? b) Si plantar un rbol joven cuesta $5, cul es el beneficio esperado para cada rbol joven plantado ? M15- Sea la siguiente matriz de probabilidades de transicin:

Problemes de MEIO

Con su vector de probabilidades iniciales en t = 0: (.8, .1, .1).

Encontrar:

a.

El vector de probabilidades en el momento t = 2

b. La probabilidad de que en los momentos t = 0, 1, 2, 3, la cadena asuma los estados 1, 3, 3, 2, respectivamente. c. El vector lmite estacionario, si existe. de estados.

Dibujar el grfico

M16. Sea X(t), t = 0, 1, 2, una cadena de Markov cuya matriz de probabilidades de transicin es:

y adems: P[X(0) = 1] = 1 Supongamos que: Y(t) = 1, si x(t) = 1 Y(t) = 2, si x(t) 1 Demostrar que Y(t), t = 0, 1, 2, es tambin una cadena de Markov. Encontrar su matriz de probabilidades de transicin. M17. Sea X(t), t = 0, 1, 2, una sucesin de variables aleatorias independientes y binarias, as: P[x(t) = 1] = p, p > 0 P[x(t) = -1] = 1-p Supongamos que Y(0) = 0, Y(t+1) = Y(t) + X(t+1), ser Y(t), t = 0, 1, 2, una cadena de Markov? Hallar P[Y(t) = m], m = 0, 1, 2,

Problemes de MEIO

10

M18. Sea x(t), t = 1, 2, una sucesin de variables aleatorias independientes y binarias con: P[x(t) = 1] = p, p > 0 P[x(t) = -1] = q, p + q = 1 Analice si las siguientes sucesiones son cadenas de Markov. a) Y(t) = x(t) x(t + 1) b) Y(t) = x(1) x(2) x(t) c) Y(t) = f(x(t), x (t+1)) con: f(-1, -1) = 1, f(-1, 1) = 2, f(1, -1) = 3, f(1, 1) =4 Si la respuesta es afirmativa, hallar la matriz de probabilidades de transicin.

M19. Tenemos N urnas inicialmente vacas. Al azar y sucesivamente vamos depositando bolas. Sea x(n) el nmero de urnas que permanecen vacas cuando ya se han sorteado n bolas, n = 1, 2, Demostrar que la sucesin x(n), n = 1, 2 es una cadena de Markov. Hallar la matriz de probabilidades de transicin. M20. Nuevamente, en las N urnas vacas vamos sorteando al azar lotes de m bolas, uno tras otro. Las bolas de cada lote se sortean una tras otra con independencia y equiprobabilidad. Sea x(n), n = 1, 2 el nmero de urnas que permanecen vacas cuando ya se han sorteado n lotes. Demostrar que la sucesin x(n), n = 1, 2 es una cadena de Markov y hallar la matriz de probabilidades de transicin. M21. Sea P=(pij, i, j = 1, n) una matriz de probabilidades de transicin. Decimos que es doblemente estocstica si adems de cumplir la propiedad cumple tambin

Demostrar que en este caso el vector estacionario es equiprobable. M22. Sea x(t), t = 0, 1, 2 una cadena de Markov cuyo espacio fase es S={1, 2, 3} y su vector estacionario es (1/3, 1/3, 1/3), mostrar que si P11 = P22 = P33 = 0, entonces: P12 = P23 = P31 = P13 = P21 = P32 M23. Despus de lanzar un dado apareci el resultado "seis". Luego se hace girar para que salga alguna de las cuatro caras vecinas, al azar. De esta manera se hacen giros sucesivos. Hallar el lmite de la probabilidad de que vuelva a salir el seis, si el nmero de giros tiende a infinito. M24. En cierta ciudad los habitantes pueden tener alguna de las profesiones A, B, C. En cada caso los hijos tienden a seguir la profesin del padre con probabilidades 3/5, 2/3 y respectivamente. Quienes no siguen la tradicin del Problemes de MEIO 11

padre eligen equiprobablemente alguna de las otras dos. Hallar: a) La distribucin porcentual de las profesiones en la prxima generacin, si actualmente es de 20% para A, 30% para B y 50% para C. b) La distribucin lmite de las generaciones cuando transcurren muchas generaciones. c) Una cierta distribucin porcentual de las profesiones que no cambie de una generacin a otra. M25. En la urna 1 tenemos 9 bolas blancas y 1 bola negra. En la urna 2 tenemos 9 bolas negras y una blanca. Extraemos una bola al azar de la urna 1. Si es negra, la regresamos a la urna. Si es blanca, la cambiamos por otra bola de la urna 2 que se extrae al azar. Sea x(t), t = 0, 1, 2 el nmero de bolas en la urna 1 despus de cada experimento. Demostrar que x(t) es una cadena de Markov. Dibujar el grfico de estados. Hallar la distribucin lmite. M26. La matriz de probabilidades de transicin y el vector de probabilidades iniciales de una cadena de Markov, son:

M(0) = (1/2, 1/2, 0, 0, 0, 0) Hallar: a) Los estados transientes b) La esperanza matemtica del tiempo transcurrido para abandonar los estados transientes. c) Sean las subclases = {3,4}, = {5,6} y supongamos que el estado inicial i {1,2} M27.Dada la matriz de probabilidades de transicin de una cadena de Markov:

Hallar

y la distribucin lmite y estacionaria de las probabilidades.

Problemes de MEIO

12

M28. Una partcula realiza una caminata aleatoria por una cuadrcula infinita. En cada paso avanza a algn nodo vecino. Para escoger el siguiente paso tiene tres opciones equiprobables:
o o o

Continuar en la direccin que traa Desviarse a la izquierda Desviarse a la derecha Sea X(n) = (X1(n), X2(n)) las coordenadas en el momento n. X1(n) es la abcisa en el momento n X2(n) es la ordenada en el momento n Hallar E[x(n)], a partir de: X(0) = (X1(0), X2(0)) = (0, 0) X(1) = (X1(1), X2(1)) = (1, 0)

Problemes de MEIO

13