Sei sulla pagina 1di 48

1. Procesos Estocsticos 1.1. Definicin Un proceso estocstico {Xt, t T} es una coleccin de variables aleatorias.

Esto es, para cada t T, Xt es una variable aleatoria. ndice de proceso. El conjunto T es llamado el ndice del proceso. El ndice t es a menudo interpretado como tiempo, pero puede referirse a cualquier otra cosa,. Por ejemplo, al nmero de un juego. Denotamos por Xt a una variable que representa el estado del proceso en el tiempo t. Espacio de estados = E. Conjunto de todos los posibles valores que la variable Xt puede tomar. Ejemplos. Xt puede ser:

Nmero de clientes en un supermercado Estado del tiempo Precio de una accin, etc.

Si T es contable se tiene un proceso discreto en el tiempo, y por lo general se usar la siguiente notacin, reemplazando el subndice t por n: {Xn, n = 0, 1,...} Si T es un intervalo, se trata de un proceso continuo en el tiempo. Notacin: {Xt, t 0} proceso estocstico de tiempo continuo. En resumen, un proceso estocstico es una familia de variables aleatorias que describe la evolucin de un proceso (fsico) a travs del tiempo. Para describirlo, bastara con conocer la distribucin conjunta de dichas variables aleatorias. Realizacin de un proceso: Conjunto particular de valores que toma el proceso. 1.2. Estructura probabilstica del proceso Como ya se mencion, para conocer el comportamiento de un proceso estocstico, basta con conocer la distribucin conjunta de probabilidad P(x1,x2,....Xn) Considere un proceso estocstico de parmetro discreto n = 0, 1, 2,...,. Considere el conjunto de variables aleatorias X0, X1, ...,Xn. Su comportamiento puede describirse mediante la funcin de probabilidad conjunta. Para ello considere la siguiente probabilidad: P = P(Xn = in, Xn-1 = in-1, , X1 = i1, X0 = i0 ) Usando la frmula de probabilidad condicional P(AB) = P(A/B) P(B), la probabilidad anterior puede escribirse como: P = P(Xn=in, Xn-1=in-1, , X1=i1, X0=i0) = P(Xn=in/ Xn-1=in-1, , X1=i1, X0=i0) P(Xn-1=in-1, , X1=i1, X0=i0) Usando de nuevo el condicional, la probabilidad se puede expresar como: P = P(Xn=in/ Xn-1=in-1, , X1=i1, X0=i0) P(Xn-1=in-1/ Xn-2=in-2 , X1=i1, X0=i0) P(Xn-2=in-2 , X1=i1, X0=i0)

De nuevo, usando el condicional en forma iterativa, se llega a la siguiente expresin para la probabilidad conjunta: P = P(Xn=in/Xn-1=in-1, , X1=i1, X0=i0)xP(Xn-1=in-1/ Xn-2=in-2 , X1=i1, X0=i0)xP(Xn-2=in-2 , X1=i1, X0=i0) xx P(X2=i2/X1=i1, X0=i0)xP(X1=i1/X0=i0) x P(X0=i0) De lo anterior, se observa que la probabilidad conjunta puede expresarse en trminos de las probabilidades condicionales, condicionando el resultado en el tiempo n a los resultados obtenidos en los tiempos n-1, n-2,...,1 y el estado inicial, luego el resultado en el tiempo n-1 se condiciona a los resultados obtenidos en los tiempos n-2,...,1 y el estado inicial, y as sucesivamente hasta condicionar el resultado en el tiempo 1 al estado inicial. Usando la expresin anterior, se pueden calcular la probabilidad conjunta para cualquier caso, pero nuestro inters se centra en dos casos especiales: el caso independiente y el caso dependiente de Markov. 1.3. Caso independiente. Si las variables aleatorias son independientes, es decir, P(Xn=in/Xn-1=in-1, , X1=i1, X0=i0) = P(Xn=in), la probabilidad conjunta est dada por: P(Xn = in, Xn-1 = in-1, , X1 = i1, X0 = i0 ) = P(Xn = in) P(Xn-1 = in-1)P(Xn2 = in-2)P(X1 = i1) P(X0 = i0) 1.4. Caso Markoviano Suponga que la probabilidad condicional en el tiempo n, dados los perodos n-1, n-2,...,1 y 0 se puede expresar de la siguiente manera: P(Xn = in/Xn-1 = in-1, Xn-2 = in-2, X1 = i1, X0 = i0) = P(Xn = in/Xn-1 = in1) Es decir, el estado futuro del proceso Xn depende solo del estado presente Xn-1 y es independiente de los estados pasados (Xn-2, Xn-3,, X1, X0). En este caso se dice que el proceso tiene la propiedad Markoviana, o tiene prdida de memoria, es decir, el futuro depende nicamente del presente y es independiente del pasado. A la probabilidad condicional P(Xn = in/Xn-1 = in-1) se la denomina probabilidad de transicin del estado Xn-1 al estado Xn en un perodo. La probabilidad conjunta se expresa entonces como P(Xn = in, Xn-1 = in-1, , X1 = i1, X0 = i0) = P(Xn = in/Xn-1 = in-1)P(Xn-1 = in-1/ Xn-2 = in-2)P(X2 = i2/X1 = i1)P(X1 = i1/X0 = i0)P(X0 = i0) Ejemplos: Problema del jugador, caminata aleatoria.

2. Cadenas de Markov Considere el proceso estocstico de parmetro discreto {Xn, n = 0, 1,2,...,} que toma un nmero finito o infinito de valores. Supondremos que E = (0, 1,2,...,M) E = (0, 1,2,...) Si Xn=i decimos que el proceso se encuentra en el estado i en el tiempo o etapa n. El tiempo se denomina etapa o paso

Considere la secuencia Xt+1, Xt, Xt-1,...,X1, X0. Se dice que un proceso cumple la condicin de Markov o tiene la propiedad markoviana si P(Xt+1 = j/Xn = i, Xn-1 = in-1, X1 = i1, X0 = i0) = P(Xt+1 = j/Xn = i) Se tiene entonces que la probabilidad condicional de cualquier evento futuro dados el evento presente o actual y los eventos pasados depende nicamente del presente y es independiente del pasado. 2.1. Probabilidad de transicin La probabilidad P(Xt+1 = j/Xt = i) se denomina probabilidad de transicin o probabilidad de pasar del estado i al estado j en una etapa o transicin. 2.1.1. Probabilidad estacionaria Si para cada i, j y t se cumple P(Xt+1=j/Xt=i) = P(X1=j/X0=i) se dice que las probabilidades son estacionarias, es decir, no cambian con el tiempo y se denotan simplemente por pij. Estas probabilidades de transicin tienen las siguientes propiedades:

2.1.2. Probabilidad de transicin en n pasos Tambin se tiene P(Xt+n = j/Xt = i) = P(Xn = j/X0 = i) = pij(n) y se denomina probabilidad de transicin en n pasos Como los pij(n) son probabilidades se tiene que:

2.1.3. Matriz de transicin en una etapa P Es una matriz cuadrada conformada por las probabilidades de transicin en una etapa P = {pij}

La matriz de transicin debe cumplir las siguientes propiedades:

La primera propiedad se debe al hecho de que se trata de una probabilidad, y la segunda al hecho de que si en el tiempo t el proceso se encuentra en el estado i, en el tiempo t+1 se debe encontrar en cualquier estado, incluyendo el estado i. 2.1.4. Diagrama de transicin Una cadena de Markov se puede representar en forma grfica mediante un diagrama de transicin, en el cual los estados se representan por figuras geomtricas (crculos, cuadrados, etc), y mediante flechas orientadas se indican las transiciones posibles entre los diferentes estados. (ver el problema del jugador). Ejemplo 2.1 Estado del tiempo Suponga que el estado del tiempo en un da cualquiera depende nicamente del estado del tiempo del da anterior. Mas especficamente, suponga que si llueve hoy, la probabilidad de que llueva maana es (=0.7), y si no llovi hoy la probabilidad de que llueva maana es (=0.4). Represente este proceso como una cadena de Markov. Solucin. Si denotamos por Xn el estado del tiempo el da n, por las suposiciones dadas se concluye claramente que el proceso Xn es una cadena de Markov, con el siguiente espacio de estados: E = (Lluvia, no lluvia) = (0, 1) La matriz de transicin correspondiente ser:

Ejemplo 2.2 Problema del jugador

Considere un jugador A, que apuesta contra otro jugador B. En cada jugada A puede ganar un peso con probabilidad p, o puede perderlo con probabilidad q = 1-p. Sea k el capital inicial del jugador A, y sea M el capital de ambos jugadores. Si denotamos por Xn el capital del jugador A despus de n jugadas, a) Es Xn una cadena de Markov? b) Si lo es, cual sera la matriz de transicin. Solucin. El capital del jugador A despus de n juegos es igual al capital que tiene al final del juego n-1 ms el resultado obtenido al realizar el ltimo juego n, es decir, Xn = Xn-1 + Yn donde Yn es el resultado del n-simo juego (1). De la expresin anterior, se concluye que cumple la condicin de Markov. Observacin. El capital del jugador A despus de n juegos puede expresarse en trminos del capital inicial X0 ( = k) y de los resultados de las n apuestas que haga Y1, Y2,..., Yn-1, Yn. Xn = X0 + Y1 + Y2 + ... + Yn-1 + Yn Al examinar la expresin podra pensarse que no se cumple la condicin de Markov. Mas sin embargo debe tenerse en cuenta que el capital despus de los n-1 primeros juegos Xn-1 es igual a: Xn-1 = X0 + Y1 + Y2 + ... + Yn-1 con lo cual se obtiene la expresin dada anteriormente El espacio de estados est dado por E = (0, 1, 2,..., M) Las probabilidades de transicin estn dadas por:

ya que si no se tiene capital (jugador arruinado) no se puede apostar, o si se tiene todo el capital, el oponente no puede realizar ninguna apuesta.

El problema el jugador se puede representar mediante el siguiente diagrama de transicin.

Ejemplo 2.3 Sistema de inventarios Considere un sistema de inventario (s, S) donde se pide la cantidad necesaria para elevar el inventario al nivel S cuando el inventario es menor que s. En caso contrario no se pide nada. El pedido se entrega al principio de la siguiente semana. La demanda semanal tiene la siguiente distribucin de probabilidad (corresponde a una distribucin de Poisson con tasa = 1.5):

Sea Xn el inventario al final de la semana n. a) Es Xn una cadena de Markov? b) En caso afirmativo, cual ser la matriz de transicin?. Sea s = 1, S = 3 Solucin. El inventario al final de una semana (Xn) es igual al inventario al final de la semana anterior (Xn-1) menos la demanda atendida durante la semana Dn ms las rdenes colocadas al final de la semana anterior para reabastecer el inventario (On-1), las cuales llegan al principio de la semana. Por lo tanto Xn se expresa como: Xn = Xn-1 + Qn-1 - Dn donde Qn-1 = Cantidad pedida al final de la semana n-1 Dn = demanda atendida durante la semana n El espacio de estados est dado por E = (0, 1, 2, 3) Clculo de las probabilidades de transicin Clculo de p00. Para calcular p00 debe tenerse en cuenta que si el inventario es

cero al final de una semana, se piden tres unidades que llegan al principio de la semana siguiente, y para poder terminar de nuevo la semana en cero, se requiere que la demanda durante esa semana sea de por lo menos tres unidades P00=P(Xn=0/Xn-1=0)= P(D 3) = .126+.047+.018 =.191 Clculo de p01, p02 y p03. Para calcular p0j (j = 1, 2, 3) debe tenerse en cuenta que si el inventario es cero al final de una semana, se piden tres unidades que llegan al principio de la semana siguiente, y para poder terminar la semana con inventarios de 1, 2 o 3 unidades, se requiere que las demandas respectivas durante la semana sean de 2, 1 y 0 unidades P01 = P(Xn=1/Xn-1=0)= P(D=2) = 0.251 P02 = P(Xn=2/Xn-1=0) = P(D=1) = 0.335 P03 = P(Xn=3/Xn-1=0) = P(D=0) = 0.223 Clculo de p1j. Si el inventario al final de una semana es uno no se hace ningn pedido. Por lo tanto, para pasar de un inventario de uno a un inventario de cero, (p10) se requiere que la demanda durante esa semana sea de por lo menos una unidad, y para poder terminar la semana con una unidad en el inventarios la demanda durante la semana debe ser cero. Adems, como no se hace pedido, no es posible terminar la semana con dos o tres unidades si al final de la semana anterior slo haba una unidad en el inventario. P10 = P(D 1) =0.335+.251+.126+.047+.018 = 0.777 P11 = P(D=0) = 0.223 P12 = 0, P13 = 0 La matriz de transicin resultantes es la siguiente:

Ejemplo 2.4 Genio de una persona. Suponga que el genio (humor) de un compaero en un da cualquiera puede ser alegre, normal, o de mal genio(malhumorado). Suponga adems que si hoy est de buen genio maana puede estar de buen genio, normal o malhumorado con probabilidades de 0.5, 0.4 y 0.1, respectivamente. Si hoy est normal maana puede estar de buen genio, normal o malhumorado con probabilidades de 0.3, 0.4 y 0.3, respectivamente. Finalmente si hoy est de mal humor, maana puede estar de buen genio, normal o malhumorado con probabilidades de 0.2, 0.3 y 0.5, respectivamente. Si {Xn, n ? 0} representa el genio de su compaero, la matriz de transicin estar dada por

donde el espacio de estados es E = [alegre, normal, malhumorado] = [0, 1, 2] Problemas propuestos: Libro de Hillier: 14.2.1, 14.2.3, 14.3.2, 14.3.3 a y b, 14.5.1a, 14.5.2a, 14.5.3a, 14.6.6a Ejemplo 2.5 Transformacin de una cadena de Markov. El estado del tiempo Suponga que el estado del tiempo un da cualquiera depende de las condiciones del tiempo en los dos das anteriores. As:

Si ha llovido en los dos ltimos das, llover maana con probabilidad de 0.7 Si llovi hoy pero no ayer, la probabilidad de que llueva maana es de 0.5 Si llovi ayer pero no hoy, la probabilidad de que llueva maana es de 0.4 Si no ha llovido los dos ltimos das, la probabilidad de que llueva maana es de 0.2

a) Es el proceso anterior una cadena de Markov? b) Si no lo es, puede transformarse para que lo sea? Solucin. Si denotamos por Xn el estado del tiempo el da n, entonces Xn es una funcin no slo de Xn-1 sino tambin de Xn-2, por lo cual no es una cadena de Markov. Si embargo, si redefinimos el estado del proceso como el estado del tiempo en dos das consecutivos, el proceso sera una cadena de Markov. As: Xn = Estado del tiempo en los das n y n-1. La convencin podra ser la siguiente: Estado Condicin 0 Llueve los dos ltimos das- LL Llueve el da actual pero no el 1 anterior-LN No llueve el ltimo da, pero s el 2 anterior- NL 3 No ha llovido los dos ltimos das-NN E = (0, 1, 2, 3) = (LL, LN, NL, NN) Clculo de las probabilidades de transicin Estado futuro = Estado del tiempo maana y hoy Estado actual = Estado del tiempo hoy y ayer P00 = P(LmaanaLhoy/LhoyLayer) = Probabilidad de lluvia en los dos ltimos das) = 0.7 P01 = P(LmaanaNhoy/LhoyLayer) = 0 P02 = P(NmaanaLhoy/LhoyLayer) = 0.3 P03 = P(NmaanaNhoy/LhoyLayer) = 0 P10 = P(LmaanaLhoy/LhoyNayer) = 0.5 P11 = P(LmaanaNhoy/LhoyNayer) = 0

P12 = P(NmaanaLhoy/LhoyNayer) = 0.5 P13 = P(NmaanaNhoy/LhoyNayer) = 0 La matriz de transicin resultante es la siguiente:

Ejemplo 2.6 Taller con dos mquinas y un mecnico Considere un taller que tiene 2 mquinas y un mecnico que las repara cuando fallan. Si una mquina est trabajando, la probabilidad de que falle en una hora es . Si una mquina est bajo reparacin, la probabilidad de que el mecnico termine de repararla en una hora es . Si Xn es el nmero de mquinas en operacin al final de la hora n, a) Es Xn una cadena de Markov?. Explique b) En caso afirmativo, calcule la matriz de transicin Solucin. El nmero de mquinas en operacin al final de una hora (Xn) es igual al nmero de mquinas en operacin al final de la hora anterior (Xn-1) ms el nmero de mquinas reparadas durante la ltima hora (Rn) menos el nmero de mquinas que han fallado durante la ltima hora (Fn). Por lo tanto Xn se expresa como se indica a continuacin, de donde se desprende que es una cadena de Markov. Se supone que las mquinas fallan al final de la hora, o que slo al final de la hora se descubre que las mquinas han fallado, o que el mecnico ha terminado la reparacin. (No hay eventos simultneos) Xn = Xn-1 + Rn - Fn donde Rn = Nmero de mquinas reparadas durante la ltima hora. Fn = Nmero de mquinas que fallaron durante la ltima hora. El espacio de estados est dado por E = (0, 1, 2) Clculo de las probabilidades de transicin Clculo de p00, p01 y p02. Para pasar del estado cero al estado cero se requiere que el mecnico no termine la reparacin de una mquina (1 - ) y para pasar al estado uno se requiere que termine de reparar la mquina ( ). P00 = P(mecnico no termine la reparacin) =1 P01 = P(mecnico termine la reparacin) = P02 = P(Reparar dos mquinas) = 0 Clculo de p10, p11 y p12. Para pasar del estado uno al estado cero se requiere que el mecnico no termine la reparacin de la mquina que est arreglando (1 - ) y que la mquina que estaba en operacin se dae ( ). Para pasar del estado uno al estado uno se requiere que el mecnico no termine la reparacin de la mquina que est arreglando (1 - ) y que la mquina que estaba operando no se dae (1 - ), o que el mecnico termine la reparacin de la mquina que est arreglando ( ) y que la mquina que estaba operando se dae ( ).Para pasar del estado uno al estado dos se requiere que el mecnico termine la reparacin de la mquina que est arreglando ( ) y que la mquina que estaba operando no se dae (1 - ) p10 = P(No terminar reparacin y mquina buena se dae = (1 - ) ( ) p11 = P(no terminar reparacin y la mquina buena no se dae)

P(terminar reparacin y la mquina buena dae) = (1 - ) (1 - ) + ( ) ( ) p12 = P(terminar reparacin y que mquina buena no se dae) = ( ) ( ) Queda como un ejercicio calcular las probabilidades de transicin desde el estado 2 hacia los dems estados. La matriz de transicin resultante es la siguiente:

2.2. Matriz de transicin en n etapas Probabilidad de transicin en n etapas: Probabilidad de que un proceso pase del estado i al estado j en n transiciones o pasos. P(Xn=j/X0 =i) = P(Xn+m=j/Xm=i) = Se tiene que Clculo de Para pasar del estado i al estado j en dos transiciones se debe pasar por un estado intermedio k en la primera transicin y luego ir del estado k al estado j en la segunda transicin. Este estado k puede ser cualquiera de los estados del proceso, incluyendo los estados i y j. La figura siguiente ilustra el proceso = , n, i, j 0

Denotemos por la matriz formada por las probabilidades de transicin en dos etapas, cuyos elementos son las diferentes probabilidades de transicin en dos etapas . Al analizar la expresin resultante para observamos este

elemento es igual al producto de la fila i de la matriz de transicin en una etapa P por la columna j de la misma matriz. Es decir, la matriz de transicin en dos etapas, es simplemente el producto de la matriz de transicin de una etapa por s misma. Por lo tanto,

Matriz de transicin en 3 etapas Clculo P(3) Para pasar del estado i al estado j en tres etapas se puede pasar en el primer paso por un estado intermedio k, y luego hacer la transicin del estado k al estado j en los restantes dos pasos, es decir:

Si P(3) es la matriz de transicin en 3 pasos, entonces se tiene que Tambin se puede pasar al estado intermedio k en los primeros dos pasos, y luego hacer la restante transicin al estado j en un paso, es decir

Es decir, P(3) se puede expresar como: Matriz de transicin en n etapas - P(n) Ecuacin de Chapman Kolmogorov . Para pasar del estado i al estado j en n etapas se puede pasar en los m primeros pasos por un estado intermedio k, y luego hacer la transicin del estado k al estado j en los n-m restantes pasos, es decir:

Si P(n) es la matriz de transicin en n pasos, entonces puede expresarse como: Tambin para pasar del estado i al estado j en n etapas se puede pasar al estado intermedio k en los primeros n-m pasos, y luego hacer la transicin al estado j en m pasos, es decir

Es decir,

se puede expresar como:

El sistema anterior de ecuaciones recibe el nombre de Ecuacin de Chapman Kolmogorov Propiedades:

Ejemplo 2.7 Estado del tiempo. Cul es la probabilidad de que llueva dentro de 4 das si est lloviendo hoy?. Solucin. Para responder esta pregunta debemos calcular las probabilidades de transicin en cuatro paso

La probabilidad requerida est dada por = 0.5749 Ejemplo 2.8 Sistema de inventarios. Calcule la probabilidad de que no haya unidades en el inventario dentro de dentro de cuatro das si hoy no hay nada. La matriz de transicin en varias etapas (n =2, 4, 8) se presenta en la pgina siguiente: La probabilidad requerida est dada por = 0.3993

Qu comportamiento se observa en 2.3. Probabilidades de estado

a medida que n aumenta?

Se denomina probabilidad de estado a la probabilidad (incondicional) de que despus de n transiciones el proceso se encuentra en el estado j, la cual denotaremos por = P(Xn=j)

Clculo 1. La probabilidad de estado se puede calcular condicionando bien sea en el estado inicial o en cualquier otro estado. Condicionando en el estado inicial se tiene:

Si denotamos por ={ , ,..., } un vector fila con las probabilidades de estado, y analizamos la ecuacin anterior tenemos que se puede expresar como : = donde ={ , es el vector de estado o probabilidad inicial { , ,..., } = P(X0=j)} y

Clculo 2. Tambin se puede calcular condicionando en cualquier otro estado. Si se condiciona en el penltimo estado que visite el proceso se tiene:

Analizado la ecuacin anterior tenemos que: = donde P es el vector de probabilidad de estado para la etapa n-1.

Ejemplo 2.9 Estado del tiempo. Calcule la probabilidad de que llueva dentro de cuatro das si es igualmente probable que llueva o no llueva hoy. Solucin. Como es igualmente probable que llueva o no llueva hoy, se tiene que = (0.5, 0.5). La probabilidad de que llueva dentro de cuatro das se calcula como:

Ejemplo 2.10 Sistema de inventarios 1. Si el inventario inicial es 2 unidades, cual es la probabilidad de que no haya inventario al final de la primera semana? De la cuarta? De la octava?. Qu pasa si el inventario inicial fuera tres? Solucin. Si el inventario inicial es dos unidades, tenemos entonces que (0, 0, 1, 0). Por lo tanto: =

La probabilidad de que no haya inventario al final de la primera semana es 0.442, al final de la cuarta es 0.4002 y al final de la octava es 0.4005 . Ejemplo 2.11 Sistema de inventarios 2. Si el inventario inicial fuera 3 unidades, las probabilidades de estado para las etapas 1,2, 4 y 8 seran:

La probabilidad de que no haya inventario al final de la primera semana es 0.191, al final de la cuarta es 0.3993 y al final de la octava es 0.4005 Analice las respuestas anteriores, y como es su comportamiento. Qu se observa? Comportamiento de las probabilidades de estado. a) Qu se observa en el comportamiento de b) Qu pasa con cuando n aumenta?

cuando n aumenta y se cambia el estado inicial?

2.4. Clasificacin de estados Accesibilidad. El estado j es accesible desde el estado i (i j) si >0. Esto implica que j es accesible desde i si y solo si, empezando en i es posible que el proceso entre al estado j. Esto es verdadero dado que si j no es accesible desde i, entonces

Comunicabilidad. Si el estado j es accesible desde el estado i, y el estado i es accesible desde el estado j, entonces se dice que los estados i y j se comunican (i j). La comunicacin tiene las siguientes propiedades: a) Reflexiva: Todo estado se comunica consigo mismo, ya que =1 b) Simtrica: Si i se comunica con j, entonces j se comunica con i c) Transitiva: Si i se comunica con j, y j se comunica con k, entonces i se comunica con k.

Conjunto cerrado C. Sea Cj el conjunto (clase cerrada) formado por el estado j y todos los estados que se comunican con el estado j. Puede contener un solo elemento. Ejemplo 2.12 Sistema de inventarios. Se tiene que: C0 = (0, 1, 2, 3) = C1 = C2 = C3 = E Ejemplo 2.13 Problema del jugador. Se tiene que C0 = (0) C1 = (1, 2, 3, ..., M-1) = C2 = C3 = ...= CM-1 CM = (M) Clases disjuntas. Los estados de una cadena de Markov se pueden clasificar en clases disjuntas (cerradas), donde los estados que se comunican pertenecen a la misma clase. Ejemplo 2.14 Problema del jugador. Se tiene que E=(0,1,2,...,M-1,M) C0 = (0) = E1, C1 = (1, 2, ..., M-1) = C2 = ... = CM-1 = E2, CM = (M) = E3 y Ejemplo 2.15 Problema de inventarios. Se tiene: E = (0, 1, 2, 3). C0 = (0, 1, 2, 3) = C1 = C2 = C3 = E

Proceso irreducible. Una cadena de Markov es irreducible si slo contiene una clase, es decir, si todos los estados se comunican. Por ejemplo el sistema de inventarios. Estados recurrentes y transitorios Sea fii= Probabilidad de que el proceso regrese al estado i dado que empieza o se encuentra en dicho estado i Estado recurrente. El estado i es recurrente si fii=1, es decir, hay certeza de regresar a dicho estado. Estado absorbente: Es un caso especial de un estado recurrente cuando pii=1 Estado transitorio: El estado i es transitorio si fii<1, es decir existe una probabilidad =1 fii>0 de no regresar al estado una vez se sale de l. Ejemplo 2.16 Problema del jugador. Se tiene que E = (0, 1, 2, ..., M-1, M)

Como se observa en el diagrama de transicin, los estados 0 y M son absorbentes, ya que una vez el proceso entra en dichos estados, no vuelve a salir de all. Los dems estados se comunican entre s, pero son transitorios, ya que si el proceso sale del estado 1 o del estado M-1 nunca regresa a dichos estados. Se tiene que f00= fMM = 1, y fii < 1, para i 0, M Para encontrar el nmero esperado de perodos que el proceso se encuentra en el estado i dado X0 = i, considere: Sea Bn = 1 si Xn = 1, y Bn = 0 si Xn i La cantidad representa el nmero de perodos que el proceso est en el estado i dado X0=i Su esperanza est dada por:

De lo anterior se tiene que: El estado i es recurrente si

El estado i es recurrente si

La recurrencia es una propiedad de clase, es decir, todos los estados que pertenezcan a una misma clase son todos recurrentes o todos transitorios. De nuevo, considere el problema del jugador. Claramente el estado 1 es transitorio, ya que si del estado 1 se pasa al estado 0, nunca se regresa al estado 1. Adems, los estados 1, 2,..., M-1 se comunican entre s. Por lo tanto, estos estados son tambin transitorios. El mismo argumento empleado para el estado 1 se puede usar para el estado M-1. No todos los estados de una cadena de Markov pueden ser transitorios. Considere un proceso de Markov con la siguiente matriz de transicin. Clasifique sus estados. Sea E=(0, 1, 2, 3, 4) (Uso diagrama de transicin)

C0=(0,1) =C1, C2 = (2,3) = C3, C4= (4) E1 = (0,1), E2 = (2,3), E3 = (4) Recurrentes = (0,1), (2,3) y transitorio = (4) Perodo. El perodo de un estado i se define como el entero t (t >1) si 0 para todos los valores de n t, 2t,3t,..., y t es el entero mayor con esta propiedad. =

Ejemplo 2.17 Problema del jugador. Considere el estado 1. Si se est en el estado 1, slo se puede pasar a l, en los tiempos 2, 4, 6, etc. Igual sucedera con los estados, 2, 3,.., M-1. (Esto se puede verificar calculando analizando el diagrama de transicin). o

La periodicidad es propiedad de clase, es decir, si el estado i es peridico con perodo t, y el estado i se comunica con el estado k, entonces el estado k tambin tiene perodo t. Estado aperidico. El estado i es aperidico si existen dos enteros s y s+1 tales que el proceso pueda encontrarse en el estado i en los tiempos s y s+1. Se dice que el estado tiene perodo 1. Por ejemplo, en el sistema de inventarios analizado previamente todos los estados se comunican, y son aperidicos. Recuerde que para pasar de un estado a otro, la transicin se puede dar en varios pasos, no necesariamente en uno slo.

Estado ergdico. Se dice que un estado es ergdico si dicho estado es recurrente y aperidico Ergodicidad. Un proceso estocstico es ergdico si es irreducible y aperidico Problema. Considere los cadenas de Markov descritos por las matrices de transicin. Clasifique sus estados.

2.5. Tiempos de primera pasada El tiempo de primera pasada corresponde al nmero de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez. Cuando i = j, corresponde al nmero de transiciones para regresar al estado i y se denomina tiempo de recurrencia. Por ejemplo, en el sistema e inventarios, el nmero de semanas requerido para pasar de un inventario de cero a otro inventario de cero, es decir, este tiempo de recurrencia es el tiempo entre dos pedidos consecutivos Los tiempos de primera pasada son variables aleatorias y por lo tanto tiene una funcin de densidad. Ecuaciones recursivas. Sea =Probabilidad de que el tiempo de primera pasada del estado i al estado j sea n. Para n = 1 se tiene claramente que:

Para n = 2, representa todas las formas en que se puede pasar de i a j en dos pasos, lo cual incluye pasar en un paso y quedarse en j el paso o transicin siguiente; por lo tanto estas probabilidades deben restarse de la probabilidad de transicin en dos pasos

Para cualquier valor de n, representa todas las formas en que el proceso puede pasar del estado i al estado j en n pasos, lo cual incluye pasar a j en un paso y quedarse ah en las n-1 transiciones siguientes, o pasar a j en dos pasos y quedarse ah en las n-2 transiciones siguientes,..., o pasar a j en los primeros n-1 pasos y quedarse ah en la transicin siguiente. Por lo tanto estas probabilidades deben restarse de la probabilidad de transicin en n pasos

Sea fij la probabilidad (incondicional) de que el proceso pase del estado i al estado j, la cual est dada por:

Entonces, como ya se haba visto, el estado i es recurrente si fii=1, y es transitorio si fii<1 (no hay certeza de realizar la transicin) Tiempo esperado de primera pasada ij Corresponde al tiempo esperado para ir del estado i al estado j, y en teora, se puede calcular usando la definicin de valor esperado, a saber:

Los son difciles de calcular. Sin embargo, los ?ij se pueden calcular ms fcilmente usando el siguiente conjunto de ecuaciones: Clculo de ij .Si los estados i y j son recurrentes, los tiempos de primera pasada se pueden calcular usando el conjunto de ecuaciones dado por:

Explicacin: Para ir del estado i al estado j por primer vez se requiere: a) Realizar mnimo un paso. Si llega a j ij = 1 b) Si no se llega a j sino a k j, entonces partiendo de k pasa a j en un nmero esperado de kj pasos. Primero se plantea y resuelve el sistema de ecuaciones para ?ij para i?j, y luego se calcula la ecuacin correspondiente a jj. Ejemplo 2.18 Sistema de inventarios. Calcular el tiempo medio de recurrencia del estado 0 00. las ecuaciones a plantear y resolver son las siguientes:

Realizado el clculo de 10, 20 y 30 se calcula 00 como: 00 = 1+ p01 10+ p02 20+ p03 30

Las ecuaciones resultantes son:

De (3) se obtiene 10 = 1/0.777 = 1.287 (4) (4) en (2): 20 = (1 + 0.335 x 1.287)/(1-.223) = 1.842 (5) (4)y (5) en (1): 30 =(1 + 0.251 x 1.287)/(1 - .223) = 2.497 00 = 1 + .251 x 1.287 + .335 x 1.842 + .223 x 2.497 = 2.497 Cmo se interpreta 00=2.497? Tiempo entre pedidos 2.6. Probabilidades de largo plazo de las Cadenas de Markov (Probabilidades de estado estable) Al examinar las probabilidades de transicin en n pasos , se observa que a medida que n aumenta, estas probabilidades tienden hacia una constante , independiente del valor inicial de i es decir, puede existir una probabilidad lmite, independiente de su estado inicial. Esta probabilidad lmite est dada por

Un comportamiento similar se observ para la probabilidad de estado para dos condiciones iniciales diferentes (grfico de n vs qj(n)). Adems, los valores lmites eran los mismos. Es decir,

2.6.1. Clculo de probabilidades de estado estable Recordemos que se puede calcular como:

Usando la expresin de la derecha tenemos que:

Como

Teniendo en cuenta lo anterior, se tiene que

Si definimos el vector fila tenemos que la ecuacin anterior se puede escribir en forma matricial como (se obtiene un sistema de M+1 ecuaciones y M+1 variables)

Como los forman una distribucin de probabilidad, entonces . Por lo tanto, las probabilidades de estado estable (o en rgimen permanente) deben satisfacer el siguiente sistema de ecuaciones:

Se observa que existen M+2 ecuaciones y M+1 variables, lo cual quiere decir que hay una redundante, la cual no puede ser la ltima (por qu?). 2.6.2. Condiciones para la existencia de las probabilidades lmites a) Si el proceso es irreducible, existen las probabilidades limites b) Si el proceso es ergdico, esas probabilidades son independientes del estado inicial 2.6.3. Tiempos medios de recurrencia Se puede demostrar que los tiempos medios de recurrencia expresar en trminos de las probabilidades lmites como = 1/ Ejemplo 2.19 Clculo de probabilidades lmites Sistema de inventarios: El sistema de ecuaciones manera: queda de la siguiente se pueden

= 0.191 = 0.251 = 0.335 = 0.223

+ 0.777 + 0.442 + 0.191 + 0.223 + 0.335 + 0.251 + 0 + 0.223 + 0..335 + 0 + 0 + 0.223

(1) (2) (3) (4)

Para que las formen una distribucin de probabilidad se debe agregar la siguiente ecuacin + + + = 1 (5)

Solucin De (4) = 0.223 / 0.777= 0.287 (6) (6) en (3): = (0.335 + 0.335 x 0.287 )/0.777 = 0.55488 (7) (6) y (7) en (2): = (0.251 + 0.335 x 0.55488 + 0.251x0.287 )/.777 = 0.65498 (8)

Reemplazando (6), (7) y (8) en (5) tenemos: + 0.65498 + 0.55488 + 0.287 =1 = 1/2.49686 = 0.4005 =1/ 0.4005 = 2.4969 = 0.65498 = 0.2623 =1/ 0.2623 = 3.81216 = 0.55488 = 0.2222 =1/ 0.2222 = 4.4998 = 0.287 = 0.1149 =1/ 0.1149 = 8.7 Observacin: Como se puede observar estos valores son los mismos que aparecen en la matriz de transicin P(8) calculada anteriormente, y en las probabilidades de estado Q(8) calculadas tambin previamente 2.6.4. Probabilidades lmites en cadenas peridicas Si las cadenas son peridicas el lmite puede no existir. Considere la siguiente matriz de transicin de dos estados

La matriz de transicin en n pasos est dada por: , Tenemos que =1 si n es par, = 0 si n es impar. Por lo tanto el lmite anterior no existe. Sin embargo, el siguiente lmite siempre existe para cadenas de Markov irreducibles y peridicos:

2.6.5. Interpretacin de las : Si se analiza el lmite anterior, se observa que el numerador representa la suma de las frecuencias (relativas) en que el proceso se encuentra en el estado j, es decir, el total de perodos o pass en que el proceso visita el estado j, y el denominador, el nmero total de transiciones observadas. Por lo tanto esta probabilidad de estado a largo plazo se le puede dar la siguiente interpretacin: a) Probabilidad a largo plazo de que el sistema se encuentre en el estado j b) Proporcin de tiempo que el sistema se encuentra en el estado j Ejemplo 2.20 Interpretacin para el sistema de inventario. Los valores de las probabilidades lmites y su interpretacin son los siguientes:

= 0.4005 Un 40% de las semanas no hay artculos en la tienda al final de la semana, o tambin, un 40% de las semanas es necesario colocar pedidos para reabastecer el inventario = 0.2623 Un 26.23% de las semanas se termina la semana con un artculo en inventario = = 0.2222 Un 2.22% de las veces se termina la semana con dos artculos en inventario. = 0.1149 Un 11.49% de las veces se termina la semana con tres artculos en inventario. Clculo e Interpretacin para el problema del estado del tiempo La matriz de transicin est dada por

Las ecuaciones para el clculo de las probabilidades lmites son las siguientes: = 0.7 + 0.4 = 0.3 + 0.6 + = 1 (5) (1) (2)

Del sistema anterior de ecuaciones se obtiene que = 571, = 0.329 Interpretacin: La probabilidad de que llueva en un da cualquiera es 0.571, o un 57.1% de los das llover. 2.7. Costo promedio esperado/unidad de tiempo Suponga que se incurre en un costo C(Xt) cuando el proceso se encuentra en el estado Xt en el tiempo t. C(Xt) es una variable aleatoria que toma cualquiera de los valores C(0), C(1),..., C(M), y la funcin C(.) es independiente de t. El costo promedio esperado a lo largo de n perodos est dado por:

Usando el resultado

Se puede demostrar que el costo promedio esperado por unidad de tiempo est dado por:

Ejemplo 2.21 Suponga que existe un costo de $2 por cada unidad que hay en inventario al final de la semana t. Cul sera el costo esperado por semana de mantenimiento del inventario? Se tiene que C(0)=0, C(1)=2, C(2)=4, C(3)=6

El costo esperado por semana est dado por: Costo esperado = = 0.4005x0+0.2623x2+0.2222x4+0.1149x6= 2.1028 Funciones de costos ms complejas Suponga que deben tenerse en cuenta los costos de ordenar y de penalizacin por faltantes (demanda insatisfecha durante la semana). El costo por demanda insatisfecha depende de la demanda y del estado del proceso. El costo del perodo es una funcin de Xt, Xt-1 y D. El costo promedio esperado a la larga est dado por: donde C(j) =E{C(Xt, Xt-1,Dt)} Ejemplo 2.22 Suponga que se tienen los siguientes costos: El costo de hacer un pedido para reabastecer el inventario es $10, mientras que el costo unitario se de $25. Por lo tanto, si se orden Q cmaras, el costo es = 10 + 25Q Costo de demanda insatisfecha = $50/unidad . Considerando nicamente los anteriores componentes, el costo semanal ser: Si al final de una semana hay 0 unidades en inventario, se hace un pedido por tres unidades. Habr demanda insatisfecha al final de la semana siguiente, si durante la semana la demanda es de 4 o 5 unidades. Por lo tanto: C(0)=10+25 x 3 + 50 E{max(Dt-3), 0} =75 + 50 {p4 + 2 p5} = 75 + 50x(0.047+2*0.018)= 79.15 C(1) = 2 + 50 E{max(Dt-1}, 0}=2 + 50 {p2+2p3+3p4+4p5} = 2 + 50 (0.251 + 2 x 0.126 + 3 x 0.047 + 4 x 0.018} = 37.8 C(2) = 2 x 2 + 50 E{max(Dt-2}, 0} =4 + 50{p3 + 2p4 + 3p5} = 4 + 50 (0.126+2 x 0.047 + 3 x 0.018) = 17.7 C(3) = 2 x 3 + 50 E{max(Dt-3}, 0) = 6 + 50 {p4 + 2p5} = 6 + 50 (0.047 + 2 x 0.018) = 10.15 Por lo tanto, el costo esperado por unidad de tiempo est dado por: Costo esperado = 79.15 x 0.4005 + 37.8 x 0.2623 +17.7 x 0.2222 + 10.15 x 0.1149 = 46.71 2.8. Estados absorbentes Definicin. El estado k es absorbente si pkk = 1 Si el estado k es absorbente, y el proceso empieza en el estado i, entonces no se habla de probabilidades lmites, tales como fueron analizadas recientemente, sino que se habla de que el estado i sea absorbido por el estado k, o probabilidad de absorcin al estado k, denotada por fik.

2.8.1. Probabilidades de absorcin Si el proceso se encuentra en el estado i (no absorbente), para calcular la probabilidad de que este estado sea absorbido por el estado k, se puede condicionar en el resultado de la primera transicin, de la siguiente manera: El proceso puede hacer una transicin a un estado intermedio j, y de ah ser absorbido posteriormente por el estado k. Por lo tanto, las probabilidades de absorcin fik pueden calcularse mediante el siguiente sistema de ecuaciones:

Ejemplo 2.23 Caminata aleatoria. Si el proceso se encuentra en el estado i, en el instante siguiente puede estar slo en i-1, i e i+1. Ejemplo: Juegos de azar Ejemplo 2.24 Estados absorbentes. Considere el problema del jugador con M = 3. Calcule fi0. La matriz de transicin est dada por:

Las ecuaciones para calcular fi0 son las siguientes f00=1 f10= 1/2 f00+1/2f20 = 1/2 + 1/2f20 f20= 1/2 f10 + 1/2f30 = 1/2 f10 f30= 0 Resolviendo se obtiene f10 = 2/3, f20 = 1/3 Demostrar que
13

13 = 1/3, f23 = 2/3

2.8.2. Nmero medio de pasos para la absorcin Si el proceso empieza en el estado i (o se encuentra en el estado i), donde i es un estado transitorio, el nmero medio de pasos para llegar a un estado absorbente, se puede calcular condicionando en el resultado de la primera transicin, mediante el sistema de ecuaciones que se obtiene de la siguiente ecuacin:

donde T es el conjunto de estados transitorios. Tambin se podra escribir de la siguiente manera

donde la sumatoria se hace para todo estado k contenido en el espacio muestral, y teniendo en cuenta que k = 0 si k es un estado recurrente (absorbente), es decir, si un proceso llega a un estado absorbente, el tiempo medio de absorcin a partir de ese estado es cero 2.8.3. Probabilidad de absorcin. Calculo matricial El clculo se basa en la matriz fundamental. Simplemente daremos los pasos requeridos en el procedimiento, sin analizar detalladamente el por qu. Supondremos que el proceso tiene m estados transitorios, s estados absorbentes y k estados recurrentes. 1) Se reorganizan las filas y las columnas de la matriz de transicin, tal que quede expresada (parcial o totalmente) de la siguiente manera:

donde R es una matriz de transicin (mxs) que representa las transiciones de los m estados transitorios a los s estados absorbentes Q es una submatriz de transicin entre estados transitorios (m x m) I es una matriz identidad (s x s). Se excluyen de a matriz las transiciones entre estados recurrentes, si los hay (ya que estos estados nunca sern absorbidos por los estados absorbentes). 2) Se calcula la matriz fundamental N como: N = (I - Q)-1, donde es otra matriz identidad de m x m 3) Se calcula la matriz que contiene las probabilidades de absorcin PA = N x R Ejemplo 2.25 Probabilidad de absorcin. Considere un almacn. Al final de cada mes se clasifican las cuentas por cobrar en cuatro categoras: i) cuentas saldadas, ii) cuentas insolutas, las que no adeudan abonos del mes anterior, iii) cuentas vencidas, las que llevan entre uno y tres meses de atraso, y finalmente, iv) cuentas de dudoso o difcil cobro, las que llevan mas de tres meses de atraso en sus abonos. De los registros contables se extrajo la siguiente informacin: El 60% de las cuentas insolutas se pagan al siguiente mes, el 30% permanece en esta categora y el 10% pasan a cuentas vencidas; el 40% de las cuentas vencidas se convierten en insolutas, el 30% se pagan, el 20% permanece como cuentas vencidas y el 10% pasan a deudas de dudoso cobro, consideradas como cuentas perdidas. a) Plantear este proceso como una cadena de Markov. b) De $ 50 millones que tiene el almacn este mes en cuentas insolutas y $ 10

millones en cuentas vencidas, cunto dinero recuperar el almacn al mes siguiente y cunto considera como perdido? Solucin Definicin de estados. Los estados se pueden definir de la siguiente manera: : 0 = Cuentas saldadas 1 = Cuentas insolutas 2 = Cuentas vencidas 3 = Cuentas malas La siguiente es la matriz de transicin resultante

Procedimiento: 1) Se intercambian filas 2 y 4 y luego las columnas 2 y 4. El espacio de estados queda como E=(0,3,2,1) y la matriz resultante es la siguiente:

2) Clculo de la matriz fundamental

3) Clculo de las probabilidad de absorcin

Interpretacin de las probabilidades de absorcin: A largo plazo, un 86.5% de las cuentas vencidas son canceladas, y un 13.5% se convierten en cuentas de dudoso recaudo. De las cuentas insolutas, un 98.1% se cancelan, y un 1.9% se convierten en deudas malas. Si el almacn tiene $50 millones este mes en cuentas insolutas y $10 millones en cuentas vencidas, la cantidad de dinero que recuperar el almacn, y la cantidad que se considerar como perdido se obtiene de la siguiente manera:

Sea C = ($10, $50) millones un vector (fila) que representa las cuentas vencidas e insolutas, respectivamente, entonces a largo plazo se cancelarn o se perdern las siguientes cantidades:

Es decir, de los $50 millones que tiene el almacn en cuentas insolutas y de los $10 millones en cuentas vencidas, se recuperarn $57.694 millones y se perdern $2.306 millones. el almacn, y la cantidad que se considerar como perdido. Resuelva este problema usando el sistema de ecuaciones visto antes 2.8.4. El problema del jugador. Otra visin. Considere de nuevo el problema del jugador: Un jugador A apuesta contra otro jugador B. En cada jugada A puede ganar un peso con probabilidad p, o puede perderlo con probabilidad q = 1-p. Sea i el capital inicial del jugador A, y sea M el capital de ambos jugadores. Estamos interesados en calcular la probabilidad de que el jugador A sea arruinado si empieza jugando con i pesos. Si denotamos por Xn el capital del jugador A despus de n jugadas, vimos que Xn es una cadena de Markov, con las siguientes probabilidades de transicin.

Adems ya que si no se tiene capital (jugador arruinado) no se puede apostar, o si se tiene todo el capital, el oponente no puede realizar ninguna apuesta. Estamos interesados en fi0, la probabilidad de absorcin por el estado 0, si empezamos con un capital de i. Por simplicidad denotaremos por la probabilidad de que el jugador A se arruine si empieza con un capital de i. Aplicando las ecuaciones para calcular las probabilidades de absorcin:

se tiene la siguiente ecuacin:

= p +1 + q -1 , para i = 1, 2, 3, , M-1 =1 =0 La ecuacin para nos dice que para arruinarse empezando con un capital inicial de i, se puede ganar la primera apuesta con probabilidad p, y luego arruinarse con un capital de i + 1, o se puede perder la primera apuesta con una probabilidad de q y luego arruinarse teniendo un capital de i 1. Como p + q = 1, se puede multiplicar por (p + q) y no pasa nada. Por lo tanto, la ecuacin queda como: (p + q) = p +1 + q -1 p + q = p +1 + q -1 q - q -1 = p +1 p +1 - = ( - -1 ) (q/p) , para i = 1, 2, 3, , M-1 Aplicando la ecuacin anterior para diferentes valores de i tenemos las siguientes ecuaciones: Para i = 1

(1) Para i = 2

(2) Para i = 3

(3) La expresin general sera:

(i) Ahora, considere la siguiente identidad: - = (0) Si sumamos las ecuaciones (0), (1), (2), ...,(i) tenemos lo siguiente:

Nota: La serie geomtrica, dada por la expresin valores dependiendo de si la constante

toma los siguientes

es uno o diferente de 1.

Sabemos que:

= 1,

= 0, reemplazando i = M se tiene:

Reemplazando

1y

= 1 se obtienen las siguientes expresiones para :

Anlisis de las probabilidades de arruinarse Se analizar la probabilidad de ruina para el caso en que se est jugando contra un oponente sumamente rico (M )). Caso en que = (q/p) < 1

Cuando la probabilidad de ganar es mayor que la probabilidad de perder, se tiene que

Es decir, cuando la probabilidad de ganar es mayor que la de perder, la probabilidad de arruinarse es menor de 1, es decir, no hay certeza de ser arruinado empezando con un capital i. Caso en que = (q/p) = 1

Cuando la probabilidad de ganar es igual a la probabilidad de perder, se tiene que

Cuando la probabilidad de ganar es igual a la probabilidad de perder, y se est jugando contra un oponente sumamente rico, hay certeza de arruinarse, es decir, tarde o temprano el jugador A ser arruinado. Caso en que = (q/p) > 1

Cuando la probabilidad de ganar es menor que la probabilidad de perder, se tiene que

Cuando la probabilidad de ganar es igual a la probabilidad de perder, y se est jugando contra un oponente sumamente rico, hay certeza de arruinarse, es decir, tarde o temprano el jugador A ser arruinado.

2.9. Problemas 1. Sea { Xn } una cadena de Markov con espacio de estados (0, 1, 2), vector de probabilidades iniciales = (1/4, 1/2, 1/4) y matriz de transicin P dada por :

a) Calcule p(0, 1, 1) = Pr(X0 = 0, X1 = 1, X2 = 0) b) Demuestre que Pr(X1 = 1, X2 = 1/ X0 = 0) = p01 p11 c) Calcule d) Calcule e) Demuestre que la cadena es Irreducible. f) Encuentre el valor de las probabilidades estacionarias. 2. Dos jugadores A y B juegan de la siguiente manera: Si A gana un juego recibe $2 y si pierde paga $1. La probabilidad de que A gane un juego es 1/3 y que pierda es 2/3. El dinero total disponible es $N. Si el capital de cualquiera de los dos jugadores cae por debajo del punto donde pueda pagar exactamente si

pierde el prximo juego, entonces el juego termina. Sea {Xn} el capital del jugador A despus de n jugadas. a) Encuentre la matriz de transicin para esta cadena de Markov. b) Suponga que ambos jugadores acuerdan que si el capital de uno de ellos llega a ser $1, realizarn la prxima jugada de $1 con igual probabilidad de ganar o perder. Encuentre la matriz de transicin para este caso. 3. Una represa se utiliza para generar energa elctrica y para el control del flujo de aguas. La capacidad de la represa es 3 unidades. La funcin de probabilidad de la cantidad de agua que fluye a la represa -W- en el mes la siguiente:

Si el agua en la represa excede la capacidad mxima, el agua sobrante se bota a travs del vertedero, que es de flujo libre. Para generar energa se requieren mensualmente dos unidades que se sueltan al final de cada mes. Si hay menos de dos unidades en la represa, se genera energa con el agua disponible, es decir, se suelta toda el agua. Sea Xn la cantidad de agua en la represa en el mes n, despus de que se suelta el agua. Suponga que inicialmente la represa est vaca. a) Es { Xn } una cadena de Markov ? b) Si { Xn } es una cadena de Markov, encuentre la matriz de transicin. 4. El propietario de una barbera local que solamente posee una silla para prestarle el servicio a sus clientes piensa agrandar su negocio pues le parece que siempre hay mucha gente esperando ser atendidos. Las observaciones indican que en el tiempo requerido para motilar una persona pueden llegar 0, 1, 2, o 3 personas con probabilidades de 0.3, 0.4, 0.2 y 0.1, respectivamente. La barbera tiene una capacidad fija de 6 asientos, incluyendo aquel en que se sienta el que est siendo atendido. Sea Xn el nmero de personas en la barbera cuando se completa el servicio al n-simo cliente. a) Demuestre que { Xn } es una cadena de markov. b) Encuentre la matriz de transicin. c) Determine la proporcin de tiempo, a largo plazo, que en la barbera hay seis personas, o que hay 4 personas. 5. Suponga que Usted ha realizado una serie de pruebas en un procedimiento de destreza manual y encuentra que la siguiente matriz de probabilidad describe el curso de respuestas correctas e incorrectas.

a) Qu proporcin de respuestas correctas se podra esperar de una persona completamente entrenada ? b) Qu proporcin de respuestas correctas se podra esperar de una persona despus de repetir cinco veces el procedimiento, si la respuesta inicial tiene igual probabilidad de se correcta o incorrecta ? c) Cual es la probabilidad de que una respuesta correcta se obtenga por primera vez, exactamente despus de cuatro ensayos con respuesta incorrecta ? 6. Suponga que la lnea de ensamblaje de SOFASA tiene las siguientes reglas:

Un Renault X no puede seguir a otro Renault X porque el contenido de trabajo desbalanceara la lnea. Un Renault Y debe ser seguido por un Renault Z para balancear la lnea. Un Renault Z debe ser seguido por un Renault X o un Renault Y pero no por otro Renault Z.

a) Encuentre una matriz de transicin para este proceso. Use las letras a, b, c,..., cuando los valores de las probabilidades de transicin no estn numricamente definidas. b) Es esta cadenas irreducible ? c) Cual es la probabilidad de que despus de un Renault X el siguiente Renault X ocurra en la lnea despus de otro vehculo ? d) Si P es una matriz de transicin, que interpretacin dara Usted al elemento para n grande? 7. Una partcula se mueve en un crculo en el sentido de las manecillas del reloj, a travs de cinco puntos marcados con los nmeros 0, 1, 2, 3 y 4. En cada etapa la partcula tiene una probabilidad de dar un paso en el sentido de las manecillas del reloj y 1 - de moverse en sentido contrario. Sea Xn la posicin de la partcula en el crculo despus de dar n pasos. a) Es { Xn , n 0} una cadena de Markov ? b) Si { Xn } es una cadena de Markov, encuentre la matriz de transicin. c) Calcule las probabilidades lmites. Cmo se interpretan ? 8. Una fbrica tiene dos mquinas y una cuadrilla de reparacin. Suponga que la probabilidad de que una mquina se dae en un da cualquiera es . Suponga, adems, que si la cuadrilla de reparacin est trabajando en una de las mquinas, la probabilidad de que termine la reparacin en un da mas es . Sea Xn el nmero de mquinas en operacin al final del n-simo da. Asuma que el comportamiento de { Xn } puede modelarse mediante una cadena de Markov. (Qu simplificaciones deben hacerse para que esta suposicin sea

completamente vlida?). a) Encuentre la matriz de transicin. b) Si ambas mquinas estn funcionando cuando el sistema se inicia, cual es la probabilidad de que ambas estn trabajando dos das despus ? 9. Una moneda honesta se lanza al aire sucesivamente hasta que ocurran tres caras seguidas. Sea { Xn } la longitud de la secuencia de caras que terminan en el n-simo lanzamiento. Cual es la probabilidad de que haya al menos 8 lanzamientos sucesivos de la moneda ?. 10. Considere el experimento de lanzar un dado de manera repetida. Sea Xn el mximo de los nmeros que ocurren en los primeros n lanzamientos. Si { Xn } es una cadena de marco: a) Encuentre la matriz de transicin. b) Encuentre y 11. Tres nios A, B y C juegan con una pelota de la siguiente manera: Si A tiene la pelota siempre se la pasa a B, y B siempre se la pasa a C, pero este se la pasa a A o a B indistintamente. Sea Xn la n-sima persona en recibir la pelota. Es { Xn } una cadena de Markov?. Si es as, a) Encuentre la matriz de transicin. b) Calcule sabiendo que inicialmente C tiene la pelota. c) Calcule las probabilidades lmites. 12. Se tienen 6 bolas, tres blancas y tres negras, las cuales se distribuyen al azar en dos urnas, de tal forma que cada una contenga tres. En cada etapa se retiran, simultaneamente, una bola de cada urna, y se deposita en la urna contraria. Sea Xn el nmero de bolas blancas en cada urna despus de n intercambios. a) Explique por qu { Xn } es suna cadena de markov. b) Encuentre la matriz de transicin. c) Cual es la probabilidad de que haya tres bolas blancas en la primera urna despus de n intercambios. d) Cual es la probabilidad, a largo plazo, de que haya dos bolas blancas en la primera urna? 13. Suponga que el estado del tiempo en un da cualquiera depende de las condiciones del tiempo en los dos das anteriores. As, si llovi hoy y tambin ayer, la probabilidad de que llueva maana es 0.7. S hoy llovi pero no ayer, llover maana con una probabilidad de 0.5. Si no llovi hoy paro s ayer, la probabilidad de que llueva maana es 0.4. Si en los dos ltimos das no ha llovido, la probabilidad de que llueva maana es 0.2. a) Defina el proceso como una cadena de Markov. Defina apropiadamente los estados.

b) Encuentre la matriz de transicin. c) Si el lunes y martes de esta semana llovi, cual es la probabilidad de que llueva el jueves? d) Cual es la probabilidad de que llueva en los prximos cuatro das si hoy est lloviendo ? e) Es esta una matriz irreducible ? 14. Considere el siguiente problema de inventarios: Un almacn de artculos fotogrficos almacena un tipo particular de cmara que puede ordenarse semanalmente. Sea D1 , D2 , ... la demanda de este tipo de cmara durante la primera, segunda semana,...,Se asume que las Di son variables aleatorias independientes e idnticamente distribuidas con funcin de probabilidad conocida. Sea Xn el nmero de cmaras disponibles (en inventario) al final de la n-sima semana. El almacn tiene inicialmente tres cmaras. Los sbados en la tarde el almacn coloca una orden que es entregada al lunes siguiente, antes de que el almacn abra sus puertas al pblico. El almacn usa la siguiente poltica de reabastecimiento (s, S): Si el nmero de cmaras en inventario al final de la semana es menor que s = 1 (no hay inventario), el almacn ordena S = 3 cmaras. En caso contrario, el almacn no hace ningn pedido. Se supone que las ventas se pierden cuando la demanda excede al inventario. Si la demanda semanal sigue una distribucin de Poisson con una media de 1.5 artculos por semana, a) Es { Xn } una cadena de Markov ? b) Si { Xn } es una cadena de Markov, encuentre la matriz de transicin. c) Encuentre la proporcin de tiempo que hay i cmaras en inventario al final de la semana ? d) Suponga que se incurre en un costo C(Xn ) cuando el inventario al final de la semana es Xn . Cual es el costo esperado por semana ?. Suponga

15. Una matriz de transicin P se dice que es doblemente estocstica si la suma de los elementos de cada columna es igual a la unidad. Si tal cadena es aperidica e irreducible, con espacio de estados (0, 1, 2,...,M), demuestre que las probabilidades lmites estn dadas por: = 1/(M + 1), j = 0, 1,..., M 16. Sea { Xn } una cadena de Markov con espacio de estados (0, 1, 2, 3, 4) y matriz de transicin P. Para cada uno de los casos siguientes determine las clases cerradas comunicadas y los estados absorbentes. Analice, adems, el comportamiento probabilstico cuando n .

17. Comprobar la periodicidad de las siguientes matrices de transicin y su perodo. Determine, adems, los estados peridicos:

18. Comprobar si las siguientes matrices de transicin son peridicas y oscilantes

19. Considere una cadena de markov con espacio de estados 0, 1,...,5 y definida por la siguiente matriz de transicin. Determine cuales estados son recurrentes y cuales son transitorios.

20. Considere una cadena de Markov con espacio de estados (0, 1, 2, 3, 4 ) y matriz de transicin dada por:

a) Determine las clases comunicadas cerradas y los estados transitorios b) Para cada clase comunicada cerrada, encuentre las probabilidades ti de que el sistema entre a la clase i dado que inicialmente estaba en el estado transitorio i 21. Suponga que en una estacin de trabajo las partes a ser procesadas llegan en una caja a travs de una banda transportadora, y la caja slo trae una pieza para ser procesada. Suponga, adems, que en el tiempo que transcurre entre

la llegada de dos cajas sucesivas, la estacin de trabajo puede completar 0, 1 2 partes con probabilidades de 3/8, y 1/8 respectivamente. Suponga adems que la estacin puede acumular (en un almacenamiento temporal) mximo una pieza, adems de la que est procesando. Si la banda transportadora llega con la caja, y la estacin est inactiva o tiene una parte en operacin entonces la pieza es descargada y se coloca a un lado para ser procesada cuando haya la oportunidad. Si la estacin ya tiene una parte en operacin y otra en almacenamiento temporal, entonces la pieza que llega pasa de largo y se pierde. Sean los estados del proceso 0, 1, 2 que representan una estacin vaca, una estacin con una parte en proceso y una estacin con una parte almacenada, El proceso se observa justo antes de la llegada de la banda transportada con la parte. a) Encuentre la matriz de transicin en una etapa. b) Encuentre la proporcin de tiempo que el proceso pasa en cada estado en el largo plazo c) Si la estacin empieza el da vaca, cual es la probabilidad de que la tercera caja que llegue no pueda ser descargada? 22. En cierta ciudad hay dos supermercados: y . Los clientes visitan los supermercados una vez a la semana pero unas veces van al supermercado y otras al aunque algunos clientes siempre van al mismo. Una encuesta sobre preferencias indica que hay una probabilidad de 0.15 de que un cliente que fue al supermercado una semana vaya la prxima a y una probabilidad de 0.10 de que un cliente de una semana vaya la prxima a Inicialmente el 60% de los clientes compran en y el 40% en . a) Cul ser la distribucin de clientes cinco semanas despus? b) Cules sern los porcentajes de participacin a largo plazo? 23. El mercado de exportacin de un pas, bajo condiciones poltico-econmicas estables, puede ser modelado por una cadena de Markov en tres estados: 0 1 2 Incremento en ms del 5% con respecto al ao anterior. Fluctuacin menor del 5% Disminucin en ms del 5% con respecto al ao anterior.

La matriz de transicin es:

Qu informacin puede extraerse de estos datos?

24. En una investigacin de mercados se comprob que el 90% de las personas que compraban la marca de cierto producto volvan a comprar la misma marca en la prxima ocasin, mientras que el 20% de los que no la haban comprado lo hacan en la prxima oportunidad. Cul ser el porcentaje real de consumidores de la marca a largo plazo? 25. En la fabricacin en serie de un producto este debe pasar por tres departamentos y al final de cada uno se realiza una inspeccin y dependiendo de la calidad, el artculo se rechaza, se acepta y pasa al proceso siguiente o se devuelve para reprocesarlo en el departamento en el que fue detectada la falla. Si las probabilidades son respectivamente 0.1, 0.7 y 0.2 defina esta situacin como una cadena de Markov y diga cul es el porcentaje de artculos que salen dentro de las especificaciones de calidad de la totalidad que empiezan el proceso durante la jornada. 26. Dada la matriz de transicin

Calcular limite en el estado 1.

y diga cul es la probabilidad de que el proceso pueda estar

27. Dada la siguiente matriz de transicin

Encontrar los valores de para que el nmero esperado de pasos hacia la absorcin sea de 4 y la probabilidad de ser absorbido por el estado 2 sea el triple de probabilidad de ser absorbida por el estado 3. 28. El propietario de una peluquera esta pensando en ampliarla pues le parece que su clientela tiene que esperar demasiado tiempo para ser atendida. Observaciones indican que durante el tiempo requerido para realizar un corte de cabello pueden llegar 0,1,2, 3 clientes adicionales con probabilidad 0.3, 0.4, 0.2 y 0.1 respectivamente. La peluquera tiene una capacidad mxima de seis clientes incluyendo el que esta recibiendo el servicio, sea Xn el nmero de clientes en la peluquera al finalizar el n-simo servicio. a) Demuestre que es una cadena de Markov. b) Encuentre la matriz de probabilidades de transicin. c) Determine el porcentaje de tiempo que a largo plazo se mantendr a su mxima capacidad.

29. Dada la cadena de Markov representada por la matriz.

con 0 < p < 1 y 0 < q < 1. Calcule

y las probabilidades limites por medio de:

Sugerencia: utilice el proceso de diagonalizacin o representacin expectral. 30. Dada la matriz de transicin

representativa de una cadena de Markov. Diga cul es la probabilidad de que el proceso se encuentre en el estado 1 despus de 5 etapas, si la cadena al principio se encuentra en cualquiera de los estados con igual probabilidad. 31. Dada la cadena de Markov definida por la matriz.

Calcule el nmero esperado de pasos antes de alcanzar por primera vez el estado 2. 32. Un taller de reparaciones atiende camiones a medida que llegan. Solo hay espacio para estacionar dos camiones antes del servicio. Se han acumulado los siguientes datos:

La probabilidad de completar un servicio en un periodo de una hora es de 0.7 siempre que haya una unidad para ser atendida, la probabilidad de tener ms de un servicio es, pues cero. a) Formular esta situacin como una cadena de Markov. b) El nmero esperado de unidades en el sistema (1.14 camiones). c) El nmero esperado de unidades en la cola (0.47 camiones).

33. Un estudio muestra que el nmero de clientes que estn en el momento ocupando la estacin afecta la probabilidad de una nueva llegada. Si se supone que la probabilidad de servicio es 0.5, formular esta situacin como una cadena de Markov, determinar el nmero esperado en el sistema y la utilizacin del sistema, dada la siguiente tabla:

34. Encontrar la matriz estocstica que describe la siguiente cadena: El control de calidad en cierta empresa se realiza de acuerdo a la poltica de inspeccionar artculo por articulo y rechazar el lote de produccin si se encuentra una unidad defectuosa o aceptarlo si se encuentran tres unidades seguidas que cumplen las especificaciones. Si sabe que el 85% de la produccin sale con las especificaciones deseadas. 35. Por el mtodo de diagonalizacin de matrices, encuentre: a) b) El porcentaje del tiempo que el proceso permanece en el estado 2. si la cadena est representada por la matriz

36. Una mquina funciona durante un determinado perodo de tiempo con una probabilidad de falla de 0.3. El 60% de las veces la falla puede repararse exactamente en el perodo, y en los dems casos se requieren exactamente dos periodos para la reparacin. Se puede suponer que las fallas se presentan al final de un perodo. El costo por tiempo perdido es de $50.00 por perodo. a) Formular esta situacin como una cadena de Markov, describir los estados y

las suposiciones, y desarrollar una matriz de transicin. b) Es posible contratar un ayudante adicional, con un costo de $20 por perodo de tiempo, con el objeto de que la falla siempre sea reparada dentro del mismo perodo. Es conveniente hacer esto? 37. En un determinado proceso de produccin, cada artculo pasa por dos etapas de fabricacin. El final de cada etapa, los artculos se desechan (probabilidad de 0.2) se regresan para rehacerlos (probabilidad de 0.3) o pasan a la etapa siguiente (probabilidad de 0.5). a) Describir esta situacin como una cadena de Markov y establecer la matriz de transicin. b) Cul es el nmero esperado de pasos hacia la absorcin? (2.45 si empieza en E1, 1.43 si empieza en E2). c) Si en un lote se comienzan 100 partes, cul es el nmero esperado de partes buenas que pueden completar? (Solucin: 51 partes).

38. Uno de los aficionados a la cacera de patos solamente le dispara a un pato en cada ocasin independientemente de cuantos vuelen juntos. La probabilidad de un acierto es 0.2. El mximo nmero de patos cazados en un da es dos. Describir esta situacin como una cadena de Markov absorbente. Hallar el nmero esperado de disparos que debe hacer el cazador antes de lograr su limite. 39. En un proceso de produccin se realiza inspeccin secuencial y el lote se acepta si salen dos artculos seguidos dentro de los estndares de calidad, de lo contrario se rechaza. Si la probabilidad de que un artculo salga dentro de las normas de calidad es del 90%, se pregunta: a) La probabilidad de aceptar la produccin. (Solucin: 0.81) b) Nmero esperado de pasos entes de que el proceso sea absorbido, para cada uno de los estados absorbentes. 40. Se efecta una encuesta de mercadeo de tres marcas de alimentos , y de la que se ha extrado la siguiente informacin relativa a las preferencias de los consumidores por las distintas marcas. Se pregunta:

a) El comportamiento de estos productos en el mercado de futuros. b) El nmero esperado de pasos para que un cliente que posee ahora la marca X compre por primera vez la marca Y 41. Una compaa distribuidora de artculos para oficina vende adems de otros artculos, dos tipos de calculadora A y B, las cuales han de importarse. Todo pedido grande que reciba la distribuidora ha de ser pasado a la matriz en el extranjero, demorndose dos meses en la recepcin del mismo si la calculadora es de tipo A y solo un mes si la calculadora es de tipo B. Para hacer un nuevo pedido es necesario que se haya recibido el anterior, por lo cual, si se hace un pedido de calculadora A, habr que esperar dos meses para hacer un nuevo pedido, ya sea de A o de B. Los clientes de la distribuidora no aceptan que sus pedidos se encuentren en lnea de espera, optando en este caso por comprar otro tipo de calculadora a otra compaa diferente, temindose entonces que si se presentan simultneamente pedidos de A y B habr que elegir uno y rechazar otro. Si la probabilidad de que se presente un pedido de A es 1/6 y la de un pedido de B es de 1/4, qu pedido se debe elegir en caso de ser simultneos?. Considrese que un pedido de la A arroja una utilidad de $50.000, mientras la utilidad para un pedido de B es de $30.000. 42. Mediante el calculo de encuentre el vector de probabilidades limites en la cadena definida por la matriz:

43. Dada la cadena definida por la matriz:

Diga cul es el nmero esperado de pasos para que la cadena entre en el estado 1, sabiendo que se encuentra ahora en el estado 3.

44. En una oficina de representaciones hay tres agentes viajeros para visitar a los clientes. Las correras empiezan los lunes pero antes deben sostener una reunin conjunta. Solo pueden salir de viaje dos de los agentes, pues siempre debe permanecer uno en la oficina. Cuando un agente sale de correra, puede demorarse en ella exactamente una o mximo dos semanas con probabilidad 2/3 y 1/3 respectivamente. Al iniciar una correra siempre salen los dos agentes disponibles. Formule esta situacin como una cadena de Markov, encontrando la matriz de probabilidades de transicin en una etapa. 45. La tierra Oz de es en muchos aspectos una tierra bendita, pero no en lo que respecta al tiempo. Sus habitantes nunca gozan de dos das buenos seguidos. Si tienen un buen da, es tan probable que caiga nieve como que llueva al da siguiente. Si nieva (o llueve) hay igual probabilidad de que se mantenga el tiempo as al da siguiente. Si se produce algn cambio en das de nieve o lluvia, solo la mitad de las veces el cambio da origen a un tiempo bueno. Hoy es un buen da en la tierra Oz . Formular la presenta situacin como una cadena de Markov. 46. En una investigacin de mercados se realiz una encuesta sobre cuatro marcas de detergentes: Axin, Ajax, Inextra, Fab. Se han encuestado 1000 consumidores, los cuales cambian de marca segn la publicidad, promocin, precios o siguen fieles a la misma. Los resultados obtenidos se observan en la siguiente tabla:

Los ceros de la diagonal principal indican la capacidad que tiene cada marca para retener sus propios clientes. Las filas de la matriz nos representan las prdidas. Las columnas representan las ganancias.

a) Hallar la matriz de transicin, teniendo en cuenta que la probabilidad de que una marca retenga clientes es igual a nmero de clientes retenidos al fin del periodo dividido por el nmero de clientes al iniciar el perodo y la probabilidad de que una marca pierda clientes es igual al nmero de clientes cedidos al finalizar el perodo dividido por el nmero de clientes al iniciar el perodo. b) Hallar la participacin de las marcas en el mercado cuando n = 0, n = 1, n = 2. c) Hallar la participacin de las marcas en le estado estacionario, es decir en el mercado de futuros. 47. El 2 de Febrero de 1983 la Empresa Pepa, controlaba el 30% del mercado total, Fabri el 40% y Teji el 30%; de un estudio sobre mercadeo se obtuvieron los siguientes datos: Pepa retiene el 90% de sus clientes y gana el 5% de los clientes de Fabri y el 10% de los de Teji; Fabri retiene el 85% de sus clientes y gana el 5% de los de Pepa y el 7% de los de Teji; Teji retiene el 83% de sus clientes y gana el 5% de los de Pepa y el 10% de los de Fabri. Cul es la participacin de cada Empresa en el mercado al 2 de Febrero de 1986 (n = 2); y la participacin de cada Empresa en el estado de equilibrio. 48. Una mquina incorporada al proceso productivo del articulo X, se descompone muy peridicamente debido a lo delicado y excesivo del trabajo que le toca realizar. Al clasificar el estado en el que queda la mquina al finalizar la semana en cuatro posibilidades a saber: Estado 1: En perfectas condiciones de funcionamiento. Estado 2: Operable, pero produce artculos con ligeras fallas que se pueden enmendar a un costo relativamente bajo. Estado 3: Operable, pero produce muchos artculos desechables. Estado 4: Definitivamente mala, es decir, ya no se puede poner a operar. De datos histricos se ha obtenido la siguiente informacin: Si la mquina comienza la semana en el estado 1 existe una probabilidad de 14/16 de que termine en el estado 2; 1/16 de que termine la semana en el estado 3 y 1/16 de que termine en el estado 4. Si la mquina comienza la semana en el estado 2 existe una probabilidad de 6/8 de que termine la semana en ese mismo estado 2; 1/8 de que termine en el estado 3 y 1/8 de que termine en el estado 4. Por ultimo, si la mquina comienza la semana en el estado 3 existe igual probabilidad de que termine en ese mismo estado o en el estado 4. La empresa incurre en los siguientes costos de operacin de la mquina: Costos de Estado operacin 0 $0 1 $1000/semana 2 $3000/semana Adems la empresa incurre en unos costos adicionales de $2000 por la produccin que se deja de obtener y de $4000 en gastos de instalacin cada vez que se decida cambiar la mquina actual por una nueva. Bajo las anteriores consideraciones, y entre las siguientes alternativas: Cul es la mejor poltica de reemplazo para la empresa?

a) Remplazarla cada que la mquina entre al estado 2. b) Remplazarla cuando entre al estado 3. c) Remplazarla nicamente cuando entre al estado 4. Solucin: La b); $1.727/semana 49. Una aerolnea, con vuelo diario a las 7 a.m. entre las ciudades A y B, no desea que ste salga retrasado dos das consecutivos; de modo que si el vuelo sale retrasado un da cualquiera la aerolnea realiza esfuerzos especiales para que el vuelo salga a tiempo al da siguiente y logra este objetivo el 90% de las veces. Si el vuelo no sale con retraso, la aerolnea no hace ningn arreglo especial y al da siguiente el vuelo sale cumpliendo itinerario, de acuerdo con lo programado, el 60% de las veces. Qu porcentaje de vuelos salen con retraso? (Solucin: 30.77%) 50. El programa de entretenimiento para supervisor de produccin de cierta compaa tiene dos fases: La fase 1 consta de 3 semanas de estudio terico en el aula y la fase 2 consta tambin de 3 semanas de prctica bajo la direccin de supervisores veteranos. De experiencias anteriores se espera que el 60% de los que inician el estudio terico pasen a la fase de prctica y el 40% restante abandona el programa. De los que ya se encuentran en la fase de prctica el 70% logra graduarse, 10% debe repetir esta fase y el 20% restante abandona el programa. Cuntos nuevos supervisores graduados espera tener la compaa del actual programa de entrenamiento si hay 45 aspirantes en la fase terica y 21 ya se encuentran en la fase prctica? (Solucin: aproximadamente 37 nuevos supervisores).

51. Una costurera trabaja exclusivamente en una fase del proceso de produccin de una prenda de vestir. Demora exactamente hora para ejecutar su labor en una prenda. Cada hora pasa un mensajero para recoger las prendas que ya estn listas y dejarle, de paso, nuevas prendas para que la costurera les haga su labor. Las nuevas prendas por coser que el mensajero lleva en cada visita es aleatorio as: el 30% no lleva ninguna; el 50% de las veces lleva 1 y el 20% de las veces lleva 2 prendas. El mensajero tiene instrucciones de nunca dejar mas de tres prendas por coser a la costurera. Calcular el porcentaje de tiempo que esta costurera permanece ociosa (Solucin: 14.21%)

52. Una empresa dedicada a la administracin de Unidades Residenciales cuenta con el siguiente historial: Al clasificar las urbanizaciones administradas

por esta compaa en solo tres estados Buena Condicin, Condicin Promedia y Mala Condicin. Se dispone de las siguientes estadsticas: el 50% de las Unidades Residenciales que empiezan al ao en Buena Condicin terminan el ao tambin en Buena Condicin; el otro 50% se deteriora a una Condicin Promedio; de todas las urbanizaciones Unidades Residenciales que empiezan el ao en Condicin Promedio el 30% permanecen en este mismo estado y el otro 70% mejoran a Buena Condicin; y finalmente, de todas las Urbanizaciones administradas por esta empresa, y que empiezan el ao en Mala Condicin el 90% permanecen en este estado y el 10% mejoran a Buena Condicin. Si estas tendencias y circunstancias se mantuvieran hacia el futuro, a) determine la condicin esperada, a largo plazo de la Unidades Residenciales administradas por esta empresa. (Solucin: El 58.33% terminan en Buena Condicin, el 41.67% terminan en Condicin Promedio, ninguna terminan en Mala Condicin, b) Entonces es recomendable contratar los servicios de esta empresa? 53. Una empresa especializada en la produccin de jabones de tocador clasifica sus ventas en dos niveles: alto y bajo. Las ventas dependen de varios factores, entre los principales estn: ? Si se hace o no publicidad ? Si los competidores desarrollan y comercializan un nuevo producto. Este segundo factor est, obviamente, fuera de control de la compaa, pero, de todas maneras, la empresa est interesada en estableces la mejor poltica publicitaria. Se tienen los siguientes datos estadsticos y contables: La campaa publicitaria cuesta US $1.000.000; las utilidades, en promedio, han sido de US $4 millones si las ventas durante el trimestre han sido altas y de US $2 millones si son bajas, estas utilidades no incluyen los costos de la campaa publicitaria; los datos histricos indican que si se hace publicidad y las ventas durante un trimestre han sido altas al semestre siguiente tambin son altas con probabilidad y si fueron bajas al trimestre siguiente sern altas con probabilidad . Estas probabilidades se han disminuido a y a si no se hace publicidad. El gerente de Mercadeo ha recomendado que se haga publicidad si las ventas durante el presente trimestre son bajas y que no se haga publicidad si las ventas durante el presente trimestre, han sido altas. Cul es la mejor estrategia publicitaria si estos datos se conservaran en el futuro? (Solucin: No hacer publicidad ($ 2.333; 2.667.2) US millones. Seria interesante analizar la respuesta). 54. En la oficina de Admisiones y Registro de cierta universidad se ha obtenido la informacin necesaria para las siguientes estadsticas sobre un programa de Magster que dura tres niveles: el 70% de los estudiantes que ingresan al primer nivel pasan con xito al segundo nivel, el 10% lo tiene que repetir y el

20% restante se retira por diferentes motivos; de todos los estudiantes que pasan al segundo nivel, el 80% accede al tercer nivel, el 8% repite y el 12% restante sale del programa por bajo nivel acadmico o por otras razones; de todos los estudiantes que ingresan al tercer nivel el 90% se ha graduado, el 6% lo tiene que repetir, y el 4% restante no puede optar al titulo y los retiran por no cumplir las normas estipuladas. a) Cuntos alumnos lograran el titulo de Magster de un grupo de 100 aspirantes que se matricularon en el primer nivel? b) Si cada nivel dura un semestre, durante cuando aos se deber ofrecer este Magster si la regin y el pas necesitan, aproximadamente 500 especialistas en esta rea, sabiendo que esta universidad slo est en capacidad de recibir, como mximo, 50 alumnos nuevos cada semestre? (Solucin: 65 alumnos, aproximadamente 8 aos).

Es conveniente analizar los resultados, desde el punto de vista acadmicoadministrativo. 55. Un almacn de artculos electrodomsticos puede colocar pedidos de refrigeradores al inicio de cada mes y de entrega inmediata. Se tienen los siguientes datos contables: El hacer un pedido le cuesta al almacn US $100; el costo de almacenamiento mensual es de US $5 y se incurre, adems, en unos costos de penalizacin por agotamiento de existencias de US $150 por refrigerador y por mes si se presenta la demanda y no hay existencias para satisfacerla. De datos histricos se ha podido concluir que la demanda mensual de este producto es aleatoria y se comporta de acuerdo con la siguiente distribucin de probabilidades:

La poltica del almacn ha sido la de no mantener ms de dos refrigeradores en existencia durante cualquier mes. Establecer la mejor poltica de pedidos. (Soluciones: , si el inventario final del mes es de 0 unidades, [US $207.80; US $ 150.90]) 56. Considere un sistema de comunicaciones que transmite los dgitos 0 y 1. Cada dgito transmitido debe pasar a travs de varias etapas en cada una de las cuales hay una probabilidad p de que el dgito que entra no sea cambiado cuando sale. Sea Xn el dgito que entra a la primera etapa del sistema, y para n 1 sea Xn el dgito que sale en la n-sima etapa del sistema de comunicacin. Se pide:

a) Calcular la matriz de transicin b) Calcular la matriz de transicin en n etapas. c) Demostrar que la probabilidad de que un dgito transmitido como 1 efectivamente haya entrado como un 1 al sistema est dada por:

donde = Pr(X0 = 1) y = Pr(X0= 1) = 1 57. Una recepcionista puede encontrarse en uno de dos estados : Ociosa, limpindose las uas, o trabajando. Se supone que sus hbitos de trabajo pueden modelarse mediante una cadena de Markov de dos estados, y se han hecho observaciones cada cinco minutos para estimar las probabilidades de transicin. A continuacin se dan los datos de las primeras observaciones.

a) Encuentre los estimativos mximo verosmiles para los elementos de la matriz de transicin. b) Puede suponerse que el proceso observado es una realizacin de una cadena de Markov con la siguiente matriz de transicin ?