INVESTIGACION DE OPERACIONES CADENAS DE MARKOV

Las llamadas Cadenas o Procesos de Markov son subconjunto del concepto conocido como Procesos Estocsticos; antes de iniciar entonces con las Cadenas de Markov revisemos la definicin de los procesos estocsticos. De acuerdo a Sheldon M. Ross en la pgina 75 de su libro Introduction to Probability Theory, un Proceso Estocstico es un Conjunto de variables aleatorias que describen la evolucin a travs del tiempo de un proceso (sistema) Tres elementos importantes destacan en esta definicin: Sistema: Conjunto de elementos interrelacionados entre s que tienen un objetivo en comn. Es claro que los Sistemas no son estticos, pues a travs de interacciones entre sus elementos se mueven hacia el logro del objetivo compartido. Supongamos el Sistema de Inscripciones de la Facultad: Los elementos que participan entre s son: Estudiantes, Docentes/Asesores, Administracin, Sistemas de Cmputo, etc. Observado este sistema a travs del tiempo, nos damos cuenta que sufre cambios, entre otras formas, por el nmero de estudiantes ya inscritos, la cantidad de alumnos por grupo, etc. Es decir. A las 8:00 AM hay menos alumnos inscritos que a las 10:00 AM. Cul es el objetivo que tiene este Sistema ? A cada una de las diferentes maneras en que podemos encontrar un sistema le llamaremos estado del sistema. As, para el ejemplo de las inscripciones, el sistema tiene un total de n+1 estados (0,1,2, ... n-1, n) donde n es el nmero total de estudiantes de la facultad. De lo anterior se desprende que el conjunto de estados posible que un Sistema tiene es un conjunto que bien puede ser finito o infinito. Actividad 1: Dar 3 ejemplos de sistemas indicando en cada uno de ellos cules son los elementos que participan, el objetivo u objetivos que comparten, as como la descripcin de los estados del sistema.

Ing. Oscar Recio Cant

22-Mayo-2003

Aleatorias: Implica que los procesos a analizar o estudiar no son procesos determinsticos. Para la definicin que nos ocupa, significa que el movimiento que los sistemas sufren son explicados por procesos aleatorios. Ejemplos de esta situacin son los siguientes: La llegada de los autos a un negocio de lavado de carros, la decisin de compra de algn producto entre varias alternativas, el tiempo que una maquinaria permanece funcionando adecuadamente, etc. Actividad 2: Explique el motivo por el que los casos mencionados tienen la caracterstica de aleatorios. De 3 ejemplos mas que contengan esa misma caracterstica. Tiempo: Esta es la variable independiente dentro de los Procesos Estocsticos. Esta variable puede ser continua o discreta. Actividad 3: Utilizando los 3 ejemplos de sistemas dados en la actividad 1, indique la unidad de tiempo que Usted usara y especifique si es continua o discreta. En base a la explicacin anterior podemos concluir que un proceso estocstico es un proceso probabilstico que nos explica la manera en que un sistema cambia con el tiempo. Actividad 4: Parafrasear de otra manera diferente la definicin de un Proceso Estocstico dada por Sheldon M. Ross. Refirindonos de nuevo a Ross, en la pgina 73 del mismo libro establece que un proceso estocstico { X(t), t E T } es una coleccin de variables aleatorias. t es interpretado como tiempo y X(t) es llamado el estado del proceso (sistema) en el tiempo t. Dado que una Cadena de Markov es un tipo de Proceso Estocstico y conociendo la definicin de este ltimo, vamos ahora a definir una Cadena de Markov. Un Proceso o Cadena de Markov es un Proceso Estocstico donde suponiendo que el sistema est en el estado i en el tiempo t, es decir X(t) = i, existe una probabilidad fija

P{X(t+1) = j | X(t) = i, X(t-1) = in-1, ... X(1) = i1, X(0) = i0} = pi,j
de que en el tiempo t+1 el sistema se encuentre en el estado j.

Ing. Oscar Recio Cant

22-Mayo-2003

Existen 4 tipos de Cadenas de Markov en funcin de las opciones de tiempo discreto o continuo y conjunto de estados finito o infinito. Iniciaremos estudiando las Cadenas de Markov de tiempo discreto y conjunto de estados finito. Concretando: Una Cadena de Markov es una coleccin de variables aleatorias traducidas en pi,j que explica cmo el sistema cambia del estado i al j en una unidad de tiempo. Dicha probabilidad es fija e independiente de cmo se lleg al estado i. A las pi,j se les llama: Probabilidades de Transicin. Al tiempo se le conoce como Transicin. Hagamos un primer ejercicio sencillo. De acuerdo a un estudio del mercado de llantas para camiones de carga mineros, se concluye que, de las dos marcas que hay, el 80% de los clientes de la Marca A son fieles a ella en su siguiente compra, mientras el 70% de los clientes de la Marca B son fieles a ella en su siguiente compra. Paso 1) Es esta situacin un Proceso Estocstico ??? Si. Considerando el mercado como un sistema, es evidente que la compra(Marca A o B) cambia con el tiempo (unidad de 1 compra, de acuerdo a los datos). Este cambio se explica por unas variables aleatorias de las cuales slo conocemos su producto (0.8 y 0.7) Paso 2) Es este proceso estocstico, una Cadena de Markov ??? Para responder a esta pregunta, debemos obtener tres datos: a) Estados del Sistema, b) Transicin y, c) Probabilidades de Transicin. Paso 3) Estados del Sistema: Pueden ser identificados respondiendo a la pregunta de Si pudiramos tomar una fotografa al Sistema, cules seran las maneras diferentes en que lo encontraremos ??? Para el ejercicio que nos ocupa, es claro que slo podemos tener al sistema como Marca A Marca B de acuerdo a la informacin que se nos proporciona. Cierto es

Ing. Oscar Recio Cant

22-Mayo-2003

que en la realidad pudiramos hacer una clasificacin mas detallada de los modelos y hablar as de una ms extensa clasificacin. Por tanto, dada la informacin con la que contamos, los estados del sistema son: Estado 0 Estado 1 Paso 4) Unidad de Tiempo. Considerando el texto de la situacin planteada, es de nuevo evidente que una compra es la unidad de tiempo a considerar. Para identificar la unidad de tiempo en una cadena de Markov es til preguntarse: Cul es la mnima unidad de tiempo que, de acuerdo a la situacin, es necesario que transcurra para que haya un cambio en el Sistema? Paso 5) Teniendo identificados los estados del sistema (tradicionalmente un nmero finito de ellos) as como la unidad de tiempo, llamada tambin transicin, procedemos al clculo de las probabilidades de transicin. Para nuestro ejemplo, sabemos que los Estados son 0 (Marca A) y 1 (Marca B) y que la unidad de tiempo es una compra. Basados en el texto del ejercicio concluimos que = = Cliente con llantas Marca A. Cliente con llantas Marca B.

p0,0 p1,0

= =

0.8 0.3

p0,1 p1,1

= =

0.2 0.7

De acuerdo a la informacin proporcionada, estas probabilidades se supondrn fijas, es decir, dentro de 20 das la probabilidad de que llueva si ayer llovi, seguir siendo 0.8 Tambin puede observarse que los valores de las probabilidades son independientes de cmo fue que se lleg al estado inicial. Esto significa que hay una probabilidad de 0.8 de que vuelva a comprar A independientemente de las compras hechas con anterioridad. Con esto, terminamos el modelado de la Cadena de Markov. Dada la naturaleza de las probabilidades de transicin, stas se organizan en un arreglo matricial llamado Matriz de Probabilidades de Transicin y denotado por P

Ing. Oscar Recio Cant

22-Mayo-2003

"0.8 0.2% P =$ ' #0.3 0.7&

Actividad 5: Reflexione un momento sobre las suposiciones que hemos hecho al construir este modelo. Escriba sus conclusiones. Nuestro inters en este curso es el de la obtencin de informacin para la mejor toma de decisiones. En el caso de las Cadenas de Markov, usaremos cuatro herramientas de anlisis que nos proveern de informacin sobre las Cadenas. Las cuatro herramientas, son las siguientes: Ecuaciones de Chapman Kolmogorov. Utilizadas para pronosticar el comportamiento de la Cadena en corto plazo. Estas ecuaciones se expresan como:

m +n

=i "P
m

Esta expresin se lee: Las condiciones del sistema en el tiempo m+n se obtienen multiplicando las condiciones del sistema en el tiempo m por la matriz de probabilidades de transicin elevada a la potencia n. Las condiciones del sistema se expresan en forma de vector y sus elementos pueden significar: Nmero de elementos en cada estado, Proporcin de elementos en cada estado Probabilidad de cada estado. Actividad 6: Suponga que, en promedio, los clientes cambian las llantas cada 2 aos y que actualmente la Marca A tiene el 60% del mercado. Cmo estar distribuido el mercado dentro de 4 aos, dentro de 6 aos?. En el ao 4, observamos que 100 personas tienen llantas marca A y 80 marca B, Cuntas personas tendrn cada marca dentro de 4 aos?, 6 aos?. Actividad 7: Eleve la Matriz de Probabilidades de transicin a la potencia 2, 4, 8, 16, 32, etc y observe su comportamiento. Escriba su interpretacin de los resultados. Como podrs observar de la actividad anterior, los renglones de la matriz tienden a ser iguales; es decir, la probabilidad de que en n transiciones el sistema llegue al estado j es independiente del estado inicial pues los valores en la columna j son iguales independiente del rengln.

Ing. Oscar Recio Cant

22-Mayo-2003

A esta condicin se le llama Estabilidad independiente del estado inicial . En el ejemplo del mercado de llantas, la matriz llamada Lmite (Tendencia de P al elevarla a una potencia grande) es:

#0.6 0.4& P =% ( $0.6 0.4'

"
Estos valores significan: a) b) c) Que, en el largo plazo, hay una probabilidad de 0.6 de que una persona tenga llantas marca A y 0.4 de que tenga marca B. Que, en el largo plazo, 60% de las llantas sern marca A (60% del mercado) y 40% sern marca B; y, Que el 60% del tiempo, una persona tendr llantas marca A y 40% del tiempo marca B.

A los elementos de la matriz Lmite se le conocen como las Probabilidades Lmites o Probabilidades del Estado Estable y se denominan j (ledo pi sub j). Estas son la segunda herramienta de anlisis de una Cadena de Markov. Otra forma para calcular estas probabilidades se basa en el siguiente sistema de ecuaciones.

"P = " #" =1

j j
La tercera herramienta de anlisis es similar a la anterior con la diferencia de que aplica para sistemas con Estabilidad dependiente del estado inicial. Actividad 8: Infiere la tendencia en la estructura de la matriz P elevada a una alta potencia para sistemas Estables dependientes. Escribe tus conclusiones. A manera de ejemplo, analicemos la siguiente cadena de Markov.

Ing. Oscar Recio Cant

22-Mayo-2003

El significado de sus elementos es: a) b) c) d) e)

"0.7 0.1 0.2% $ ' P =$ 0 1 0' $ 0 1' #0 &

Hay una probabilidad de 0.7 de que el Sistema, estando en el estado 0, contine en el mismo despus de una transicin. Hay una probabilidad de que el Sistema se mueva del estado 0 al estado 1 en un tiempo, Existe un 0.2 de probabilidad de que del estado 0 se mueva al estado 2. Llegando al estado 1, existe la seguridad de que el sistema permanecer en l el resto del tiempo. Igual ocurre con el estado 2; existe la seguridad de permanecer en l una vez que se llega.

Por esta caracterstica, a los estados 1 y 2 se les llama estados absorbentes.. Al estado 0 se le conoce como estado transiente. (transitorio). Con estos antecedentes y nomenclaturas, pasemos ahora a analizar el efecto de elevar esta cadena a una alta potencia. Al hacerlo, obtendremos la siguiente matriz Lmite. (te dejo el ejercicio de comprobar este resultado).

#0 0.33 0.67& % ( P = %0 1 0 ( % ( 0 0 1 $ '

"
Como llega una potencia en que la matriz ya no cambia, se dice que el Sistema se estabiliza y como la matriz tiene renglones diferentes, s depende el estado inicial para determinar la probabilidad del estado final. Por tanto, al Sistema se le conoce como
Ing. Oscar Recio Cant 22-Mayo-2003 7

Estable dependiente y a sus elementos se les llama probabilidades lmites o del estado estable y se les denota por pi,j (ledo p prima sub i ,j). Sus significados son: a) b) Probabilidad de que el sistema, iniciando en el estado i alcance eventualmente el estado j; y Proporcin de elementos del sistema que del estado i irn eventualmente al estado j.

Una manera de calcular estas probabilidades es elevando la matriz P sucesivamente a la potencia 2, 4, 8, 16, 32, etc. Hasta que no se observe cambio en los valores de ella. La otra manera es a travs de la siguiente expresin:

p'i, j = pi, j + # pi,k p'k , j

k" j
La ltima herramienta de anlisis es conocida como Tiempos de primera pasada, se les denota como i,j (ledo como miu sub i j) y significa el nmero promedio de transiciones para ir del estado i al estado j por primera vez. La frmula para el clculo de esta herramienta es la siguiente:

=1+ # p
i,j k" j i ,k
Lo relevante del tema de las Cadenas de Markov se resume en: 1) 2)

k,j

Construir el modelo matemtico (Matriz P). Obtener informacin del sistema a travs de las herramientas de anlisis: a. Ecuaciones de Chapman Kolmogorv b. Probabilidades Lmites ( y p) c. Tiempos de primera pasada ()

De ah que sea importante entender estas herramientas en cuanto a su significado y mecanismo de clculo.

Ing. Oscar Recio Cant

22-Mayo-2003