Universidad Nacional Experimental de Guayana Vicerrectorado Acadmico Proyecto de Carrera: Ing.

Industrial Ctedra Investigacin de Operaciones II

Teora de Markov

Profesor: R. Dambrosi

Elaborado por: -Casadiego Leandro v-19.543.800 -Snchez Jess v-16.760.902 -Amundarain Jos v-20.074.972 Seccin 2

Ciudad Guayana, Enero de 2013

Introduccin Nuestro mundo est lleno de Eventos que de una u otra forma afectan la vida diaria de todos los seres que lo habitan. Muchos de tales eventos son de tal importancia que se necesita determinar su ocurrencia en le tiempo, como el clima por ejemplo. Pero lograr esa tarea, es necesaria una herramienta idnea que cumpla con las demandas matemticas y de clculo para obtener resultados confiables. Es por ello que el siguiente trabajo se considera la teora de markov. Esta teora tiene distintas aplicaciones, como en los negocios, donde
las cadenas de Markov se han utilizado para analizar los patrones de compra, los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo

La cadena de Mrkov forma parte de la teora de la probabilidad y es a un tipo especial de proceso estocstico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen la facultad de usar el ltimo evento y esto condiciona las posibilidades de los eventos futuros.

Paro estudiar ms a fondo la teora de Markov, se proceder a analizar en detalle a las cadenas de Markov de parmetro discreto, definindose las probabilidades de transicin y de estado y las ecuaciones generales que rigen el comportamiento de esas cadenas, las que luego se aplican al estudio de las principales cadenas ergdicas y no ergdicas. Se sigue un esquema similar aplicado a las cadenas de Markov de parmetro continuo. Y por ltimo, se indican otras aplicaciones de las cadenas de Markov.

TEORA DE MARKOV Las cadenas de Markov comprenden un captulo particularmente importante de ciertos fenmenos aleatorios que afectan a sistemas de naturaleza dinmica y que se denominan procesos estocsticos. Deben su nombre a Andrei Andreivich Markov, matemtico ruso que postul el principio de que existen ciertos procesos cuyo estado futuro solo depende de su estado presente y es independiente de sus estados pasados. Dichos procesos, denominados proceso de Markov, as como un subconjunto de ellos llamados cadenas de Markov, constituyen una herramienta matemtica muy general y poderosa para el anlisis y tratamiento de un sin nmero de problemas de caracterstica aleatoria en campos de muy diversa ndole, como ser la fsica, la Ingeniera y La Economa por citar solo unos pocos. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Mrkov de las series de eventos independientes, como tirar una moneda al aire o un dado. Estos modelos muestran una estructura de dependencia simple, pero muy til en muchas aplicaciones. Para las matemticas se define como un proceso estadstico discreto que cumple con la propiedad de Mrkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la informacin relevante para describir en probabilidad su estado futuro. Una cadena de Mrkov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribucin de probabilidad condicional de Xn+1 en estados pasados es una funcin de Xn por s sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Mrkov. Cadenas de Markov homogneas de parmetro discreto En las cadenas de Markov homogneas, y se desarrollan las ecuaciones que rigen su comportamiento, las que luego se aplican al estudio del comportamiento de dichas cadenas en los regmenes transitorio y permanente.

Estudio de las probabilidades en las cadenas de Markov homogneas Probabilidad condicional de transicin La probabilidad condicional de transicin del estado i al estado j en un intervalo t: pij (t) en una cadena de Markov homognea de parmetro discreto es la probabilidad condicional de que el sistema se encuentre en estado j en el instante t+t, habindose encontrado en el estado i en el instante t, con t y t enteros. Matemticamente es:

El intervalo t = n = entero se denomina nmero de pasos o transiciones o avances de la cadena sobre el parmetro t. El conjunto de probabilidades de transicin pij (t),i,j denen la matriz de probabilidades de transicin P (t):

Probabilidad de transicin de 1 paso Es un caso particular de la (2.1) y representa la probabilidad condicional de transicin del estado i al estado j, en un intervalo t= 1.

Anlogamente el conjunto de probabilidades de transicin de 1 paso pij,i,j denen la matriz de probabilidades de transicin de 1 paso P:

Ejemplo 1

Si en la cadena de Markov descripta en la experiencia b) del ejemplo l.b se denominan: Estado 0 = no Estado 1 = si El grafo y la matriz de transicin de 1 paso son respectivamente:

Ejemplo 2 Si bien la experiencia a) del ejemplo l.b corresponde a 1 proceso de ensayos independientes, se lo puede tratar dentro de la teora de las cadenas de Markov, siendo sus estados, el grafo y la matriz de transicin de 1 paso las siguientes:

Estado 0 = no Estado 1 = si

Clasicacin de las cadenas de Markov Homognea Ergdicas Una cadena de Markov homognea es ergdica o irreductible cuando todos sus estados se comunican, es decir constituyen una nica clase comunicante recurrente. Las cadenas ergdicas pueden ser clasicadas en regulares y peridicas. (a) Cadenas regulares Una cadena ergdica es regular o aperidica cuando todos los estados pueden comunicarse simultneamente en una cantidad r de pasos; en estas condiciones la potencia r de la matriz P: Pr es una matriz con todos sus elementos no nulos. Un criterio para comprobar que una cadena es regular consiste en calcular las sucesivas potencias de P hasta encontrar un nmero r de pasos tal que la matriz Pr tiene todos sus elementos no nulos. Ejemplo 2.g Dada la siguiente cadena:

Todos sus elementos son no nulos, por lo tanto es una cadena ergdica regular. Como ejemplo: desde el estado 3 se puede acceder al mismo estado recin en 3 pasos. (b) Cadenas peridicas Una cadena ergdica es peridica cuando no se puede encontrar una potencia r de P para la cual todos los elementos de Pr sean no nulos; en estas condiciones las sucesivas potencias de la matriz Pr denotan un patrn peridico que permite asegurar siempre la presencia de al menos un cero en Pr. Ejemplo 2.h Dada la cadena siguiente:

No Ergdicas

Una cadena de Markov homognea es no ergdica o reducible o separable cuando no todos sus estados se comunican, en esas condiciones la cadena es separable en un conjunto de clases comunicantes y estados sin retorno. Ejemplo 2.i Dada la siguiente cadena:

Es separable en dos clases comunicantes recurrentes C1 = {0, 1} y C2 = {2, 3} Dentro de las cadenas no ergdicas merecen especial atencin dos tipos particulares de cadenas denominadas respectivamente cadenas absorbentes y cadenas cclicas. (a) Cadenas absorbentes Una cadena absorbente es una cadena no ergdica separable en

1 o varios estados absorbentes y 1 o varios estados no absorbentes, constituidos por clases comunicantes transitorias o estados sin retorno, desde los cuales se puede acceder a por lo menos un estado absorbente

(b) Cadenas cclicas Una cadena cclica es una cadena no ergdica en la cual el proceso pasa de un estado a otro cclicamente segn un cierto patrn de comportamiento. El ciclo es un camino cerrado entre estados de una clase recurrente. Para que una cadena sea cclica debe cumplirse que:

 tenga por lo menos un ciclo, y sea posible entrar en el ciclo Ejemplo 2.k Dada la siguiente cadena:

Es una cadena cclica separable en una clase comunicante transitoria C1={0} una clase comunicante recurrente C2={1, 2} , que forma un ciclo. Estudio del Comportamiento de las Cadenas Ergdicas en el Rgimen Permanente Se dene como rgimen permanente o estado estacionario de una cadena de Markov homognea a la situacin que el sistema alcanza luego de un periodo relativamente largo de tiempo. En dicho rgimen la cadena ya h a entrado en una condicin de equilibrio estocstico, lo cual signica que sus probabilidades de estado devienen estables en el tiempo. En cambio rgimen transitorio es la situacin en que el sistema se encuentra luego de un perodo relativamente corto de tiempo. En dicho rgimen la cadena no ha encontrado todava una condicin particular de equilibrio estocstico, es decir sus probabilidades de estado no son estables en el tiempo. Dentro de las cadenas ergdicas regulares y peridicas interesa estudiar especcamente sus comportamientos en el rgimen permanente, y sus conclusiones, segn se ha dicho ms arriba, son extensibles a las clases recurrentes de las cadenas no ergdicas.

Estudio del comportamiento de las cadenas no ergdicas Segn se ha dicho anteriormente, dentro de las cadenas no ergdicas merecen especial atencin las cadenas absorbentes y las cadenas cclicas.

Adems,

de

las

mismas

interesa

fundamentalmente

estudiar

su

comportamiento en el rgimen transitorio, pues en el permanente queda caracterizado por el estudio del comportamiento de sus clases recurrentes como cadenas ergdicas independientes. Estudio del comportamiento de las cadenas absorbentes. Una cadena absorbente es una cadena no ergdica separable en:
Uno o varios estados absorbentes (estados con probabilidad nula de ser

abandonados, por lo tanto cuando son alcanzados por el proceso, este se detiene denitivamente o se detiene para luego comenzar desde otro estado), y
uno

o varios estados no absorbentes constituidos por clases

comunicantes transitorias o estados sin retorno, desde cada una de las cuales se puede acceder a por lo menos un estado absorbente. Ejemplos de cadenas absorbentes se pueden encontrar en mltiples procesos de la realidad. Uno de los ms ilustrativos lo constituyen los procesos de inspeccin como el del siguiente problema. Ejemplo 2.n Se tiene que inspeccionar una muestra de tres piezas hasta encontrar una pieza que sea mala, con probabilidad p, o las tres piezas buenas. Se tienen los siguientes estados:

Se puede observar la presencia de cuatro estados absorbentes: 1, 3, 5 y 6 y das tres estados sin retorno: 0, 2 y 4. En las cadenas absorbentes es de inters conocer: (a) el nmero esperado de veces que el proceso pasa por cada estado no absorbente antes de ser absorbido (b) el nmero esperado de transiciones que el proceso tarda en ser absorbido (c) la probabilidad de absorcin por cada estado absorbente Para realizar estos anlisis se opera con la matriz de transicin P, pero reagrupada en cuatro submatrices, constituyendo lo que se conoce cono forma canonca o estndar. Para un proceso de a estados absorbentes y n estados no absorbentes, dicha forma es:

En donde son:

I(axa): matriz identidad; cada elemento representa la probabilidad de permanecer en un estado absorbente en un paso 0(axn): matriz nula; cada elemento representa la probabilidad de pasar de un estado absorbente a uno no absorbente en un paso A(nxa): matriz de estados absorbentes; cada elemento representa la probabilidad de ser absorbido (pasar de un estado no absorbente a uno absorbente) en un paso

N(nxn): matriz de estados no absorbentes; cada elemento representa la probabilidad de no ser absorbido (pasar de un estado no absorbente a otro no absorbente) en un paso

 Estudio del comportamiento de las cadenas cclicas Una cadena cclica es una cadena en la cual el proceso pasa de un estado a otro cclicamente segn un cierto patrn de comportamiento, cumplindose las condiciones:
tiene por lo menos un ciclo (camino cerrado entre estados de una clase

comunicante recurrente), es posible entrar en el ciclo. En el rgimen transitorio (corto plazo) se puede determinar el nmero de intentos promedio que se realizan para alcanzar el ciclo. Este clculo se puede hacer suponiendo que el ciclo es un estado absorbente.

Cadenas de markov homogneas de parmetro continuo A continuacin un desarrollo anlogo al de las cadenas de parmetro discreto deniendose primero las probabilidades condicionales de transicin e incondicionales de estado, y estudindose luego el comportamiento de las cadenas regulares en el rgimen permanente. Estudio de las probabilidades en las cadenas de Markov homogneas Probabilidad condicional de transicin La probabilidad condicional de transicin es:

El siguiente es un ejemplo de matriz de probabilidades condicionales de transicin correspondiente a una cadena de Markov homognea de parmetro continuo con dos estados: 0 y 1.

Tasas o intensidades de transicin

Al estudiar el comportamiento de una Cadena de Markov homognea de parmetro continuo, es necesario trabajar con probabilidades de transicin entre instantes de tiempo muy prximos. Esta situacin conduce, a probabilidades de transicin que tienden a cero, es decir que cuando t 0 Pij (t) 0. Para solucionar el inconveniente de tener que trabajar con probabilidades Pij (t) diferenciales, se introduce el concepto de la derivada de la probabilidad de transicin entre dos estados i y j distintos en t = 0. Esta nueva magnitud, llamada tasa o intensidad de transicin, expresa la variacin de la probabilidad de transicin entre estados diferentes de la cadena en un intervalo t pequeo, referida a un t unitario (por el concepto de derivada). Estudio del regulares comportamiento de las cadenas en el rgimen permanente En forma anloga al caso discreto, el rgimen permanente o estado estacionario de una cadena de Markov homognea de parmetro continuo se obtiene tendiendo el parmetro t , y si la cadena es regular se cumple tambin que el lmite de la matriz de probabilidades de transicin P(t) con t es regular con todas las las iguales e independientes del tiempo:

Aplicaciones Fsica Las cadenas de Markov son usadas en muchos problemas de la termodinmica y la fsica estadstica. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo.

La cadena de Ehrenfest, llamada as en honor al fsico y matemtico austriaco Paul Ehrenfest, es una Cadena de Markov en tiempo discreto usada para modelar el intercambio de molculas de gas entre dos urnas. Supongamos que tenemos dos urnas, y . En ellas estn

distribuidas d bolas numeradas; en cada paso, se elige un nmero al azar entre {1,2,...,d}. A continuacin se observa en qu urna est la bola con el nmero elegido y se cambia de urna. Modelo Sea la urna la variable aleatoria que denota el nmero de bolas contenidas en al tiempo n. El espacio de estados ser entonces E={0,1,2,...,d} y la

matriz de transicin estar dada por:

Propiedades Para la cadena de Ehrenfest:

La cadena es irreducible. Todos sus estados son recurrentes. La cadena es positivo-recurrente (pues todos sus estados lo son). La cadena tiene un nico vector de probabilidad invariante para su matriz de transicin y esta dado por:

Meteorologa Si consideramos el clima de una regin a travs de distintos das, es claro que el estado actual solo depende del ltimo estado y no de toda la historia en

s, de modo que se pueden usar cadenas de Markov para formular modelos climatolgicos bsicos.

Modelos epidemiolgicos Una importante aplicacin de las cadenas de Markov se encuentra en el proceso Galton-Watson. ste es un proceso de ramificacin que se puede usar, entre otras cosas, para modelar el desarrollo de una epidemia (vase modelaje matemtico de epidemias). El modelaje matemtico de epidemias consiste en el uso del lenguaje y herramientas matemticas para explicar y predecir el comportamiento de agentes infecciosos y potencialmente dainos a poblaciones humanas o animales. Internet El pagerank de una pgina web (usado por Google en sus motores de bsqueda) se define a travs de una cadena de Markov, donde la posicin que tendr una pgina en el buscador ser determinada por su peso en la distribucin estacionaria de la cadena. PageRank es una marca registrada y patentada1 por Google el 9 de enero de 1999 que ampara una familia de algoritmos utilizados para asignar de forma numrica la relevancia de los documentos (o pginas web) indexados por un motor de bsqueda. Sus propiedades son muy discutidas por los expertos en optimizacin de motores de bsqueda. El sistema PageRank era utilizado por el popular motor de bsqueda Google para ayudarle a determinar la importancia o relevancia de una pgina. Fue desarrollado por los fundadores de Google, Larry Page y Sergey Brin, en la Universidad de Stanford. Simulacin Las cadenas de Markov son utilizadas para proveer una solucin analtica a ciertos problemas de simulacin tales como el Modelo M/M/1. Juegos de azar

Son muchos los juegos de azar que se pueden modelar a travs de una cadena de Markov. El modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las cadenas de Markov en este rubro. Economa y Finanzas Las cadenas de Markov se pueden utilizar en modelos simples de valuacin de opciones para determinar cundo existe oportunidad de arbitraje, as como en el modelo de colapsos de una bolsa de valores o para determinar la volatilidad de precios. En los negocios, las cadenas de Mrkov se han utilizado para analizar los patrones de compra de los deudores, para planear las necesidades de personal y para analizar el reemplazo de equipo. Ejemplos realistas de actividades de arbitraje que se dan en el mundo real son los siguientes: Suponga que los tipos de cambio (despus de considerar los costos de transaccin) en Londres son 5 = $10 = 1000, pero en Tokio son 1000 = $12 = 6. Un inversionista podra convertir 1000 a $12 en Tokio y convertir esos $12 a 1200 en Londres, para lograr as una utilidad de 200, instantnea y libre de riesgo. Este tipo de arbitraje, conocido como arbitraje de tringulo es tan simple que rara vez sucede.

Msica Diversos algoritmos de composicin musical usan cadenas de Markov, por ejemplo el software Csound o Max. Csound es un lenguaje de programacin de computadores orientado a crear, editar, analizar y componer msica y sonido. Recibe ese nombre porque su compilador est programado en lenguaje C. Est estructurado en forma de instrumentos en un fichero de orquesta, especificados mediante operadores de sntesis y procesamiento del sonido. Estos instrumentos son activados y controlados desde un fichero de partitura. Para realizar su funcin, ambos

ficheros (orquesta y partitura) son procesados por el compilador de Csound, obteniendo un sonido como resultado de las instrucciones programadas. Funciona correctamente en mquinas pequeas y lentas, aunque si se ejecuta en equipos ms potentes, es posible utilizarlo en tiempo real, crear interfaces grficas de usuario, y conectarlo a otros sistemas va drivers, MIDI o red. Csound es un software libre basado en cdigo abierto, con licencia LGPL, totalmente modular y ampliable por el usuario. Csound est relacionado con el lenguaje para audio estructurado de MPEG-4, SAOL.

Ejemplo Tal vez uno de los programas ms sencillos que pueden escribirse en

Csound, es la generacin de un tono sinusoidal. Aunque Csound dispone ya de un formato de entrada de cdigo compacta, mediante el formato csd que ana instrumentos y control en un fichero nico, la forma clsica de programar en Csound es a mediante dos archivos de texto. Uno que defina la orquesta (orc) y otro que describa la partitura (sco). El programa que define la orquesta (en este caso de un slo instrumento, identificado como el nmero 1), podra ser as (lo que sigue a un carcter ";" es un comentario y, por tanto, no se ejecuta):

instr 1 iamplitud = 10000 ifrecuencia = p4 (parmetro 4) itabla = 101 out a1 endin

; instrumento 1 ; amplitud constante = 10000 ; frecuencia controlada desde la partitura ; nmero de tabla constante = 101

a1 oscil iamplitud, ifrecuencia, itabla ; final de instrumento 1

Por otra parte, hace falta una partitura que active y controle la actuacin del instrumento 1 creado en el archivo de orquesta. All se dejaba sin dar valor concreto a la frecuencia, controlada con la variable 'p4' (parmetro 4). Ahora,

en la llamada a la ejecucin del instrumento, el parmetro n 4, dar precisamente el valor de frecuencia que se elija.

f 101

4096

10

; tabla que contiene un ciclo de

onda sinuosidal ;instr inicio duracin frecuencia ; p1 i 1 i 1 i 1 e p2 0 + + p3 4 2 1 p4 440 880 1760

; fin de la partitura

Dependiendo de la configuracin con la que se ejecute Csound, este programa puede crear un archivo sonoro en el disco del computador o enviarse a su tarjeta de sonido para ser escuchado.

Conclusiones Una cadena de Markov es una sucesin de ensayos similares u observaciones en la cual cada ensayo tiene el mismo nmero finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende slo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo. O tambin se puede decir que son una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. Para la investigacin de operaciones las cadenas de Markov se da suma importancia por la ayuda que brindan en el uso de los pronsticos, los cuales permitirn hacer predicciones de lo que puede suceder o esperar. Plantean las premisas o suposiciones bsicas en que se basan la planeacin y que dan base a la toma de decisiones. Desde que existe la teora ha sido usado bajo dos enfoques: 1) temporal, en el cual se analiza el tiempo promedio que transcurre para que un estado cambie a otro: por ejemplo, se ha usado para calcular el tiempo de sucesin entre estados ecolgicos el tiempo que transcurre entre aos de alta pesca comercial; 2) espacial, el cual estima la distancia para volver a ver la abundancia de una especie o la riqueza especfica de una localidad. Sin embargo, la potencialidad de estos anlisis no se restringe a estos dos enfoques, ya que puede ser usado en todo fenmeno del cual se tengan datos regulares del comportamiento de un sistema. Por ltimo, se debe mencionar que el campo de aplicaciones de las cadenas de Markov es extenso, por lo cual es de suma importancia para la ingeniera.

Bibliografa Rojo, Horacio y Miranda, Miguel. Investigacin Operativa: Cadenas de Markov. Facultad de Ingenieria de la Universidad de Buenos Aires, 2009. http://www.CadenadeMarkov/Wikipedialaenciclopedia libre.org

http://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadena http://www.itescam.edu.mx/principal/sylabus/fpdb/recursos/r55112.PDF http://investigaciondeoperaciones2markov.blogspot.com/p/teoria-yejemplos.html