Universidad de San Carlos de Guatemala Facultad de Ingeniera Escuela de Mecnica Industrial Investigacin de Operaciones 2, A+ Ing.

Marco Vinicio Monzn

CADENAS DE MARKOV

Sal Santiago Sandoval Gonzlez. 2011-13834 Erick Alexander Velsquez de Len. 2011-13856 Jos Andrs Maldonado. 2011-13990 Mara Marcella Chvez Gutirrez. 2011-22840 Guatemala de la Asuncin, 11 de septiembre de 2013.

CADENAS DE MARKOV 2013

INTRODUCCIN
Las cadenas de Markov fueron creadas por el matemtico ruso Andrei Markov, las cuales se usan para estudiar ciertos comportamientos a largo y corto plazo de sistemas estocsticos. Cabe mencionar que un sistema estocstico son sucesiones de eventos gobernados por leyes probabilsticas que evolucionan a lo largo del tiempo en un conjunto de estados. Algunos ejemplos de sus aplicaciones es el anlisis de mercados, prediccin de ventas, reparto de mercaderas, mantenimiento de maquinaria, etc. y que puede ser aplicado en varios campos como la biologa, finanzas, astrologa, meteorologa y muchas ms. Las cadenas de Markov se utilizan, ms que todo, para hacer aproximaciones y previsiones de factores que puedan ser tiles en la gestin de una empresa, a pesar de no ser un mtodo exacto, sus resultados son tiles para hacer previsiones a largo plazo. En este documento se detalla brevemente lo que son cadenas de Markov, su definicin, aplicaciones y se muestra la manera de cmo se resuelven problemas utilizando este mtodo.

CADENAS DE MARKOV 2013

OBJETIVOS
General
Explicar que es una Cadena de Markov y como est estructurada.

Especficos
1. Conocer cmo debe estructurarse la matriz de transicin de una cadena de Markov. 2. Conocer los diferentes tipos de estado de una matriz 3. Conocer qu es un grafo asociado.

CADENAS DE MARKOV 2013

MARCO TERICO
CADENAS DE MARKOV
Las cadenas de Markov, reciben su nombre en honor al matemtico ruso Andrei Markov (creador de la Teora de los nmeros y de la Teora de las probabilidades), son herramientas que sirven para analizar el comportamiento de diferentes tipos de procesos estocsticos, los cuales son procesos en donde se representan todos y cada uno de los estados, una sucesin de observaciones. Estas cadenas representan un sistema que vara su estado a lo largo del tiempo, siendo cada cambio una transicin de dicho sistema. Solamente dependen del estado actual, nunca de los anteriores.

MATRIZ DE TRANSICIN
En el instante que se utilizan las cadenas de Markov es conveniente hacer uso de un sistema fsico de planteamento donde se presenten las probabilidades de transicin estacionarias. Se representa por medio de estados que ocurren en un lugar determinado que puede ir desde 1 hasta k eventos.

La matriz de transicin debe cumplir con ciertas restricciones para que funcione como una cadena de Markon, estas son: 1. La suma de las probabilidades debe ser igual a 1. 2. Las probabilidades de cada estado debe estar entre 0 y 1.

CADENAS DE MARKOV 2013

3. La matriz debe ser cuadrada. REPRESENTACIN GRFICA DE UNA MATRIZ DE TRANSICIN Es un arreglo sistemtico donde se representan las probabilidades de pasar de un estado a otro. Esto ayuda a tener una mejor visualizacin del panorama de la situacin y su comportamiento.

CADENAS DE MARKOV ABSORBENTES Una matriz absorbente tiene la siguiente forma:

x x

Q ceros

R I

CADENAS DE MARKOV 2013

Donde los estados X representan, estados transitorios y Y representa estados absorbentes. PROCESO ESTOCSTICO Es la relacin entre las variables aleatorias, es decir el proceso necesario de cierta cantidad de eventos para cumplir con objetivo. ESTADO TRANSITORIO Un estado transitorio es aquel que despus de haber entrado en este estado jams regresar a l. ESTADO RECURRENTE Estado donde despus de haber entrado a l el proceso definitivamente regresar al mismo.

EJEMPLOS
EJEMPLO 1 Cada familia norteamericana se puede clasificar como habitante de una zona urbana, rural o suburbana. Durante un ao determinado, el 15% de las familias urbanas se cambiaron a la zona suburbana y el 5% a la zona rural. El 6% de las familias suburbanas pasan a la zona urbana y el 4% a la rural, el 4% de las familias rurales pasan a la zona urbana y el 6% a la suburbana. Encontrar: a) La matriz de transicin. b) Realizar el grfico asociado. c) Cul es la probabilidad de que una familia rural en 3 aos viva en una zona urbana? d) La matriz estable.

CADENAS DE MARKOV 2013

SOLUCIN

a) La matriz de transicin para el orden

es:

b) Grfico asociado 0.8

E1

E2
0.9

0.04 0.06

E3
0.9

c) Probabilidad de que una familia rural en 3 aos viva en una zona urbana. ( )

CADENAS DE MARKOV 2013

La probabilidad de que una familia rural viva en una zona urbana en 3 aos es del 9.66%. d) Matriz estable ( )

EJEMPLO 2 En una poblacin de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos de un paquete diario y 2500 fuman ms de un paquete diario. En un mes hay un 5% de probabilidad de que un no fumador comience a fumar un paquete diario, o menos, y un 2% de que un no fumador pase a fumar ms de un paquete diario. Para los que fuman un paquete, o menos, hay un 10% de probabilidad de que dejen el tabaco, y un 10% de que pasen a fumar ms de un paquete diario. Entre los que fuman ms de un paquete, hay un 5% de probabilidad de que dejen el tabaco y un 10% de que pasen a fumar un paquete, o menos. Cuntos individuos habr de cada clase el prximo mes?

SOLUCIN NF = no fuman F1 = fuman uno o menos de un paquete diario F2 = fuman ms de un paquete diario

La matriz de transicin para el orden NF, F1 y F2 es:

CADENAS DE MARKOV 2013

( ( ) ( ) ) ( )

Despus de un mes habrn 5,025 individuos que no fuman, 2,500 que fuman uno o menos de un paquete diario y 2,475 que fuman ms de un paquete diario. EJEMPLO 3 La Universidad LA SAPIENZA di ROMA ha estudiado el comportamiento general de sus estudiantes a travs de datos recogidos en el departamento de admisiones y registro estudiantil y obtuvo los siguientes datos: A) 65% de los estudiantes de nuevo ingreso regresan al ao siguiente a realizar el segundo ao de ciclo bsico, 15% de segundo ao retornar como estudiante de nuevo ingreso y el resto desertar del Alma Mater. B) El 71% de los estudiantes de segundo ao volvern al ao siguiente como estudiantes de tercer ao de estudios ya en la profundizacin profesional, el 22% regresar a repetir segundo ao y el resto no regresar. C) El 83% de los estudiantes de tercer ao regresaran al ao siguiente como estudiantes de ltimo ao, 9% volver como estudiante de tercer ao y el resto no regresar. D) El 87% de los estudiantes de ltimo ao se graduarn, el 9% volver como estudiante de ltimo ao y el resto no regresar. Se desea conocer: a) Cunto tiempo se espera de estudiantes de primer y segundo ao para que puedan graduarse? b) Cul es la probabilidad de estudiantes de primer y segundo ao de graduarse? c) Cul es la probabilidad de un estudiante de tercer y ltimo ao de retirarse? SOLUCIN Ordenamos la matriz en forma cannica Q 0 R I

CADENAS DE MARKOV 2013

La cual quedara as: estados 1 2 3 P = 4 0 0 0 0 0 0 0 0.09 0.04 0 0 1 0 0.87 0 1 1 ao 2 ao 3 ao 4 0.15 0.65 0 0 0 0 Desertarn Graduarn 0.2 0.07 0 0 0

0.22 0.71 0 0

0.09 0.83 0.08

Desertarn 0 Graduarn 0

Ahora se restan las matrices I y Q

0.85 -0.65 0 0 (I Q) = 0 0 0 0

0.78 -0.71 0 0.91 -0.83 0 0.91

Ahora se calcula la matriz inversa: 1.176471 0.980392 0.764921 0.697676 (I Q) -1 = 0.000000 1.282051 1.000282 0.912345 0.000000 0.000000 1.098901 1.002294 0.000000 0.000000 0.000000 1.098901

CADENAS DE MARKOV 2013

Para encontrar la probabilidad de pasar a un estado absorbente se debe de multiplicar la matriz inversa por R Desertarn Graduarn 1 0.39302230 0.60697770 (I Q) -1 * R = 2 0.20625993 0.79374007 3 0.12800386 0.87199614 4 0.04395604 0.95604396

RESPUESTAS: a) Cunto tiempo se espera de estudiantes de primer y segundo ao para que puedan graduarse? R// Sumando la primera y segunda fila de la matriz inversa, se obtiene que los estudiante de primer ao debern esperar 3.6294 aos mientras que los estudiantes de segundo ao debern de esperar 3.1947 aos. b) Cul es la probabilidad de estudiantes de primer y segundo ao de graduarse? R// esta se obtiene de multiplicar la matriz inversa por R, y resulta que hay una probabilidad del 60.69% de que los estudiantes de primer aos se graden, mientras que con los estudiantes de segundo ao, esta aumenta hasta un 79.37% C) Cul es la probabilidad de un estudiante de tercer y ltimo ao de retirarse? R// hay una probabilidad del 4.39% de que se retire.

CADENAS DE MARKOV 2013

CONCLUSIONES
1. Una matriz de Markov debe tener probabilidades para poder construir los estados en los cuales uno depender del otro para que pueda tener la caracterstica de ser una matriz cuadrada. 2. Los tipos de estados que pueden encontrarse en una cadena de Markov son: Recurrente o final, absorbente o final especial y Transitorio. 3. Un grafo asociado es la representacin grfica de cmo estn representadas las probabilidades de un estado a otro estado.

CADENAS DE MARKOV 2013

RECOMENDACIONES
Cuando se construye una matriz debe verificarse que las filas cumplan con la sumatoria es igual a 1. Para aplicar cadenas de Markov a un problema asociado a estos debe tomarse en cuenta que cuente con parmetros de probabilidad en estados para poder construir la matriz Cuando se realizan las cadenas de Markov se debe conocer el concepto que un estado a futuro depender de un estado anterior.

CADENAS DE MARKOV 2013

FUENTES DE CONSULTA
Mtodos estadsticos en ciencias de la vida. Cadenas de Markov. [En lnea]. [Fecha de consulta: 10 de septiembre de 2013]. Disponible en: http://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadenas%20 de%20Markov-1.pdf Cadenas de Markov. . [En lnea]. [Fecha de consulta: 9 de septiembre de 2013]. Disponible en: http://halweb.uc3m.es/esp/Personal/personas/jmmarin/esp/PEst/tema4pe.p df VALENTINA, Mara. Cadenas de Markov de tiempo continuo y

aplicaciones. [En lnea]. [Fecha de consulta: 10 de septiembre de 2013]. Disponible en: http://www.cmat.edu.uy/cmat/biblioteca/documentos/copy_of_monografias/p dfs/valentina.pdf Cadenas de Markov, teora y ejemplos. [En lnea]. [Fecha de consulta: 9 de septiembre de 2013]. Disponible en: http://investigaciondeoperaciones2markov.blogspot.com/p/teoria-yejemplos.html