Análisis de Markov

Cuál es el fundamento matemático de ese método?

El análisis de Markov es un procedimiento que se utilizar para describir el comportamiento de un sistema

en una situación donde confluyen varias variables, prediciendo los movimientos del sistema entre
diferentes posibles estados en un tiempo determinado. El análisis Markoviano o proceso de Markov está
formado por un conjunto de objetos y un conjunto de estados. Si el número de estados es contable tal
proceso de Markov se denomina Cadena de Markov.

Una cadena de Markov es una secuencia de n experimentos en la que cada experimento consta de m
resultados o estados posibles E1, E2,… En y la probabilidad de que ocurra un resultado particular depende
únicamente de la probabilidad del resultado del experimento anterior. La probabilidad de transición p ij es
la probabilidad de que el experimento pase del estado Ei al estado Ei . Así, p ij es una probabilidad
condicional que se puede expresar como pij= P Ei /Ej ;1 i ,j m.. Si los índices i, j de pij
representan el número de renglón y el número de columna, respectivamente, entonces las probabilidades
de transición se pueden colocar en una matriz P de probabilidades de transición, cuyos elementos son no
negativos y menores o iguales a 1.

Cualquier renglón suma 1, y representa la probabilidad de pasar de una estado a otro. (1)

Cuáles son sus principales campos de uso

Las predicciones en base al análisis de Markov son de suma importancia para el manejo de sistemas y
procesos en todo tipo de organizaciones, pudiendo ser utilizada para ayuda en la toma de decisiones con
respecto al movimiento de personal, inventarios, comportamiento de clientes, etc
c) Un ejemplo de aplicación

El fabricante de dentífrico Brillo controla actualmente 60% del mercado de una ciudad. Datos del año
anterior muestran que :el 88% de consumidores de Brillo continúan utilizándola, mientras que el 12% de los
usuarios de Brillo cambiaron a otras marcas. El 85% de los usuarios de la competencia permanecieron leales
a estas otras marcas, mientras que el 15% cambió a Brillo. Definir la matriz de transición y el vector inicial de
distribución.

Desarrollo

Se considera como estado 1 al consumo de dentífrico Brillo y al estado 2 como el consumo de una marca
de la competencia. Entonces,

p11 , probabilidad de que un consumidor de Brillo permanezca leal a Brillo, es 0.88.

p12 , la probabilidad de que un consumidor de brillo cambie a otra marca, es de 0.12

p21 , probabilidad de que el consumidor de otra marca cambie a brillo, es de 0.15

p22 , probabilidad de que un consumidor permanezca leal a la competencia, es de 0.85

La matriz de transición es: (■(0.88&0.12@0.15&0.85))

El vector inicial de distribución de probabilidad es X^((O) 0.60,0.40 donde los

componentes p_1^((0) y p_2^((0) representan las
proporciones de personas inicialmente en los estados 1 y 2, respectivamente. (1)
 Saltar al contenido
 Saltar a la navegación principal
 Saltar a la primera columna
 Saltar a la segunda columna

CURSOS EDGAR CARRERA




buscar...

Procesos de Markov
Métodos Cuantitativos

PROCESOS DE MARKOV

 Los modelos de procesos de Markov, también se llaman procesos markovianos

Usos de los procesos de Markov

 Operativilidad de maquinaria

– Una máquina que funcione en el siguiente periodo.

 Fidelidad del consumidor

– Que la clientela permanezca o cambie de proveedor

 Análisis de cuentas por cobrar

 Cambio de estados en los negocios.

Markov y la Toma de Decisiones

 En situaciones que impliquen una secuencia de ensayos con una cantidad finita de estados posibles en cada
ensayo.
 Situaciones de competencia por adquisición de clientela o permanencia en el mercado.
 Situaciones de estados absorbentes como en las cuentas por cobrar las cuentas incobrables.
 En eventos donde la información se considera al azar o que pertenece a “estados de suerte”

Markov Proporciona

 Información acerca de la probabilidad de cada estado después de una gran cantidad de transiciones o
periodos.
 Probabilidades a lo largo del tiempo o el estado en el que terminarán los acontecimientos.
 Idea del camino a tomar para alcanzar objetivos y metas.

DEFINICIONES IMPORTANTES

 Estados del proceso, también llamados Ensayos, son eventos que desencadenan transiciones del sistema de
un estado a otro.
 Estado del Sistema: Condición del sistema en cualquier ensayo o periodo particular
 Probabilidad de Transición: Es la probabilidad de que el sistema pase al estado siguiente.
 Probabilidad de Estado: Probabilidad de que el sistema se encuentre en un estado determinado.
 Probabilidad de Estado Estable: La probabilidad de que el sistema termine en alguna estado en particular
después de un gran numero de transiciones.
 Estado Absorbente: Cuando no hay posibilidad de salir de ese estado, si ha alcanzado ese estado allí
permanecerá.
 •Matriz Fundamental: Tabla de probabilidades asociadas con los estados y sus transiciones en un proceso de
Markov.

Agregalo como Favorito

Compartir
Enviar email
Hits: 2531

Comentarios (32)
RSS Comentarios
PROCESO DE MARKOV
escrito por Julio Humberto Guevara Fajardo, mayo 09, 2010
PROCESOS DE MARKOV:
Se dice que los procesos de MARKOV, son útiles para estudiar la evolución de sistemas a lo largo de ensayos
repetidos, los que, a menudo son periodos sucesivos donde el estado del sistema en cualquier periodo
particular no pueden determinarse con certeza. Por ello, para describir la manera en que el sistema cambia de
un periodo al siguiente se emplean probabilidades de transición.

Los procesos de MARKOV, son también llamados Markovianos, que pueden usarse para describir la
probabilidad de que una maquina esta funcionando en un período continuará funcionando en siguiente
período (o se estropeará). También pueden usarse los modelos para describir la probabilidad de que un
consumidor que compra la marca A, en un período compre la marca B en el siguiente periodo.

Principio de Markov:
Cuando una probabilidad condicional depende únicamente del suceso inmediatamente anterior, cumple con el
Principio de Markov de Primer Orden, es decir.

Definiciones en los Procesos de Markov de Primer Orden:

Estados: Las condiciones en las cuales se encuentra un ente ó sucesos posibles.

Ensayos: Las ocurrencias repetidas de un evento que se estudia.

Probabilidad de Transición: La probabilidad de pasar de un estado actual al siguiente en un período ó tiempo,

y se denota por p¬ij ( la probabilidad de pasar del estado i al estado j en una transición ó período)

Características de los Procesos de Markov de Primer Orden:

Se pueden usar como modelo de un proceso físico ó económico que tenga las siguientes propiedades:
a)Que la probabilidad cumpla con el principio de Markov.
b)Existencia de un número finito de estados.
c)Las p¬ij son constante con respecto al tiempo ó período.
d)Ensayos en períodos iguales.
Si un suceso depende de otro además del inmediatamente anterior, este es un proceso de Markov de mayor
orden. Por ejemplo, Un proceso de segundo orden describe un proceso en el cual el suceso depende de los
dos sucesos anteriores. Los procesos de Markov también se les llama Cadenas de Markov.

Notaciones que utilizaremos:

p¬ij = probabilidad de transición en un período.

P = [p¬ij]nxn matriz de transición formada por los valores de p¬ij , donde cada fila representa el estado
inicial donde se parte y las columna el estado al que se ira en un período.
Representa la probabilidad de ir del estado i al estado j en k períodos.
P(k)=[ ]nxn la matriz de transición de k períodos.
Si(t) = probabilidad de encontrarse en el estado i en el período t.
S(t) =(S1(t) , S2(t) , . . . . , Sn(t)) vector de probabilidad de estado en el período t. Para n estados.

Los sucesos que cumplan con un proceso de Markov, se pueden representar por medio de un esquema donde
los nodos indique los estados y arcos dirigidos de nodo a nodo con un número que representa la probabilidad
de transición de ir de un estado a otro, ó por medio de una matriz de transición.
Ejemplo:

Para calcular:
= p11.p11+ p12.p21+ p13.p31
= 0,2.0,2+0,3.0,3+0,5.0,2 = 0,23

= p11.p12+ p12.p22+ p13.p32

= 0,2.0,3+0,3.0,4+0,5.0,4 = 0,38

= p11.p13+ p12.p23+ p13.p33

= 0,2.0,5+0,3.0,3+0,5.0,4 = 0,39

luego + + =1

Otra forma es usando el vector de probabilidades y la matriz de transición, es decir:

 S(0) = (1, 0, 0) S(1) = S(0).P = (0,2; 0,3; 0,5)

S(2) =S(1).P =(0,23; 0,38; 0,39)

Análisis de cuentas por cobrar:

Una aplicación de contabilidad en la que los procesos de Markov han producido resultados útiles implica una
estimación de la reserva para cuentas por cobrar de dudosa recuperación o, simplemente, dudosas. Esta
reserva es una estimación del a cantidad de cuentas por cobrar que al final demostraran ser incobrables.

Matriz fundamental y cálculos asociados:

Siempre que un proceso de Markov tiene estados absorbentes no calculamos probabilidades de estado estable
debido que cada unidad final de cuentas termina en uno de los estados absorbentes.

El cálculo de las probabilidades de estado absorbente requiere la determinación y uso de lo que se le llama
matriz fundamental. La lógica matemática que subyace en la matriz fundamental esta fuera del alcance de
este texto. Sin embargo

Probabilidad de estado estable:

Es la probabilidad de que el sistema esté en cualquier estado particular. (Es decir, π! (n) es la probabilidad de
que es sistema esté en el estado j durante el siguiente período.


 -1




TOMA DE DECISIONES
escrito por Julio Humberto Guevara Fajardo, mayo 09, 2010
TOMA DE DECISIONES:
El análisis de toma de decisiones puede usarse para desarrollar una estrategia óptima cuando el tomador de
decisiones se enfrenta con varias alternativas de decisión y una incertidumbre o patrón de eventos futuros
llenos de riesgos.
La toma de decisiones se puede decir que es la selección de un curso de acción entre varias alternativas por
lo tanto constituye la base de la planeación. La administración es le ejercicio de dar forma de manera,
consciente y constante a las organizaciones y el arte de tomar decisiones es medular para ello. Como
anteriormente se menciono la toma de decisiones, identificación y elección de un curso de acción para tratar
un problema concreto o aprovechar una oportunidad.
Esta constituye una parte importante en la labor de todo gerente, sobra decir que todos tomamos decisiones,
lo que diferencia el ejercicio de esta en la administración es la atención sistemática y especializada que los
gerentes o administradores prestan a la misma.
La toma de decisiones esta relacionada a un problema, dificulta o conflicto. Por medio de la decisión y
ejecución se espera obtener respuestas a un problema o solución a un conflicto.
Formulación del problema:
Es el primer paso en el proceso de análisis de decisiones es la formulación del problema, comenzando con una
declaración verbal de éste. Luego se identifican las alternativas de decisión, los eventos futuros inciertos,
conocidos como eventos futuros fortuitos, y las consecuencias o resultados asociados con cada alternativa de
decisión y cada evento fortuito.

Diagrama de influencia:
El diagrama de influencia es una herramienta grafica que muestra las relaciones entre las decisiones, los
eventos al azar u las consecuencias para un problema de decisión. Los nodos en un diagrama de influencia se
usan para reparar las decisiones, los eventos fortuitos y las consecuencias. Se emplean rectángulos para o
cuadrados para describir los nodos de decisión, círculos u óvalos para describir los nodos fortuitos y rombos
para describir los nodos de secuencia.

Tablas de resultados:
En el análisis de decisiones, nos referimos a la secuencia resultante de una combinación específica de una
alternativa de decisión y un estado de la naturaleza como un resultado o consecuencia. La tabla que muestra
los resultados para todas las combinaciones de las alternativas de decisión y los estados de la naturaleza, es
una tabla de resultados.

Árbol de decisión:
El árbol de decisión nos proporciona una representación grafica del proceso de toma de decisiones.

Los árboles de decisión proveen un método efectivo para la toma de decisiones debido a que:

Claramente plantean el problema para que todas las opciones sean analizadas.

Permiten analizar totalmente las posibles consecuencias de tomar una decisión.

Proveen un esquema para cuantificar el costo de un resultado y la probabilidad de que suceda.

Nos ayuda a realizar las mejores decisiones sobre la base de la información existente y de las mejores
suposiciones.

CÓMO DIBUJAR UN ÁRBOL DE DECISIONES

Para comenzar a dibujar un árbol de decisión debemos escribir cuál es la decisión que necesitamos tomar.
Dibujaremos un recuadro para representar esto en la parte izquierda de una página grande de papel.

Desde este recuadro se deben dibujar líneas hacia la derecha para cada posible solución, y escribir cuál es la
solución sobre cada línea. Se debe mantener las líneas lo más apartadas posibles para poder expandir tanto
como se pueda el esquema.

Al final de cada línea se debe estimar cuál puede ser el resultado. Si este resultado es incierto, se puede
dibujar un pequeño círculo. Si el resultado es otra decisión que necesita ser tomada, se debe dibujar otro
recuadro. Los recuadros representan decisiones, y los círculos representan resultados inciertos. Se debe
escribir la decisión o el causante arriba de los cuadros o círculos. Si se completa la solución al final de la línea,
se puede dejar en blanco.

Comenzando por los recuadros de una nueva decisión en el diagrama, dibujar líneas que salgan
representando las opciones que podemos seleccionar. Desde los círculos se deben dibujar líneas que
representen las posibles consecuencias. Nuevamente se debe hacer una pequeña inscripción sobre las líneas
que digan que significan. Seguir realizando esto hasta que tengamos dibujado tantas consecuencias y
decisiones como sea posible ver asociadas a la decisión original.
 Un ejemplo de árbol de decisión se puede ver en la siguiente figura:


 +1




Definiciones de términos en los procesos de Markov

escrito por Maria de los Angeles Garzona Castañeda, mayo 10, 2010
Ensayos del proceso: Eventos que desencadenan las transiciones del sistema de un estado a otro. En muchas
aplicaciones, los períodos sucesivos representan los ensayos del proceso.

Estado del sitema: Condición en cualquier ensayo o período particular.

Probabilidad de estado: Probabilidad de que el sistema esté en cualquier estado en particular.

Probabilidad de estado estable: Probabilidad de que el sistema esté en cualquier estado en particular después
de un número grande de transiciones. Una vez que se ha alcanzado el estado estable, la probabilidades de
estado no cambian de un período a otro.

Estado absorbente: Se dice que un estado es absorbente si la probabilidad de hacer una transición para salir
de ese estado es cero. Por tanto, una vez que el sistema ha hecho una transición a un estado absorbente,
permanecerá ahí.

Matriz fundamental: Matriz necesaria para el cálculo de probabilidades asociadas con los estados absorbentes
de unproceso de Markov.


 +0




...
escrito por Marina Elizabeth España Rosales 00-8440, mayo 12, 2010
PROCESOS DE MARKOV

Una cadena de Márkov, que recibe su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922),
es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato
anterior.
Cuando una probabilidad condicional depende únicamente del suceso inmediatamente anterior, cumple con el
Principio de Markov de Primer Orden.

Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno de determinados
tipos de procesos estocásticos, esto es, procesos que evolucionan de forma no determinada a lo largo del
tiempo en torno a un conjunto de estados.
Una cadena de Markov, por tanto, representa un sistema que varía su estado a lo largo del tiempo, siendo
cada cambio una transición del sistema.

Definiciones en los Procesos de Markov de Primer Orden:

Estados: Las condiciones en las cuales se encuentra un ente ó sucesos posibles.
Ensayos: Las ocurrencias repetidas de un evento que se estudia.
Probabilidad de Transición: La probabilidad de pasar de un estado actual al siguiente en un período ó tiempo,
y se denota por p¬ij (la probabilidad de pasar del estado i al estado j en una transición ó período)

Características de los Procesos de Markov de Primer Orden:

Se pueden usar como modelo de un proceso físico ó económico que tenga las siguientes propiedades:
a)Que la probabilidad cumpla con el principio de Markov.
b)Existencia de un número finito de estados.
c)Las p¬ij son constante con respecto al tiempo ó período.
d)Ensayos en períodos iguales.

Matrices de Probabilidad de Transición:

La forma más cómoda de expresar la ley de probabilidad condicional de una cadena de Markov es mediante la
 llamada matriz de probabilidades de transición P, o más sencillamente, matriz de la cadena.
Dicha matriz es cuadrada con tantas filas y columnas como estados tiene el sistema, y los elementos de la
matriz representan la probabilidad de que el estado próximo sea el correspondiente a la columna si el estado
actual es el correspondiente a la fila.

Como el sistema debe evolucionar de t a alguno de los n estados posibles, las probabilidades de transición
cumplirán con la propiedad siguiente:
n
∑ Pij = 1
J= 1

Además, por definición de probabilidad, cada una de ellas ha de ser no negativa:

Pij ≥ 0

Cuando las Pij cumplen las propiedades arriba indicadas, la matriz P es una matriz estocástica: la suma de
valores de las filas de la matriz será siempre igual a 1(la suma de los valores de la columna no tienen ninguna
propiedad especial)


 +0




PROCESOS DE MARKOV
escrito por Ana Marcela Ramos Fajardo 99-5399, mayo 12, 2010
ANALISIS DE CUENTAS POR COBRAR

Una aplicación de contabilidad en la que los procesos de Markov han producido resultados útiles implica la
estimación de la reserva para cuentas por cobrar de dudosa recuperación o, simplemente dudosas. Esta
reserva es una estimación de la cantidad de cuentas por cobrar que al final demostrarán ser incobrables.

Veamos cómo podemos considerar la operación de cuentas por cobrar como un proceso de Markov. Primero,
concétrese en lo que le sucede en la actualidad a un dólar en las cuentas por cobrar. Conforme la firma
continúe operando en el futuro, podemos considerar cada semana como un ensayo de un proceso de Markov
con un dólar existente en uno de los siguientes estados del sistema.
 Estado 1. Categoría pagado
Estado 2. Categoría deuda incobrable
Estado 3. Categoría 0-30 días
Estado 4. Categoría 31-90

Por tanto, podemos rastrear el estado semana a semana de un dólar usando un análisis de Markov para
identificar el estado del sistema en una semana o periodo particular.


 +4




Cadenas de Markov
escrito por Nancy Veraliz Cervantes Lemus, mayo 12, 2010
CADENAS DE MARKOV

1.¿Qué es cadena de Markov?

Es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato
anterior.

2.En los negocios, ¿para que se han utilizado las cadenas de markov?
Para analizar patrones de compra de los consumidores, para pronosticar las concesiones por deudores
morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.

3.¿Qué característica deben de tener los eventos para que puedan representarse a través de una cadena de
markov?
Deben de tener memoria.

4.¿Qué es necesario para describir completamente una cadena de markov?

Es necesario saber el estado actual y todas las probabilidades de transición.

5.¿Cómo se denomina la forma gráfica para describir una cadena de markov?

Diagrama de estados.
 6.¿Con qué nombre se conoce a la probabilidad de estar en un estado y pasar a otro en una cadena de
markov?
Probabilidad de transición.

7.La probabilidad condicional o de transición de moverse de un estado ¿cómo se indica en un diagrama de

estados?
A través de líneas con sentido que comunica a los estado entre ellos o si mismos.

8.En un diagrama de estados, cuando no se marcan las flechas de transición, ¿qué significa?
Que su probabilidad es cero.

9.Además del método gráfico, ¿qué otro método se puede utilizar para exhibir las probabilidades de
transición?
Usar una matriz de transición.

10.¿Qué condición deben cumplir las filas o renglones de una matriz de transición?
Sumar uno.

11.¿Qué es análisis de transición?

Es útil para pronosticar el estado del sistema después de 1, 2 o más periodos.

12.¿Qué es estado estable?

Las cadenas de Harkov poseen una propiedad notable en cuanto a que tienden a aproximarse a lo que se
llama estado estable. Generalmente después de unos cuantos ciclos, las probabilidades de estado comienzan
a asentarse o estabilizarse. Cuando una cadena de Harkov ha llegado lo suficientemente lejos como para estar
cerca de estos límites, se dice que ha alcanzado un estado estable. Además, estos límites son los mismos,
independientemente del punto de partida del sistema.


 +1



Un modelo oculto de Márkov
escrito por Julio César Padilla Mejia, mayo 13, 2010
Un modelo oculto de Márkov
o HMM (por sus siglas del inglés, Hidden Markov Model) es un modelo estadístico en el que se asume que el
sistema a modelar es un proceso de Márkov de parámetros desconocidos. El objetivo es determinar los
parámetros desconocidos (u ocultos, de ahí el nombre) de dicha cadena a partir de los parámetros
observables. Los parámetros extraídos se pueden emplear para llevar a cabo sucesivos análisis, por ejemplo
en aplicaciones de reconocimiento de patrones. Un HMM se puede considerar como la red bayesiana dinámica
más simple.
Los modelos ocultos de Márkov son especialmente aplicados a reconocimiento de formas temporales, como
reconocimiento del habla, de escritura manual, de gestos, etiquetado gramatical o en bioinformática.
Los modelos ocultos de Márkov fueron descritos por primera vez en una serie de artículos estadísticos por
Leonard E. Baum y otros autores en la segunda mitad de la década de 1960. Una de las primeras aplicaciones
de HMMs fue reconocimiento del habla, comenzando en la mitad de la década de 1970.1
En la segunda mitad de la década de 1980, los HMMs comenzaron a ser aplicados al análisis de secuencias
biológicas, en particular de DNA. Desde entonces, se han hecho ubicuos en el campo de la bioinformática.2
Ejemplo de utilización [editar]
Imagínese que tiene un amigo que vive lejos y con quien habla a diario por teléfono acerca de lo que hizo
durante el día. A su amigo le interesan tres actividades: caminar por la plaza, salir de compras y limpiar su
departamento. Lo que su amigo hace depende exclusivamente del estado del tiempo en ese día. Usted no
tiene información clara acerca del estado del tiempo donde su amigo vive, pero conoce tendencias generales.
Basándose en lo que su amigo le dice que hizo en el día, usted intenta adivinar el estado del tiempo.
Supóngase que el estado del tiempo se comporta como una cadena de Márkov discreta. Existen dos estados,
"Lluvioso" y "Soleado", pero usted no los puede observar directamente, es decir, están ocultos. Existe también
una cierta posibilidad de que su amigo haga una de sus actividades cada día, dependiendo del estado del
tiempo: "caminar", "comprar" o "limpiar". Dado que su amigo le cuenta sus actividades del día, esas son las
observaciones. El sistema completo es un modelo oculto de Márkov.
Usted conoce las tendencias generales del tiempo en el área y lo que a su amigo le gusta hacer. En otras
palabras, los parámetros del HMM son conocidos. Pueden escribirse usando el lenguaje de programación
Python:
estados = ('Lluvioso', 'Soleado')

observaciones = ('caminar', 'comprar', 'limpiar')

probabilidad_inicial = {'Lluvioso': 0.6, 'Soleado': 0.4}

 probabilidad_transicion = {
'Lluvioso' : {'Lluvioso': 0.7, 'Soleado': 0.3},
'Soleado' : {'Lluvioso': 0.4, 'Soleado': 0.6},
}

probabilidad_emision = {
'Lluvioso' : {'caminar': 0.1, 'comprar': 0.4, 'limpiar': 0.5},
'Soleado' : {'caminar': 0.6, 'comprar': 0.3, 'limpiar': 0.1},
}
En esta porción de código se tiene:
La probabilidad_inicial que representa el estado en el que usted cree que se encuentra el HMM la primera vez
que su amigo lo llama (es decir, sabe que es un poco más probable que esté lluvioso). La distribución de
probabilidades que se usó aquí no es la de equilibrio, que es (dadas las probabilidades de transición)
aproximadamente {'Lluvioso': 0.571, 'Soleado': 0.429}.
La probabilidad_transicion representa el cambio del tiempo en la cadena de Márkov por detrás del modelo. En
este ejemplo, hay un 30% de probabilidad de que mañana esté soleado si hoy llovió.
La probabilidad_emision representa con cuanta probabilidad su amigo realiza una actividad determinada cada
día. Si llueve, hay un 50% de probabilidad de que esté limpiando su departamento; si hay sol, hay un 60% de
probabilidades de que haya salido a caminar.


 +0




EJEMPLO DE APLICACIÓN DE PROCESO MARKOV

escrito por Carlo Fernando Ortega Pinto, mayo 14, 2010
PROCESOS MARKOV

Ejemplo de aplicación:

Un experto en mercadeo está interesado en analizar la participación en el mercado y lealtad del cliente para
Comercial Córdova y Bazar Europa. Para el efecto se recopiló datos de 100 compradores de la ciudad de
Chiquimula a lo largo de un periodo de 10 semanas.
Se supone que estos datos muestran el patrón de viajes de compras semanales de cada cliente en función de
la secuencia de visitas a Comercial Córdova y Bazar Europa. Para el efecto se toman en cuenta los datos del
periodo anterior. Al revisar los datos, suponga que encontramos que de todos los clientes que compraron en
Comercial Córdova en una semana dada, 80% compro en Comercial Córdova la siguiente semana, mientras
20% cambio a Bazar Europa. Suponga que datos similares para los clientes que compraron en Bazar Europa
en una semana dada muestran que 70% compro en Bazar Europa la siguiente semana, mientras 30% cambio
a Comercial Córdova.

A partir de lo anterior establecer las probabilidades de transición a través del método de markov.

Probabilidades de transición para las tiendas Comercial Córdova y Bazar Europa

Periodo de Compra Siguiente periodo de compra semanal

Semanal actual Comercial Córdova Bazar Europa

Comercial Córdova 0.80 0.20

Bazar Europa 0.30 0.70

P =P11 P12 0.80 0.20

P21 P22 0.30 0.70

Con la matriz de probabilidades podemos determinar la probabilidad de que un cliente visite Comercial
Córdova o Bazar Europa en algún periodo del futuro.

Suponiendo que tenemos un cliente cuyo último viaje de compras fue a Comercial Córdova. ¿Cuál es la
probabilidad de que este cliente compre en Comercial Córdova en el siguiente viaje semanal, periodo 1?

Con un diagrama de árbol se puede describir dos viajes de compras semanales de un cliente que compro la
última vez en Comercial Córdova. A continuación se observa el recorrido:

Semana 1 Semana 2 Probabilidad de cada patrón en 2 semanas

Cliente que compro 0.80 0.80 Córdova (0.80) (0.80) = 0.64

La última vez en 0.20 Bazar Europa (0.80) (0.20) = 0.16
Comercial Córdova
 0.20 0.30 Córdova (0.20) (0.30) = 0.06
0.70 Bazar Europa (0.20) (0.70) = 0.14

{π1(1) π2(1)} = {π1(0) π2(0)} (P11 P12)

(P21 P22)

= (0.80 0.20)
(0.30 0.70)(0.70 0.30)

La probabilidad de comprar en Comercial Córdova durante la segunda semana es del 70% (0.70), mientras la
probabilidad de comprar en Bazar Europa durante la segunda semana es de 30% (0.30).


 +0




PROCESOS DE MARKOV
escrito por Zully Amarilis Morales Solís, mayo 14, 2010
ESTADOS Y PROBABILIDADES DE ESTADO

Los estados se utilizan para identificar todas las condiciones posibles de un proceso o de un sistema. Por
ejemplo, una máquina puede encontrarse en uno de dos estados en un momento dado. Puede funcionar
correctamente o puede no funcionar correctamente. Se puede llamar a la operación correcta de la máquina el
primer estado, y al funcionamiento incorrecto el segundo estado. En realidad es posible identificar estados
específicos de muchos procesos y sistemas. Si solo existen tres tiendas de abarrotes en un pueblo pequeño,
en un momento dado un residente puede ser cliente de cualquiera de las tres. Si los estudiantes pueden
tomar una de tres especializaciones dentro del área de administración (digamos ciencia administrativa,
sistemas de información administrativa o administración general), cada una de estas área puede ser
considerada un estado.
En el análisis de Markov también se supone que los estados son tanto colectivamente exhaustivos como
mutuamente excluyentes. Colectivamente exhaustivo significa que puede confeccionar una lista que contenga
todos los estados posibles de un sistema o proceso. Nuestra presentación del análisis de Markov supone que
existe un número finito de estados de cualquier sistema. Mutuamente excluyente significa que un sistema solo
estar en un estado en un momento dado. Un estudiante solo puede estar en una de tres áreas de
especialización administrativa y no en dos o más áreas al mismo tiempo. También significa que una persona
 solo puede ser cliente de una de tres tiendas de abarrotes en un momento dado.
Una vez que se han identificado los estados, el siguiente paso es determinar la probabilidad de que el sistema
se encuentre en un estado particular. Tal información se coloca entonces en un vector de probabilidades de
estado.

π (i)= vector de probabilidades de estado del periodo i

= (π1, π2, π3, . . . πn)
Donde
N= numero de estados.
π1, π2, π3, . . . πn= Probabilidad de encontrarse en el estado 1, estado 2, … estado n
En algunos casos, enlos que se maneja un solo artículo, como una sola máquina, es posible saber con
completa certeza en que estado se encuentra el articulo. Por ejemplo, si se esta investigando sólo una
máquina, se podría saber que en este momento del tiempo la máquina funciona correctamente. En este caso,
el vector de los estados puede representarse de la siguiente forma:
π(1)= (1,0)
Donde
π (1)= vector de estados de la máquina en el periodo 1
π1= 1= probabilidad de encontrarse en el primer estado.
π2=0= probabilidad de encontrarse en el segundo estado.

Esto muestra que la probabilidad de que la maquina funcione correctamente (estado)1 es 1, y la probabilidad
de que la máquina funcione incorrectamente (estado 2) es de 0, en el primer periodo. Sin embargo en la
mayoría los casos, se maneja mas de un articulo.


 +1




...
escrito por Karen Celeste Sagastume Ramírez, mayo 14, 2010
PROCESOS DE MARKOV

Principio de Markov:
Cuando una probabilidad condicional depende únicamente del suceso inmediatamente anterior, cumple con el
Principio de Markov de Primer Orden, es decir.
Definiciones en los Procesos de Markov de Primer Orden:

Estados: Las condiciones en las cuales se encuentra un ente ó sucesos posibles.

Ensayos: Las ocurrencias repetidas de un evento que se estudia.
Probabilidad de Transición: La probabilidad de pasar de un estado actual al siguiente en un período ó tiempo,
y se denota por pij ( la probabilidad de pasar del estado i al estado j en una transición ó período)

Características de los Procesos de Markov de Primer Orden:

Se pueden usar como modelo de un proceso físico ó económico que tenga las siguientes propiedades:
a)Que la probabilidad cumpla con el principio de Markov.
b)Existencia de un número finito de estados.
c)Las pij son constante con respecto al tiempo ó período.
d)Ensayos en períodos iguales.

Si un suceso depende de otro además del inmediatamente anterior, este es un proceso de Markov de mayor
orden. Por ejemplo, Un proceso de segundo orden describe un proceso en el cual el suceso depende de los
dos sucesos anteriores.
Los procesos de Markov también se les llama Cadenas de Markov.

Ejemplo:

0.2 0.3 0.5

0.3 0.4 0.3
0.2 0.4 0.4

Para calcular:

P(11)2= P(X(2)= 1/X(0) = 1)= p11.p11+p12.p21+p13.p31

= 0,2.0,2+0,3.0,3+0,5.0,2= 0,23
P(12)2= P(X(2)= 2/X(0) = 1)= p11.p12+p12.p22+p13.p32
= 0,2.0,3+0,3.0,4+0,5.0,4= 0,38
P(13)2= P(X(2)= 3/X(0) = 1)= p11.p13+p12.p23+p13.p33
= 0,2.0,5+0,3.0,3+0,5.0,4= 0,39
0,23+0,38+0,39= 1
 Otra forma es usando el vector de probabilidades y la matriz de transición, es decir:
S(0) = (1, 0, 0)
S(1) = S(0).P = (0,2; 0,3; 0,5)
S(2) =S(1).P =(0,23; 0,38; 0,39)


 +0




Procesos de Markov
escrito por Amilcar Villeda - 3228 00 1139, mayo 15, 2010
Una cadena de Márkov, que recibe su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922),
es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato
anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona
las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de
Márkov de las series de eventos independientes, como tirar una moneda al aire o un dado.

Este tipo de proceso, introducido por Márkov en un artículo publicado en 1907,[1] presenta una forma de
dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso
estocástico. En los negocios, las cadenas de Márkov se han utilizado para analizar los patrones de compra de
los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.


 +0




Cadenas de Markov
escrito por Ana Luisa Vargas Cabrera, mayo 16, 2010
Una cadena de Markov representa un sistema que varía su estado a lo largo del tiempo, siendo cada cambio
una transicion del sistema. Dichos cambios no estan predeterminados, aunque si lo esta la probabilidad del
próximo estado en función de los estados anteriores, probabilidad que es constante a lo largo del tiempo.
Eventualmente, en una transicion, el nuevo estado puede ser el mismo que el anterior y es posible que exista
la posibilidad de influir en las probabilidades de transicion actuando adecuadamente sobre el sistema
(decision).

Los estados son una caracterizacion de la situacion en que se halla el sistema en un instante dado, dicha
caracterización puede ser tanto cuantitativa como cualitativa. Desde un punto de vista práctico
probablemente, la mejor definicion de que debe entenderse por estado es la respuesta que se daría a la
pregunta ¿como estan las cosas?

Aplicaciones de las Cadenas de Markov

Física
Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física estadística. Ejemplos
importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo de difusión de Laplace.
Meteorología
Si consideramos el clima de una región a través de distintos días, es claro que el estado actual solo depende
del último estado y no de toda la historia en sí, de modo que se pueden usar cadenas de Markov para
formular modelos climatológicos básicos.
Modelos epidemiológicos
Una importante aplicación de las cadenas de Markov se encuentra en el proceso Galton-Watson. Éste es un
proceso de ramificación que se puede usar, entre otras cosas, para modelar el desarrollo de una epidemia
(véase modelaje matemático de epidemias).
Internet
El pagerank de una página web (usado por google en sus motores de búsqueda) se define a través de una
cadena de Markov, donde la posición que tendrá una página en el buscador será determinada por su peso en
la distribución estacionaria de la cadena.
Juegos de azar
Son muchos los juegos de azar que se pueden modelar a través de una cadena de Markov. El modelo de la
ruina del jugador, que establece la probabilidad de que una persona que apuesta en un juego de azar
eventualmente termine sin dinero, es una de las aplicaciones de las cadenas de Markov en este rubro.
Economía y Finanzas
Las cadenas de Markov se pueden utilizar en modelos simples de valuación de opciones para determinar
cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una bolsa de valores o para
determinar la volatilidad de precios.
Música
Diversos algoritmos de composición musical usan cadenas de Markov, por ejemplo el software Csound o Max

 +0




...
escrito por Ana Luisa Vargas Cabrera, mayo 16, 2010
Analisis de decisiones: es un método análitico que provee herramientas para analizar situaciones donde hay
que tomar una decisión.

Ambientes para la toma de decisiones

1. TOMA DE DECISIONES BAJO CERTIDUMBRE: se conoce con certeza los resultados o consecuencias de
seleccionar cada alternativa.
Ejemplo: Tenemos Q1,000 que queremos invertir por un año.Podemos ponerlos en una cuenta de ahorros
donde nos dan un 3.5% de interes anual, o podemos comprar un certificado de deposito que nos da un 7%
de interes anual. Asumiento que ambas alternativas son seguras y estan garantizadas, el certificado de
deposito nos da un retorno mayor.

2. TOMA DE DECISIONES BAJO INCERTIDUMBRE: no se conocen las probabilidades asociadas con los
diferentes resultados de cada alternativa.
Ejemplo: Una compañia estudia la posibilidad de añadir un nuevo producto a su línea de produccion. Las
alternativas que estudia son: hacer una ampliacion grande a sus facilidades, hacer una ampliacion pequeña a
sus facilidades, o no hacer ninguna ampliacion y no producir el producto nuevo. Para cada una de estas
alternativas los resultados pueden ser favorables o no favorables. Si no conocemos las probabilidade
asociadas con cada ujno de los resultados para las distintas alternativas tenemos que tomar una decision bajo
incertidumbre usando uno de varios criterios disponibles.

3. TOMA DE DECISIONES BAJO RIESGO: se conocen las probabilidades asociadas con los diferentes
resultados de cada alternativa.
Ejemplo: Si en el ejemplo anterior conocemos las probabilidades asociadas con cada uno de los resultados
para las distintas alternativas, tenemos que tomar una decision bajo riesgo escogiendo la alternativa con la
ganancia promedio mayor.


 +1




Procesos de Markov
escrito por Sandra Isabel Esquivel Vega, junio 13, 2010
Los modelos de proceso de Markov son utiles para estudiar la evolución de sistemas a lo largo de ensayos
repetidos los que, a menudo, son periodos sucesivos donde el estado del sistema en cualquier periodo
particular no puede determinarse con certeza.

Consiste en analizar el comportamiento de los clientes mediante ensayos de proceso, seleccionando lugares
de visita continua a los cúal se le conoce como estado del sistema en ese periodo y de acorde a las
alternativas que el cliente posea así existirá una cantidad finita de estados.

Ensayos del Proceso: Frecuencia con la que se solicita el servicio por los clientes.
Estado del sistema: Tienda particular seleccionada en un periodo de tiempo.

Autores: Anderson D.; Sweeney D.; Williams T.

Año 2004
Métodos Cuantitativos para los negocios.
Editorial Thompson, Mexico, Pag. 701 y 702


 +0




TIPOS DE CADENAS DE MARKOV

escrito por Ronmy Medrano Barrera Maestria en Administración de RRHH - METODOS CUANTITATIVOS- Jutiapa,
junio 13, 2010
Tipos de cadenas de Markov
Cadenas irreducibles
Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes
entre sí):

1. Desde cualquier estado de E se puede acceder a cualquier otro.

 2. Todos los estados se comunican entre sí.

3. C(x)=E para algún x∈E.

4. C(x)=E para todo x∈E.

5. El único conjunto cerrado es el total.

Cadenas positivo-recurrentes
Una cadena de Markov se dice positivo-recurrente si todos sus estados son positivo-recurrentes. Si la cadena
es además irreducible es posible demostrar que existe un único vector de probabilidad invariante.

Cadenas regulares
Una cadena de Markov se dice regular (también primitiva o ergódica) si existe alguna potencia positiva de la
matriz de transición cuyas entradas sean todas estrictamente mayores que cero.

Cadenas absorbentes
Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones
siguientes:

1. La cadena tiene al menos un estado absorbente.

2. De cualquier estado no absorbente se accede a algún estado absorbente.

Cadenas de Markov en tiempo continuo

Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el conjunto de números
naturales, se consideran las variables aleatorias Xt con t que varía en un intervalo continuo del conjunto de
números reales, tendremos una cadena en tiempo continuo.


 +0



 PRECAUCION AL SUBIR SU APORTACIÓN
escrito por MSc. Edgar Carrera, junio 15, 2010
DEBE SER:
1) EN EL ESPACIO QUE PERMITE ESTE SITIO
2) REVISAR LOS APORTES ANTERIORES Y NO REPETIR ESOS APORTES, PERO SI PUEDEN MEJORARSE
3)MÍNIMO 15 LINEAS MAXMO 25 LINEAS
PARA JUTIAPA FECHA MAXIMA DE ENTREGA DE MARKOV 18JUNIO2010


 +0




Metodos Estadisticos Gregoria Mateos, y Aparicio Morales 1995

escrito por walter vinicio ortiz yanes, junio 15, 2010
Definen que Markov es una determinada entrevista estructurada dependiendo de como sean los estados, que
se clasifican de distinta forma de acuerdo cons u comportamiento, esto nos facilita el conocer la probabilidad
de pasar por primera vez por un estado, el numero medio de etapas aue se tande en llegar a ese estado, y el
nuemero medio de veces que la cadena pasa por ese estado lo que a su vez no facilitara la clasificacion.

Markov señala que para un alor fijo de los demas valores aleatorias no dependen d el, si no para cualquier
conjunto de tiempo definidos en el intervarlo de analisis condicionales del ultimo valor para el conjunto.

Cadena de markov, es un proceso discretoy homogeneo en el tiempo suponiendo que los instantes en el
tiempo cada uno de lo anterior, markov se llama discreto si los cambios de estado o transiccion solo se
producen en instantes dados no aleatorios y como maximo en nuemero finito enumerable.
por extencion se llamara proceso discreto aquel enque los instantes de cambio enumerables y eventualmente
aleatorios pero en los que no nos interesamos pro a abcisa exacta en el tiempo, sino en su orden de
sucesion.
Walter Vinicio Ortiz Yanes. Maestria en admon. RR. HH. extencion jutiapa.


 +0



EJEMPLO DE CADENAS DE MARKOV
escrito por Ana Gabriela Rivas Vásquez Maestria en RRHH - Metodos Cuantitativos - Jutiapa, junio 15, 2010
Una tienda de renta de videos tiene 3 locales en la ciudad. Un video puede ser rentado en cualquiera de los 3
locales y regresado o devuelto a cualquiera de ellos. Hay estudios que muestran que los videos son rentados
en un local y devueltos de acuerdo con las probabilidades dadas por

Rentado en Devuelto a
123
1 0.7 0.1 0.2
2 0.2 0.8 0
3 0.2 0.2 0.6

Encontrar la probabilidad de que el video rentado sea rentado en el local 1 y devuelto en el 1, el 2 en el 2 y el

3 en el 3 para el siguiente año.

SOLUCION

DATOS Y NOMENCLATURA

T = Matriz de Transición
T2= Matriz de transición al cuadrado

Rentado en Devuelto a
123
1 0.7 0.1 0.2
T= 2 0.2 0.8 0
3 0.2 0.2 0.6

Nota: para poder sacar las probabilidades del siguiente año sacamos el cuadrado de T.
123123
1 0.7 0.1 0.2 1 0.7 0.1 0.2
T2= 2 0.2 0.8 0 X 2 0.2 0.8 0
3 0.2 0.2 0.6 3 0.2 0.2 0.6

El cuadrado de T significa multiplicar dos veces la matriz de transición (los datos que nos dan para la
elaboracion del problema)

El proceso a seguir para la multiplicación de las matrices es el siguiente:

Primera fila de la primer matriz por la primera columna de la segunda matriz y asi sucesivamente tal como se
muestra a continuación:

(0.7)(0.7) + (0.1)(0.2) + (0.2)(0.2) = 0.55

(0.7)(0.1) + (0.1)(0. + (0.2)(0.2) = 0.19

(0.7)(0.2) + (0.1)(0) + (0.2)(0.6) = 0.26

(0.2)(0.7) + (0. (0.2) + (0)(0.2) = 0.30

(0.2)(0.1) + (0. (0. + (0)(0.2) = 0.66

(0.2)(0.2) + (0. (0) + (0)(0.6) = 0.04

(0.2)(0.7) + (0.2)(0.2) + (0.6)(0.2) = 0.30

(0.2)(0.1) + (0.2)(0. + (0.6)(0.2) = 0.30

(0.2)(0.2) + (0.2)(0) + (0.6)(0.6) = 0.40

Entonces:

123
1 0.55 0.19 0.26
T2= 2 0.30 0.66 0.04
3 0.30 0.30 0.40

Respuesta:

La probabilidad de que el video rentado en el local 1 sea devuelto en el mismo es: 0.55 x 100=55%
La probabilidad de que el video rentado en el local 2 sea devuelto en el mismo es: 0.66 x 100=66%
La probabilidad de que el video rentado en el local 3 sea devuelto en el mismo es: 0.40 x 100=40%

 +0




PROCESOS DE MARKOV
escrito por Maris Yessenia Peraza Ronquillo, junio 16, 2010
PROCESOS DE MARKOV:

Markov permite analizar y conocer a los consumidores en un mercado actual y competitivo, ya que,
proporciona herramientas adecuadas para poder estudiar la realidad de la participación de la demanda.
Asimismo podemos analizar la situación de las cuentas por conbrar en un organización.

Al aplicar Markov en cuanto a los demandantes en un mercado consumidor nos podemos dar cuenta de la
exigencia del cliente para poder cubrir sus necesidades y así convertirlo en un cliente fiel. A través de este
análisis se puede llegar a conocer las posibles actitudes de los clientes de un período a otro y así estar a la
vanguardia y poder cubrir al máximo sus expecgtativas para lograr su satisfacción y así mantenerse en el
mercado comeptitivo.
 También se debe tomar en cuenta que Markov permite hacer un análisis en relación a lo finacniero de la
organización y debemos recordar que para que una empresa subsiste su principal motor es el capital por lo
que se debe reguardar siempre, lo que significa tomar decisiones correctas en las inversiones. Esto implica
que se debe conocer el mercado, las leyes a las cuales esta sujeta la empresa, las tendencias tecnológicas, la
competencia, la situación financiera cambiaria y finalmente hacer un análsisi de los clientes con los que
cuenta la emrpesa para así poder otorgar créditos; ya que esto signfica tener que recuperar esa cuenta. Al
habler de proprocionar créditos significa que va existir una cuenta por cobrar la cual tiene que mostrar una
equilibrio adecuado para la toma de decisiones de los propietarios.

Métodos cuantitativos para los Negocios

Anderson D, Sweney, William T
Editorial Thompson México 2004

Maris Yessenia Peraza Ronquillo

1328 02 8573


 +0




...
escrito por Jose Juan Monzon Matias, junio 16, 2010
Metodos Cuantitativos para los negocios
Novena Edicion
Anderson
Sweeney
Williams
ANALISIS DE PARTICIPACION EN EL MERCADO

Suponga que estamos interesados en analizar la participación en el mercado y lealtad del cliente para
Murphy´s y Foodliner y Ashley´s Supermarket, los dos únicos supermercados en un poblado pequeño. Nos
enfocamos en la secuencia de los viajes de compras de un cliente, y suponemos que hace un viaje de
compras cada semana, ya sea a Murphy´s Fooddliner o a Ashle´s Supermarket, pero no a ambos.
 Usando la terminología de los proceso de Markov, nos referimos a los periodos semanales o viajes de compras
como los ensayos de proceso. Por tanto, en cada ensayo el cliente comprará ya sea en Murphy´s Foodliner o
en Ashley´s Supermarket. La tienda particular seleccionada en una semana dada se conoce como el estado
del sistema en ese periodo. Debido a que el cliente tiene dos alternativas de compra en cada ensayo, decimos
que el sistema tiene dos estados. Con una cantidad finita de estados los identificamos como sigue:
Estado 1. El cliente compra en Murphy´s Foodliner
Estado 2. El cliente compra en Ashley´s Supermarket

Si decimos que el sistema está en el estado 1 en el ensayo 3, sólo estamos diciendo que el cliente en
Murphy´s compra durante la tercera semana del periodo de compras.
Usando un modelo de procesos markoviano seremos capaces de calcular la probabilidad de que el cliente
compre en cada tienda durante cualquier periodo.
Para determinar las probabilidades de los diversos estados que ocurren en ensayos sucesivo del proceso de
Markov necesitamos información sobre la probabilidad de que un cliente permanezca con la misma o cambie a
la tienda competidora conforme continue el proceso de un ensayo a otro o de una semana a otra.

Jose Juan Monzón Matias

Carné 1328-03-14332


 +0




PROCESO DE DECISION DE MARKOV

escrito por Carlos Enrique Sandoval, junio 16, 2010
Proceso de decisión de Markov
Procesos de decisión de Markov (MDPs) proporcione un marco matemático para modelar la toma de decisión
en situaciones donde están en parte al azar los resultados y en parte bajo control del responsable. MDPs es
útil para estudiar una amplia gama de problemas de la optimización solucionado vía programación dinámica y
el aprender del refuerzo. MDPs era conocido por lo menos desde los años 50 (cf. Bellman 1957). Mucha
investigación en el área era frezado debido a Ronald A. Howard'libro de s, Procesos dinámicos de la
programación y de Markov, en 1960. Se utilizan hoy en una variedad de áreas, incluyendo la robótica, de
control automatizado, economía y en la fabricación.
 Un proceso de decisión de Markov es más exacto a tiempo discreto estocástico control proceso caracterizado
por un sistema de estados; en cada estado hay varias acciones de las cuales el responsable debe elegir. Para
un estado s y una acción a, una función de la transición del estado Pa(s) determina las probabilidades de la
transición al estado siguiente. El responsable gana una recompensa por cada transición del estado. Las
transiciones del estado de un MDP poseen Característica de Markov: dado el estado del MDP en el tiempo t se
sabe, las probabilidades de la transición al estado en el tiempo t + 1 es la independiente de todos los estados
anteriores o las acciones.
Los procesos de decisión de Markov son una extensión de Cadenas de Markov; la diferencia es la adición de
las acciones (que permiten la opción) y de las recompensas (que dan la motivación). Si hubiera solamente
una acción, o si la acción a tomar fuera fija para cada estado, un proceso de decisión de Markov reduciría a a
Cadena de Markov.

Carlos Enrique Sandoval López

1328-03-14359


 +0




EL EXAMEN RESUELTO DE MARKOV

escrito por MSc. Edgar Carrera, junio 16, 2010
ENVIARLO A \n '> exmarkov@sermelec.co.cc
Gracias
EC


 +0




Aporte MARKOV
escrito por Jaqueline Michelle Monzón Zepeda, junio 16, 2010
Cadenas de Markov

Después de mucho estudio sobre el clima, hemos visto que si un día está soleado, en el 70% de los casos el
día siguiente continua soleado y en el 30% se pone nublado. En términos de probabilidad, lo que nos sirve
entonces para predecir el clima, vemos que la probabilidad de que continúe soleado el día siguiente es .7 y la
probabilidad de que al día siguiente esté nublado es .3. También nos fijamos en que si un día está nublado, la
probabilidad de que esté soleado el día siguiente es .6 y la probabilidad de que se ponga nublado es .4.
Pregunta
Hoy está nublado, ¿cuál es la probabilidad de que mañana continúe nublado? ¿cuál es la probabilidad de que
está nublado pasado mañana?

Podemos ilustrar esta situación por medio de un diagrama de árbol:

HOYMAÑANAPASADO MAÑANA
0.7Soleado

Soleado

0.6Nublado
0.3
0.6 Soleado

Nublado 0.4

Nublado Nublado
0.4
Posibles estados del tiempo a partir de que hoy está nublado

Con la ayuda de la Figura 1 podemos predecir qué ocurrirá mañana si sabemos que hoy está nublado.

Vemos que la probabilidad de que mañana continúe nublado es .4, es decir, si hiciéramos esta predicción
muchas veces estaríamos en lo correcto cerca del 40% de las veces. Para conocer la probabilidad de esté
nublado pasado mañana buscamos en las hojas del árbol correspondientes al Tiempo pasado mañana los
lugares donde dice nublado. Hay dos hojas donde esto ocurre. Ahora lo que queda es determinar cómo desde
el principio, desde la raíz del árbol, podemos llegar allí.

Si hoy está nublado, para que pasado mañana esté nublado, podríamos tener un día de mañana soleado o
nublado. Así tenemos las siguientes secuencias en orden de (hoy, mañana, pasado mañana): (nublado,
 soleado, nublado) o (nublado, nublado, nublado) donde pasado mañana es nublado. Estas secuencias son
mutuamente excluyentes, corresponden a caminos distintos en el árbol, así tenemos que:

P(pasado mañana nublado | hoy nublado)

= P((nublado, soleado, nublado) o (nublado, nublado, nublado))
= P(nublado, soleado, nublado) + P (nublado, nublado, nublado) = (.6 .3) + (.4 .4) = .34.
Este resultado se obtuvo multiplicando las probabilidades condicionales a lo largo de los caminos desde hoy
nublado hasta pasado mañana nublado. No es necesario que seamos tan específicos en términos de hoy,
mañana o pasado mañana, podemos darnos cuenta que lo realmente importante es el número de días que
pasa entre una predicción y otra.

Att.

Jaqueline Michelle Monzón

1328-03-14365


 +0




PROCESOS DE MARKOV
escrito por Licda. Marilena Anahí Ramírez Méndez, junio 18, 2010
ANÁLISIS DE MARKOV

Afin de ilustrar el proceso de Markov presentamos un problema en el que los estados de resultados de
actividades son marcas, y las probabilidades de transición expresan la probabilidad de que los consumidores
vayan de una marca a otra. Supongamos que la muestra inicial de consumidores se compone de 1 000
participantes distribuidos entre cuatro marcas(A, B, C, D). Una suposición adicional es que la muestra
representa a todo el grupo.

DATOS Y NOMENCLATURA
MARCAS
A, B, C, D

SOLUCION
En la siguiente tabla la mayor parte de los clientes que compraron inicialmente la marca A, siguieron con ella
en el segundo periodo. No obstante la marca A ganó 50 clientes y perdió 45 con otras marcas.

MarcaPeriodo 1
Numero de ClientesGanancias PerdidasPeriodo 2
Numero de Clientes
A2205045225
B3006070290
C2302525230
D2504035255
1 0001751751 000

Esta tabla no muestra la historia completa, sino que necesita un análisis detallado con respecto a la
proporción de ganancias y perdidas netas entre las cuatro marcas. Es necesario calcular las probabilidades de
transición para las cuatro marcas. Las probabilidades de transición se definen como la probabilidad de que
determinada marca, conserve sus clientes. Para determinar lo anterior dividimos se divide el numero de
clientes retenidos entre en numero de clientes en el periodo inicial, por ejemplo para la marca A (220-
45=175) se divide 175/220 lo que nos da 0.796, al igual para las otras marcas, obteniendo
0.767(B),0.891(C),0.860(D).

Para aquellos clientes que cambiaron de marcas , es necesario mostrar las perdidas y ganancias entre las
marcas a fin de completar las matriz de probabilidades de transición. De acuerdo con los datos desarrollados,
el paso siguiente consiste en convertir el cambio de marcas de los clientes de modo que todas las perdidas y
ganancias tomen forma de probabilidades de transición, obteniendo la matriz de probabilidad de transición.

La siguiente tabla nos muestra la matriz de transición final.

ABCD
A175/220=0.79640/300=0.1330/230=010/250=0.040
B20/220=0.091230/300=0.76725/230=0.10915/250=0.060
C10/220=0.0465/300=0.017205/230=0.89110/250=0.040
D15/220=0.06725/300=0.0830/230=0215/250=0.860

RESPUESTA = La lectura de esta información sería la siguiente:

 La marca A retiene 0.796 de sus clientes, mientras que gana 0.133 de los clientes de B, 0.40 de los clientes
de D y 0 de los clientes de C.
La administración de mercadotecnia puede tener un gran ventaja de toda esta información que nos pueda
arrojar el desarrollo de técnicas como estas, ayudando a la promoción de algunos productos que los necesiten
para tener una mejor aceptación entre los consumidores.

www.investigacion-operaciones.com/contenido.htm. Mc Graw Hill. Aplicación y Ejemplos de la Formulación de

problemas ... Calculo de redes: método de la ruta critica. ... Introducción a las Cadénas de Markov. ... (1.999)
Análisis cuantitativo para los negocios. 9° cd. Bogota.


 +0




Aporte Markov. Aplicaciones de MARKOV en la vida real

escrito por Ariel Fernando Castellanos, junio 18, 2010
Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento
inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto
condiciona las probabilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las
cadenas de markov de las series de eventos independientes, como tirar una moneda al aire o un dado.
APLICACIONES DE MARKOV:
FISICA: las cadenas de markov son usadas en muchos problemas de la ternodinámica y la física estadística.
Ejemplos importantes se pueden encontrar en la cadena de Ehrenfest o el modelo de difusión de Laplace.
METEOROLOGIA: si consideramos el clima de una región a través de distintos días, es claro que el estado
actual solo depende del último estado y no de toda la historia entre sí. de modo ue se pueden usar cadenas
de markov para formular modelos climatológicos básicos.
MODELOS EPIDEMIOLOGICOS: una i mportante aplicación de las cadenas de Markov sse encuentra en el
proceso Galton-Watson. Este es un proceso de ramificación que se pude usar, entre otras cosas, para modelar
el desarrollo de una epidemia.
INTERNET: el pagerank de una página web (usado por google en sus motores de búsqueda) se define a
través de una cadena de markov, donde la posición que tendrá una página en el buscador será determinada
por su peso en la distribución estacionaria de la cadena.
JUEGOS DE AZAR: son muchos los juegos de azar que se pueden modelar a través de una cadena de Markov.
El modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta en un juego
de azar eventualmente termina sin dinero, es una de las aplicaciones de las cadenas de markov en este
 rubro.
ECONOMIA Y FINANZAS: las cadenas de markov se pueden utilizar en modelos simples de evaluación de
opciones para determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una
bolsa de valores o para determinar la volatidad de precios.
MUSICA: diversos algoritmos de compsición musical usan cadenas de markov, por ejemplo el software Csound
o Max.
Fuente: http://es.wikipedia.org/wiki/Cadena_de_Markov

Ariel Fernando Castellanos Ciragua

1328-01-12018
Maestría RRHH, Jutiapa


 +0




Cadena de Markov Absorventes (Ampliación del Tema)

escrito por Mario Rodolfo Lucero Alvarado, junio 18, 2010
CADENAS DE MARKOV ABSORVENTES
Los estados absorbentes describen procesos que terminan o finalizan después de alcanzar determinadas
condiciones y dan como resultado un caso especial de cadenas de Markov, algunos ejemplos son:
1.- En control de calidad, después de encontrar un número predeterminado de partes que pueden ser
aceptadas o rechazadas, se suspende la inspección secuencial.
2.- Después de “x” horas de funcionamiento, una máquina se detiene para repararla o reemplazarla.
3.- Después de que una persona ha trabajado en una empresa, puede jubilarse o recontratarse.
4.- Después del seguimiento que se hace a una cuenta bancaria esta se paga o se considera perdida
CARACTERÍSTICAS.
a)Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual a cero, o sea que una
vez comenzado es imposible dejarlo y el proceso se detiene completamente o se detiene para luego comenzar
a partir de algún otro estado.
b) Una cadena de Markov es absorbente si:
1) Tiene por lo menos un estado absorbente.
2) Es posible ir desde cada estado no absorbente hasta por lo menos un estado absorbente. No es necesario
efectuar esta transición en un paso; ni es necesario alcanzar cada estado absorbente a partir de cualquier
estado no absorbente.

EJEMPLO. 1
Los alumnos de una escuela técnica, cursan 4 años para terminar su carrera. De los que ingresan a primer
año, 80% aprueba, 10% reprueba y el resto deserta. De los que están en segundo año, 85% aprueba, 10%
reprueba y el resto deserta. De los de tercer año, 80% aprueba, 15% reprueba y resto deserta. Los que están
en el último grado, 85% se gradúa, 5% deserta y el resto reprueba.
a)¿ Cuántos años se espera que un alumno pase como estudiante?
b)¿ Cual es la probabilidad de que un estudiante se gradúe?

Solución: Encontrar cuántos y cuales son los estados y modelar la matriz de transición.
S0=Ingreso S1 S2 S3 S4 S5 S6
S1 =Primer año S10.10 0.80 0 0 0.10 0
S2 =Segundo año S20 0.10 0.85 0 0.05 0
S3 =Tercer año P = S30 0 0.15 0.80 0.05 0
S4 =Cuarto año S40 0 0 0.10 0.05 0.85
S5 =Deserta S50 0 0 0 1 0
S6 =Se gradúa S60 0 0 0 0 1
a=Estados absorventes
n=Estados no absorventesm=a+n
Una vez alcanzados los estados absorbentes S5 y S6, la probabilidad de que el proceso permanezca en el
respectivo estado es 1. Por lo tanto es imposible (probabilidad cero) ir desde cualquiera de estos estados
hasta cualquier otro. En realidad esto se debe a que el alumno tomó la decisión de dejar la escuela
voluntariamente o decidió graduarse.
A partir del análisis de cadenas de Markov absorbentes, se obtiene la siguiente información:
1.- El número de pasos antes de que el proceso sea absorbido, utilizando (I – N-1) Para el ejemplo los pasos
serían años.
2.- El número esperado de veces que el proceso está en cualquier estado no absorbente. Para el ejemplo,
sería el número de años que el alumno permanece en cada grado.
3.- La probabilidad de absorción por cualquier estado absorbente dado, por medio de la siguiente expresión
(I-N)-1*A.
Para realizar los cálculos anteriores, la matriz de transición se subdivide en cuatro matrices y son los estados
absorbentes los quedan la pauta para dicha subdivisión.
Donde N e I son opuestos por el vértice.
 Estas matrices más pequeñas contienen elementos de probabilidad que nos originan "a” estados absorbentes
y "n" no absorbentes que en total serían a + n = m estados.
Matriz I: Es una matriz identidad de dimensiones a*a y representa las probabilidades de permanecer dentro
de un estado absorbente.
Matriz O: Es una matriz cero de a*n y nos indica las probabilidades de ir desde un estado absorbente hasta
un estado absorbente.
Matriz A: Es una matriz de n*a y contiene las probabilidades de ir desde un estado no absorbente hasta un
estado absorbente.
Matriz N: Es una matriz de n*n que contiene las probabilidades de ir desde un estado no absorbente hasta un
estado no absorbente.

Mario Rodolfo Lucero Alvarado

1328-01-7455
Contaduria Publica y Auditoria
Maestria en Administracion de Recursos Humanos
Metodos Cuantitativos
Centro Regional de Estudios Jutiapa


 +0




markov
escrito por CARLOS HUMBERTO LEMUS RAMOS, junio 18, 2010

ANALISIS DE CUENTAS POR COBRAR

UNA APLICACIÓN DE CONTABILIDAD EN LA QUE LOS PROCESOS DE MARKOV HAN PRODUCIDO
RESULTADOS UTILES IMPLICA LA ESTIMACION DE LA RESERVA PARA CUENTAS POR COBRAR DE DUDOSA
RECUPERACION O SIMPLEMENTE DUDOSAS.
ESTA RESERVA ES UNA ESTIMACION DE LA CANTIDAD DE CUENTAS POR COBRAR QUE AL FINAL
DEMOSTRARA SER INCOBRABLE.
SEGÚN RPOCESO DE MARKOV SONSIDERAREMOS LA SITUACION DE LAS CUENTAS POR COBRAR PARA LA
 TIENDA DEPARTAMENTAL HEIDEMA^S LA CUAL EMPLEA DOS CATEGORIAS PARA SUS CUENTAS POR
COBRAR
1-LAS CUENTAS QUE SE CLASIFICAN CON 0-30 DIAS DE ANTIGÜEDAD
2-LAS CUENTAS QUE SE CLASIFICAN CON 31-90 DIAS DE ANTIGÜEDAD.
SI CUALQUIER PORCION DE SALDO DE UNA CUENTA EXCEDE DE 90 DIAS , ESA PORCION ES CLASIFICADA
COMO DEUDA INCOBRABLE.
POR EJEMPLO:
SUPONGA QUE EL SALDO DE LA CUENTA DE UN CLIENTE AL 30 DE SEPTIEMBRE ES COMO SIGUE:

FECHA DE COMPRACANTIDAD CARGADA

15 DE AGOSTO25
18 DE SEPTIEMBRE10
28 DE SEPTIEMBRE50
___
TOTAL85

LA CLASIFICACION DE ANTIGÜEDAD DE ESA CUENTA POR COBRAR AL 30 DE SEPTIEMBRE ASIGNARA EL

SALDO TOTAL DE 85 A LA CATEGORIA DE 31 -90 DIAS DEBIDO A QUE LA FACTURA SIN PAGAR MAS
ANTIGUA DEL 15 DE AGOSTO TIENE 46 DIAS DE ANTIGÜEDAD.
SUPONGAMOS QUE UNA SEMANA DESPUES EL 7 DE OCTUBRE EL CLIENTE PAGA LA FACTURA DE 25 DEL 15
DE AGOSTO EL SALDO TOTAL DE 60 SE COLOCARIA AHORA EN LA CATEGORIA DE 0-30 DIAS EN VISTA DE
QUE LA CUENTA SIN PAGAR MAS ANTIGUA CORRESPONDEIENTE A LA COMPRA DEL 18 DE SEPTIEMBRE ,
TIENE MENOS DE 31 DIAS DE ANTIGÜEDAD.
markov metodos cuantittativos para los negocios
novena edicion
ANDERSON
AWEENEY
WILLIAMS
THONSON EDITORA
escrito por:
Lic. carlos Humberto Lemus Ramos
maestria de recursos humanos


 +0




PROCESOS MARKOVIANOS
escrito por Juana Maria Godoy Contreras, junio 18, 2010

El análisis de un modelo de procesos Markoviano no pretende optimizar ningún aspecto particular de un

sistema. Mas bien, el análisis predice o describe el comportamiento futuro y de estado estable del mismo.
En el ejemplo siguiente nos podemos dar cuenta como podemos predecir el éxito o fracaso de una estrategia
de publicidad, haciendo uso de Markov.

Se esta planeando una campaña publicitaria de Red Pop, que es una bebida gaseosa, para aumentar la
probabilidad de atraer clientes de Super Cola que es la competencia. La administración cree que la nueva
campaña aumentara a 0.15 la probabilidad de que un cliente cambie de Super Cola a Red Pop. ¿Cuál es el
efecto proyectado de la campaña publicitaria en las participaciones del mercado?

DATOS Y NOMENCLATURA

0.85 S
S
0.15 R
0.90 0.10

π1 π2 = π1 π2 0.15 0.85

π1 = π1 * 0.90 + π2 *0.15
π2 = π1 * 0.10 + π2 *0.85
π2 + π1 = 1
π1 = 0.90 π1 + 0.15 (1- π1)
π1 = 0.90 π1 + 0.15 - 0.15 π1
0.25 π1 = 0.15
π1 = 0.15/0.25 = 0.60
π1 = 0.40
 R// el efecto proyectado de la campaña publicitaria en las participaciones del mercado es de
π1 = 0.6, π2 = 0.4


 +0




...
escrito por Irma Alvarez Molina, junio 18, 2010
Cadenas de Markov
Definición : Sea la secuencia x1,...,xn,...,xL; xi X; i {1,...,L}. Para que un proceso sea markoviano de orden n,
se tiene que cumplir que:
P{xL+1 / xL,...,x1} = P{xL+1 / xL,...,xL-n+1}
 Aunque el caso que nos ocupa es con índice "i" y variable aleatoria discretos, también hay procesos
markovianos con índice y/o variable aleatoria continuos.

Definición: Un proceso markoviano de orden 1 es un proceso estocástico de orden 1 en el cual su pasado no

tiene ninguna influencia en el futuro si su presente está especificado. Es decir:
Si tn-1 < tn, entonces:
P{ X(tn) Xn/X(t) , t tn-1 } = P{ X(tn) Xn/X(tn-1) }

Luego, si t1 < t2 < ... < tn:

P{ X(tn) Xn / X(tn-1),...,X(t1) } = P{ X(tn) Xn / X(tn-1) }
En el objeto de estudio, que son las cadenas markovianas, en una cadena markoviana de primer orden se
cumplirá:
P{xL+1 / xL,...,x1} = P{xL+1 / xL}

Definimos un estado como:

sL = {xL, xL-1, ... , xL-n+1}
Por lo tanto:
P{xL+1 / xL, xL-1, ... , xL-n+1} = P{xL+1 / sL}
De la misma manera obtenemos:
sL+1 = {xL+1, ... , xL+2-n}
P{xL+1 / xL, xL-1, ... , xL-n+1} = P{sL+1 / sL}
Por lo tanto, según se ha deducido, mediante los estados podemos pasar de una cadena de orden n a otra de
orden 1, ya que hemos formado con los estados la cadena
p(s1,...,sn) = p(s1)•p(s2 / s1)•p(s3 / s2)•...•p(sn / sn-1),
que es una cadena es de orden 1.
Ejemplo: Cadena markoviana de 2º orden.
p(x1,...,xn) = p(x1,x2)•p(x3/x1,x2)•p(x4/x2,x3)•...•p(xn/xn-2,xn-1)
Si por ejemplo la secuencia es del tipo abaabbaaab..., tendremos:
p(abaabbaaab...)=p(ab)•p(a/ab)•p(a/ba)•p(b/aa)•p(b/ab)•p(a/bb)•p(a/ba)•p(a/aa)•...

Irma Alvarez Molina


 +0



CADENAS DE MARKOV
escrito por LESLY M. CASTAÑEDA MONTUFAR, junio 18, 2010
Una cadena de Márkov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende
del evento inmediato anterior, esta dependencia del evento anterior distingue a las cadenas de Márkov de las
series de eventos independientes, como tirar una moneda al aire o un dado. En el área de los negocios es
muy importante, ya que nos permite analizar los patrones de compra, de deudores morosos, de movimiento
de productos, necesidades de personal y para analizar el reemplazo de equipo, de esta manera poder tomar
las decisiones oportunas correspondientes. Las cadenas de markov pueden ser homogéneas y no
homogéneas, se dice que es homogénea si la probabilidad de ir del estado i al estado j en un paso no
depende del tiempo en el que se encuentra la cadena, y si para alguna pareja de estados y para algún tiempo
n la propiedad antes mencionada no se cumple diremos que la cadena de Markov es no homogénea.
Dentro de los tipos de cadenas de Markov podemos citar:
Cadena irreducible
Cadena Positvo-recurrente
Cadenas Regulares
Cadenas Absorbentes
Cadenas en tiempo continuo


 +0




PROCESOS DE MARKOV
escrito por kelly Xuya, junio 19, 2010
PROCESOS DE MARKOV

Los procesos de markov tienen la propiedad de no tener memoria por lo que se les puede llamar procesos SIN
MEMORIA, pues el estado actual del sistema junto con as probabilidades de transicion contienen toda la
informacion necesaria para predecir el comportamiento futuro del sistema,
Tale procesos se consideran procesos markovianos de primer orden, los procesos de markov de orden
 superior son aquellos en que los estados futuros del sistema dependen de dos o mas estados previos.

El anàlisis de un modelo de procesos markovianos no pretenden optimizar ningun aspecto particular de un

sistema, mas bien el anàlisis predice o describe el comportamiento futuro y de estado estable del mismo.

En otras aplicaciones el analistas cuantitativos han extendido el estudio de procesos de markov a los llamados
PROCESOS MARKOVIANOS DE DECISIÒN , en estos modelos pueden tomarse desiciones en cada perìodo, lo
que afecta en las probabilidades de transicion y por consiguiente en el comportamiento futuro del sistema.
Los procesos marcovianos de desicion se han usado para analisar la descompostura de maquinas y las
operaciones de mantenimiento,la planificacion del movimiento de pacientes en hospitales, la elavoracion de
estrategias de inspecciòn, la determinacion de la duracion de suscripciones a periòdicos y el analisis de
reemplazo de equipo.

METODOS CUANTITATIVOS`PAR LOS NEGOCIOS

KELLY IRLANDA XUYA BARAHONA
1328-03-134389
MAESTRIA EN RRHH
JUTIAPA


 +0




EL EXAMEN DE MARKOV SE ENVIA A exmarkov@sermelec.co.cc

escrito por MSc. Edgar Carrera, junio 25, 2010
EL EXAMEN DE MARKOV SE ENVIA A \n '> exmarkov@sermelec.co.cc
GRACIAS
ATTE
EC


 +0



Escribir comentario
Nombre

Email

Sitio Web

Título
Comentario

corto | largo

Suscripcion por correo electronico (solo usuarios registrados)

He leido y estoy de acuerdo con la Terminos de uso.

NUEVO COMENTARIO

Inicio
Cursos
Seguridad Industrial
Calendario
Contacto
Correo

Escriba su Email:

Subscribe

Username

Password

Remember me
Login

Forgot login?
No account yet? Register

Creative Commons Reconocimiento-No comercial-Sin obras derivadas 3.0 Unported License.

Información sobre Creative Commons Guatemala.