Análisis de Markov

Cuál es el fundamento matemático de ese método?

El análisis de Markov es un procedimiento que se utilizar para describir el

comportamiento de un sistema en una situación donde confluyen varias variables,
prediciendo los movimientos del sistema entre diferentes posibles estados en un tiempo
determinado. El análisis Markoviano o proceso de Markov está formado por un conjunto
de objetos y un conjunto de estados. Si el número de estados es contable tal proceso de
Markov se denomina Cadena de Markov.

Una cadena de Markov es una secuencia de n experimentos en la que cada experimento

consta de m resultados o estados posibles E1, E2,… En y la probabilidad de que ocurra
un resultado particular depende únicamente de la probabilidad del resultado del
experimento anterior. La probabilidad de transición p ij es la probabilidad de que el
experimento pase del estado Ei al estado Ei . Así, p ij es una probabilidad condicional
que se puede expresar como pij= PEi
 /Ej  ; 1 i,
  j m..
 Si los índices i, j de pij representan
el número de renglón y el número de columna, respectivamente, entonces las
probabilidades de transición se pueden colocar en una matriz P de probabilidades de
transición, cuyos elementos son no negativos y menores o iguales a 1.

Cualquier renglón suma 1, y representa la probabilidad de pasar de una estado a otro.

(1)

Cuáles son sus principales campos de uso

Las predicciones en base al análisis de Markov son de suma importancia para el manejo
de sistemas y procesos en todo tipo de organizaciones, pudiendo ser utilizada para
ayuda en la toma de decisiones con respecto al movimiento de personal, inventarios,
comportamiento de clientes, etc
c) Un ejemplo de aplicación

El fabricante de dentífrico Brillo controla actualmente 60% del mercado de una ciudad.
Datos del año anterior muestran que :el 88% de consumidores de Brillo continúan
utilizándola, mientras que el 12% de los usuarios de Brillo cambiaron a otras marcas. El
85% de los usuarios de la competencia permanecieron leales a estas otras marcas,
mientras que el 15% cambió a Brillo. Definir la matriz de transición y el vector inicial de
distribución.

Desarrollo

Se considera como estado 1 al consumo de dentífrico Brillo y al estado 2 como el

consumo de una marca de la competencia. Entonces,

p11 , probabilidad de que un consumidor de Brillo permanezca leal a Brillo, es

0.88.

p12 , la probabilidad de que un consumidor de brillo cambie a otra marca, es de

0.12

p21 , probabilidad de que el consumidor de otra marca cambie a brillo, es de 0.15

p22 , probabilidad de que un consumidor permanezca leal a la competencia, es de

0.85

La matriz de transición es: (■(0.88&0.12@0.15&0.85))

 El vector inicial de distribución de probabilidad es X^((O)
 0.60,0.40
  donde los
componentesp_1^((0)
 
  yp_2^((0)
  
 representan
 las proporciones de personas
inicialmente en los estados 1 y 2, respectivamente. (1)

• Saltar al contenido

• Saltar a la navegación principal

• Saltar a la primera columna

• Saltar a la segunda columna

CURSOS EDGAR CARRERA

•

•
Top of Form
buscar...

Bottom of Form

Procesos de Markov
Métodos Cuantitativos

PROCESOS DE MARKOV

• Los modelos de procesos de Markov, también se llaman procesos markovianos

Usos de los procesos de Markov

• Operativilidad de maquinaria

– Una máquina que funcione en el siguiente periodo.

• Fidelidad del consumidor

– Que la clientela permanezca o cambie de proveedor

• Análisis de cuentas por cobrar

• Cambio de estados en los negocios.

Markov y la Toma de Decisiones

• En situaciones que impliquen una secuencia de ensayos con una cantidad finita de estados
posibles en cada ensayo.

• Situaciones de competencia por adquisición de clientela o permanencia en el mercado.

• Situaciones de estados absorbentes como en las cuentas por cobrar las cuentas incobrables.

• En eventos donde la información se considera al azar o que pertenece a “estados de suerte”

Markov Proporciona

• Información acerca de la probabilidad de cada estado después de una gran cantidad de

transiciones o periodos.

• Probabilidades a lo largo del tiempo o el estado en el que terminarán los acontecimientos.

• Idea del camino a tomar para alcanzar objetivos y metas.

DEFINICIONES IMPORTANTES

• Estados del proceso, también llamados Ensayos, son eventos que desencadenan transiciones
del sistema de un estado a otro.

• Estado del Sistema: Condición del sistema en cualquier ensayo o periodo particular

• Probabilidad de Transición: Es la probabilidad de que el sistema pase al estado siguiente.

• Probabilidad de Estado: Probabilidad de que el sistema se encuentre en un estado determinado.

• Probabilidad de Estado Estable: La probabilidad de que el sistema termine en alguna estado en

particular después de un gran numero de transiciones.

• Estado Absorbente: Cuando no hay posibilidad de salir de ese estado, si ha alcanzado ese
estado allí permanecerá.

• •Matriz Fundamental: Tabla de probabilidades asociadas con los estados y sus transiciones en
un proceso de Markov.
Agregalo como Favorito
Compartir
 Enviar email
Hits: 2531

Comentarios (32)
RSS Comentarios

PROCESO DE MARKOV
escrito por Julio Humberto Guevara Fajardo, mayo 09, 2010
PROCESOS DE MARKOV:
Se dice que los procesos de MARKOV, son útiles para estudiar la evolución de sistemas a lo largo
de ensayos repetidos, los que, a menudo son periodos sucesivos donde el estado del sistema en
cualquier periodo particular no pueden determinarse con certeza. Por ello, para describir la
manera en que el sistema cambia de un periodo al siguiente se emplean probabilidades de
transición.

Los procesos de MARKOV, son también llamados Markovianos, que pueden usarse para describir
la probabilidad de que una maquina esta funcionando en un período continuará funcionando en
siguiente período (o se estropeará). También pueden usarse los modelos para describir la
probabilidad de que un consumidor que compra la marca A, en un período compre la marca B en
el siguiente periodo.

Principio de Markov:
Cuando una probabilidad condicional depende únicamente del suceso inmediatamente anterior,
cumple con el Principio de Markov de Primer Orden, es decir.

Definiciones en los Procesos de Markov de Primer Orden:

Estados: Las condiciones en las cuales se encuentra un ente ó sucesos posibles.

Ensayos: Las ocurrencias repetidas de un evento que se estudia.

Probabilidad de Transición: La probabilidad de pasar de un estado actual al siguiente en un

período ó tiempo, y se denota por p¬ij ( la probabilidad de pasar del estado i al estado j en una
transición ó período)

Características de los Procesos de Markov de Primer Orden:

Se pueden usar como modelo de un proceso físico ó económico que tenga las siguientes
propiedades:
a)Que la probabilidad cumpla con el principio de Markov.
b)Existencia de un número finito de estados.
c)Las p¬ij son constante con respecto al tiempo ó período.
d)Ensayos en períodos iguales.

Si un suceso depende de otro además del inmediatamente anterior, este es un proceso de

Markov de mayor orden. Por ejemplo, Un proceso de segundo orden describe un proceso en el
cual el suceso depende de los dos sucesos anteriores. Los procesos de Markov también se les
llama Cadenas de Markov.

Notaciones que utilizaremos:

p¬ij = probabilidad de transición en un período.

P = [p¬ij]nxn matriz de transición formada por los valores de p¬ij , donde cada fila representa el
estado inicial donde se parte y las columna el estado al que se ira en un período.
Representa la probabilidad de ir del estado i al estado j en k períodos.
P(k)=[ ]nxn la matriz de transición de k períodos.
Si(t) = probabilidad de encontrarse en el estado i en el período t.
S(t) =(S1(t) , S2(t) , . . . . , Sn(t)) vector de probabilidad de estado en el período t. Para n
estados.

Los sucesos que cumplan con un proceso de Markov, se pueden representar por medio de un
esquema donde los nodos indique los estados y arcos dirigidos de nodo a nodo con un número
que representa la probabilidad de transición de ir de un estado a otro, ó por medio de una
matriz de transición.
Ejemplo:

Para calcular:
= p11.p11+ p12.p21+ p13.p31
= 0,2.0,2+0,3.0,3+0,5.0,2 = 0,23

= p11.p12+ p12.p22+ p13.p32

= 0,2.0,3+0,3.0,4+0,5.0,4 = 0,38

= p11.p13+ p12.p23+ p13.p33

= 0,2.0,5+0,3.0,3+0,5.0,4 = 0,39

luego + + =1

Otra forma es usando el vector de probabilidades y la matriz de transición, es decir:

S(0) = (1, 0, 0) S(1) = S(0).P = (0,2; 0,3; 0,5)

S(2) =S(1).P =(0,23; 0,38; 0,39)

Análisis de cuentas por cobrar:

Una aplicación de contabilidad en la que los procesos de Markov han producido resultados útiles
implica una estimación de la reserva para cuentas por cobrar de dudosa recuperación o,
simplemente, dudosas. Esta reserva es una estimación del a cantidad de cuentas por cobrar que
al final demostraran ser incobrables.

Matriz fundamental y cálculos asociados:

Siempre que un proceso de Markov tiene estados absorbentes no calculamos probabilidades de
estado estable debido que cada unidad final de cuentas termina en uno de los estados
absorbentes.

El cálculo de las probabilidades de estado absorbente requiere la determinación y uso de lo que

se le llama matriz fundamental. La lógica matemática que subyace en la matriz fundamental
esta fuera del alcance de este texto. Sin embargo

Probabilidad de estado estable:

Es la probabilidad de que el sistema esté en cualquier estado particular. (Es decir, π! (n) es la
probabilidad de que es sistema esté en el estado j durante el siguiente período.
•
• -1

TOMA DE DECISIONES
escrito por Julio Humberto Guevara Fajardo, mayo 09, 2010

TOMA DE DECISIONES:
El análisis de toma de decisiones puede usarse para desarrollar una estrategia óptima cuando el
tomador de decisiones se enfrenta con varias alternativas de decisión y una incertidumbre o
patrón de eventos futuros llenos de riesgos.
La toma de decisiones se puede decir que es la selección de un curso de acción entre varias
alternativas por lo tanto constituye la base de la planeación. La administración es le ejercicio de
dar forma de manera, consciente y constante a las organizaciones y el arte de tomar decisiones
es medular para ello. Como anteriormente se menciono la toma de decisiones, identificación y
elección de un curso de acción para tratar un problema concreto o aprovechar una oportunidad.
Esta constituye una parte importante en la labor de todo gerente, sobra decir que todos
tomamos decisiones, lo que diferencia el ejercicio de esta en la administración es la atención
sistemática y especializada que los gerentes o administradores prestan a la misma.
La toma de decisiones esta relacionada a un problema, dificulta o conflicto. Por medio de la
decisión y ejecución se espera obtener respuestas a un problema o solución a un conflicto.
Formulación del problema:
Es el primer paso en el proceso de análisis de decisiones es la formulación del problema,
comenzando con una declaración verbal de éste. Luego se identifican las alternativas de
decisión, los eventos futuros inciertos, conocidos como eventos futuros fortuitos, y las
consecuencias o resultados asociados con cada alternativa de decisión y cada evento fortuito.

Diagrama de influencia:
El diagrama de influencia es una herramienta grafica que muestra las relaciones entre las
decisiones, los eventos al azar u las consecuencias para un problema de decisión. Los nodos en
un diagrama de influencia se usan para reparar las decisiones, los eventos fortuitos y las
consecuencias. Se emplean rectángulos para o cuadrados para describir los nodos de decisión,
círculos u óvalos para describir los nodos fortuitos y rombos para describir los nodos de
secuencia.

Tablas de resultados:
En el análisis de decisiones, nos referimos a la secuencia resultante de una combinación
específica de una alternativa de decisión y un estado de la naturaleza como un resultado o
consecuencia. La tabla que muestra los resultados para todas las combinaciones de las
alternativas de decisión y los estados de la naturaleza, es una tabla de resultados.

Árbol de decisión:
El árbol de decisión nos proporciona una representación grafica del proceso de toma de
decisiones.

Los árboles de decisión proveen un método efectivo para la toma de decisiones debido a que:

Claramente plantean el problema para que todas las opciones sean analizadas.

Permiten analizar totalmente las posibles consecuencias de tomar una decisión.

Proveen un esquema para cuantificar el costo de un resultado y la probabilidad de que suceda.

Nos ayuda a realizar las mejores decisiones sobre la base de la información existente y de las
mejores suposiciones.

CÓMO DIBUJAR UN ÁRBOL DE DECISIONES

Para comenzar a dibujar un árbol de decisión debemos escribir cuál es la decisión que
necesitamos tomar. Dibujaremos un recuadro para representar esto en la parte izquierda de una
página grande de papel.

Desde este recuadro se deben dibujar líneas hacia la derecha para cada posible solución, y
escribir cuál es la solución sobre cada línea. Se debe mantener las líneas lo más apartadas
 posibles para poder expandir tanto como se pueda el esquema.

Al final de cada línea se debe estimar cuál puede ser el resultado. Si este resultado es incierto,
se puede dibujar un pequeño círculo. Si el resultado es otra decisión que necesita ser tomada,
se debe dibujar otro recuadro. Los recuadros representan decisiones, y los círculos representan
resultados inciertos. Se debe escribir la decisión o el causante arriba de los cuadros o círculos. Si
se completa la solución al final de la línea, se puede dejar en blanco.

Comenzando por los recuadros de una nueva decisión en el diagrama, dibujar líneas que salgan
representando las opciones que podemos seleccionar. Desde los círculos se deben dibujar líneas
que representen las posibles consecuencias. Nuevamente se debe hacer una pequeña
inscripción sobre las líneas que digan que significan. Seguir realizando esto hasta que tengamos
dibujado tantas consecuencias y decisiones como sea posible ver asociadas a la decisión
original.

Un ejemplo de árbol de decisión se puede ver en la siguiente figura:

•
• +1

Definiciones de términos en los procesos de Markov

escrito por Maria de los Angeles Garzona Castañeda, mayo 10, 2010
Ensayos del proceso: Eventos que desencadenan las transiciones del sistema de un estado a
otro. En muchas aplicaciones, los períodos sucesivos representan los ensayos del proceso.

Estado del sitema: Condición en cualquier ensayo o período particular.

 Probabilidad de estado: Probabilidad de que el sistema esté en cualquier estado en particular.

Probabilidad de estado estable: Probabilidad de que el sistema esté en cualquier estado en

particular después de un número grande de transiciones. Una vez que se ha alcanzado el estado
estable, la probabilidades de estado no cambian de un período a otro.

Estado absorbente: Se dice que un estado es absorbente si la probabilidad de hacer una

transición para salir de ese estado es cero. Por tanto, una vez que el sistema ha hecho una
transición a un estado absorbente, permanecerá ahí.

Matriz fundamental: Matriz necesaria para el cálculo de probabilidades asociadas con los
estados absorbentes de unproceso de Markov.

•
• +0

...
escrito por Marina Elizabeth España Rosales 00-8440, mayo 12, 2010
PROCESOS DE MARKOV

Una cadena de Márkov, que recibe su nombre del matemático ruso Andrei Andreevitch Markov
(1856-1922), es una serie de eventos, en la cual la probabilidad de que ocurra un evento
depende del evento inmediato anterior.
Cuando una probabilidad condicional depende únicamente del suceso inmediatamente anterior,
cumple con el Principio de Markov de Primer Orden.

Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno de
determinados tipos de procesos estocásticos, esto es, procesos que evolucionan de forma no
determinada a lo largo del tiempo en torno a un conjunto de estados.
Una cadena de Markov, por tanto, representa un sistema que varía su estado a lo largo del
tiempo, siendo cada cambio una transición del sistema.

Definiciones en los Procesos de Markov de Primer Orden:

Estados: Las condiciones en las cuales se encuentra un ente ó sucesos posibles.
Ensayos: Las ocurrencias repetidas de un evento que se estudia.
Probabilidad de Transición: La probabilidad de pasar de un estado actual al siguiente en un
período ó tiempo, y se denota por p¬ij (la probabilidad de pasar del estado i al estado j en una
transición ó período)

Características de los Procesos de Markov de Primer Orden:

Se pueden usar como modelo de un proceso físico ó económico que tenga las siguientes
propiedades:
a)Que la probabilidad cumpla con el principio de Markov.
b)Existencia de un número finito de estados.
c)Las p¬ij son constante con respecto al tiempo ó período.
d)Ensayos en períodos iguales.

Matrices de Probabilidad de Transición:

La forma más cómoda de expresar la ley de probabilidad condicional de una cadena de Markov
es mediante la llamada matriz de probabilidades de transición P, o más sencillamente, matriz de
la cadena.
Dicha matriz es cuadrada con tantas filas y columnas como estados tiene el sistema, y los
elementos de la matriz representan la probabilidad de que el estado próximo sea el
correspondiente a la columna si el estado actual es el correspondiente a la fila.

Como el sistema debe evolucionar de t a alguno de los n estados posibles, las probabilidades de
transición cumplirán con la propiedad siguiente:
n
∑ Pij = 1
J= 1

Además, por definición de probabilidad, cada una de ellas ha de ser no negativa:

Pij ≥ 0

Cuando las Pij cumplen las propiedades arriba indicadas, la matriz P es una matriz estocástica:
la suma de valores de las filas de la matriz será siempre igual a 1(la suma de los valores de la
columna no tienen ninguna propiedad especial)
•
• +0

PROCESOS DE MARKOV
escrito por Ana Marcela Ramos Fajardo 99-5399, mayo 12, 2010
ANALISIS DE CUENTAS POR COBRAR

Una aplicación de contabilidad en la que los procesos de Markov han producido resultados útiles
implica la estimación de la reserva para cuentas por cobrar de dudosa recuperación o,
simplemente dudosas. Esta reserva es una estimación de la cantidad de cuentas por cobrar que
al final demostrarán ser incobrables.

Veamos cómo podemos considerar la operación de cuentas por cobrar como un proceso de
Markov. Primero, concétrese en lo que le sucede en la actualidad a un dólar en las cuentas por
cobrar. Conforme la firma continúe operando en el futuro, podemos considerar cada semana
como un ensayo de un proceso de Markov con un dólar existente en uno de los siguientes
estados del sistema.

Estado 1. Categoría pagado

Estado 2. Categoría deuda incobrable
Estado 3. Categoría 0-30 días
Estado 4. Categoría 31-90

Por tanto, podemos rastrear el estado semana a semana de un dólar usando un análisis de
Markov para identificar el estado del sistema en una semana o periodo particular.

•
• +4

•
Cadenas de Markov
escrito por Nancy Veraliz Cervantes Lemus, mayo 12, 2010
CADENAS DE MARKOV

1.¿Qué es cadena de Markov?

Es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento
inmediato anterior.

2.En los negocios, ¿para que se han utilizado las cadenas de markov?
Para analizar patrones de compra de los consumidores, para pronosticar las concesiones por
deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de
equipo.

3.¿Qué característica deben de tener los eventos para que puedan representarse a través de
una cadena de markov?
Deben de tener memoria.

4.¿Qué es necesario para describir completamente una cadena de markov?

Es necesario saber el estado actual y todas las probabilidades de transición.

5.¿Cómo se denomina la forma gráfica para describir una cadena de markov?

Diagrama de estados.

6.¿Con qué nombre se conoce a la probabilidad de estar en un estado y pasar a otro en una
cadena de markov?
Probabilidad de transición.

7.La probabilidad condicional o de transición de moverse de un estado ¿cómo se indica en un

diagrama de estados?
A través de líneas con sentido que comunica a los estado entre ellos o si mismos.

8.En un diagrama de estados, cuando no se marcan las flechas de transición, ¿qué significa?
Que su probabilidad es cero.

9.Además del método gráfico, ¿qué otro método se puede utilizar para exhibir las probabilidades
de transición?
 Usar una matriz de transición.

10.¿Qué condición deben cumplir las filas o renglones de una matriz de transición?
Sumar uno.

11.¿Qué es análisis de transición?

Es útil para pronosticar el estado del sistema después de 1, 2 o más periodos.

12.¿Qué es estado estable?

Las cadenas de Harkov poseen una propiedad notable en cuanto a que tienden a aproximarse a
lo que se llama estado estable. Generalmente después de unos cuantos ciclos, las
probabilidades de estado comienzan a asentarse o estabilizarse. Cuando una cadena de Harkov
ha llegado lo suficientemente lejos como para estar cerca de estos límites, se dice que ha
alcanzado un estado estable. Además, estos límites son los mismos, independientemente del
punto de partida del sistema.

•
• +1

Un modelo oculto de Márkov

escrito por Julio César Padilla Mejia, mayo 13, 2010
Un modelo oculto de Márkov
o HMM (por sus siglas del inglés, Hidden Markov Model) es un modelo estadístico en el que se
asume que el sistema a modelar es un proceso de Márkov de parámetros desconocidos. El
objetivo es determinar los parámetros desconocidos (u ocultos, de ahí el nombre) de dicha
cadena a partir de los parámetros observables. Los parámetros extraídos se pueden emplear
para llevar a cabo sucesivos análisis, por ejemplo en aplicaciones de reconocimiento de
patrones. Un HMM se puede considerar como la red bayesiana dinámica más simple.
Los modelos ocultos de Márkov son especialmente aplicados a reconocimiento de formas
temporales, como reconocimiento del habla, de escritura manual, de gestos, etiquetado
gramatical o en bioinformática.
Los modelos ocultos de Márkov fueron descritos por primera vez en una serie de artículos
estadísticos por Leonard E. Baum y otros autores en la segunda mitad de la década de 1960.
Una de las primeras aplicaciones de HMMs fue reconocimiento del habla, comenzando en la
mitad de la década de 1970.1
En la segunda mitad de la década de 1980, los HMMs comenzaron a ser aplicados al análisis de
secuencias biológicas, en particular de DNA. Desde entonces, se han hecho ubicuos en el campo
de la bioinformática.2
Ejemplo de utilización [editar]
Imagínese que tiene un amigo que vive lejos y con quien habla a diario por teléfono acerca de lo
que hizo durante el día. A su amigo le interesan tres actividades: caminar por la plaza, salir de
compras y limpiar su departamento. Lo que su amigo hace depende exclusivamente del estado
del tiempo en ese día. Usted no tiene información clara acerca del estado del tiempo donde su
amigo vive, pero conoce tendencias generales. Basándose en lo que su amigo le dice que hizo
en el día, usted intenta adivinar el estado del tiempo.
Supóngase que el estado del tiempo se comporta como una cadena de Márkov discreta. Existen
dos estados, "Lluvioso" y "Soleado", pero usted no los puede observar directamente, es decir,
están ocultos. Existe también una cierta posibilidad de que su amigo haga una de sus
actividades cada día, dependiendo del estado del tiempo: "caminar", "comprar" o "limpiar".
Dado que su amigo le cuenta sus actividades del día, esas son las observaciones. El sistema
completo es un modelo oculto de Márkov.
Usted conoce las tendencias generales del tiempo en el área y lo que a su amigo le gusta hacer.
En otras palabras, los parámetros del HMM son conocidos. Pueden escribirse usando el lenguaje
de programación Python:
estados = ('Lluvioso', 'Soleado')

observaciones = ('caminar', 'comprar', 'limpiar')

probabilidad_inicial = {'Lluvioso': 0.6, 'Soleado': 0.4}

probabilidad_transicion = {
'Lluvioso' : {'Lluvioso': 0.7, 'Soleado': 0.3},
'Soleado' : {'Lluvioso': 0.4, 'Soleado': 0.6},
}

probabilidad_emision = {
'Lluvioso' : {'caminar': 0.1, 'comprar': 0.4, 'limpiar': 0.5},
'Soleado' : {'caminar': 0.6, 'comprar': 0.3, 'limpiar': 0.1},
 }
En esta porción de código se tiene:
La probabilidad_inicial que representa el estado en el que usted cree que se encuentra el HMM
la primera vez que su amigo lo llama (es decir, sabe que es un poco más probable que esté
lluvioso). La distribución de probabilidades que se usó aquí no es la de equilibrio, que es (dadas
las probabilidades de transición) aproximadamente {'Lluvioso': 0.571, 'Soleado': 0.429}.
La probabilidad_transicion representa el cambio del tiempo en la cadena de Márkov por detrás
del modelo. En este ejemplo, hay un 30% de probabilidad de que mañana esté soleado si hoy
llovió.
La probabilidad_emision representa con cuanta probabilidad su amigo realiza una actividad
determinada cada día. Si llueve, hay un 50% de probabilidad de que esté limpiando su
departamento; si hay sol, hay un 60% de probabilidades de que haya salido a caminar.

•
• +0

EJEMPLO DE APLICACIÓN DE PROCESO MARKOV

escrito por Carlo Fernando Ortega Pinto, mayo 14, 2010
PROCESOS MARKOV

Ejemplo de aplicación:

Un experto en mercadeo está interesado en analizar la participación en el mercado y lealtad del

cliente para Comercial Córdova y Bazar Europa. Para el efecto se recopiló datos de 100
compradores de la ciudad de Chiquimula a lo largo de un periodo de 10 semanas.

Se supone que estos datos muestran el patrón de viajes de compras semanales de cada cliente
en función de la secuencia de visitas a Comercial Córdova y Bazar Europa. Para el efecto se
toman en cuenta los datos del periodo anterior. Al revisar los datos, suponga que encontramos
que de todos los clientes que compraron en Comercial Córdova en una semana dada, 80%
compro en Comercial Córdova la siguiente semana, mientras 20% cambio a Bazar Europa.
Suponga que datos similares para los clientes que compraron en Bazar Europa en una semana
dada muestran que 70% compro en Bazar Europa la siguiente semana, mientras 30% cambio a
Comercial Córdova.

A partir de lo anterior establecer las probabilidades de transición a través del método de

markov.

Probabilidades de transición para las tiendas Comercial Córdova y Bazar Europa

Periodo de Compra Siguiente periodo de compra semanal

Semanal actual Comercial Córdova Bazar Europa

Comercial Córdova 0.80 0.20

Bazar Europa 0.30 0.70

P =P11 P12 0.80 0.20

P21 P22 0.30 0.70

Con la matriz de probabilidades podemos determinar la probabilidad de que un cliente visite

Comercial Córdova o Bazar Europa en algún periodo del futuro.

Suponiendo que tenemos un cliente cuyo último viaje de compras fue a Comercial Córdova.
¿Cuál es la probabilidad de que este cliente compre en Comercial Córdova en el siguiente viaje
semanal, periodo 1?

Con un diagrama de árbol se puede describir dos viajes de compras semanales de un cliente que
compro la última vez en Comercial Córdova. A continuación se observa el recorrido:

Semana 1 Semana 2 Probabilidad de cada patrón en 2 semanas

Cliente que compro 0.80 0.80 Córdova (0.80) (0.80) = 0.64

La última vez en 0.20 Bazar Europa (0.80) (0.20) = 0.16
Comercial Córdova
0.20 0.30 Córdova (0.20) (0.30) = 0.06
0.70 Bazar Europa (0.20) (0.70) = 0.14

{π1(1) π2(1)} = {π1(0) π2(0)} (P11 P12)

(P21 P22)
 = (0.80 0.20)
(0.30 0.70)(0.70 0.30)

La probabilidad de comprar en Comercial Córdova durante la segunda semana es del 70%

(0.70), mientras la probabilidad de comprar en Bazar Europa durante la segunda semana es de
30% (0.30).

•
• +0

PROCESOS DE MARKOV
escrito por Zully Amarilis Morales Solís, mayo 14, 2010
ESTADOS Y PROBABILIDADES DE ESTADO

Los estados se utilizan para identificar todas las condiciones posibles de un proceso o de un
sistema. Por ejemplo, una máquina puede encontrarse en uno de dos estados en un momento
dado. Puede funcionar correctamente o puede no funcionar correctamente. Se puede llamar a la
operación correcta de la máquina el primer estado, y al funcionamiento incorrecto el segundo
estado. En realidad es posible identificar estados específicos de muchos procesos y sistemas. Si
solo existen tres tiendas de abarrotes en un pueblo pequeño, en un momento dado un residente
puede ser cliente de cualquiera de las tres. Si los estudiantes pueden tomar una de tres
especializaciones dentro del área de administración (digamos ciencia administrativa, sistemas
de información administrativa o administración general), cada una de estas área puede ser
considerada un estado.
En el análisis de Markov también se supone que los estados son tanto colectivamente
exhaustivos como mutuamente excluyentes. Colectivamente exhaustivo significa que puede
confeccionar una lista que contenga todos los estados posibles de un sistema o proceso. Nuestra
presentación del análisis de Markov supone que existe un número finito de estados de cualquier
sistema. Mutuamente excluyente significa que un sistema solo estar en un estado en un
momento dado. Un estudiante solo puede estar en una de tres áreas de especialización
administrativa y no en dos o más áreas al mismo tiempo. También significa que una persona
solo puede ser cliente de una de tres tiendas de abarrotes en un momento dado.
 Una vez que se han identificado los estados, el siguiente paso es determinar la probabilidad de
que el sistema se encuentre en un estado particular. Tal información se coloca entonces en un
vector de probabilidades de estado.

π (i)= vector de probabilidades de estado del periodo i

= (π1, π2, π3, . . . πn)
Donde
N= numero de estados.
π1, π2, π3, . . . πn= Probabilidad de encontrarse en el estado 1, estado 2, … estado n
En algunos casos, enlos que se maneja un solo artículo, como una sola máquina, es posible
saber con completa certeza en que estado se encuentra el articulo. Por ejemplo, si se esta
investigando sólo una máquina, se podría saber que en este momento del tiempo la máquina
funciona correctamente. En este caso, el vector de los estados puede representarse de la
siguiente forma:
π(1)= (1,0)
Donde
π (1)= vector de estados de la máquina en el periodo 1
π1= 1= probabilidad de encontrarse en el primer estado.
π2=0= probabilidad de encontrarse en el segundo estado.

Esto muestra que la probabilidad de que la maquina funcione correctamente (estado)1 es 1, y la

probabilidad de que la máquina funcione incorrectamente (estado 2) es de 0, en el primer
periodo. Sin embargo en la mayoría los casos, se maneja mas de un articulo.

•
• +1

...
escrito por Karen Celeste Sagastume Ramírez, mayo 14, 2010
PROCESOS DE MARKOV

Principio de Markov:
Cuando una probabilidad condicional depende únicamente del suceso inmediatamente anterior,
cumple con el Principio de Markov de Primer Orden, es decir.

Definiciones en los Procesos de Markov de Primer Orden:

Estados: Las condiciones en las cuales se encuentra un ente ó sucesos posibles.

Ensayos: Las ocurrencias repetidas de un evento que se estudia.
Probabilidad de Transición: La probabilidad de pasar de un estado actual al siguiente en un
período ó tiempo, y se denota por pij ( la probabilidad de pasar del estado i al estado j en una
transición ó período)

Características de los Procesos de Markov de Primer Orden:

Se pueden usar como modelo de un proceso físico ó económico que tenga las siguientes
propiedades:
a)Que la probabilidad cumpla con el principio de Markov.
b)Existencia de un número finito de estados.
c)Las pij son constante con respecto al tiempo ó período.
d)Ensayos en períodos iguales.

Si un suceso depende de otro además del inmediatamente anterior, este es un proceso de

Markov de mayor orden. Por ejemplo, Un proceso de segundo orden describe un proceso en el
cual el suceso depende de los dos sucesos anteriores.
Los procesos de Markov también se les llama Cadenas de Markov.

Ejemplo:

0.2 0.3 0.5

0.3 0.4 0.3
0.2 0.4 0.4

Para calcular:

P(11)2= P(X(2)= 1/X(0) = 1)= p11.p11+p12.p21+p13.p31

= 0,2.0,2+0,3.0,3+0,5.0,2= 0,23
P(12)2= P(X(2)= 2/X(0) = 1)= p11.p12+p12.p22+p13.p32
= 0,2.0,3+0,3.0,4+0,5.0,4= 0,38
P(13)2= P(X(2)= 3/X(0) = 1)= p11.p13+p12.p23+p13.p33
 = 0,2.0,5+0,3.0,3+0,5.0,4= 0,39
0,23+0,38+0,39= 1

Otra forma es usando el vector de probabilidades y la matriz de transición, es decir:

S(0) = (1, 0, 0)
S(1) = S(0).P = (0,2; 0,3; 0,5)
S(2) =S(1).P =(0,23; 0,38; 0,39)

•
• +0

Procesos de Markov
escrito por Amilcar Villeda - 3228 00 1139, mayo 15, 2010
Una cadena de Márkov, que recibe su nombre del matemático ruso Andrei Andreevitch Markov
(1856-1922), es una serie de eventos, en la cual la probabilidad de que ocurra un evento
depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria.
"Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta
dependencia del evento anterior distingue a las cadenas de Márkov de las series de eventos
independientes, como tirar una moneda al aire o un dado.

Este tipo de proceso, introducido por Márkov en un artículo publicado en 1907,[1] presenta una
forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias
que forman un proceso estocástico. En los negocios, las cadenas de Márkov se han utilizado
para analizar los patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.

•
• +0

•
Cadenas de Markov
escrito por Ana Luisa Vargas Cabrera, mayo 16, 2010
Una cadena de Markov representa un sistema que varía su estado a lo largo del tiempo, siendo
cada cambio una transicion del sistema. Dichos cambios no estan predeterminados, aunque si lo
esta la probabilidad del próximo estado en función de los estados anteriores, probabilidad que
es constante a lo largo del tiempo. Eventualmente, en una transicion, el nuevo estado puede ser
el mismo que el anterior y es posible que exista la posibilidad de influir en las probabilidades de
transicion actuando adecuadamente sobre el sistema (decision).

Los estados son una caracterizacion de la situacion en que se halla el sistema en un instante
dado, dicha caracterización puede ser tanto cuantitativa como cualitativa. Desde un punto de
vista práctico probablemente, la mejor definicion de que debe entenderse por estado es la
respuesta que se daría a la pregunta ¿como estan las cosas?

Aplicaciones de las Cadenas de Markov

Física
Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física
estadística. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo
de difusión de Laplace.
Meteorología
Si consideramos el clima de una región a través de distintos días, es claro que el estado actual
solo depende del último estado y no de toda la historia en sí, de modo que se pueden usar
cadenas de Markov para formular modelos climatológicos básicos.
Modelos epidemiológicos
Una importante aplicación de las cadenas de Markov se encuentra en el proceso Galton-Watson.
Éste es un proceso de ramificación que se puede usar, entre otras cosas, para modelar el
desarrollo de una epidemia (véase modelaje matemático de epidemias).
Internet
El pagerank de una página web (usado por google en sus motores de búsqueda) se define a
través de una cadena de Markov, donde la posición que tendrá una página en el buscador será
determinada por su peso en la distribución estacionaria de la cadena.
Juegos de azar
Son muchos los juegos de azar que se pueden modelar a través de una cadena de Markov. El
modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta
 en un juego de azar eventualmente termine sin dinero, es una de las aplicaciones de las
cadenas de Markov en este rubro.
Economía y Finanzas
Las cadenas de Markov se pueden utilizar en modelos simples de valuación de opciones para
determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una
bolsa de valores o para determinar la volatilidad de precios.
Música
Diversos algoritmos de composición musical usan cadenas de Markov, por ejemplo el software
Csound o Max

•
• +0

...
escrito por Ana Luisa Vargas Cabrera, mayo 16, 2010
Analisis de decisiones: es un método análitico que provee herramientas para analizar
situaciones donde hay que tomar una decisión.

Ambientes para la toma de decisiones

1. TOMA DE DECISIONES BAJO CERTIDUMBRE: se conoce con certeza los resultados o
consecuencias de seleccionar cada alternativa.
Ejemplo: Tenemos Q1,000 que queremos invertir por un año.Podemos ponerlos en una cuenta
de ahorros donde nos dan un 3.5% de interes anual, o podemos comprar un certificado de
deposito que nos da un 7% de interes anual. Asumiento que ambas alternativas son seguras y
estan garantizadas, el certificado de deposito nos da un retorno mayor.

2. TOMA DE DECISIONES BAJO INCERTIDUMBRE: no se conocen las probabilidades asociadas con

los diferentes resultados de cada alternativa.
Ejemplo: Una compañia estudia la posibilidad de añadir un nuevo producto a su línea de
produccion. Las alternativas que estudia son: hacer una ampliacion grande a sus facilidades,
hacer una ampliacion pequeña a sus facilidades, o no hacer ninguna ampliacion y no producir el
producto nuevo. Para cada una de estas alternativas los resultados pueden ser favorables o no
favorables. Si no conocemos las probabilidade asociadas con cada ujno de los resultados para
 las distintas alternativas tenemos que tomar una decision bajo incertidumbre usando uno de
varios criterios disponibles.

3. TOMA DE DECISIONES BAJO RIESGO: se conocen las probabilidades asociadas con los
diferentes resultados de cada alternativa.
Ejemplo: Si en el ejemplo anterior conocemos las probabilidades asociadas con cada uno de los
resultados para las distintas alternativas, tenemos que tomar una decision bajo riesgo
escogiendo la alternativa con la ganancia promedio mayor.

•
• +1

Procesos de Markov
escrito por Sandra Isabel Esquivel Vega, junio 13, 2010
Los modelos de proceso de Markov son utiles para estudiar la evolución de sistemas a lo largo
de ensayos repetidos los que, a menudo, son periodos sucesivos donde el estado del sistema en
cualquier periodo particular no puede determinarse con certeza.

Consiste en analizar el comportamiento de los clientes mediante ensayos de proceso,

seleccionando lugares de visita continua a los cúal se le conoce como estado del sistema en ese
periodo y de acorde a las alternativas que el cliente posea así existirá una cantidad finita de
estados.

Ensayos del Proceso: Frecuencia con la que se solicita el servicio por los clientes.
Estado del sistema: Tienda particular seleccionada en un periodo de tiempo.

Autores: Anderson D.; Sweeney D.; Williams T.

Año 2004
Métodos Cuantitativos para los negocios.
Editorial Thompson, Mexico, Pag. 701 y 702

•
• +0

•
•

TIPOS DE CADENAS DE MARKOV

escrito por Ronmy Medrano Barrera Maestria en Administración de RRHH - METODOS
CUANTITATIVOS- Jutiapa, junio 13, 2010
Tipos de cadenas de Markov
Cadenas irreducibles
Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones
(equivalentes entre sí):

1. Desde cualquier estado de E se puede acceder a cualquier otro.

2. Todos los estados se comunican entre sí.

3. C(x)=E para algún x∈E.

4. C(x)=E para todo x∈E.

5. El único conjunto cerrado es el total.

Cadenas positivo-recurrentes
Una cadena de Markov se dice positivo-recurrente si todos sus estados son positivo-recurrentes.
Si la cadena es además irreducible es posible demostrar que existe un único vector de
probabilidad invariante.

Cadenas regulares
Una cadena de Markov se dice regular (también primitiva o ergódica) si existe alguna potencia
positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.

Cadenas absorbentes
Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos
condiciones siguientes:

1. La cadena tiene al menos un estado absorbente.

 2. De cualquier estado no absorbente se accede a algún estado absorbente.

Cadenas de Markov en tiempo continuo

Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el conjunto de
números naturales, se consideran las variables aleatorias Xt con t que varía en un intervalo
continuo del conjunto de números reales, tendremos una cadena en tiempo continuo.

•
• +0

PRECAUCION AL SUBIR SU APORTACIÓN

escrito por MSc. Edgar Carrera, junio 15, 2010
DEBE SER:
1) EN EL ESPACIO QUE PERMITE ESTE SITIO
2) REVISAR LOS APORTES ANTERIORES Y NO REPETIR ESOS APORTES, PERO SI PUEDEN
MEJORARSE
3)MÍNIMO 15 LINEAS MAXMO 25 LINEAS
PARA JUTIAPA FECHA MAXIMA DE ENTREGA DE MARKOV 18JUNIO2010

•
• +0

Metodos Estadisticos Gregoria Mateos, y Aparicio Morales 1995

escrito por walter vinicio ortiz yanes, junio 15, 2010
Definen que Markov es una determinada entrevista estructurada dependiendo de como sean los
estados, que se clasifican de distinta forma de acuerdo cons u comportamiento, esto nos facilita
el conocer la probabilidad de pasar por primera vez por un estado, el numero medio de etapas
aue se tande en llegar a ese estado, y el nuemero medio de veces que la cadena pasa por ese
estado lo que a su vez no facilitara la clasificacion.
 Markov señala que para un alor fijo de los demas valores aleatorias no dependen d el, si no para
cualquier conjunto de tiempo definidos en el intervarlo de analisis condicionales del ultimo valor
para el conjunto.

Cadena de markov, es un proceso discretoy homogeneo en el tiempo suponiendo que los

instantes en el tiempo cada uno de lo anterior, markov se llama discreto si los cambios de
estado o transiccion solo se producen en instantes dados no aleatorios y como maximo en
nuemero finito enumerable.
por extencion se llamara proceso discreto aquel enque los instantes de cambio enumerables y
eventualmente aleatorios pero en los que no nos interesamos pro a abcisa exacta en el tiempo,
sino en su orden de sucesion.
Walter Vinicio Ortiz Yanes. Maestria en admon. RR. HH. extencion jutiapa.

•
• +0

EJEMPLO DE CADENAS DE MARKOV

escrito por Ana Gabriela Rivas Vásquez Maestria en RRHH - Metodos Cuantitativos - Jutiapa, junio 15,
2010
Una tienda de renta de videos tiene 3 locales en la ciudad. Un video puede ser rentado en
cualquiera de los 3 locales y regresado o devuelto a cualquiera de ellos. Hay estudios que
muestran que los videos son rentados en un local y devueltos de acuerdo con las probabilidades
dadas por

Rentado en Devuelto a
123
1 0.7 0.1 0.2
2 0.2 0.8 0
3 0.2 0.2 0.6

Encontrar la probabilidad de que el video rentado sea rentado en el local 1 y devuelto en el 1, el

2 en el 2 y el 3 en el 3 para el siguiente año.
SOLUCION

DATOS Y NOMENCLATURA

T = Matriz de Transición
T2= Matriz de transición al cuadrado

Rentado en Devuelto a
123
1 0.7 0.1 0.2
T= 2 0.2 0.8 0
3 0.2 0.2 0.6

Nota: para poder sacar las probabilidades del siguiente año sacamos el cuadrado de T.
123123
1 0.7 0.1 0.2 1 0.7 0.1 0.2
T2= 2 0.2 0.8 0 X 2 0.2 0.8 0
3 0.2 0.2 0.6 3 0.2 0.2 0.6

El cuadrado de T significa multiplicar dos veces la matriz de transición (los datos que nos dan
para la elaboracion del problema)

El proceso a seguir para la multiplicación de las matrices es el siguiente:

Primera fila de la primer matriz por la primera columna de la segunda matriz y asi
sucesivamente tal como se muestra a continuación:

(0.7)(0.7) + (0.1)(0.2) + (0.2)(0.2) = 0.55

(0.7)(0.1) + (0.1)(0. + (0.2)(0.2) = 0.19

(0.7)(0.2) + (0.1)(0) + (0.2)(0.6) = 0.26

(0.2)(0.7) + (0. (0.2) + (0)(0.2) = 0.30

(0.2)(0.1) + (0. (0. + (0)(0.2) = 0.66

(0.2)(0.2) + (0. (0) + (0)(0.6) = 0.04

(0.2)(0.7) + (0.2)(0.2) + (0.6)(0.2) = 0.30

(0.2)(0.1) + (0.2)(0. + (0.6)(0.2) = 0.30

(0.2)(0.2) + (0.2)(0) + (0.6)(0.6) = 0.40

Entonces:

123
1 0.55 0.19 0.26
T2= 2 0.30 0.66 0.04
3 0.30 0.30 0.40

Respuesta:

La probabilidad de que el video rentado en el local 1 sea devuelto en el mismo es: 0.55 x
100=55%
La probabilidad de que el video rentado en el local 2 sea devuelto en el mismo es: 0.66 x
100=66%
La probabilidad de que el video rentado en el local 3 sea devuelto en el mismo es: 0.40 x
100=40%
•
• +0

PROCESOS DE MARKOV
escrito por Maris Yessenia Peraza Ronquillo, junio 16, 2010
PROCESOS DE MARKOV:

Markov permite analizar y conocer a los consumidores en un mercado actual y competitivo, ya

que, proporciona herramientas adecuadas para poder estudiar la realidad de la participación de
la demanda. Asimismo podemos analizar la situación de las cuentas por conbrar en un
organización.

Al aplicar Markov en cuanto a los demandantes en un mercado consumidor nos podemos dar
cuenta de la exigencia del cliente para poder cubrir sus necesidades y así convertirlo en un
cliente fiel. A través de este análisis se puede llegar a conocer las posibles actitudes de los
clientes de un período a otro y así estar a la vanguardia y poder cubrir al máximo sus
expecgtativas para lograr su satisfacción y así mantenerse en el mercado comeptitivo.

También se debe tomar en cuenta que Markov permite hacer un análisis en relación a lo
 finacniero de la organización y debemos recordar que para que una empresa subsiste su
principal motor es el capital por lo que se debe reguardar siempre, lo que significa tomar
decisiones correctas en las inversiones. Esto implica que se debe conocer el mercado, las leyes
a las cuales esta sujeta la empresa, las tendencias tecnológicas, la competencia, la situación
financiera cambiaria y finalmente hacer un análsisi de los clientes con los que cuenta la
emrpesa para así poder otorgar créditos; ya que esto signfica tener que recuperar esa cuenta. Al
habler de proprocionar créditos significa que va existir una cuenta por cobrar la cual tiene que
mostrar una equilibrio adecuado para la toma de decisiones de los propietarios.

Métodos cuantitativos para los Negocios

Anderson D, Sweney, William T
Editorial Thompson México 2004

Maris Yessenia Peraza Ronquillo

1328 02 8573

•
• +0

...
escrito por Jose Juan Monzon Matias, junio 16, 2010
Metodos Cuantitativos para los negocios
Novena Edicion
Anderson
Sweeney
Williams
ANALISIS DE PARTICIPACION EN EL MERCADO

Suponga que estamos interesados en analizar la participación en el mercado y lealtad del

cliente para Murphy´s y Foodliner y Ashley´s Supermarket, los dos únicos supermercados en un
poblado pequeño. Nos enfocamos en la secuencia de los viajes de compras de un cliente, y
 suponemos que hace un viaje de compras cada semana, ya sea a Murphy´s Fooddliner o a Ashle
´s Supermarket, pero no a ambos.

Usando la terminología de los proceso de Markov, nos referimos a los periodos semanales o
viajes de compras como los ensayos de proceso. Por tanto, en cada ensayo el cliente comprará
ya sea en Murphy´s Foodliner o en Ashley´s Supermarket. La tienda particular seleccionada en
una semana dada se conoce como el estado del sistema en ese periodo. Debido a que el cliente
tiene dos alternativas de compra en cada ensayo, decimos que el sistema tiene dos estados.
Con una cantidad finita de estados los identificamos como sigue:
Estado 1. El cliente compra en Murphy´s Foodliner
Estado 2. El cliente compra en Ashley´s Supermarket

Si decimos que el sistema está en el estado 1 en el ensayo 3, sólo estamos diciendo que el
cliente en Murphy´s compra durante la tercera semana del periodo de compras.
Usando un modelo de procesos markoviano seremos capaces de calcular la probabilidad de que
el cliente compre en cada tienda durante cualquier periodo.
Para determinar las probabilidades de los diversos estados que ocurren en ensayos sucesivo del
proceso de Markov necesitamos información sobre la probabilidad de que un cliente permanezca
con la misma o cambie a la tienda competidora conforme continue el proceso de un ensayo a
otro o de una semana a otra.

Jose Juan Monzón Matias

Carné 1328-03-14332

•
• +0

PROCESO DE DECISION DE MARKOV

escrito por Carlos Enrique Sandoval, junio 16, 2010
Proceso de decisión de Markov
Procesos de decisión de Markov (MDPs) proporcione un marco matemático para modelar la toma
de decisión en situaciones donde están en parte al azar los resultados y en parte bajo control del
 responsable. MDPs es útil para estudiar una amplia gama de problemas de la optimización
solucionado vía programación dinámica y el aprender del refuerzo. MDPs era conocido por lo
menos desde los años 50 (cf. Bellman 1957). Mucha investigación en el área era frezado debido
a Ronald A. Howard'libro de s, Procesos dinámicos de la programación y de Markov, en 1960. Se
utilizan hoy en una variedad de áreas, incluyendo la robótica, de control automatizado,
economía y en la fabricación.
Un proceso de decisión de Markov es más exacto a tiempo discreto estocástico control proceso
caracterizado por un sistema de estados; en cada estado hay varias acciones de las cuales el
responsable debe elegir. Para un estado s y una acción a, una función de la transición del estado
Pa(s) determina las probabilidades de la transición al estado siguiente. El responsable gana una
recompensa por cada transición del estado. Las transiciones del estado de un MDP poseen
Característica de Markov: dado el estado del MDP en el tiempo t se sabe, las probabilidades de
la transición al estado en el tiempo t + 1 es la independiente de todos los estados anteriores o
las acciones.
Los procesos de decisión de Markov son una extensión de Cadenas de Markov; la diferencia es la
adición de las acciones (que permiten la opción) y de las recompensas (que dan la motivación).
Si hubiera solamente una acción, o si la acción a tomar fuera fija para cada estado, un proceso
de decisión de Markov reduciría a a Cadena de Markov.

Carlos Enrique Sandoval López

1328-03-14359

•
• +0

EL EXAMEN RESUELTO DE MARKOV

escrito por MSc. Edgar Carrera, junio 16, 2010
ENVIARLO A \n '> exmarkov@sermelec.co.cc
Gracias
EC

•
• +0
•

Aporte MARKOV
escrito por Jaqueline Michelle Monzón Zepeda, junio 16, 2010
Cadenas de Markov

Después de mucho estudio sobre el clima, hemos visto que si un día está soleado, en el 70% de
los casos el día siguiente continua soleado y en el 30% se pone nublado. En términos de
probabilidad, lo que nos sirve entonces para predecir el clima, vemos que la probabilidad de que
continúe soleado el día siguiente es .7 y la probabilidad de que al día siguiente esté nublado es .
3. También nos fijamos en que si un día está nublado, la probabilidad de que esté soleado el día
siguiente es .6 y la probabilidad de que se ponga nublado es .4.
Pregunta
Hoy está nublado, ¿cuál es la probabilidad de que mañana continúe nublado? ¿cuál es la
probabilidad de que está nublado pasado mañana?

Podemos ilustrar esta situación por medio de un diagrama de árbol:

HOYMAÑANAPASADO MAÑANA
0.7Soleado

Soleado

0.6Nublado
0.3
0.6 Soleado

Nublado 0.4

Nublado Nublado
0.4
Posibles estados del tiempo a partir de que hoy está nublado
 Con la ayuda de la Figura 1 podemos predecir qué ocurrirá mañana si sabemos que hoy está
nublado.

Vemos que la probabilidad de que mañana continúe nublado es .4, es decir, si hiciéramos esta
predicción muchas veces estaríamos en lo correcto cerca del 40% de las veces. Para conocer la
probabilidad de esté nublado pasado mañana buscamos en las hojas del árbol correspondientes
al Tiempo pasado mañana los lugares donde dice nublado. Hay dos hojas donde esto ocurre.
Ahora lo que queda es determinar cómo desde el principio, desde la raíz del árbol, podemos
llegar allí.

Si hoy está nublado, para que pasado mañana esté nublado, podríamos tener un día de mañana
soleado o nublado. Así tenemos las siguientes secuencias en orden de (hoy, mañana, pasado
mañana): (nublado, soleado, nublado) o (nublado, nublado, nublado) donde pasado mañana es
nublado. Estas secuencias son mutuamente excluyentes, corresponden a caminos distintos en el
árbol, así tenemos que:

P(pasado mañana nublado | hoy nublado)

= P((nublado, soleado, nublado) o (nublado, nublado, nublado))
= P(nublado, soleado, nublado) + P (nublado, nublado, nublado) = (.6 × .3) + (.4  .4) = .34.
Este resultado se obtuvo multiplicando las probabilidades condicionales a lo largo de los
caminos desde hoy nublado hasta pasado mañana nublado. No es necesario que seamos tan
específicos en términos de hoy, mañana o pasado mañana, podemos darnos cuenta que lo
realmente importante es el número de días que pasa entre una predicción y otra.

Att.

Jaqueline Michelle Monzón

1328-03-14365

•
• +0

•
PROCESOS DE MARKOV
escrito por Licda. Marilena Anahí Ramírez Méndez, junio 18, 2010
ANÁLISIS DE MARKOV

Afin de ilustrar el proceso de Markov presentamos un problema en el que los estados de

resultados de actividades son marcas, y las probabilidades de transición expresan la
probabilidad de que los consumidores vayan de una marca a otra. Supongamos que la muestra
inicial de consumidores se compone de 1 000 participantes distribuidos entre cuatro marcas(A,
B, C, D). Una suposición adicional es que la muestra representa a todo el grupo.

DATOS Y NOMENCLATURA
MARCAS
A, B, C, D

SOLUCION
En la siguiente tabla la mayor parte de los clientes que compraron inicialmente la marca A,
siguieron con ella en el segundo periodo. No obstante la marca A ganó 50 clientes y perdió 45
con otras marcas.

MarcaPeriodo 1
Numero de ClientesGanancias PerdidasPeriodo 2
Numero de Clientes
A2205045225
B3006070290
C2302525230
D2504035255
1 0001751751 000

Esta tabla no muestra la historia completa, sino que necesita un análisis detallado con respecto
a la proporción de ganancias y perdidas netas entre las cuatro marcas. Es necesario calcular las
probabilidades de transición para las cuatro marcas. Las probabilidades de transición se definen
como la probabilidad de que determinada marca, conserve sus clientes. Para determinar lo
anterior dividimos se divide el numero de clientes retenidos entre en numero de clientes en el
periodo inicial, por ejemplo para la marca A (220- 45=175) se divide 175/220 lo que nos da
0.796, al igual para las otras marcas, obteniendo 0.767(B),0.891(C),0.860(D).
 Para aquellos clientes que cambiaron de marcas , es necesario mostrar las perdidas y ganancias
entre las marcas a fin de completar las matriz de probabilidades de transición. De acuerdo con
los datos desarrollados, el paso siguiente consiste en convertir el cambio de marcas de los
clientes de modo que todas las perdidas y ganancias tomen forma de probabilidades de
transición, obteniendo la matriz de probabilidad de transición.

La siguiente tabla nos muestra la matriz de transición final.

ABCD
A175/220=0.79640/300=0.1330/230=010/250=0.040
B20/220=0.091230/300=0.76725/230=0.10915/250=0.060
C10/220=0.0465/300=0.017205/230=0.89110/250=0.040
D15/220=0.06725/300=0.0830/230=0215/250=0.860

RESPUESTA = La lectura de esta información sería la siguiente:

La marca A retiene 0.796 de sus clientes, mientras que gana 0.133 de los clientes de B, 0.40 de
los clientes de D y 0 de los clientes de C.
La administración de mercadotecnia puede tener un gran ventaja de toda esta información que
nos pueda arrojar el desarrollo de técnicas como estas, ayudando a la promoción de algunos
productos que los necesiten para tener una mejor aceptación entre los consumidores.

www.investigacion-operaciones.com/contenido.htm. Mc Graw Hill. Aplicación y Ejemplos de la

Formulación de problemas ... Calculo de redes: método de la ruta critica. ... Introducción a las
Cadénas de Markov. ... (1.999) Análisis cuantitativo para los negocios. 9° cd. Bogota.

•
• +0

Aporte Markov. Aplicaciones de MARKOV en la vida real

escrito por Ariel Fernando Castellanos, junio 18, 2010
Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del
evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el
 último evento y esto condiciona las probabilidades de los eventos futuros. Esta dependencia del
evento anterior distingue a las cadenas de markov de las series de eventos independientes,
como tirar una moneda al aire o un dado.
APLICACIONES DE MARKOV:
FISICA: las cadenas de markov son usadas en muchos problemas de la ternodinámica y la física
estadística. Ejemplos importantes se pueden encontrar en la cadena de Ehrenfest o el modelo
de difusión de Laplace.
METEOROLOGIA: si consideramos el clima de una región a través de distintos días, es claro que
el estado actual solo depende del último estado y no de toda la historia entre sí. de modo ue se
pueden usar cadenas de markov para formular modelos climatológicos básicos.
MODELOS EPIDEMIOLOGICOS: una i mportante aplicación de las cadenas de Markov sse
encuentra en el proceso Galton-Watson. Este es un proceso de ramificación que se pude usar,
entre otras cosas, para modelar el desarrollo de una epidemia.
INTERNET: el pagerank de una página web (usado por google en sus motores de búsqueda) se
define a través de una cadena de markov, donde la posición que tendrá una página en el
buscador será determinada por su peso en la distribución estacionaria de la cadena.
JUEGOS DE AZAR: son muchos los juegos de azar que se pueden modelar a través de una
cadena de Markov. El modelo de la ruina del jugador, que establece la probabilidad de que una
persona que apuesta en un juego de azar eventualmente termina sin dinero, es una de las
aplicaciones de las cadenas de markov en este rubro.
ECONOMIA Y FINANZAS: las cadenas de markov se pueden utilizar en modelos simples de
evaluación de opciones para determinar cuándo existe oportunidad de arbitraje, así como en el
modelo de colapsos de una bolsa de valores o para determinar la volatidad de precios.
MUSICA: diversos algoritmos de compsición musical usan cadenas de markov, por ejemplo el
software Csound o Max.
Fuente: http://es.wikipedia.org/wiki/Cadena_de_Markov

Ariel Fernando Castellanos Ciragua

1328-01-12018
Maestría RRHH, Jutiapa

•
• +0

•
Cadena de Markov Absorventes (Ampliación del Tema)
escrito por Mario Rodolfo Lucero Alvarado, junio 18, 2010
CADENAS DE MARKOV ABSORVENTES
Los estados absorbentes describen procesos que terminan o finalizan después de alcanzar
determinadas condiciones y dan como resultado un caso especial de cadenas de Markov,
algunos ejemplos son:
1.- En control de calidad, después de encontrar un número predeterminado de partes que
pueden ser aceptadas o rechazadas, se suspende la inspección secuencial.
2.- Después de “x” horas de funcionamiento, una máquina se detiene para repararla o
reemplazarla.
3.- Después de que una persona ha trabajado en una empresa, puede jubilarse o recontratarse.
4.- Después del seguimiento que se hace a una cuenta bancaria esta se paga o se considera
perdida
CARACTERÍSTICAS.
a)Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual a cero, o
sea que una vez comenzado es imposible dejarlo y el proceso se detiene completamente o se
detiene para luego comenzar a partir de algún otro estado.
b) Una cadena de Markov es absorbente si:
1) Tiene por lo menos un estado absorbente.
2) Es posible ir desde cada estado no absorbente hasta por lo menos un estado absorbente. No
es necesario efectuar esta transición en un paso; ni es necesario alcanzar cada estado
absorbente a partir de cualquier estado no absorbente.

EJEMPLO. 1
Los alumnos de una escuela técnica, cursan 4 años para terminar su carrera. De los que
ingresan a primer año, 80% aprueba, 10% reprueba y el resto deserta. De los que están en
segundo año, 85% aprueba, 10% reprueba y el resto deserta. De los de tercer año, 80%
aprueba, 15% reprueba y resto deserta. Los que están en el último grado, 85% se gradúa, 5%
deserta y el resto reprueba.
a)¿ Cuántos años se espera que un alumno pase como estudiante?
b)¿ Cual es la probabilidad de que un estudiante se gradúe?

Solución: Encontrar cuántos y cuales son los estados y modelar la matriz de transición.
S0=Ingreso S1 S2 S3 S4 S5 S6
S1 =Primer año S10.10 0.80 0 0 0.10 0
S2 =Segundo año S20 0.10 0.85 0 0.05 0
S3 =Tercer año P = S30 0 0.15 0.80 0.05 0
S4 =Cuarto año S40 0 0 0.10 0.05 0.85
S5 =Deserta S50 0 0 0 1 0
S6 =Se gradúa S60 0 0 0 0 1
a=Estados absorventes
n=Estados no absorventesm=a+n
Una vez alcanzados los estados absorbentes S5 y S6, la probabilidad de que el proceso
permanezca en el respectivo estado es 1. Por lo tanto es imposible (probabilidad cero) ir desde
cualquiera de estos estados hasta cualquier otro. En realidad esto se debe a que el alumno tomó
la decisión de dejar la escuela voluntariamente o decidió graduarse.
A partir del análisis de cadenas de Markov absorbentes, se obtiene la siguiente información:
1.- El número de pasos antes de que el proceso sea absorbido, utilizando (I – N-1) Para el
ejemplo los pasos serían años.
2.- El número esperado de veces que el proceso está en cualquier estado no absorbente. Para el
ejemplo, sería el número de años que el alumno permanece en cada grado.
3.- La probabilidad de absorción por cualquier estado absorbente dado, por medio de la
siguiente expresión (I-N)-1*A.
Para realizar los cálculos anteriores, la matriz de transición se subdivide en cuatro matrices y
son los estados absorbentes los quedan la pauta para dicha subdivisión.
Donde N e I son opuestos por el vértice.
Estas matrices más pequeñas contienen elementos de probabilidad que nos originan "a” estados
absorbentes y "n" no absorbentes que en total serían a + n = m estados.
Matriz I: Es una matriz identidad de dimensiones a*a y representa las probabilidades de
permanecer dentro de un estado absorbente.
Matriz O: Es una matriz cero de a*n y nos indica las probabilidades de ir desde un estado
absorbente hasta un estado absorbente.
Matriz A: Es una matriz de n*a y contiene las probabilidades de ir desde un estado no
absorbente hasta un estado absorbente.
Matriz N: Es una matriz de n*n que contiene las probabilidades de ir desde un estado no
absorbente hasta un estado no absorbente.

Mario Rodolfo Lucero Alvarado

1328-01-7455
 Contaduria Publica y Auditoria
Maestria en Administracion de Recursos Humanos
Metodos Cuantitativos
Centro Regional de Estudios Jutiapa

•
• +0

markov
escrito por CARLOS HUMBERTO LEMUS RAMOS, junio 18, 2010

ANALISIS DE CUENTAS POR COBRAR

UNA APLICACIÓN DE CONTABILIDAD EN LA QUE LOS PROCESOS DE MARKOV HAN PRODUCIDO
RESULTADOS UTILES IMPLICA LA ESTIMACION DE LA RESERVA PARA CUENTAS POR COBRAR DE
DUDOSA RECUPERACION O SIMPLEMENTE DUDOSAS.
ESTA RESERVA ES UNA ESTIMACION DE LA CANTIDAD DE CUENTAS POR COBRAR QUE AL FINAL
DEMOSTRARA SER INCOBRABLE.
SEGÚN RPOCESO DE MARKOV SONSIDERAREMOS LA SITUACION DE LAS CUENTAS POR COBRAR
PARA LA TIENDA DEPARTAMENTAL HEIDEMA^S LA CUAL EMPLEA DOS CATEGORIAS PARA SUS
CUENTAS POR COBRAR
1-LAS CUENTAS QUE SE CLASIFICAN CON 0-30 DIAS DE ANTIGÜEDAD
2-LAS CUENTAS QUE SE CLASIFICAN CON 31-90 DIAS DE ANTIGÜEDAD.
SI CUALQUIER PORCION DE SALDO DE UNA CUENTA EXCEDE DE 90 DIAS , ESA PORCION ES
CLASIFICADA COMO DEUDA INCOBRABLE.
POR EJEMPLO:
SUPONGA QUE EL SALDO DE LA CUENTA DE UN CLIENTE AL 30 DE SEPTIEMBRE ES COMO
SIGUE:

FECHA DE COMPRACANTIDAD CARGADA

15 DE AGOSTO25
18 DE SEPTIEMBRE10
28 DE SEPTIEMBRE50
 ___
TOTAL85

LA CLASIFICACION DE ANTIGÜEDAD DE ESA CUENTA POR COBRAR AL 30 DE SEPTIEMBRE

ASIGNARA EL SALDO TOTAL DE 85 A LA CATEGORIA DE 31 -90 DIAS DEBIDO A QUE LA FACTURA
SIN PAGAR MAS ANTIGUA DEL 15 DE AGOSTO TIENE 46 DIAS DE ANTIGÜEDAD.
SUPONGAMOS QUE UNA SEMANA DESPUES EL 7 DE OCTUBRE EL CLIENTE PAGA LA FACTURA DE
25 DEL 15 DE AGOSTO EL SALDO TOTAL DE 60 SE COLOCARIA AHORA EN LA CATEGORIA DE 0-
30 DIAS EN VISTA DE QUE LA CUENTA SIN PAGAR MAS ANTIGUA CORRESPONDEIENTE A LA
COMPRA DEL 18 DE SEPTIEMBRE , TIENE MENOS DE 31 DIAS DE ANTIGÜEDAD.
markov metodos cuantittativos para los negocios
novena edicion
ANDERSON
AWEENEY
WILLIAMS
THONSON EDITORA
escrito por:
Lic. carlos Humberto Lemus Ramos
maestria de recursos humanos

•
• +0

PROCESOS MARKOVIANOS
escrito por Juana Maria Godoy Contreras, junio 18, 2010

El análisis de un modelo de procesos Markoviano no pretende optimizar ningún aspecto

particular de un sistema. Mas bien, el análisis predice o describe el comportamiento futuro y de
estado estable del mismo.
En el ejemplo siguiente nos podemos dar cuenta como podemos predecir el éxito o fracaso de
una estrategia de publicidad, haciendo uso de Markov.

Se esta planeando una campaña publicitaria de Red Pop, que es una bebida gaseosa, para
aumentar la probabilidad de atraer clientes de Super Cola que es la competencia. La
administración cree que la nueva campaña aumentara a 0.15 la probabilidad de que un cliente
cambie de Super Cola a Red Pop. ¿Cuál es el efecto proyectado de la campaña publicitaria en las
participaciones del mercado?

DATOS Y NOMENCLATURA

0.85 S
S
0.15 R
0.90 0.10

π1 π2 = π1 π2 0.15 0.85

π1 = π1 * 0.90 + π2 *0.15
π2 = π1 * 0.10 + π2 *0.85
π2 + π1 = 1
π1 = 0.90 π1 + 0.15 (1- π1)
π1 = 0.90 π1 + 0.15 - 0.15 π1
0.25 π1 = 0.15
π1 = 0.15/0.25 = 0.60
π1 = 0.40

R// el efecto proyectado de la campaña publicitaria en las participaciones del mercado es de

π1 = 0.6, π2 = 0.4
•
• +0

...
escrito por Irma Alvarez Molina, junio 18, 2010
Cadenas de Markov
Definición : Sea la secuencia x1,...,xn,...,xL; xi X; i {1,...,L}. Para que un proceso sea markoviano
de orden n, se tiene que cumplir que:
P{xL+1 / xL,...,x1} = P{xL+1 / xL,...,xL-n+1}
Aunque el caso que nos ocupa es con índice "i" y variable aleatoria discretos, también hay
procesos markovianos con índice y/o variable aleatoria continuos.

Definición: Un proceso markoviano de orden 1 es un proceso estocástico de orden 1 en el cual

su pasado no tiene ninguna influencia en el futuro si su presente está especificado. Es decir:
Si tn-1 < tn, entonces:
P{ X(tn) Xn/X(t) , t tn-1 } = P{ X(tn) Xn/X(tn-1) }

Luego, si t1 < t2 < ... < tn:

P{ X(tn) Xn / X(tn-1),...,X(t1) } = P{ X(tn) Xn / X(tn-1) }
En el objeto de estudio, que son las cadenas markovianas, en una cadena markoviana de primer
 orden se cumplirá:
P{xL+1 / xL,...,x1} = P{xL+1 / xL}

Definimos un estado como:

sL = {xL, xL-1, ... , xL-n+1}
Por lo tanto:
P{xL+1 / xL, xL-1, ... , xL-n+1} = P{xL+1 / sL}
De la misma manera obtenemos:
sL+1 = {xL+1, ... , xL+2-n}
P{xL+1 / xL, xL-1, ... , xL-n+1} = P{sL+1 / sL}
Por lo tanto, según se ha deducido, mediante los estados podemos pasar de una cadena de
orden n a otra de orden 1, ya que hemos formado con los estados la cadena
p(s1,...,sn) = p(s1)•p(s2 / s1)•p(s3 / s2)•...•p(sn / sn-1),
que es una cadena es de orden 1.
Ejemplo: Cadena markoviana de 2º orden.
p(x1,...,xn) = p(x1,x2)•p(x3/x1,x2)•p(x4/x2,x3)•...•p(xn/xn-2,xn-1)
Si por ejemplo la secuencia es del tipo abaabbaaab..., tendremos:
p(abaabbaaab...)=p(ab)•p(a/ab)•p(a/ba)•p(b/aa)•p(b/ab)•p(a/bb)•p(a/ba)•p(a/aa)•...

Irma Alvarez Molina

•
• +0

CADENAS DE MARKOV
escrito por LESLY M. CASTAÑEDA MONTUFAR, junio 18, 2010
Una cadena de Márkov es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior, esta dependencia del evento anterior distingue a
las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al aire o
un dado. En el área de los negocios es muy importante, ya que nos permite analizar los patrones
de compra, de deudores morosos, de movimiento de productos, necesidades de personal y para
 analizar el reemplazo de equipo, de esta manera poder tomar las decisiones oportunas
correspondientes. Las cadenas de markov pueden ser homogéneas y no homogéneas, se dice
que es homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del
tiempo en el que se encuentra la cadena, y si para alguna pareja de estados y para algún
tiempo n la propiedad antes mencionada no se cumple diremos que la cadena de Markov es no
homogénea.
Dentro de los tipos de cadenas de Markov podemos citar:
 Cadena irreducible
 Cadena Positvo-recurrente
Cadenas Regulares
Cadenas Absorbentes
 Cadenas en tiempo continuo

•
• +0

PROCESOS DE MARKOV
escrito por kelly Xuya, junio 19, 2010
PROCESOS DE MARKOV

Los procesos de markov tienen la propiedad de no tener memoria por lo que se les puede llamar
procesos SIN MEMORIA, pues el estado actual del sistema junto con as probabilidades de
transicion contienen toda la informacion necesaria para predecir el comportamiento futuro del
sistema,
Tale procesos se consideran procesos markovianos de primer orden, los procesos de markov de
orden superior son aquellos en que los estados futuros del sistema dependen de dos o mas
estados previos.

El anàlisis de un modelo de procesos markovianos no pretenden optimizar ningun aspecto

particular de un sistema, mas bien el anàlisis predice o describe el comportamiento futuro y de
estado estable del mismo.
 En otras aplicaciones el analistas cuantitativos han extendido el estudio de procesos de markov
a los llamados PROCESOS MARKOVIANOS DE DECISIÒN , en estos modelos pueden tomarse
desiciones en cada perìodo, lo que afecta en las probabilidades de transicion y por consiguiente
en el comportamiento futuro del sistema.
Los procesos marcovianos de desicion se han usado para analisar la descompostura de
maquinas y las operaciones de mantenimiento,la planificacion del movimiento de pacientes en
hospitales, la elavoracion de estrategias de inspecciòn, la determinacion de la duracion de
suscripciones a periòdicos y el analisis de reemplazo de equipo.

METODOS CUANTITATIVOS`PAR LOS NEGOCIOS

KELLY IRLANDA XUYA BARAHONA
1328-03-134389
MAESTRIA EN RRHH
JUTIAPA

•
• +0

EL EXAMEN DE MARKOV SE ENVIA A exmarkov@sermelec.co.cc

escrito por MSc. Edgar Carrera, junio 25, 2010
EL EXAMEN DE MARKOV SE ENVIA A \n '> exmarkov@sermelec.co.cc
GRACIAS
ATTE
EC

•
• +0

Escribir comentario
Top of Form
Nombre

Email

Sitio Web

Título
Comentario

corto | largo

Suscripcion por correo electronico (solo usuarios registrados)

He leido y estoy de acuerdo con la Terminos de uso.

NUEVO COMENTARIO
Bottom of Form

Inicio
Cursos
Seguridad Industrial
Calendario
Contacto
Correo
 Top of Form

Escriba su Email:

Subscribe

Bottom of Form

Top of Form

Username

Password
 Remember me
Login

Forgot login?
No account yet? Register
Bottom of Form

Creative Commons Reconocimiento-No comercial-Sin obras derivadas 3.0 Unported

License.
Información sobre Creative Commons Guatemala.