UNIVERSIDAD NACIONAL JOSÉ FAUSTINO

SÁNCHEZ CARRIÓN

FACULTAD DE INGENIERÍA INDUSTRIAL, SISTEMAS E

INFORMÁTICA
E.A.P
INGENIERÍA INFORMÁTICA

MODELO DE MARKOV

INTEGRANTES:

ALOR PORLES, JOSSIMAXR E.

CARDENAS DURAND, JOSÉ MANUEL
HUERTA MÉNDEZ, JUAN
TENORIO ARQUE, ABRAHAM

ASESOR:
Dr. Alcibiades Sosa Palomino

HUACHO – PERÚ
2014

1
 ÍNDICE
INTRODUCCIÓN ............................................................................................... 3

DEDICATORIA: .................................................................................................. 4

MODELO DE MARKOV ..................................................................................... 5

PLANTEAMIENTO:...................................................................................... 6

MATRICES DE PROBABILIDAD DE TRANSICION: ................................... 7

CADENA FINITA DE MARKOV: .................................................................. 8

CADENA DE MARKOV CON ESTADOS ABSORVENTES:........................ 8

CASOS DE APLICACIÓN .............................................................................. 9

PROBLEMA 1 .............................................................................................. 9

PROBLEMA 2: ........................................................................................... 13

CONCLUSIÓN ................................................................................................. 16

BIBLIOGRAFÍA ............................................................................................... 17

2
 INTRODUCCIÓN

Las cadenas de markov son modelos probabilísticos que se usan para predecir
la evolución y el comportamiento a corto y a largo plazo de determinados
sistemas.

Este modelo era entendida como un tipo especial de procesos estocásticos de

tiempo discreto, la característica principal es que los estados futuros son
independientes de los últimos estados y las probabilidades no son las mismas
de acuerdo a la distribución.

El campo de aplicación de las cadenas de Markov es amplio, es utilizada en el

proceso industrial de fabricación de tejas, en los negocios para analizar los
patrones de compra de los deudores, para planear las necesidades de
personal, para analizar el reemplazo de equipo, entre otros.

3
 DEDICATORIA:
Dedicarle este trabajo a Dios que nos ha dado la
vida y fortaleza para terminar este proyecto de
investigación, a nuestros Padres por estar ahí
cuando más los necesitamos por su ayuda y
constante cooperación y a nuestro docente por su
apoyo incondicional y sus exigencias.

4
 MODELO DE MARKOV

Una cadena de Márkov, que recibe su nombre del

matemático ruso Andrei Andreevitch Márkov (1856-1922),
es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En
efecto, las cadenas de este tipo tienen memoria.
"Recuerdan" el último evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del
evento anterior distingue a las cadenas de Márkov de las series de eventos
independientes, como tirar una moneda al aire o un dado.

Este tipo de proceso, introducido por Márkov en un artículo publicado en 1907,

presenta una forma de dependencia simple, pero muy útil en muchos modelos,
entre las variables aleatorias que forman un proceso estocástico.

Es una herramienta para analizar el comportamiento y el gobierno de

determinados tipos de procesos estocásticos, esto es, procesos que
evolucionan de forma no determinístico a lo largo del tiempo en torno a un
conjunto de estados.

Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias.
El rango de estas variables, es llamado espacio estado, el valor de Xn es el
estado del proceso en el tiempo n. Si la distribución de probabilidad condicional
de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:

Los procesos de paseo aleatorio en realidad son un caso particular de

procesos más generales que son las cadenas de Markov. En esencia, una
cadena es un proceso en tiempo discreto en el que una variable aleatoria Xn va
cambiando con el paso del tiempo, las cadenas de Markov tiene la probabilidad
de que Xn=j solo depende del estado inmediatamente anterior del sistema:

5
Xn-1. Cuando en una cadena dichas probabilidades no dependen del tiempo
del tiempo en que se considere n,

Modelo:

𝑺𝟏 𝑺𝟐
𝑺𝟏 𝑃11 𝑃12
𝑺𝟐 𝑃21 𝑃22

Dónde:

𝑷𝒊𝒋 = Probabilidad de cambiar de estado “i” al estado “j”.

P = Matriz formada por los valores de 𝑃𝑖𝑗 (MATRIZ DE TRANSICIÓN)

𝑺𝒊 (𝒕) = Probabilidad de encontrarse en el estado “i” en el periodo “t”.

𝑺 (𝒕) = Vector de probabilidad de estado en el periodo “t”.

Planteamiento:

𝑺𝟏 (𝒕) + 𝑺𝟐 (𝒕) + … + 𝑺𝒏 (𝒕) = 𝟏 “n estados”

𝑷𝒊𝟏 + 𝑷𝒊𝟐 + … + 𝑷𝒊𝒏 = 𝟏

La transición de un estado al siguiente se expresa como:

𝑺(𝒕 + 𝟏) = 𝑺(𝒕)𝑷

Para el 1er periodo 𝑆(1) = 𝑆(0)𝑃

Para el 2do periodo 𝑆(2) = 𝑆(1)𝑃 = 𝑆(0)𝑃2

En General:

𝑺(𝟏)𝑷 = 𝑺(𝟎)𝑷𝒕

Por la condición del estado estacionario:

𝑺 = 𝑺(𝒕 + 𝟏) = 𝑺(𝒕)

6
 Donde S: vector de probabilidad de estado estacionario que es el mismo
sin importar el periodo.

𝑺 = 𝑺(𝑷) , Es decir el vector de estado estacionario sigue siendo igual

después de la transición de una etapa.

∑ 𝑺𝒊=𝟏
𝒊=𝟏

MATRICES DE PROBABILIDAD DE TRANSICION:

En las cadenas finitas de orden 1, la forma más cómoda de expresar la ley
de probabilidad condicional de la misma es mediante la llamada matriz de
probabilidades de transición P, o más sencillamente matriz de la cadena.

Dichas matriz es cuadrada con tantas filas y columnas como estados tiene
el sistema, y los elementos de la matriz representan la probabilidad de que
el estado próximo sea el correspondiente a la columna si el estado actual
es el correspondiente a la fila.

Como el sistema debe evolucionar a t a alguno de los n estados posibles,

las probabilidades de transición cumplirán la propiedad siguiente:

∑ 𝑷𝒊𝒋 = 𝟏
𝒋=𝟏

Además por definición de probabilidad cada una de ellas ha de ser no

negativa:

𝑷𝒊𝒋 ≥ 𝟏

Cuando los 𝑃𝑖𝑗 cumplen las propiedades, arriba indicadas, la matriz P es una
matriz estocástica: la suma de valores de las filas será siempre igual a 1 (la
suma de los valores de las columnas no tiene ninguna propiedad especial).

7
CADENA FINITA DE MARKOV:
Caracterizadas porque el número de estados del sistema es finito.
Formalmente para definir una cadena de Markov Finita hace falta determinar
por los siguientes elementos:

a. Un conjunto de estados del sistema.

b. La definición de transición

Los estados son una característica de la situación en que se halla el sistema

en un instante dado, dicha caracterización puede ser tanto cuantitativa como
cualitativa. Desde un punto de vista práctico probablemente, la mejor
definición de que debe entenderse por estado es la respuesta que se daría a
la pregunta “¿Cómo están las cosas?”

Formalmente, el estado de un sistema en un instante t es una variable cuyos

valores solo pueden pertenecer al conjunto de estados del sistema. El
sistema modelado por la cadena, por lo tanto, es una variable que cambia
de valor en el tiempo, cambio al que llamamos TRANSICIÓN.

CADENA DE MARKOV CON ESTADOS ABSORVENTES:

 Un estado absorbente es aquel que una vez que se alcanza no
pueden abandonarse.
 Cuando un proceso de Markov tienen estados absorbentes, no se
calculan probabilidades de estados estables; ya que en algún
momento, el proceso termina en alguno de los estados absorbentes.
Sin embargo, podría interesar saber la probabilidad de termina en
uno de los estados absorbentes

Ejemplo:

8
CASOS DE APLICACIÓN

PROBLEMA 1

La Bodega “Olinda” ubicada en la Av. Coronel Portillo #410 – Huaura,

desea conocer la preferencia de sus clientes hacia algunos de sus
productos y así abastecerse adecuadamente.
Para lo cual realizaremos una encuesta a un grupo de 30 personas que
consumen en esta bodega durante 2 días, con el propósito de conocer el
producto que tiene más demanda; a continuación se muestra la matriz
de transición:

Soda Soda
Soda V
Field roja
Soda Field 0.5 0.2 0.3
Soda roja 0.3 0.4 0.3
Soda V 0.2 0.1 0.7

En el primer día de la encuesta se obtiene 𝑆0 = [0.33 0.17 0.5]. Esto

significa que el 33% de los clientes prefirieron “Soda Field”, el 17%
prefirieron “Soda roja” y el 50% prefirieron “Soda V”.

La encargada de la Bodega “Olinda” desea saber ¿cuál será la elección

de sus clientes en los próximos días?

Solución:

 Método Recursivo:

0.5 0.2 0.3

𝑃 = [0.3 0.4 0.3]
0.2 0.1 0.7
𝑆0 = (0.33 0.17 0.5)

S (t+1) = S (t)*P

0.5 0.2 0.3

𝑆1 = 𝑆0 * P (0.33 0.17 0.5) ∗ [0.3 0.4 0.3] =
0.2 0.1 0.7

(0.32 0.18 0.5)

9
 0.5 0.2 0.3
𝑆2 = 𝑆1 * P (0.32 0.18 0.5)* [0.3 0.4 0.3] =
0.2 0.1 0.7
(0.31 0.19 0.5)

0.5 0.2 0.3

𝑆3 = 𝑆2 * P (0.31 0.19 0.5) ∗ [0.3 0.4 0.3] =
0.2 0.1 0.7
(0.312 0.188 0.5)

0.5 0.2 0.3

𝑆4 = 𝑆3 * P (0.312 0.188 0.5) ∗ [0.3 0.4 0.3] =
0.2 0.1 0.7
(0.3124 0.1876 0.5)

0.5 0.2 0.3

𝑆5 = 𝑆4 * P (0.3124 0.1876 0.5) ∗ [0.3 0.4 0.3]
0.2 0.1 0.7

= (0.31248 0.18752 0.5)

0.5 0.2 0.3

𝑆6 = 𝑆5 * P (0.31248 0.18752 0.5) ∗ [0.3 0.4 0.3]
0.2 0.1 0.7

= (0.312496 0.187504 0.5)

0.5 0.2 0.3

𝑆7 = 𝑆6 * P (0.312496 0.187504 0.5) ∗ [0.3 0.4 0.3]
0.2 0.1 0.7

= (0.3124992 0.1875008 0.5)

0.5 0.2 0.3

𝑆8 = 𝑆7 * P (0.3124992 0.1875008 0.5) ∗ [0.3 0.4 0.3]
0.2 0.1 0.7

= (0.31249984 0.18750016 0.5)

10
𝑆9 = 𝑆8 * P (0.31249984 0.18750016 0.5) ∗
0.5 0.2 0.3
[0.3 0.4 0.3]
0.2 0.1 0.7

= (0.312499968 0.187500032 0.5)

𝑆10 = 𝑆9 * P (0.312499968 0.187500032 0.5) ∗

0.5 0.2 0.3
[0.3 0.4 0.3]
0.2 0.1 0.7

= (0.3124999936 0.1875000064 0.5)

 Matriz Estacionaria:
0.5 0.2 0.3
[𝑆1 𝑆2 𝑆3] = [𝑆1 𝑆2 𝑆3] ∗ [0.3 0.4 0.3]
0.2 0.1 0.7

0.5 0.2 0.3

[𝑆1 𝑆2 𝑆3] ∗ [0.3 0.4 0.3] (0.5 ∗ 𝑆1 + 0.3 ∗ 𝑆2 +
0.2 0.1 0.7
0.2 ∗ 𝑆3 + 0.2 ∗ 𝑆1 + 0.4 ∗ 𝑆2 + 0.1 ∗ 𝑆3 + 0.3 ∗ 𝑆1 + 0.3 ∗ 𝑆2 +
0.7 ∗ 𝑆3)

Resolviendo por Mathcad:

11
  Método del Árbol 3 niveles:

0.5 PL
0.5*0.5*0. 0.12
0.5 5 5
0.2 0.5*0.5*0. 0.05
PL P
2
0.3 0.5*0.5*0. 0.07
C
0.3 30.5*0.2*0. 50.03
PL
0.5 0.2 3
0.4 0.5*0.2*0. 0.04
PL P P
4
0.3 0.5*0.2*0. 0.03
C
3
0.2 0.5*0.3*0. 0.03
PL
0.3 2
0.1 0.5*0.3*0. 0.01
C P
1 5
0.7 C
0.5*0.3*0. 0.10
7 5
0.5 0.2*0.3*0. 0.03
PL
5
0.3 0.2 0.2*0.3*0. 0.01
PL P
2 2
0.3 0.2*0.3*0. 0.01
C
0.3 30.2*0.4*0. 80.02 PL = 0.332
PL
0.2 0.4 3 4 P = 0.2
0.4 0.2*0.4*0. 0.03
PL P P P
4 2
C = 0.468
L 0.3 0.2*0.4*0. 0.02
C
3 4
0.2 0.2*0.3*0. 0.01
PL
0.3 2 2
0.1 0.2*0.3*0. 0.00
C P
1 6
0.7 0.2*0.3*0. 0.04
C
0.5 7
0.3*0.2*0. 2
0.03
PL
5
0.2 0.2 0.3*0.2*0. 0.01
PL P
2 2
0.3 0.3*0.2*0. 0.01
C
0.3 30.3*0.1*0. 80.00
PL
0.3 3 9
0.1 0.4 0.3*0.1*0. 0.01
C P P 4 2
0.3 0.3*0.1*0. 0.00
C
3 9
0.2 0.3*0.7*0. 0.04
PL
0.7 2 2
0.1 0.3*0.7*0. 0.02
C P
1 1
0.7 0.3*0.7*0. 0.14
C
7 7

12
 Método Método Estado Método del Árbol
Recursivo Estacionario 3 niveles
Soda
0.3124999936 0.3125 0.332
Field
Soda roja 0.1875000064 0.1875 0.2
Soda V 0.5 0.5 0.468
0.187500064
Conclusión:
El producto de mayor elección por los clientes es la Soda V.

 Cadena Finita:
Es aquel proceso estocástico en una sucesión de pruebas que terminan
en el estado absorbente, cuyos resultados satisfacen las dos
propiedades siguientes:

 La suma de las probabilidades de los estados debe ser igual a 1.

 La matriz de transición debe ser cuadrada.
 Las probabilidades de transición deben estar entre 0 y 1

PROBLEMA 2:

La Bodega “Olinda” ubicada en la Av. Coronel Portillo # 410 – Huaura,

tiene actualmente un total de 10 chirimoyas maduras y 8 chirimoyas por
madurar.
La encargada de la bodega desea conocer la situación actual de la venta
de chirimoyas, tantas chirimoyas maduras y por madurar, por lo cual se
realiza un estudio markoviano, el cual mostró los siguientes estados:

Por
Vendida Perdida Madura
madurar
Vendida 1 0 0 0
Perdida 0 1 0 0
Por
0.61 0 0.01 0.38
madurar
Madura 0.92 0.01 0 0.07

Se pide:
 ¿Qué cantidad de chirimoyas terminan vendidas?
 ¿Qué cantidad de chirimoyas terminan perdidas?
 Las respuestas también deben de representar la
cantidad de chirimoyas madurar y por madurar se
llegaron a vender o se perdieron.

13
Solución:
I

Por
Vendida Perdida Madura
madurar
Vendida 1 0 0 0
Perdida 0 1 0 0
Por
0.61 0 0.01 0.38
madurar
Madura 0.92 0.01 0 0.07

M N

Por Madurar Madura

S0 = [10 8]

De la tabla se saca las siguientes matrices:

N = [0.01 0.38] M = [0.61 0] I= [1 0]

Hallando la Matriz Fundamental:

F = (𝐈 − 𝐍)−𝟏

(I - N) =[1 0] - = [0.01 0.38] = = [0.99 −0.38]

F = (𝐈 − 𝐍)−𝟏 [0.99 −𝟎. 𝟑𝟖]−𝟏

A * 𝐀−𝟏 = 1

0.99 −0.38 w x 1 0
[ ] * [ y z] = [ ]
0 0.93 0 1

0.99w − 0.38y 0.99x − 0.38z 1 0

[ ]=[ ]
0.93y 0.93z 0 1

14
 w = 1.01 x = 0.41 y = 0 z = 1.08

1.01 0.41
F=[ ]
0 1.08

1.01 0.41 0.61 0 0.99 0.01

F*M =[ ]*[ ]=[ ]
0 1.08 0.92 0.01 0.99 0.01

Por último tenemos:

Por Madurar Madura Vendida Perdida

Vendidas Perdidas

0.99 0.01
[10 8] * [ ] =
0.99 0.01
[17 1]

Conclusión:

 El total de las chirimoyas vendidas es 17, por lo que ninguna sólo

1 palta se perdió.
 El 99% de las chirimoyas por madurar fueron vendidas.
 El 1% de las chirimoyas maduras se perdieron.
 El 99% de las chirimoyas por madurar se vendieron.
 El 1% de las chirimoyas maduras se perdieron.

15
 CONCLUSIÓN

 Los estados absorbentes son aquellos de los que no se puede pasar a

otro estado.

 Los estados de transición son aquellos estados por lo que se

pasa, pero no se regresa.

 Los estados recurrentes son aquellos que pueden repetirse

ilimitadamente.

 El Modelo de Markov nos permite determinar de forma secuencial las

probabilidades de ocurrencia de eventos.

16
 BIBLIOGRAFÍA

1. Hamdy A. Taha, Investigaciones de Operaciones, Año de Publicación:2006

2. Herbert Moskowitz., Investigaciones de Operaciones, 1982.

3. Hillier/ Lieberman., Investigaciones de Operaciones, 2002.

17