THEORY OF DECISIONS

Unit 3: Phase 6
Solve problems by applying the algorithms of Unit 3

Presented by:

Deisy Johana Menco

Alonso Rojas Vergel
Roman Sanabria

Presented to:
Paula Andrea Carvajal

Course 212066A_474

Group 212066_20

National Open and Distance University

UNAD
Barrancabermeja
November, 2018
 TABLE OF CONTENTS

INTRODUCTION

OBJECTIVES

1. Problem: Markov chains (stable state)

2. Problem: Markov Chains (Multiplication of the initial state)

3. Problem: Markov chains (Multiplying the initial state)

4. Problem: Markov Chains (Multiplication of the initial state)

5. Problem: Markov Chains (Multiplication of the initial state)

CONCLUSIONS

BIBLIOGRAPHY
 INTRODUCTION

The following work is done in the deepening phase of Unit 2 of the theories course of
decisions. In this way the content and some useful tools for the development of the
exercises will be known.

We will find approaches to the exercises according to the integrated guide of activities,
through which concepts and methods such as decision criteria, game theory and the
Markov decision process for decision making under uncertainty were analyzed and
applied.

In general, a Markov chain describes the transition behavior of a system of equally spaced
time intervals. However, there are situations where the temporal spacings depend on the
characteristics of the system and therefore, may not be equal to each other.
Develop the following Activities
Problem 1. Markov chains (steady state):
XYZ insurance company charges its customers according to their accident history. If you
have not had accidents the last two years wi

ll be charged for the new policy $ 1,730,000 (state 0); if you have had an accident in each
of the last two years you will be charged $ 2,280,000 (State 1); If you had accidents the
first of the last two years you will be charged $ 1,650,000 (state 2) and if you had an
accident the second of the last two years will be charged $ 1,670,000 (State 3). The
historical behavior of each state is given by the following cases of accident, taken in four
different events.
DATA
E0 = If you have not had accidents the last two years will be charged for the new policy $
1,730,000
E1 = if you have had an accident in each of the last two years you will be charged $
2,280,000
E2 = If you had accidents the first of the last two years you will be charged $ 1,650,000
E3 = if you had an accident the second of the last two years will be charged $ 1,670,000
According to Table 1 by applying the Markovian processes, ie finding the transition matrix
and solving the respective equations of p * q, where p is the transition matrix and q the
vector [W X Y Z]. Answer:
a. What is the transition matrix resulting from proportionality according to the accident
history?
b. What is the average premium paid by a customer in Payoff, according to historical
accident rate?

ACCIDENTS IN THE YEAR

STATE E0 E1 E2 E3 TOTAL
E0 1585 1687 2156 1970 7398
E1 2100 2350 2670 1230 8350
E2 1750 1250 850 560 4410
E3 1270 1380 56 865 3571
 STATE E0 E1 E2 E3 TOTAL
E0 0,2142471 0,228034604 0,291430116 0,266288186 1
E1 0,251497 0,281437126 0,319760479 0,147305389 1
E2 0,3968254 0,283446712 0,192743764 0,126984127 1
E3 0,3556427 0,386446374 0,015681882 0,242229067 1
Matrix of transition probabilities:
S
W 0,21 0,23 0,29 0,27 1
X P= 0,25 0,28 0,32 0,15 = 1
Y 0,40 0,28 0,19 0,13 1
Z 0,36 0,39 0,02 0,24 1

p*q=
q = (W X Y Z) EC1 0,21W + 0,25X + 0,40 Y + 0,36 Z = W
EC2 0,23W + 0,28X + 0,28 Y + 0,39 Z = X
EC3 0,29W + 0,32X + 0,19 Y + 0,02 Z = Y
EC4 0,27W + 0,15X + 0,13 Y + 0,24 Z = Z
EC5 W+ X+ Y+ Z=1

aw + bx + cy + dz + e = 0

EC1 0,21W - W + 0,25X + 0,40 Y + 0,36 Z = 0

EC2 0,23W + 0,28X - X + 0,28 Y + 0,39 Z = 0
EC3 0,29W + 0,32X + 0,19 Y - Y + 0,02 Z = 0
EC4 0,27W + 0,15X + 0,13 Y + 0,24 Z - Z = 0
EC5 W+ X+ Y+ Z - 1=0

EC1 - 0,79 W + 0,25X + 0,40 Y + 0,36 Z = 0

EC2 0,23W - 0,72 X + 0,28 Y + 0,39 Z = 0
EC3 0,29W + 0,32X - 0,81 Y + 0,02 Z = 0
EC4 0,27W + 0,15X + 0,13 Y - 0,76 Z = 0
EC5 W+ X+ Y+ Z - 1=0
 E0 E1 E2 E3
W X Y Z
0,0 0,0 0,0 0,0

COEFFICIENTS EQUAL TO
W X Y Z INDEP
-0,79 0,25 0,40 0,36 0 0,0
0,23 -0,72 0,28 0,39 0 0,0
0,29 0,32 -0,81 0,02 0 0,0
0,27 0,15 0,13 -0,76 0 0,0
1 1 1 1 -1 -1,0

VALUE $ 0

DATA
STATE VALUE
E0 $ 1,730,000
E1 $ 2,280,000
E2 $ 1,650,000
E3 $ 1,670,000
ANSWER: For this case, an optimal solution was not found with the solver tool, that is, it
is not compliant with the necessary restrictions to solve the function.

Nota: Aunque el Solver mostró ese mensaje de error, igualmente me arrojó una solucion

ACCIDENTS IN THE YEAR

STATE E0 E1 E2 E3 TOTAL
E0 1585 1687 2156 1970 7398
E1 2100 2350 2670 1230 8350
E2 1750 1250 850 560 4410
E3 1270 1380 56 865 3571

Table 1. Historical accident data

Cadenas de Markov (estado estable):
According to Table 1 by applying the Markovian processes, ie finding the
transition matrix and solving the respective equations of p * q, where p is the
transition matrix and q the vector [W X Y Z]. Answer:
:
a. What is the transition matrix resulting from proportionality according to
the accident history?

1585 1687 2156 1970

= 0,21; = 0,23 ; = 0,29 ; = 0,27
7398 7398 7398 7398

2100 2350 2670 1230

= 0,25; = 0,28 ; = 0,32 ; = 0,15
8350 8350 8350 8350

1750 1250 850 560

= 0,40; = 0,28 ; = 0,19 ; = 0,13
4410 4410 4410 4410

1270 1380 56 865

= 0,36; = 0,39 ; = 0,02 ; = 0,24
3571 3571 3571 3571

Transition Probability Matrix

0,21 0,23 0,29 0,27

0,25 0,28 0,32 0,15
p=
0,40 0,28 0,19 0,13
0,36 0,39 0,02 0,24

a. What is the average premium paid by a customer in Payoff, according to

historical accident rate?

∑ p*q
0,21 0,23 0,29 0,27 = 1,00 Ec. 1 0,21W + 0,25X + 0,40Y + 0,36Z = W
0,25 0,28 0,32 0,15 = 1,00 q = W X Y Z Ec. 2 0,23W + 0,28X + 0,28Y + 0,39Z = X
p=
0,40 0,28 0,19 0,13 = 1,00 Ec. 3 0,29W + 0,32X + 0,19Y + 0,02Z = Y
0,36 0,39 0,02 0,24 = 1,00 Ec, 4 0,27W + 0,15X + 0,13Y + 0,24Z = Z
Ec. 5 W + X + Y + Z = 1
 aW + bX + cY + dZ+ e = 0
Ec. 1 0,21W - W + 0,25X + 0,40Y + 0,36Z = 0 Ec. 1 ´-0,79W + 0,25X + 0,40Y + 0,36Z = 0
Ec. 2 0,23W + 0,28X - X + 0,28Y + 0,39Z = 0 Ec. 2 0,23W - 0,72X + 0,28Y + 0,39Z = 0
Ec. 3 0,29W + 0,32X + 0,19Y - Y + 0,02Z = 0 Ec. 3 0,29W + 0,32X - 0,81Y + 0,02Z = 0
Ec, 4 0,27W + 0,15X + 0,13Y - 0,76Z = 0
Ec, 4 0,27W + 0,15X + 0,13Y + 0,24Z - Z = 0
Ec. 5 W + X + Y + Z -1 = 0
Ec. 5 W + X + Y + Z -1 = 0

1 1 1 1 1
−0,79 0,25 0,40 0,36 0
0,23 −0,72 0,28 0,39 ||0
0,29 0,32 −0,81 0,02 0
( 0,27 0,15 0,13 −0,76 0)

We solve it by the Gauss-Jordan method

First we convert the decimals into fractions, to be able to operate
1 1 1 1
79 25 40 36
−
100 100 100 100 |1
23 72 28 39 0
−
100 100 100 100 |0
29 32 −81 2 0
100 100 100 100 |0
27 15 13 0.76
( 100 100 100 − 100 )
Note: Although Solver showed no solution, he threw me a solution

E0 E1 E2 E3
W X Y Z
0,28 0,37 0,15 0,20 1

COEFICIENTES IGUAL A
W X Y Z INDEPEN.
-0,79 0,25 0,4 0,36 0 1,38778E-17
0,23 -0,72 0,28 0,39 0 -0,080106087
O,29 0,32 -0,81 0,02 0 1,04083E-17
0,27 0,15 0,13 -0,76 0 -5,55112E-17
1 1 1 1 -1 0

What is the average premium paid by a client in Payment, according to the historical
accident rate?

E0 $1.730.000 x 0,28 $489.737,47

E1 $2.280.000 x 0,37 $838.645,11
E2 $1.650.000 x 0,15 $247.870,43
E3 $1.670.000 x 0,20 $332.101,96
Total 1 $1.908.355

The average premium paid by the customer is $1.908.355=

Problem 2. Markov chains (Initial state multiplication):
In Colombia there are 5 main mobile operators such as Tigo, Comcel, Movistar, ETB and
Uff, which we will call states. The following chart summarizes the odds that each client
has to stay in their current operator or make a change of company.

STATE TIGO COMCEL MOVISTAR ETB UFF

TIGO 0,18 0,28 0,19 0,18 0,17
COMCEL 0,21 0,23 0,17 0,25 0,14
MOVISTAR 0,19 0,16 0,23 0,26 0,16
ETB 0,18 0,19 0,23 0,21 0,19
UFF 0,22 0,23 0,19 0,17 0,19

The current percentages of each operator in the current market are for Tigo 0.25 for
Comcel 0.2, for Movistar 0.3, for ETB 0.1 and 0.15 for Uff (initial state).
According to Tables 2 and 3 by applying the Markovian criteria, solve the multiplication of
the initial state vector (market share) by the probability matrix (transition matrix). Answer:
c. Find the probability that each user stays with the mobile company for the next period.
STATE TIGO COMCEL MOVISTAR ETB UFF TOTAL
TIGO 0,18 0,28 0,19 0,18 0,17 1,0
COMCEL 0,21 0,23 0,17 0,25 0,14 1,0
MOVISTAR 0,19 0,16 0,23 0,26 0,16 1,0
ETB 0,18 0,19 0,23 0,21 0,19 1,0
UFF 0,22 0,23 0,19 0,17 0,19 1,0
TOTAL 0,98 1,09 1,01 1,07 0,85 5,0

0,18 0,28 0,19 0,18 0,17 0,18 0,28 0,19 0,18 0,17
1,0 1,0 1,0 1,0 1,0

0,21 0,23 0,17 0,25 0,14 0,21 0,23 0,17 0,25 0,14
1,0 1,0 1,0 1,0 1,0

0,19 0,16 0,23 0,26 0,16 0,19 0,16 0,23 0,26 0,16
P= P=
1,0 1,0 1,0 1,0 1,0

0,18 0,19 0,23 0,21 0,19 0,18 0,19 0,23 0,21 0,19
1,0 1,0 1,0 1,0 1,0

0,22 0,23 0,19 0,17 0,19 0,22 0,23 0,19 0,17 0,19
1,0 1,0 1,0 1,0 1,0
 0,18 0,28 0,19 0,18 0,17

0,21 0,23 0,17 0,25 0,14

= P = (0,25 0,2 0,3 0,1 0,15) 0,19 0,16 0,23 0,26 0,16

0,18 0,19 0,23 0,21 0,19

0,22 0,23 0,19 0,17 0,19

TIGO COMCEL MOVISTAR ETB UFF

P0 0,25 0,2 0,3 0,1 0,15

TIGO 0,18 0,28 0,19 0,18 0,17

COMCEL 0,21 0,23 0,17 0,25 0,14
MOVISTAR 0,19 0,16 0,23 0,26 0,16
ETB 0,18 0,19 0,23 0,21 0,19
UFF 0,22 0,23 0,19 0,17 0,19

P1 0,195 0,2175 0,202 0,2195 0,166

The probability that each user stays with the mobile company for the next period is:

Tigo 0,195
Comcel 0,2175
Movistar 0,202
ETB 0,2195
Uff 0,166
∑ 1
TESTING
Problem 3. Markov chains (Initial state multiplication):
In Colombia there are 6 main mobile operators such as Avantel, Tigo, Comcel, Movistar,
ETB and Uff, which we will call states. The following chart summarizes the odds that each
client has to stay in their current operator or make a change of company.

STATE AVANTEL TIGO COMCEL MOVISTAR ETB UFF

AVANTEL 0,22 0,15 0,17 0,15 0,19 0,12
TIGO 0,17 0,15 0,15 0,17 0,18 0,18
COMCEL 0,16 0,19 0,17 0,17 0,16 0,15
MOVISTAR 0,18 0,18 0,19 0,18 0,15 0,12
ETB 0,15 0,19 0,19 0,12 0,18 0,17
UFF 0,14 0,17 0,17 0,19 0,18 0,15

The current percentages of each operator in the current market are for Avantel 0.1, Tigo
0.15 for Comcel 0.15, for Movistar 0.35, for ETB 0.1 and 0.15 for Uff (initial state).
According to Tables 2 and 3 by applying the Markovian criteria, solve the multiplication of
the initial state vector (market share) by the probability matrix (transition matrix). Answer:
c. Find the probability that each user stays with the mobile company for the next period.
STATE AVANTEL TIGO COMCEL MOVISTAR ETB UFF TOTAL
AVANTEL 0,22 0,15 0,17 0,15 0,19 0,12 1,0
TIGO 0,17 0,15 0,15 0,17 0,18 0,18 1,0
COMCEL 0,16 0,19 0,17 0,17 0,16 0,15 1,0
MOVISTAR 0,18 0,18 0,19 0,18 0,15 0,12 1,0
ETB 0,15 0,19 0,19 0,12 0,18 0,17 1,0
UFF 0,14 0,17 0,17 0,19 0,18 0,15 1,0
TOTAL 1,02 1,03 1,04 0,98 1,04 0,89 6,0

0,22 0,15 0,17 0,15 0,19 0,12

0,17 0,15 0,15 0,17 0,18 0,18

= P = (0,1 0,15 0,15 0,35 0,1 0,15) 0,16 0,19 0,17 0,17 0,16 0,15

0,18 0,18 0,19 0,18 0,15 0,12

0,15 0,19 0,19 0,12 0,18 0,17

0,14 0,17 0,17 0,19 0,18 0,15

 AVANTEL TIGO COMCEL MOVISTAR ETB UFF
P0 0,1 0,15 0,15 0,35 0,1 0,15

AVANTEL 0,22 0,15 0,17 0,15 0,19 0,12

TIGO 0,17 0,15 0,15 0,17 0,18 0,18
COMCEL 0,16 0,19 0,17 0,17 0,16 0,15
MOVISTAR 0,18 0,18 0,19 0,18 0,15 0,12
ETB 0,15 0,19 0,19 0,12 0,18 0,17
UFF 0,14 0,17 0,17 0,19 0,18 0,15

P1 0,1705 0,1735 0,176 0,1695 0,1675 0,143

TESTING

The probability that each user stays with the mobile company for the next period is:

Avantel 0,1705
Tigo 0,1735
Comcel 0,176
Movistar 0,1695
ETB 0,1675
Uff 0,143
∑ 1
Problem 4. Markov chains (Initial state multiplication):
Suppose that 4 types of soft drinks are obtained in the market: Colombian, Pepsi Cola,
Fanta and Coca Cola when a person has bought Colombian there is a probability that
they will continue to consume 40%, 20% of which will buy Pepsi Cola, 10% that Fanta
buys and 30% that Coca Cola consumes; when the buyer currently consumes Pepsi Cola
there is a probability that he will continue to buy 30%, 20% buy Colombiana, 20% that
Fanta consumes and 30% Coca Cola; if Fanta is currently consumed, the likelihood of it
continuing to be consumed is 20%, 40% buy Colombian, 20% consume Pepsi Cola and
20% go to Coca Cola. If you currently consume Coca Cola the probability that it will
continue to consume is 50%, 20% buy Colombian, 20% that consumes Pepsi Cola and
10% that is passed to Fanta.
At present, each Colombian brand, Pepsi Cola, Fanta and Coca Cola have the following
percentages in market share respectively (30%, 25%, 15% and 30%) during week 3.
According to the data of problem 4 and 5 by applying the Markovian criteria, solve the
multiplication of the initial state vector (market share) by the probability matrix (transition
matrix). Answer:
d. Find the transition matrix.
e. Find the probability that each user stays with the mark or change to another for period
4 (problem 4) and period 5 (problem 5).
TYPES COLOMBIAN PEPSI COLA FANTA COCA COLA
COLOMBIAN 0,40 0,20 0,10 0,30
PEPSI COLA 0,20 0,30 0,20 0,30
FANTA 0,40 0,20 0,20 0,20
COCA COLA 0,20 0,20 0,10 0,50

TYPES COLOMBIAN PEPSI COLA FANTA COCA COLA TOTAL

COLOMBIAN 0,40 0,20 0,10 0,30 1,00
PEPSI COLA 0,20 0,30 0,20 0,30 1,00
FANTA 0,40 0,20 0,20 0,20 1,00
COCA COLA 0,20 0,20 0,10 0,50 1,00
TOTAL 1,20 0,90 0,60 1,30 4,00
 0,40 0,20 0,10 0,30 0,40 0,20 0,10 0,30
1,00 1,00 1,00 1,00

0,40 0,20 0,20 0,20 0,40 0,20 0,20 0,20

1,00 1,00 1,00 1,00

0,20 0,20 0,10 0,50 0,20 0,20 0,10 0,50

P= P=
1,00 1,00 1,00 1,00

0,20 0,20 0,10 0,50 0,20 0,20 0,10 0,50

1,00 1,00 1,00 1,00

0,40 0,20 0,10 0,30

0,20 0,30 0,20 0,30

= P = (0,30 0,25 0,15 0,30) 0,40 0,20 0,20 0,20

0,20 0,20 0,10 0,50

COLOMBIAN PEPSI COLA FANTA COCA COLA

P0 0,30 0,25 0,15 0,30

COLOMBIAN 0,40 0,20 0,10 0,30

PEPSI COLA 0,20 0,30 0,20 0,30
FANTA 0,40 0,20 0,20 0,20
COCA COLA 0,20 0,20 0,10 0,50

P1 0,29 0,225 0,14 0,345

 COLOMBIAN PEPSI COLA FANTA COCA COLA
P1 0,29 0,225 0,14 0,345

COLOMBIAN 0,40 0,20 0,10 0,30

PEPSI COLA 0,20 0,30 0,20 0,30
FANTA 0,40 0,20 0,20 0,20
COCA COLA 0,20 0,20 0,10 0,50

P2 0,286 0,2225 0,1365 0,355

COLOMBIAN PEPSI COLA FANTA COCA COLA

P2 0,286 0,2225 0,1365 0,355

COLOMBIAN 0,40 0,20 0,10 0,30

PEPSI COLA 0,20 0,30 0,20 0,30
FANTA 0,40 0,20 0,20 0,20
COCA COLA 0,20 0,20 0,10 0,50

P3 0,2845 0,22225 0,1359 0,35735

COLOMBIAN PEPSI COLA FANTA COCA COLA

P3 0,2845 0,22225 0,1359 0,35735

COLOMBIAN 0,40 0,20 0,10 0,30

PEPSI COLA 0,20 0,30 0,20 0,30
FANTA 0,40 0,20 0,20 0,20
COCA COLA 0,20 0,20 0,10 0,50

P4 0,28408 0,222225 0,13582 0,35788

TESTING
 PRIMER PERIODO SEGUNDO PERIODO
Matriz de Transición ∑ ∑
Colombiana 0,4 0,2 0,1 0,3 = 1,00 Colombiana 0,3 0,22 0,13 0,35 = 1,00
Pepsi 0,2 0,3 0,2 0,3 = 1,00 Pepsi 0,28 0,23 0,15 0,34 = 1,00
Fanta 0,4 0,2 0,2 0,2 = 1,00 Fanta 0,32 0,22 0,14 0,32 = 1,00
Coca Cola 0,2 0,2 0,1 0,5 = 1,00 Coca Cola 0,26 0,22 0,13 0,39 = 1,00
Colombiana Pepsi Fanta Coca Cola
E.I. 0,3000 0,2500 0,1500 0,3000 = 1,00 TERCER PERIODO
Colombiana Pepsi Fanta Coca Cola ∑
P1 0,2900 0,2250 0,1400 0,3450 = 1,00 Colombiana 0,286 0,222 0,135 0,357 = 1,00
Colombiana Pepsi Fanta Coca Cola Pepsi 0,286 0,223 0,138 0,353 = 1,00
P2 0,2860 0,2225 0,1365 0,3550 = 1,00 Fanta 0,292 0,222 0,136 0,35 = 1,00
Colombiana Pepsi Fanta Coca Cola Coca Cola 0,278 0,222 0,135 0,365 = 1,00
P3 0,2845 0,2223 0,1359 0,3574 = 1,00
Colombiana Pepsi Fanta Coca Cola CUARTO PERIODO
P4 0,2841 0,2222 0,1358 0,3579 = 1,00 ∑
Colombiana 0,2842 0,2222 0,1357 0,3579 = 1,00
Para el cuarto periodo tenemos que la participación en el mercado de las Pepsi 0,2848 0,2223 0,1361 0,3568 = 1,00
marcas de gaseosa es Fanta 0,2856 0,2222 0,1358 0,3564 = 1,00
Participación % Coca Cola 0,2826 0,2222 0,1357 0,3595 = 1,00
Colombiana 28,4080
Pepsi 22,2225
Fanta 13,5815
Coca Cola 35,7880

Para el cuarto periodo la probabilidad de que una persona que ha consumido colombiana
siga consumiendo es del 28,42% y tiene una posibilidad de que cambie a Pepsi cola del
22,22%, un 13,57% que cambie a Fanta y un 35,79% de que cambie a coca cola.

Las personas que consumen Pepsi cola tienen un 22,23% que se mantengan consumiendo
ese producto, un 28,48% que se cambie a colombiana, 13,61% que cambie a fanta y un
35,68% que cambie a coca cola.

Cuando una persona consume Fanta tiene un 13,58% que siga consumiendo, un 28,56% que
se cambie a colombiana, un 22,22% que cambie a Pepsi cola y un 35,64% que se cambie a
coca cola.

Cuando la persona consume coca cola tiene un 35,95% que siga consumiendo este producto,
un 28,26% que se cambie a Colombia, un 22,22% que se cambie a Pepsi cola, y un 13,57%
que se pase a Fanta.
Problem 5. Markov chains (Initial state multiplication):
Suppose you get 6 types of Jeans brands in the Colombian market: Brand 1, Brand 2,
Brand 3, Brand 4, Brand 5 and Brand 6. The following table shows the odds that you
continue to use the same brand or change it.
STATE BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6
BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11
BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

At present, brand, have the following percentages in market share respectively (19%,
18%, 17%, 15%, 19% y 12%) during week 4.
According to the data of problem 4 and 5 by applying the Markovian criteria, solve the
multiplication of the initial state vector (market share) by the probability matrix (transition
matrix). Answer:
d. Find the transition matrix.
e. Find the probability that each user stays with the mark or change to another for period
4 (problem 4) and period 5 (problem 5).
STATE BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6 TOTAL
BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11 1,0
BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18 1,0
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11 1,0
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09 1,0
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18 1,0
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14 1,0
TOTAL 1,11 0,96 1,17 0,91 1,04 0,81 6,0
 0,21 0,19 0,22 0,13 0,14 0,11

0,17 0,18 0,15 0,13 0,19 0,18

= P = (0,19 0,18 0,17 0,15 0,19 0,12) 0,18 0,14 0,22 0,13 0,22 0,11

0,21 0,16 0,15 0,22 0,17 0,09

0,14 0,16 0,22 0,15 0,15 0,18

0,2 0,13 0,21 0,15 0,17 0,14

 BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6
P0 0,19 0,18 0,17 0,15 0,19 0,12

BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11

BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

P1 0,1832 0,1623 0,1957 0,1497 0,1726 0,1365

BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6

P1 0,1832 0,1623 0,1957 0,1497 0,1726 0,1365

BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11

BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

P2 0,18419 0,160733 0,196795 0,149655 0,174083 0,134544

BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6

P2 0,18419 0,160733 0,196795 0,149655 0,174083 0,134544

BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11

BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

P3 0,18413558 0,1607681 0,1969274 0,1496415 0,1740471 0,13448034

 BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6
P3 0,18413558 0,1607681 0,1969274 0,1496415 0,1740471 0,13448034

BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11

BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

P4 0,18413336 0,1607665 0,19692652 0,1496383 0,1740567 0,13447864

BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6

P4 0,18413336 0,1607665 0,19692652 0,1496383 0,1740567 0,13447864

BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11

BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

P5 0,18413279 0,1607664 0,19692688 0,1496382 0,1740565 0,13447922

TESTING
 PRIMER PERIODO SEGUNDO PERIODO
Matriz de Transición ∑ ∑
Marca 1 0,21 0,19 0,22 0,13 0,14 0,11 = 1,00 Marca 1 0,1849 0,1624 0,1965 0,1467 0,1757 0,1338 = 1,00
Marca 2 0,17 0,18 0,15 0,13 0,19 0,18 = 1,00 Marca 2 0,1832 0,1603 0,1965 0,1491 0,1722 0,1387 = 1,00
Marca 3 0,18 0,14 0,22 0,13 0,22 0,11 = 1,00 Marca 3 0,1813 0,1605 0,2 0,1483 0,174 0,1359 = 1,00
Marca 4 0,21 0,16 0,15 0,22 0,17 0,09 = 1,00 Marca 4 0,1863 0,1638 0,1925 0,155 0,171 0,1314 = 1,00
Marca 5 0,14 0,16 0,22 0,15 0,15 0,18 = 1,00 Marca 5 0,1847 0,1576 0,1965 0,1501 0,177 0,1341 = 1,00
Marca 6 0,2 0,13 0,21 0,15 0,17 0,14 = 1,00 Marca 6 0,1852 0,1602 0,199 0,1497 0,1737 0,1322 = 1,00

E.I. 0,19 0,18 0,17 0,15 0,19 0,12 = 1,00 TERCERO PERIODO
∑
Marca 1 Marca 2 Marca 3 Marca 4 Marca 5 Marca 6 Marca 1 0,183972 0,160851 0,197025 0,149393 0,174012 0,134747 = 1,00
P1 0,1832 0,1623 0,1957 0,1497 0,1726 0,1365 = 1,00 Marca 2 0,184252 0,160611 0,196955 0,149637 0,174091 0,134454 = 1,00
Marca 3 0,184041 0,160572 0,197025 0,149545 0,174291 0,134526 = 1,00
Marca 1 Marca 2 Marca 3 Marca 4 Marca 5 Marca 6 Marca 4 0,184389 0,161073 0,19637 0,149998 0,173892 0,134278 = 1,00
P2 0,18419 0,160733 0,196795 0,149655 0,174083 0,134544 = 1,00 Marca 5 0,18407 0,16074 0,19712 0,149731 0,173896 0,134443 = 1,00
Marca 6 0,184141 0,160814 0,196985 0,149591 0,174124 0,134345 = 1,00
Marca 1 Marca 2 Marca 3 Marca 4 Marca 5 Marca 6
P3 0,18413558 0,16076814 0,1969274 0,14964149 0,17404705 0,13448034 = 1,00 CUARTO PERIODO
∑
Marca 1 Marca 2 Marca 3 Marca 4 Marca 5 Marca 6 Marca 1 0,1841269 0,1607533 0,1969355 0,1496206 0,1740689 0,134495 = 1,00
P4 0,184133356 0,160766472 0,19692652 0,14963828 0,17405672 0,13447864 = 1,00 Marca 2 0,184136 0,1607671 0,1969381 0,1496382 0,1740506 0,13447 = 1,00
Marca 3 0,1841207 0,1607564 0,1969466 0,1496354 0,1740556 0,1344853 = 1,00
Marca 1 Marca 2 Marca 3 Marca 4 Marca 5 Marca 6 Marca 4 0,1841508 0,1607974 0,1968823 0,1496632 0,1740305 0,1344759 = 1,00
P5 0,184132788 0,16076644 0,19692688 0,14963815 0,17405652 0,13447922 = 1,00 Marca 5 0,1841397 0,1607612 0,1969226 0,1496426 0,1740708 0,1344632 = 1,00
Marca 6 0,1841258 0,1607705 0,1969282 0,1496326 0,1740588 0,1344842 = 1,00

para el quinto periodo tenemos que la participación en el mercado de las marcas es QUINTO PERIODO
Participación % ∑
Marca 1 0,184132788 Marca 1 0,184132 0,1607653 0,1969289 0,1496371 0,1740567 0,13448 = 1,00
Marca 2 0,16076644 Marca 2 0,1841329 0,1607666 0,1969269 0,1496379 0,1740572 0,1344786 = 1,00
Marca 3 0,196926881 Marca 3 0,1841326 0,1607653 0,1969277 0,149638 0,1740577 0,1344787 = 1,00
Marca 4 0,149638153 Marca 4 0,1841347 0,1607685 0,196923 0,1496398 0,1740549 0,134479 = 1,00
Marca 5 0,17405652 Marca 5 0,1841323 0,1607671 0,1969271 0,1496385 0,1740557 0,1344793 = 1,00
Marca 6 0,134479217 Marca 6 0,1841324 0,1607661 0,1969269 0,1496378 0,1740569 0,1344799 = 1,00
∑ 1

Para el quinto periodo la probabilidad de que una persona que ha comprado la Marca 1 y la siga comprando Para el qu
es es del 18,41% y tiene una posibilidad de que cambie a Marca 2 del 16,08%, un 19,69% que cambie a la compran
Marca 3, un 14,96% de que cambie a la Marca 4, un 17,41% a la Marca 5 y un 13,49% a la Marca 6 del 16,08

Para el quinto periodo la probabilidad de que una persona que ha comprado la Marca 2 y la siga comprando Para el qu
es es del 16,08% y tiene una posibilidad de que cambie a Marca 1 del 18,41%, un 19,69% que cambie a la compran
Marca 3, un 14,96% de que cambie a la Marca 4, un 17,41% a la Marca 5 y un 13,45% a la Marca 6 del 16,08

Para el quinto periodo la probabilidad de que una persona que ha comprado la Marca 3 y la siga comprando Para el qu
es es del 19,69% y tiene una posibilidad de que cambie a la Marca 1 del 18,41%, a la Marca 2 del 16,08%, un compran
14,96% de que cambie a la Marca 4, un 17,41% a la Marca 5 y un 13,45% a la Marca 6 del 16,08

ndo Para el quinto periodo la probabilidad de que una persona que ha comprado la Marca 4 y la siga
a comprando es es del 14,96% y tiene una posibilidad de que cambie a la Marca 1 del 18,41%, a la Marca 2
del 16,08%, un 19,69% de que cambie a la Marca 3, un 17,41% a la Marca 5 y un 13,45% a la Marca 6

ndo Para el quinto periodo la probabilidad de que una persona que ha comprado la Marca 5 y la siga
a comprando es es del 17,41% y tiene una posibilidad de que cambie a la Marca 1 del 18,41%, a la Marca 2
del 16,08%, un 19,69% de que cambie a la Marca 3, un 14,96% a la Marca 4 y un 13,45% a la Marca 6

ndo Para el quinto periodo la probabilidad de que una persona que ha comprado la Marca 6 y la siga
un comprando es es del 13,45% y tiene una posibilidad de que cambie a la Marca 1 del 18,41%, a la Marca 2
del 16,08%, un 19,69% de que cambie a la Marca 3, un 14,96% a la Marca 4 y un 17,41% a la Marca 5
 CONCLUSIONS

In the development of this unit # 3 of MARKOV's Decision Process (MARKOV Chains), it

provides us with a useful and practical system to create and implement decision-making
processes that bring us closer to the possible scenarios in order to be used to predict with
greater accuracy the evolution and future behavior of certain systems in our environment
(business, politics, finance, sports, health, physics, economics, among others).

The development of the activity allows to reinforce the knowledge acquired in the study
of Unit 2 when applying them in the development of a specific exercise.
In this work we can appreciate the importance of each of the topics seen in unit 2 of the
theory of decisions module.
Markov chains are based on the fact that the probability of an event occurring depends
on the immediate previous event.
Knowledge was acquired for the performance as Engineers with the capacity to solve
problems that arise.
Being able to have more tools and knowledge to be able to have decision-making power
in the future when faced with problems or complex situations of the topics that are
presented in our professional field.
To know in depth the subject matter that drives the unit n 2 of the course of decision
theory.
Know how to involve new methodologies in order to critically analyze an idea or product.
Know and implement research concepts and skills
 BIBLIOGRAPHY

Ibe, O. (2013). Markov Processes for Stochastic Modeling: Massachusetts, USA:

University of Massachusetts Editorial. Retrieved on Nov 10, 2018 from:
http://bibliotecavirtual.unad.edu.co:2051/login.aspx?direct=true&db=nlebk&AN=516132
&lang=es&site=eds-live
Dynkin, E. (1982). Markov Processes and Related Problems of Analysis: Oxford, UK:
Mathematical Institute Editorial. Retrieved on Nov 10, 2018 from:
http://bibliotecavirtual.unad.edu.co:2048/login?url=http://search.ebscohost.com/login.as
px?direct=true&db=e000xww&AN=552478&lang=es&site=ehost-live
Pineda, R. (2017). Virtual learning object Unit 3. Markov decision processes. [Video File].
Retrieved on Nov 10, 2018 from: http://hdl.handle.net/10596/13271
Piunovskiy, A. (2012). Examples In Markov Decision Processes: Singapore: Imperial
College Press Optimization Series. Retrieved on Nov 10, 2018 from:
http://bibliotecavirtual.unad.edu.co:2051/login.aspx?direct=true&db=nlebk&AN=545467
&lang=es&site=eds-live