TALLER CADENAS Y PROCESOS DE MARKOV

PRESENTADO POR:
IVAN DARIO CAMPIÑO PANTOJA
SILVIA ROCIO FUERTES PASPUR

PRESENTADO A:
ING. JAIME GUERRERO

UNIVERSIDAD DE NARIÑO
FACULTAD DE INGENIERIA
INGENIERIA DE SISTEMAS
IPIALES
1. ¿Cuáles de las matrices siguientes son matrices estocásticas?

1 1 1
((i) A=
8
1
2
( ) 8
0
8
1
2
no es matriz estocástica

15 1
(ii) B=
16
2
8
( ) 16
2
8
no es matriz estocástica

1 0
(iii) C=
( )
1
2
1
2
estocástica cuadrada

1 1
(iv) D =
2
1
4
( ) 2
8
4
no es matriz estocástica

2. Hallar el vector de probabilidad fijo de la matriz estocástica regular.

Hallar a qué matriz se aproxima An

3 1

( )
4
A 1= 1
2
4
1
2

R/ Matriz que se aproxima An

0.66666667 0.33333333
(
An = 0.66666667 0.33333333 )

( x 1−x )∗ 0.66666667 0.33333333 =( x 1−x)

( )
0.66666667 0.33333333

(0.66666667 x+ 0.66666667(1−x) , (0.33333333 x+ 0.33333333(1−x)=

Igualamos componentes de vector:

 (0.66666667 x+ 0.66666667(1−x)=x
(0.33333333 x+ 0.33333333(1−x )=1-x

X= 0.66666667
1-X= 0.33333333

R/ vector de probabilidad fijo de la matriz estocástica regular

( 0.66666667 0.33333333 )∗ 0.66666667 0.33333333 =( 0.66666667 0.33333333 )

( )
0.66666667 0.33333333

3. Hallar el vector de probabilidad fijo único de la matriz estocástica regular

1 1 1
2
P= 1
2
0
( ) 4
0
1
4
1
2
0

3 3 1

( )
8 8 4
1 5 1
P 1=
4 8 8
1 1
0
2 2

23 3 17

( )
64 8 64
5 31 13
P 2=
16 64 64
7 3 3
16 16 8

0.359375 0.375 0.265625

( 0.4375 0.1875 0.375 )
( x , y , 1−x− y )∗ 0.3125 0.484375 0.203125 =( x , y , 1−x− y)

Igualamos componentes de vector:

(0.359375 x+ 0.3125 y+ 0.4375(1−x− y )¿=x
(0.375 x+ 0.484375 y+ 0.1875(1−x− y ))=y
(0.265625 x+ 0.203125 y+ 0.375(1−x− y )¿=1−x− y

X=0.3636363656
Y=0.3636364  t= (0.3636363656, 0.3636364, 0.2727272344)
1-X-Y=0.2727272344
 0.359375 0.375 0.265625
(
(0.3636363656, 0.3636364, 0.2727272344)¿ 0.3125
0.4375
0.484375 0.203125 =¿
0.1875 0.375 )
(0.3636363656, 0.3636364, 0.2727272344)

R/ El vector de probabilidad fijo : (0.3636363656, 0.3636364, 0.2727272344)

4. Hallar el vector de probabilidad fijo único de la matriz estocástica regular

0 1 0

( )
1
P= 6
0
1
2
2
3
1
3
1
3

Y decir a qué matriz se aproxima pn.

0.166666667 0.5 0.333333333
P 2
=
(
0.083333333 0.63888889 0.277777778
0.111111111 0.55555556 0.333333333 )
Vector de probabilidad fijo

0.166666667 0.5 0.333333333

( )
( x y 1−x− y )∗ 0.083333333 0.63888889 0.277777778 =( x , y ,1−x− y)
0.111111111 0.55555556 0.333333333

Igualamos componentes de vector:

(0. 166666667 x+0. 083333333 y +0. 111111111(1−x− y )¿=x
(0.5 x+ 0. 63888889 y +. 55555556(1−x − y))=y
(0. 333333333 x +0. 277777778 y+ 0.333333333(1−x− y )¿=1−x− y
X=0.09957983737
Y=0.6142856989  t= (0.09957983737, 0.6142856989, 0.2992063501)
1-X-Y=0.2992063501

0.09957983737 0.6142856989 0.2992063501

( )
0.09957983737 0.6142856989 0.2992063501 =¿ matriz que se aproxima pn.
0.09957983737 0.6142856989 0.2992063501

R/ El vector de probabilidad fijo : (0.09957983737, 0.6142856989, 0.2992063501)

5. ¿Cuáles de las matrices estocásticas siguientes son regulares?

 1 1
(i) A=
( ) 2
0
2
1
no es matriz estocástica regular

(ii) (ii) B= (01 10) no es matriz estocástica regular

1 1 1

(iii)
2
(iii) C = 0
1
2
( ) 4
1
1
2
4
0 no es matriz estocástica regular
0

0 0 1
(iv) (iv) D =
1
2
0
( ) 1
4
1
1
4
0
si es matriz estocástica regular

6. Los hábitos de estudio de un estudiante son como sigue. Si estudia una

noche, está 70% seguro de no estudiar la noche siguiente. Por otra parte, si
no estudia una noche, está 60% seguro de no estudiar tampoco la noche
siguiente. A la larga, ¿con qué frecuencia estudia?

SI ESTUDIA NO ESTUDIA
SI ESTUDIA 0,7 0,3
NO ESTUDIA 0,6 0,4

( x 1−x )∗ 0.7 0.3 =(x 1−x )

( )
0.6 0.4
Igualamos componentes de vector:
(0.7 x +0.6(1−x)=x
(0.3 x+ 0.4(1−x )=1-x

X= 0.66666667  t= (0.66666667, 0.333333)

1-X= 0.333333

( 0.66666667 , 0.333333 )∗ 0.7 0.3 =(0.66666667 , 0.333333)

( )
0.6 0.4

R/ Estudia con una frecuencia de 0.66666667 *100=66%

7. Un sicólogo hace los supuestos siguientes que conciernen al comportamiento

de ratas sujetas a un régimen especial de alimentación. Para una prueba
particular, 80% de las ratas que cogieron para la derecha en el experimento
previo hicieron lo mismo en esta prueba, y 60% de aquellas que cogieron para
 la izquierda en el experimento previo, cogieron para la derecha en ésta
prueba. Si 50% van a la derecha en la primera prueba, ¿qué se podría
predecir para, (i) la segunda prueba? (ii) la tercera prueba? (iii) la milésima
prueba?

IZQUIERD
DERECHA A
DERECHA 0,8 0,2
IZQUIERD
A 0,6 0,4

p1 0.76 0.24
( )
0.72 0.28

( 0.5 0.5 )∗ 0.76 0.24 =(0. 74 0. 26)

( )
0.72 0.28

R/ Para la segunda prueba se podría decir que el 74% de las ratas cogerán
para el lado derecho y el 26% de las ratas cogerán a lado izquierdo.

p3 0. 7504 0. 2496
( )
0.7488 0. 2512

( 0.5 0.5 )∗ 0.7504 0.2496 =(0. 7496 0.2504)

( )
0.7488 0.2512

R/ Para la tercera prueba se podría decir que el 74.9% de las ratas cogerán
para el lado derecho y el 25% de las ratas cogerán a lado izquierdo.

pn 0.75 0.25
( )
0.75 0.25

( 0.5 0.5 )∗ 0.75 0.25 =(0.75 0.25)

( )
0.75 0.25

R/ Para la pn se podría decir que el 75% de las ratas cogerán para el lado
derecho y el 25% de las ratas cogerán a lado izquierdo.

8. La región de ventas de un vendedor la componen tres ciudades A, B y C.

Nunca vende en la misma ciudad en días seguidos. Si vende en la ciudad A
entonces al día siguiente vende en la ciudad B. Sin embargo, si vende en una
 de las dos B o C, entonces al día siguiente está en doble posibilidad tanto para
vender en A como en la otra ciudad. A la larga, ¿con qué frecuencia vende en
cada ciudad?

CIUDAD A CIUDAD B CIUDAD C

CIUDAD A 0 1 0
CIUDAD B 0,6 0 0,3
CIUDAD C 0,6 0,3 0

0.6 0 0.3
2
(
P = 0.18 0.69 0
0.18 0.6 0.09 )
0.414 0.18 0.207
3
(
P = 0.2322 0.4761 0.054
0.2322 0.468 0.0621 )
0.414 0.18 0.207
( )
( x y 1−x− y )∗ 0.2322 0.4761 0.054 =(x , y , 1−x− y )
0.2322 0.468 0.0621

Igualamos componentes de vector:

(0.414 x +0.2322 y+ 0.2322(1−x− y )¿=x
(0.18 x+ 0.4761 y + 0.468(1−x− y ))=y
(0. 207 x+ 0.054 y+ 0.0621(1−x− y )¿=1−x− y

X=0.283
Y=0.553  t= (0.283, 0.553, 0.164)
1-X-Y=0.164

0.414 0.18 0.207

( )
(0.283, 0.553, 0.164) 0.2322 0.4761 0.054 =¿(0.283, 0.553, 0.164)
¿
0.2322 0.468 0.0621

R/ En la ciudad A vende con una fecuencia de 8 dias, en la ciudad B vende con una frecuencia de
16 dias, y en la ciudad C vende con una fecuencia de 4 dias.

9. Hay 2 bolas blancas en una urna A y 3 rojas en otra urna B. A cada paso del
proceso se selecciona una bola de cada urna y las dos bolas escogidas se
intercambian. Sea el estado ar del sistema el número i de bolas rojas de la
urna A. (i) Hallar la matriz de transición P. (ii) ¿Cuál es la probabilidad de
que haya 2 bolas rojas en la urna A después de 3 pasos? (iii) A la larga,
¿Cuál es la probabilidad de que haya 2 bolas rojas en la urna A?

R/ Matriz de transición P
 e1 e2 e3
e1 0 1 0
e2 0,16666667 0,5 0,33333333
e3 0 0,66666667 0,33333333

R/ probabilidad de que haya 2 bolas rojas en la urna A=

(0.10185185 0.59567901 0.30246914 )

0.16 666667 0 .5 0.33333333

P2
=
(
0. 0 8 333333 0.63888889 0 .27777778
0.11111111 0.5555555 6 0 .33333333 )
(0.11111111 0.55555556 0.33333333)¿

0.16666667 0.5 0.33333333

( 0.08333333 0.63888889 0.27777778 =
0.11111111 0.55555556 0.33333333 )
(0. 10185185 0.5 9567901 0. 30246914 )

¿Cuál es la probabilidad de que haya 2 bolas rojas en la urna A?

La probabilidad de que haya 2 bolas rojas en la urna A es de 0.10185185

10. Dos niños b1 y b2 y dos niñas g1 y g2 están lanzándose una bola el uno al otro.
1
Cada niño pasa la bola al otro niño con probabilidad y a cada niña con
2
1
probabilidad . Por otra parte, cada niña lanza la bola a cada niño con
4
1
probabilidad y nunca a la otra niña. A la larga, ¿con qué frecuencia recibe
2
cada uno la bola?

b1 b2 g1 g2
b1 0 0,5 0,25 0,25
b2 0,5 0 0,25 0,25
g1 0,5 0,5 0 0
g2 0,5 0,5 0 0
 0.5 0.25 0.125 0.125
P 2=
(
0.25
0.25
0.25
0.5
0.25
0.25
0.125 0.125
0.25 0.25
0.25 0.25
)
0.5 0.25 0.125 0.125

(
( x y z 1−x− y−z )∗ 0.25
0.25
0.25
0.5
0.25
0.25
0.25 0.25
0.250.25
)
0.125 0.125 =( x y z 1−x− y−z )

Igualamos componentes de vector:

(0. 5 x+0. 25 y +0. 25 z +0.25 (1−x− y −z)¿=x
(0. 25 x +0. 5 y+ 0.25 z +0.25(1−x− y−z )¿=y
(0. 125 x +0. 125 y +0. 25 z+ 0.25(1−x− y −z)¿=z
(0. 125 x +0. 125 y +0. 25 z+ 0.25(1−x− y −z)¿=¿)

X=1/3
Y=1/3  t= (1/3, 1/3, 1/6, 1/6)
Z=1/6
¿)=1/6

0.5 0.25 0.125 0.125

( 1111
3366
∗ 0.25
)
0.25(
0.25
0.5
0.25
0.25
0.25 0.25
0.25 0.25
)(
0.125 0.125 = 1 1 1 1
3366 )
1
R/ la frecuencia con que recibe cada uno la bola es de: para losniños
3
1
1−2 para las niñas1−2
6

11. La suerte de un jugador sigue una pauta: Si gana un juego, la probabilidad de

ganar el siguiente es 0.6 Sin embargo, si pierde la probabilidad de perder el
siguiente es 0.7 Además existe igual probabilidad de que el jugador gane el
primer juego.

,a) ¿Cuál es la probabilidad de que gane el segundo juego?

b) ¿Cuál es la probabilidad de que gane el tercer juego?
c) ¿A la larga, con qué frecuencia gana?

1 1
12. Para una cadena de Markov la matriz de transición es

1 3
P=
( )
2
3
4
2
1
4
con

distribución de probabilidad inicial p(0 ) =

4 4 ( )
 Hallar (i) p221 ; (ii) p212 ; (iii) p2 ; (iv) p21; (v) el vector p0 p n se aproxima;

(vi) La matriz pn se aproxima.

1 1
0
2
13. Para una cadena de Markov, la matriz de transición es P = 1
1
4
( )
0
1
2
2
0
1
4

Y la distribución de probabilidad inicial es;

1 1
p
(0 )
= , ;0 Hallar (i) p213 ; (ii) p223 ; (iii) p(2 ) ;(iv) p(21 )
2 2.

14. Un hombre cambia su carro por uno nuevo cada año. Si tiene un Buick, lo
cambia por un Plymouth. Si tiene un Plymouth, lo cambia por un Ford. Sin
embargo, si tiene un Ford, es igual posible que lo cambie por un Ford como
por un Buick o un Plymouth. En 1955 compró su primer carro que era un Ford.
(i) Hallar la probabilidad que tenga un (a) Ford 1957, (b) Buick 1957,
Plymouth 1958, (d) Ford 1958.
(ii) A la larga ¿con qué frecuencia tiene Ford?

15. Hay 2 bolas blancas en una urna A y 4 rojas en otra urna B. A cada plazo del
proceso se selecciona una bola de cada una, y las dos bolas escogidas se
intercambian. Sea Xn el número de bolas rojas de la urna A después de n
intercambios. (i) Hallar la matriz de transición P (ii) ¿Cuál es la probabilidad
de que haya 2 bolas rojas en la urna A después de 3 pasos? (iii) A la larga,
¿cuál es la probabilidad de que haya 2 bolas rojas en la urna A?

16. Resolver el problema anterior para el caso de que haya 3 bolas blancas en la
urna A y 3 bolas rojas en la urna B.

17. Un jugador tiene 3 dólares. En cada jugada pierde un dólar con probabilidad
3 1
pero gana dos dólares con probabilidad . Deja de jugar si pierde sus 3
4 4
dólares o si gana por lo menos 3 dólares.

(i) Hallar la matriz de transición de la cadena de Markov

(ii) ¿Cuál es la probabilidad de que haya por lo menos 4 jugadas en el
juego?

18. MODELO DE MARKOV La región de ventas de un vendedor la componen

cuatro ciudades: A, B, C y D. Nunca vende en la misma ciudad en días
seguidos. Si vende en la ciudad A, al día siguiente es igualmente probable que
 venda en la ciudad B o en la ciudad C pero no lo hará en D. Si vende en C,
existe el doble de posibilidad de que vaya a B con relación a la posibilidad de
que vaya a A pero no irá a D. Si vende en B, es igualmente probable que vaya
a cualquiera de las otras ciudades. Finalmente, si vende en D, existe el doble
de probabilidad de que vaya a B con relación a la probabilidad de que vaya a
C pero no irá a A. Sabemos que el lunes lanzó una moneda para decidir si iba
a A o a D. Necesitamos ubicar al vendedor hoy viernes. Si nos atenemos
únicamente a la probabilidad, en qué orden debemos visitar las ciudades para
ubicar al vendedor?

19. Una familia sale de vacaciones cada seis meses, escogiendo entre a) Ciudad
de Europa, b) Ciudad de América no Colombiana. c) Ciudad de Colombia, d)
La finca de Chachagüí.
Si estuvo en Europa, existe doble probabilidad de que viaje a la finca en
comparación de que viaje a la Ciudad Colombiana, pero es imposible que viaje
a ciudad de América o Europa.
Si estuvo en la finca, seguramente irá a Ciudad Europea. Si estuvo en Ciudad
Colombiana, puede ir a la finca o Ciudad Colombiana o a Ciudad Americana o
a Europa con probabilidad el doble, una de la otra y en ese orden. Si estuvo
en Ciudad Americana no Colombiana, existe igual probabilidad de que viaje a
Ciudad Colombiana o a la finca pero no repetirá Ciudad Americana, no
Colombiana, ni irá a Europa.

Si los costos de viaje son; Finca 500.000; Ciudad Colombiana 2,500,000;

Ciudad Americana no Colombiana 6.000.000; Europa 15.000.000; ¿Cuál es el
presupuesto de gastos de vacaciones en 20 años?

20. PROBLEMA: En un zoológico hay cuatro árboles numerados del 1 al 4. Un

pajarito viaja cada día a un árbol y permanece en él hasta el otro día debiendo
dejarlo. Si amanece en el árbol 1 puede migrar al 2 o al 3 con igual
probabilidad, pero no puede ir al 4. Si amanece en el árbol 4 puede migrar al
1 o al 3 con igual probabilidad pero no puede ir al 2. Si amanece en el 2
puede ir a cualquiera con igual probabilidad y si amanece en el 3 no puede ir
al 2, pero puede ir al 4 o al 1 con probabilidad el doble una de la otra
respectivamente. Se sabe que el primer día amanece en el 1 o en el 4 con
igual probabilidad.
Con base en la anterior información, conteste:
a) ¿Dónde es más probable que amanezca el tercer día?
b) De los 200 días de su pajaricola existencia, ¿cuántos pasó en el árbol 3?