Ministerul Educaiei al Republicii Moldova

Universitatea Tehnic a Moldovei

Catedra Calculatoare
Disciplina: Procese Stochastice

Raport
Lucrare de laborator Nr.1
Tema: Lanturi Markov timp discret

A efectuat:

st. gr. C-102 Efros Petru

A verificat:

lect. univ. Oovschi Mariana

Chiinu 2011

1 Scopul lucrarii:
Studierea metodelor de redare, descriere, analiza a proprietatilor de comportare
ale lanturilor Markov timp discret si evaluare a caracteristicilor numerice de
performanta.
2 Obiectivele lucrarii de laborator:
- pentru varianta formulata de profesor de construit graful lantului Markov;
- de determinat matricea stochastica a DLM si de scris ecuatiile Kolmogorov;
- de elaborat algoritmul si programul de calcul numeric al repartitiei probabilitatilor de
stare la mementul de timp k;
- de evaluat probabilitatea Sp (k ) de aflare in S B si valoarea respectiva a costului
mediu C(k) si C S (k) functie de durata functionarii DLM.
3 Scurte date teoretice:
B

Procesele stochastice permit modelarea matematica a numeroaselor componente

ale sistemelor tehnice, informationale, economicea, sociale etc. Un process stochastic X
este o familie de variabile aleatoare(X ) definite de acelasi spatiu de probabilitate
cu valori reale in acelasi spatiu de valori si indexate dupa un parametru .
Un process stochastic se reprezinta prin : {X , }.
In figura de mai jos este reprezentat grapfic exemplu de trecere din starea i in
starea j caruia ii corespunde un eveniment de trecere dintr-o stare e ij in e , unde

i ,

ji

j durata de aflare in starea i,j(vezi Fig. 3.1.).

Fig. 3.1.Trecerea din starea i in starea j.

4 Graful lantului Markov.

Fig.1. Lant Markov ergodic.

Tab.1.Probabilitatea de aflare in starea Si la momentul de timp k.
Si\K

10

11

12

0.00

0.12

0.17

0.16

0.16

0.15

0.15

0.15

0.15

0.15

0.15

0.14

0.14

0.00

0.11

0.07

0.10

0.09

0.09

0.09

0.09

0.09

0.09

0.09

0.09

0.09

0.25

0.00

0.09

0.05

0.07

0.07

0.07

0.07

0.06

0.07

0.06

0.06

0.06

0.00

0.16

0.00

0.10

0.07

0.07

0.08

0.07

0.08

0.08

0.08

0.08

0.08

0.00

0.00

0.11

0.07

0.07

0.09

0.08

0.08

0.08

0.08

0.08

0.08

0.08

0.00

0.02

0.05

0.07

0.09

0.08

0.09

0.09

0.09

0.09

0.09

0.09

0.09

0.15

0.00

0.09

0.08

0.07

0.08

0.07

0.08

0.08

0.08

0.08

0.08

0.08

0.00

0.16

0.10

0.12

0.10

0.09

0.10

0.09

0.10

0.10

0.10

0.10

0.10

0.00

0.16

0.12

0.11

0.10

0.10

0.09

0.09

0.09

0.09

0.09

0.09

0.09

10

0.25

0.09

0.04

0.04

0.03

0.03

0.03

0.03

0.03

0.03

0.03

0.03

0.03

11

0.35

0.07

0.06

0.06

0.06

0.07

0.07

0.07

0.07

0.07

0.07

0.07

0.07

12

0.00

0.09

0.10

0.04

0.09

0.07

0.08

0.08

0.08

0.08

0.08

0.08

0.08

Fig.2. Lant Markov ergodic cu conditiile initiale schimbate

Tab..2.Probabilitatea de aflarea in starea Si la momentul de timp k.
Si\k
1
2
3
4
5
6
7
8
9
10
11
12

0
0.35
0.00
0.00
0.00
0.15
0.00
0.00
0.25
0.00
0.00
0.00
0.25

1
0.14
0.15
0.04
0.04
0.16
0.06
0.15
0.05
0.10
0.02
0.07
0.00

2
0.17
0.09
0.08
0.10
0.03
0.12
0.04
0.13
0.06
0.03
0.05
0.10

3
0.14
0.09
0.07
0.06
0.11
0.08
0.11
0.06
0.11
0.03
0.08
0.08

4
0.15
0.09
0.06
0.09
0.07
0.10
0.06
0.11
0.08
0.04
0.06
0.08

5
0.14
0.09
0.07
0.07
0.09
0.09
0.09
0.09
0.09
0.03
0.07
0.08

6
0.15
0.09
0.06
0.08
0.08
0.09
0.08
0.10
0.09
0.04
0.06
0.08

7
0.14
0.09
0.06
0.08
0.08
0.09
0.08
0.10
0.09
0.03
0.07
0.08

8
0.14
0.09
0.06
0.08
0.08
0.09
0.08
0.10
0.09
0.03
0.07
0.08

9
0.14
0.09
0.06
0.08
0.08
0.09
0.08
0.10
0.09
0.03
0.07
0.08

10
0.14
0.09
0.06
0.08
0.08
0.09
0.08
0.10
0.09
0.03
0.07
0.08

Fig.3. Lant Markov neergodic

Tab..3.Probabilitatea de aflare in starea Si la momentul de timp k.
Si\k

10

11

12

0.00

0.00

0.27

0.22

0.25

0.23

0.24

0.23

0.23

0.23

0.23

0.23

0.23

0.00

0.00

0.08

0.15

0.13

0.14

0.13

0.14

0.13

0.13

0.13

0.13

0.13

0.25

0.25

0.15

0.05

0.12

0.09

0.11

0.10

0.10

0.11

0.10

0.11

0.11

0.00

0.00

0.00

0.10

0.05

0.08

0.08

0.08

0.08

0.08

0.08

0.08

0.08

0.00

0.00

0.06

0.05

0.04

0.05

0.04

0.05

0.05

0.05

0.05

0.05

0.05

0.00

0.00

0.01

0.03

0.03

0.03

0.04

0.03

0.04

0.04

0.04

0.04

0.04

0.15

0.15

0.03

0.05

0.04

0.05

0.04

0.05

0.04

0.05

0.04

0.05

0.05

0.00

0.00

0.09

0.07

0.08

0.06

0.07

0.06

0.07

0.06

0.07

0.07

0.07

0.00

0.00

0.14

0.16

0.11

0.13

0.11

0.12

0.11

0.11

0.11

0.11

0.11

10

0.25

0.25

0.05

0.03

0.03

0.03

0.03

0.03

0.03

0.03

0.03

0.03

0.03

11

0.35

0.35

0.06

0.07

0.06

0.07

0.06

0.07

0.07

0.07

0.07

0.07

0.07

12

0.00

0.00

0.06

0.01

0.05

0.03

0.05

0.04

0.04

0.04

0.04

0.04

0.04

Fig.4. Lant Markov neergodic cu conditiile initiale schimbate.

Tab.4.Probabilitatea de aflare in starea Si la momentul de timp k.
Si\k

10

11

0.35

0
0.14

0.20

0.18

0.20

0.20

0.21

0.22

0.22

0.22

0.22

0.22

40

0.00

0.15

0.10

0.11

0.12

0.12

0.13

0.12

0.13

0.13

0.13

0.13

45

0.00

0.04

0.10

0.10

0.09

0.11

0.10

0.10

0.10

0.10

0.10

0.10

50

0.00

0.04

0.10

0.06

0.10

0.07

0.09

0.08

0.08

0.08

0.08

0.08

55

0.15

0.16

0.03

0.08

0.05

0.07

0.06

0.06

0.06

0.05

0.05

0.05

60

0.00

0.06

0.10

0.04

0.06

0.04

0.05

0.04

0.04

0.04

0.04

0.04

65

0.00

0.15

0.04

0.09

0.04

0.06

0.05

0.05

0.05

0.05

0.05

0.05

70

0.25

0.05

0.12

0.05

0.09

0.07

0.08

0.07

0.07

0.07

0.07

0.07

75

0.00

0.10

0.07

0.12

0.10

0.12

0.11

0.12

0.11

0.11

0.11

0.11

80

10

0.00

0.02

0.03

0.03

0.04

0.03

0.03

0.03

0.03

0.03

0.03

0.03

10

85

11

0.00

0.07

0.05

0.08

0.06

0.07

0.06

0.07

0.06

0.07

0.07

0.07

11

90

12

0.25

0.00

0.06

0.05

0.05

0.05

0.04

0.05

0.04

0.05

0.04

0.04

12

100

Lantul Markov ergodic

Ci

Psb

Psr

Csb

Csr

Psb

Psr

0.27

0.71

21.50

45.3

66.8

0.44

0.56

31,5

32,55

63,6

0.45

0.55

33.65

32.85

66.5

0.42

0.58

32,15

32,2

64,4

0.38

0.62

27.35

36.5

63.85

0.44

0.58

32

35

67

0.40

0.58

31.45

33.75

65.2

0.42

0.57

31,15

32,8

64

0.39

0.58

29.95

34.25

64.2

0.44

0.56

32,3

33,05

65,4

0.40

0.58

34.45

65.5

0.43

0.57

31,75

33,05

64,8

0.40

0.57

33.9

64.9

0.43

0.56

31,75

33,1

64,9

0.41

0.57

31.35

33.95

65.3

0.43

0.56

31,75

33,1

64,9

0.41

0.58

31.25

34.45

65.7

0.43

0.56

31,75

33,1

64,9

10

0.41

0.57

31.25

33.95

65.2

10

0.43

0.56

31,75

33,1

64,9

11

0.41

0.57

31.25

33.55

64.8

12

0.41

0.57

31.25

33.55

64.8

31,05
31

Csb

Csr

Lantul Markov neergodic

k

Psb

Psr

Csb

Csr

Psb

Psr

Csb

Csr

27,75

32,55

60,3

0,15

0,85

19,5

44,5

64

0,42

0,56

0,25

0,75

19,1

42,75

61,85

0,35

0,65

26,1

33,65

59,8

0,21

0,78

14,7

45,2

59,9

0,31

0,68

22,45

39,8

62,3

0,24

0,76

18,15

42,35

60,5

0,29

0,71

21,45

40,2

61,7

0,22

0,78

15,95

43,65

59,6

0,29

0,72

21,25

41,2

62,5

0,24

0,76

18,05

43,8

61,85

0,28

0,73

20,35

40,95

61,3

0,23

0,77

16,95

43,35

60,3

0,27

0,74

19,95

42,05

62

0,24

0,75

17,65

42,1

59,75

0,26

0,73

18,95

40,8

59,8

0,24

0,76

17,6

42,6

60,2

0,26

0,74

19,35

41,7

61,1

10

0,24

0,76

17,65

42,1

59,75

10

0,25

0,74

18,35

41,7

60,1

11

0,25

0,75

18,35

42,6

60,95

11

0,25

0,74

18,35

41,7

60,1

12

0,25

0,75

18,35

42,6

60,95

5 Graficile varierii probabilitatilor de stare

Graficul P

S B a lantului Markov ergodic.

Graficul P

S B a lantului Markov

neergodic.

Graficul P S R a lantului Markov ergodic.

Graficul C

S B a lantului Markov ergodic.

Graficul P

S R a lantului Markov neergodic.

Graficul C

S B a lantului Markov

neergodic.

Graficul C S R a lantului Markov ergodic.

Graficul C

S R a lantului Markov neergodic.

Graficul C a lantului Markov ergodic.

Graficul C a lantului Markov neergodic.

6 Concluzii: In cadrul acestei lucrari de laborator am studiat metodele de redare,

descriere, analiza a proprietatilor de comportare ale lanturilor Markov timp discret si
evaluare a caracteristicilor numerice de performanta. Am introdus datele despre graf in
programul QM si am primit probabilitatile a ficarui virf in fiacre moment de timp k.
Am calculat probabilitatile de aflare in starea buna\rea si vectorii de recompense a
starilor bune\rele si am creat graficile acestora. Am studiat lanturile Markov timp discret
ergodic si neergodic.