4.2 a) Procesos estocsticos.

b) Propiedad Markoviana de primer orden.

Procesos estocsticos

Las Cadenas de Markov.-son un proceso estocstico (ya que si tenemos la
frecuencia podemos saber la probabilidad de que ocurra)

Si tenemos una matriz a la A
2
ser A
2
= A*A propiedades de un vector fijo o punto
de una matriz A es un vector que multiplica por el vector da el mismo vector fsico
(A)

UA = U
( ) ( ) y x y x ,
3 2
1 2
, =
(

( ) ( ) 1 , 2
3 2
1 2
1 , 2 =
(

-Vector fijo de A es que el vector U no sea nulo 0 =
- Si un vector fijo por una constante sigue siendo el vector fijo de la matriz, es
( ) 2 ;
3 2
1 2
; 1 , 2 =
(

= = k A u
( ) 2 , 4 = ku


( ) ( ) 2 , 4
3 2
1 2
2 . 4 =
(

= KUA

CADENA DE MARKOV.- Es un Vector probabilstico con sus componentes no son
negativas y la suma de esas componentes =1

Ejemplo:
|
.
|

\
|
=
|
.
|

\
|
=
|
.
|

\
|
=
4
1
,
4
1
,
, 2
1
0 ,
2
1
,
2
1
4
3
, 0 ,
4
1
D
F
V






Matriz cuadrada: Se denomina matriz estocstica si cada una de las filas es un
vector de probabilidad.

Ejemplo:
|
|
|
|
.
|

\
|
0
3
2
3
1
3
1
6
1
2
1
2 1 0


Si A y B son matrices estocsticas, entonces el producto AB es una matriz
estocstica.
Adems, en particular, toda A
n
son matrices estocsticas.

Matrices estocsticas regulares: se dice que una matriz P estocstica es regular si
todos los elementos de un potencia P
m
son positivos.

Ejemplo:
(
(

=
(
(

(
(

= =
|
|
.
|

\
|
=
4
3
4
1
2
1
2
1
2
1
2
1
1 0
2
1
2
1
1 0
2
1
2
1
1 0
2
AA A A

Dnde:
|
|
.
|

\
|
=
4
3
4
1
2
1
2
1
2
A es regular por ser + pero tambin son > que cero

Si tenemos:

|
|
.
|

\
|
=
4
1
4
3
0 1
2
A no es regular por tener cero

|
|
.
|

\
|
=
8
1
8
7
0 1
3
A no es regular

|
|
.
|

\
|
=
16
1
16
15
0 1
4
A no es regular

*proceso estocstico









PUNTOS FIJOS Y MATRICES ESTOCASTICAS REGULARES
Sea P una matriz estocstica regular entonces.

1.- P tiene un vector de probabilidad fijo nico t y sus componentes son todas
mayor que cero.
2.- La sucesin P,P
2
,P
3
, de potencias de P se aproximan a la matriz T cuyas
filas son cada punto fijo t.
3.- si P es un vector de probabilidad, entonces la sucesin de vectores PP,
PP
2
,PP
3
,. E aproxima a un punto fijo t.


Punto fijo t.

Ejemplo: sea
|
|
.
|

\
|
2
1
2
1
1 0
y sea ( ) x x t = 1 ,
Entonces de debe de completar que
( ) ( ) x x x x =
|
|
.
|

\
|
1 ,
2
1
2
1
1 0
1 ,

O sea:
( ) ( ) x x x = + 1
2
1
0
( ) x x x = + 1 1
2
1


Tenemos que

x x 2 1 =

3
1
= x

x x 4 2 1 =

x 3 2 1 =




3
1
= x

x =

3
1


As
( ) ( )
32
1
1 ,
3
1
1 , = = x x t . Es el vector de probabilidad fijo de P.
La sucesin P,P
2
,P
3
,se aproxima a cuya fila son cada vector t.

|
|
.
|

\
|
=
|
|
.
|

\
|
=
67 . 33 .
67 . 33 .
3
2
3
1
3
2
3
1
T

Observamos que

|
|
.
|

\
|
=
2
1
2
1
1 0
P

|
|
.
|

\
|
=
|
|
.
|

\
|
=
|
|
.
|

\
|
|
|
.
|

\
|
=
75 . 25 .
5 . 5 .
4
3
4
1
2
1
2
1
2
1
2
1
1 0
2
1
2
1
1 0
2
P

|
|
.
|

\
|
=
|
|
.
|

\
|
=
|
|
.
|

\
|
|
|
.
|

\
|
=
63 . 37 .
75 . 25 .
8
5
8
3
4
3
4
1
2
1
2
1
1 0
4
3
4
1
2
1
2
1
3
P


Ejercicio

Hallar el vector de probabilidad fijo nico de la matriz

(
(
(

=
0
2
1
2
1
1 0 0
0 1 0
P ; El vector fijo nico de probabilidad ser:

( ) | | y x y x t = 1 , ,

( ) | | ( ) | | y x y x y x y x =
(
(
(

1 , ,
0
2
1
2
1
1 0 0
0 1 0
1 , ,





1)
( )
x y x
x y x
2 1
1
2
1
=
=
1 3 = + y x

2)
( )
0 2 1 2
1
2
1
= +
= +
y y x x
y y x x
1 3 = y x

3)
( )
x y y
y x y
= +
=
1
1
x y = 1 2



(3)
1 3
1 3
=
= +
y x
y x

x 10 2 =

5
1
10
1
= = x

5
1
= x



De x y =1 2

5
4
5
1
1 2 = = y

5
4
2 = y
( ) | | y x y x t y = = = |
.
|

\
|
= 1 , ,
5
2
10
4
2
1
5
4


5
2
= y | |
5
2
,
5
2
,
5
1
=


El vector de probabilidad nico fijo P es

( )
5
2
,
5
2
,
5
1
= t











b) Propiedad Markoviana de primer orden.

La propiedad Markoviana de primer orden, se usa como modelo de un
proceso fsico o econmico que tenga las siguientes propiedades:
1. El conjunto de sucesos posibles es finito.
2. La probabilidad del siguiente suceso depende solamente del suceso
inmediatamente anterior.
3. Estas probabilidades permanecen constantes con el tiempo
Se dice que un proceso estocstico tiene la propiedad markoviana si
P { X
t+1
= j | X
0
= K
0
, X
1
= K
1
, . ., X
t-1
= K
t-1
, = K
t-1
, X
t
=1}= P {X
t+1
| X
1
= i }, para
toda t = 0, 1, . . y toda
Sucesin i, j , K
0
, K
1
, . . , K
i-1 .

Se puede demostrar que esta propiedad markoviana es equivalente a
establecer una probabilidad condicional de cualquier "evento" futuro dados
cualquier "evento " pasado y el estado actual X
i
= i , es independiente del evento
pasado y slo depende del estado actual del proceso. Las probabilidades
condicionales P{X
t+1
= j | X
t
= i} se llaman probabilidades de transicin. Si para
cada i y j,
P{ X
t+1
= j | | X
t
= i } = p{X
1
= j | X
0
= i }, para toda t = 0, 1, ....
Entonces se dice que las probabilidades de transicin (de un paso) son
estacionarias y por lo general se denotan por p
ij
. As, tener probabilidades de
transicin estacionarias implican que las probabilidades de transicin no cambian
con el tiempo. La existencia de probabilidades de transicin (de un paso)
estacionarias tambin implica que, para cada i, j y n (n = 0, 1, 2,...),
P{ X
t+n
= j | | X
t
= i } = p{X
n
= j | X
0
= i },
Para toda t = 0, 1, . . . Estas probabilidades condicionales casi siempre se denotan
por y se llaman probabilidades de transicin de n pasos. As, es
simplemente la probabilidad condicional de que la variable aleatoria X,
comenzando en el estado i, se encuentre en el estado j despus de n pasos (
unidades de tiempo ).
Como las son probabilidades condicionales, deben satisfacer las
propiedades: