CMPD

|

Ô |
@

Propiedad 1:
El tiempo en que el proceso se mantiene en un estado
particular debe ser memoryless.
En el caso de un proceso de parámetro continuo esta
distribución es una exponencial, en la cual su parámetro
puede variar a través de los distintos estados.
En el caso de un proceso de parámetro discreto esta
distribución es una geométrica, al igual que en el caso
continuo su parámetro puede variar a través de los
distintos estados.
`
Ô |
@

Propiedad 2:
La transición al siguiente estado sólo depende de las
condiciones del estado actual.
Definición formal :
Un proceso estocástico con:
- t1<t2<t3<.....<tn<tn+1
- {x1,x2,x3,.....,xn,xn+1}
Cumple la propiedad 2 si:
P[X(tn+1) = xn+1| X(t1)=x1, X(t2)=x2,......, X(tn)=xn]
=P[X(tn+1) = xn+1| X(tn)=xn]
ë
Ô |
| @

Los procesos Markovianos se clasifican de acuerdo

al tipo de espacio y tipo de parámetro.
Si el espacio de estados es discreto el proceso
recibe el nombre de |
, en el otro
caso, de espacio continuo, se conoce como @

Según el parámetro temporal, en ambos casos se
dividen en procesos o cadenas de Î |
o Î .
[
Ô |
| @

En|
este documento se
describirá en
profundidad este tipo
Î de cadenas.
| @
|

Î @
|

å
|

|
Como las cadenas de Markov poseen espacio de

estados discreto, estos se pueden nombrar:
² {E0, E1, E2, ...}
Sin embargo, para simplificar la notación, se

asocian a los números naturales:
² Para el caso general el entero i representa al
estado Ei.
ü
|

|
Para denotar el estado en que se encuentra la

cadena en un tiempo n se utilizará la siguiente
notación:
² Xn=i , estar en el estado i en el tiempo n.
La probabilidad de transición para ir desde el

estado al estado en un paso es:
² Pij = P[Xn+1 =j | Xn =i]
A
|

|
En general Pij(n) depende de n.

Cuando Pij(n) no depende de n, la probabilidad de
transición desde el estado i al j no varia en el
tiempo.

|

|
Representación gráfica:
Es posible representar una cadena de Markov por un grafo.
Cada nodo representa a un elemento del espacio muestral.
Cada arco dirigido representa a la probabilidad de transición
Pij ( desde i a j) asociada al par de estados que conecta (i , j)
@
@
@
@
@ @
* @
@
@ ]
|

|
Matriz de Probabilidad de Transición:
Las probabilidades de transición Pij se pueden

representar en una matriz cuadrada llamada
Hasta el
@ estado
j Î de la
cadena.
P**
ij
Desde el * *
Õ
Õ
estado i *
M Õ
Õ
M Õ
Õ
*
M

ù equivalentemente, el p p p puede
representarse en forma matricial de la siguiente
manera:
M ` ë [ å
M
`
P=
ë
[
å
MM
|

|
Las propiedades de la matriz de transición de

probabilidad son:
1. @o * or*
Como cada elemento de la matriz representa una

probabilidad, ésta debe tener un valor entre 0 y 1.
M`
|

|
Las propiedades de la matriz de transición de

probabilidad son:
2. U
o *
o *
Esto significa que para cada estado la suma de

todas las probabilidades de transición sean 1.
Además, dentro de cada fila los valores son no
negativos, estos valores están entre 0 y 1. La suma
de los valores de la fila es 1, luego, se dice que la
© p .
Më
%
&| |

'

!Ô|"# "ÎÔ|Ô"$

*
* *

M[
M

El p © p p puede representarse en forma de
tabla de la siguiente manera:
² En la posición (i,j) de la matriz se coloca la probabilidad de
transitar desde el estado i al estado j
* M ` ë [ å
]A ë
M
`

ë
P=
[
å
Må
o
M

El p © p p :
* *

* * *

**

Matriz de @ p p p entre estados:
M ` ë [ å
M ]A ë
` ]å å
P= ë A ]ë
[ M
å M
Mü
|

Dada o , que corresponde a la probabilidad de

transición del estado i al estado j en 1 paso, se

puede generalizar a o que representa la
probabilidad de ir del estado i al estado j en n
transiciones como:
o o * *

Además i,j pertenecen al espacio de estados
MA
|

Si las probabilidades de transición son

estacionarias, podemos generalizar la expresión
anterior a:
V
V V
Además i,j pertenecen al espacio de estados
Esto representa la probabilidad de pasar desde el

estado al estado en pasos, partiendo desde el
estado ( sin importar como se llegó a este estado
(en general, en pasos).
M
|

|) *
*+
La forma obtener la probabilidad de ir del estado i al

estado f en n pasos, es la expresada en esta ecuación:
U

*
i
Pero lo que se está buscando es una forma más general de
expresar esta probabilidad.
M]
|

|) *
*+
E1
E2
i f
E3
El
`
|

|) *
*+
Se desea generalizar el resultado anterior, o sea, obtener

la probabilidad de estar en el estado f en el tiempo b dado
que se estuvo en el estado i en el tiempo a.
Lo anterior queda representado por la siguiente

expresión:

@ r @È r - r
`M
|

|) *
*+
Si en el tiempo a se estuvo en el estado i y en el tiempo b

se está en el f, entonces en un tiempo intermedio q se pasó
por algún estado k.
Así es posible rescribir la expresión anterior como:
U
È
Ü

``
|

|) *
*+
E1
E2
i f
E3
El
a q b
`ë
|

|) *
*+
La expresión anterior es independiente del tipo de proceso

estocástico que se presente, por el hecho de contar
absolutamente todos los casos.
Usando las propiedades de las probabilidades condicionales

puede escribirse de la siguiente manera:
@
Ü
È È
r @ r - r @ r - r r
`[
|

|) *
*+
Esta expresión puede simplificarse, pero debe ser

acotada a las cadenas de Markov.
Aplicando la propiedad de que el estado actual depende

exclusivamente del estado anterior, se llega a la siguiente
expresión:
@

È È
r @ r - r @ r - r
Ü Ü
@ r@ @
`å
|

|) *
*+
Sean i, k, f , estados genéricos de la cadena de

Markov, se define la ecuación de Chapman-
Kolmogorov :
Ü
@ r @ @ *
i
PikmPkfn representa la probabilidad de ir desde el

estado i al estado f en m+n transiciones a través de
una ruta en la que, en el tiempo q, la Cadena de
Markov se encuentra en el estado k.
`ü
|

|) *
*+
E1
E2
i f
E3
El
a q b
m n
`A
|

|) *
*+
Tenemos por lo tanto un procedimiento que nos

permite calcular la probabilidad de ir de i a f en
n+m pasos, considerando todos los posibles estados
intermedios
Es conveniente en este punto introducir notación
matricial:
² Se tiene la matriz @= {pij} con M estados
(matriz de MxM), donde pij es la probabilidad
de ir de un estado i a un estado j en un paso,
independiente de las anteriores transiciones.
`
|

|) *
*+
Considerando que en el primer paso se efectuó la

transición desde el estado k al estado f, tenemos
la siguiente forma para la ecuación de Chapman-
Kolmogorov:
U

Para el caso especial de m=1, es decir se llega al

estado f en dos pasos se tiene la siguiente forma:

@ r @ @
`]
|

|) *
*+
Descomponiendo:

@ r @ @
r

@ r
Matriz de

transiciones de un
o paso del sistema

ë
|

|) *
*+

`

È

ëM
|

|) *
*+

@ r r @

8ue es la matriz de transiciones de 2 pasos:

Utilizando este resultado se puede extender el

análisis al caso en que n+m=3, es decir calcular la
probabilidad de ir de i a j en 3 pasos
ë`
|

|) *
*+
Para el caso de n+m = 3 y siguiendo con el caso en que el

estado intermedio e2 se alcanza en un paso, para ir de un
estado i cualquiera a j tenemos que la ecuación de Ch-K nos
queda:

@ r @ @

r
Descomponiendo en casos podemos escribir la siguiente

ecuación:

@ r @ @

r
ëë
|

|) *
*+
0

U È

Ô

È

È

ë[
|

|) *
*+

@ r

p(3)if = *
ëå
|

|) *
*+

ë

@
r @@
r @@
8

ë
@ r

ëü
|

|) *
*+
l

@ r@
ëA
|

,
Se define la probabilidad de estar en el estado

en el n-ésimo paso, y se anota:

Î r @ r i
Se define el vector al que se asocia la probabilidad
de estar en cualquiera de los estados existentes
en la cadena en el n-ésimo, y se anota:
V
Î V
Î V

ë
|

,
Se define la probabilidad inicial del sistema, como

la probabilidad de estar en el estado en el
comienzo del análisis, y se anota:

Î
Î

ë]
|

"Î
Ejemplo:
Ahora se puede generalizar la expresión a:

*
Este vector indica la probabilidad de estar en
cualquiera de los estados de la cadena después
de pasos, con la condición inicial * ( que
define el estado en el cual se inicia el proceso).
[
|

"Î
la probabilidad de estar en el estado

V
Sea, Î
en un tiempo .
Sea, V Î V Î V , el vector que indica
la probabilidad de estar en cualquier estado
después de pasos.
Sea, P la matriz de transición de estados: donde Pij
es la probabilidad de ir desde el estado al estado
( en un paso.
[M
|

"Î
La ecuación de Chapman-Kolmogorov en el último

paso, en forma matricial, es:

(3)
* (4)
ùbs: La ecuación (3) presenta un mejor desempeño al realizar

cálculos cuando el número de pasos es muy grande.
[`
|

"
Definición:
Una cadena de Markov con probabilidad

estacionaria cumple:

Î V r Î i
V
es decir, la probabilidad de estar en el estado e es

independiente del tiempo (n), y es constante.
[ë
|

"
Definición:
Se define el vector de probabilidad estacionaria

como:
V

r
V
Se dice que la cadena de Markov tiene probabilidad

de transición estacionaria si se cumple la ecuación
matricial:
r Î r Î r M`
[[
|

"
Ejemplo:
Se dispone de 4 módulos de atención que
se van activando secuencialmente a
medida que la cantidad de usuarios que Central
deben ser atendidos aumenta. Telefónica
Cada módulo tiene un máximo de
usuarios a los que puede entregar
servicio.
Cuando un módulo está completamente
utilizado, entra en servicio el siguiente
módulo.
Si un módulo deja de ser utilizado, el
G1 G2 G3 G4
módulo se desactiva temporalmente,
quedando en servicio los módulos
anteriores. [å
|

"
Ejemplo:
Ônteresa conocer:
¿Cuál es la probabilidad de que Central
cada módulo esté en uso?. Telefónica
Es decir, se desea conocer,
con que probabilidad se utiliza
cada módulo, en cualquier
instante de tiempo.
G1 G2 G3 G4
[ü
|

"
Ejemplo:
La definición de estados para

el ejemplo será:
Central
Telefónica
² Estado 1: El módulo 1 está
siendo utilizado.
siendo utilizado.
siendo utilizado.
siendo utilizado.
G1 G2 G3 G4
[A
|

"
Ejemplo:
Las probabilidades de transición, asociada a cada

módulo son:
Desde el 1 al 1: 0.3 Desde el 2 al 1: 0.4
Desde el 1 al 3: 0 Desde el 2 al 3: 0.4
Desde el 1 al 4:0 Desde el 2 al 4: 0
Desde el 3 al 1: 0 Desde el 4 al 1: 0
Desde el 3 al 2: 0.3 Desde el 4 al 2: 0
Desee el 3 al 4: 0.6 Desee el 4 al 4: 0.5
[
|

"
Ejemplo:
El diagrama de estados que representa la situación

antes descrita es el siguiente:
0.2 0.1
0.3 0.7 0.4 0.6 0.5
1 2 3 4
0.4 0.3 0.5
[]
|

"
Ejemplo:
La matriz de transición asociada al ejemplo es:

* * * *
* * * *
@r
* * * *

* * * å * å
El vector de probabilidad de transición estacionaria

es:
r ÈÎ Î Î Î
å
|

"
Ejemplo:
Considerando las ecuaciones matricial:
r * * * *
r * * * *
r @
r * * * *
r * * * å * å
En estado estacionario la
probabilidad de estar en
estado i en el paso n, es igual
a la probabilidad de estar en
estado i en el paso n+1
Condición de probabilidades totales
r

åM
|

"
Ejemplo:
Resolviendo el sistema de ecuaciones anteriores, se

obtiene:
* *
*

* å
*
å`
|

"
Ejemplo:
inalmente respondiendo a la pregunta original,

¿Cuál es la probabilidad de que cada módulo esté en
uso?.
² La probabilidad de que el módulo 1 esté en uso es 0.027

åë
{

" -
Se desea estudiar el número de alumnos que están

estudiando en la enseñanza media de un colegio en
particular.
Se considerará que un alumno en un año en particular
puede pasar de curso, repetir el curso cuantas veces
sea necesario o retirarse del establecimiento sin
posibilidades de regresar.
å[
{

" -
Si consideramos los siguientes porcentajes, para pasar

de curso, repetir o retirarse en cada año:
Repetir 1º año: 2% Repetir 3º año: 4%

Pasar a 2º año: 97% Pasar a 4º año: 92%
Retirarse al final del 1º año: 1% Retirarse al final del 3º año: 2%
Repetir 2º año: 3% Repetir 4º año: 1%

Pasar a 3º año: 95% Egresar: 96%
Retirarse al final del 2º año: 2% Retirarse al final del 4º año: 3%
åå
{

" -
Definición de estados:
² Estado 1: Estar en primer año.
² Estado 2: Estar en segundo año.
² Estado 3: Estar en tercer año.
² Estado 4: Estar en cuarto año.
² Estado 5: Egresar del establecimiento.
² Estado 6: Retirarse del establecimiento.
åü
{

" -
La representación gráfica de los estados definidos es:
1 2 3 4
6 5
åA
{

" -
Asociando las probabilidades, se grafica de la siguiente

forma:
0.97 Repetir 1º año: 2%
0.02 Pasar a 2º año: 97%

1 2
Retirarse al final del 1º año:
1%
0.01
6
Nota: La suma de las probabilidades asociadas a

las flechas salientes del estado 1 suman 1.
å
{

" -
El diagrama de estados completo es:
0.03 0.04 0.01

0.02
0.97 0.95 0.94

1 2 3 4
0.02 0.02 0.96
0.01
6 0.03 5
1 1
å]

Ejemplo:
A partir del diagrama de estados, se obtiene la

siguiente matriz de transición asociada al sistema.
` ]A M

0.03 0.04 0.01
ë ]å `
0.02
0.97 0.95 0.94 [ ][ `
1 2 3 4 @r
0.02 0.96 M ]ü ë
0.02
0.01 M
6 0.03 5
M
1 1
ü
|

Ejemplo:
Luego obtenemos el mismo resultado expresado

caso por caso:
@Måå r @M[[ @[å @Må[ @åå
üM
|

"Î
Ejemplo:

@

M

M

@

M
ü`
|

{
@

Dos Posibles estados:
² 0 Llueve
² 1 No llueve
Supuesto:
El tiempo de mañana sólo depende del de Hoy.
Llueve Hoy ð Prob. que llueva mañana
ð
No llueve Hoy Prob. que llueva mañana
üë
|

{
@
*
La matriz de transición P queda:
*

Gráficamente:

*
ü[
|

{
@

Sea la probabilidad que llueva hoy de 0.2
* *
@r
* *
¿Cual es la Probabilidad incondicional de que
mañana llueva?
üå
|

{
@

Aplicando el Teorema de Probabilidades Totales:
Sea f : Probabilidad incondicional de que
lloverá mañana.
f = P(mañana lloverá /hoy llueve) +
P(mañana lloverá /hoy no llueve)
f * ** *
*
f * * *
* *
üü
|

{
@

En el caso General:

È * È

*

* *

*

*
üA
|

{
@

Si a = 0.7 y b = 0.4, entonces la probabilidad límite
que lloverá será:
* r
r
es decir:
rÈ * r È
ü

CMPD

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

CMPD

Caricato da

Copyright:

Formati disponibili

|  

 Los procesos Markovianos se clasifican de acuerdo

 Como las cadenas de Markov poseen espacio de

 Sin embargo, para simplificar la notación, se

 Para denotar el estado en que se encuentra la

² Xn=i , estar en el estado i en el tiempo n.

 La probabilidad de transición para ir desde el

 En general Pij(n) depende de n.

 Las probabilidades de transición Pij se pueden

 Las propiedades de la matriz de transición de

Como cada elemento de la matriz representa una

 Las propiedades de la matriz de transición de

 Esto significa que para cada estado la suma de

 Dada o , que corresponde a la probabilidad de

Además i,j pertenecen al espacio de estados

 Si las probabilidades de transición son

Esto representa la probabilidad de pasar desde el

 La forma obtener la probabilidad de ir del estado i al

 Se desea generalizar el resultado anterior, o sea, obtener

 Lo anterior queda representado por la siguiente

 Si en el tiempo a se estuvo en el estado i y en el tiempo b

 Así es posible rescribir la expresión anterior como:

 La expresión anterior es independiente del tipo de proceso

 Usando las propiedades de las probabilidades condicionales

 Esta expresión puede simplificarse, pero debe ser

 Aplicando la propiedad de que el estado actual depende

 Sean i, k, f  , estados genéricos de la cadena de

 PikmPkfn representa la probabilidad de ir desde el

 Tenemos por lo tanto un procedimiento que nos

 Considerando que en el primer paso se efectuó la

 Para el caso especial de m=1, es decir se llega al

    Matriz de

8ue es la matriz de transiciones de 2 pasos:

Utilizando este resultado se puede extender el

Para el caso de n+m = 3 y siguiendo con el caso en que el

Descomponiendo en casos podemos escribir la siguiente

         

 Se define la probabilidad de estar en el estado

 Se define la probabilidad inicial del sistema, como

 Ahora se puede generalizar la expresión a:

la probabilidad de estar en el estado

 La ecuación de Chapman-Kolmogorov en el último

ùbs: La ecuación (3) presenta un mejor desempeño al realizar

 Una cadena de Markov con probabilidad

es decir, la probabilidad de estar en el estado e es

 Se define el vector de probabilidad estacionaria

 Se dice que la cadena de Markov tiene probabilidad

 La definición de estados para

 Las probabilidades de transición, asociada a cada

 El diagrama de estados que representa la situación

0.3 0.7 0.4 0.6 0.5

 La matriz de transición asociada al ejemplo es:

 El vector de probabilidad de transición estacionaria

 Resolviendo el sistema de ecuaciones anteriores, se

 inalmente respondiendo a la pregunta original,

² La probabilidad de que el módulo 2 esté en uso es 0.189

² La probabilidad de que el módulo 3 esté en uso es 0.351

² La probabilidad de que el módulo 4 esté en uso es 0.433

" -  

 Se desea estudiar el número de alumnos que están

" -  

 Si consideramos los siguientes porcentajes, para pasar

Repetir 1º año: 2% Repetir 3º año: 4%

Repetir 2º año: 3% Repetir 4º año: 1%

|

Los procesos Markovianos se clasifican de acuerdo

Como las cadenas de Markov poseen espacio de

Sin embargo, para simplificar la notación, se

Para denotar el estado en que se encuentra la

La probabilidad de transición para ir desde el

En general Pij(n) depende de n.

Las probabilidades de transición Pij se pueden

Las propiedades de la matriz de transición de

Las propiedades de la matriz de transición de

Esto significa que para cada estado la suma de

Dada o , que corresponde a la probabilidad de

Si las probabilidades de transición son

La forma obtener la probabilidad de ir del estado i al

Se desea generalizar el resultado anterior, o sea, obtener

Lo anterior queda representado por la siguiente

Si en el tiempo a se estuvo en el estado i y en el tiempo b

Así es posible rescribir la expresión anterior como:

La expresión anterior es independiente del tipo de proceso

Usando las propiedades de las probabilidades condicionales

Esta expresión puede simplificarse, pero debe ser

Aplicando la propiedad de que el estado actual depende

Sean i, k, f , estados genéricos de la cadena de

PikmPkfn representa la probabilidad de ir desde el

Tenemos por lo tanto un procedimiento que nos

Considerando que en el primer paso se efectuó la

Para el caso especial de m=1, es decir se llega al

Matriz de

Se define la probabilidad de estar en el estado

Se define la probabilidad inicial del sistema, como

Ahora se puede generalizar la expresión a:

La ecuación de Chapman-Kolmogorov en el último

Una cadena de Markov con probabilidad

Se define el vector de probabilidad estacionaria

Se dice que la cadena de Markov tiene probabilidad

La definición de estados para

Las probabilidades de transición, asociada a cada

El diagrama de estados que representa la situación

La matriz de transición asociada al ejemplo es:

El vector de probabilidad de transición estacionaria

Resolviendo el sistema de ecuaciones anteriores, se

inalmente respondiendo a la pregunta original,

" -

Se desea estudiar el número de alumnos que están

" -

Si consideramos los siguientes porcentajes, para pasar

" -

" -

La representación gráfica de los estados definidos es:

" -

Asociando las probabilidades, se grafica de la siguiente

" -

El diagrama de estados completo es:

A partir del diagrama de estados, se obtiene la

Luego obtenemos el mismo resultado expresado

@Måå r @M[[ @[å @Må[ @åå