Cadenas de Markov en Tiempo Discreto

Concepto de cadena de Markov

Ecuaciones de Chapman-Kolmogorov

Clasificación de estados

Comportamiento a corto plazo de cadenas de Markov. Tiempos y probabilidades del primer paso

Comportamiento en el Largo Plazo (distribución estacionaria)

Conceptos Preliminares

Lascadenasdemarkovsonmodelosprobabilísticosqueseusanparapredecirlaevolución y el
comportamiento a corto y a largo plazo de determinados sistemas.

Ejemplos:

Porcentaje de mercado entre marcas.

Cantidad de equipos con fallas.

Evolución de una enfermedad.

Definición:
Una Cadena de Markov (CM) es:

Un proceso estocástico

Con un número finito de estados (M)

Con probabilidades de transición estacionarias

Que tiene la propiedad markoviana

 Elementos de una CM

Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados dela

enfermedad)

Transición de markov (“paso”): periodo de tiempo que sirve de base para examinar las transiciones
entre estados (ejemplo, un mes)

Probabilidades de transición entre estados, en un ciclo (matriz P)

Distribución inicial del sistema entre los M estados posibles.

Propiedades de las Cadenas de Markov

Una cadena de Markov (CM) es una sucesión de variables aleatorias Xi, iN, que cumplen las
siguientes propiedades:

Propiedad Markoviana: Conocido el estado del proceso en un momento dado, su comportamiento

futuro no depende del pasado. Dicho de otro modo, “dado el presente, el futuro es independiente
del pasado”.

P(X t1= j Xo, X1,,,,,,Xt) = P (X t1= j Xt)

 Propiedades de las Cadenas de Markov

Propiedad Estacionalidad: La probabilidad de pasar del estado i al estado j permanece constante

en el tiempo, no depende de la transición.

Probabilidades de Transición

Las CM están completamente caracterizadas por las probabilidades de transición en una etapa.

Pij P (Xn1 jXnI) i, jS, n N

Sólo trabajaremos con CM homogéneas en el tiempo, que son aquellas en las que

i, jSnN,P (Xn1jXni)  pi

Donde pij. Se llama probabilidad de transición en una etapa desde el estado i hasta el estado j.
 Matriz de transición

Los pij se agrupan en la denominada matriz de transición de la CM.

P  (p00 p01 p02...)

(p10 p11 p12...)
(p20 p21 p22....)  pij i, jS

Propiedades de la matriz de transición

Por ser los pij probabilidades.

i, jS, pij0,1

Por ser 1 la probabilidad del suceso seguro, cada fila ha de sumar 1, es decir,

iS, pijjS1
Una matriz que cumpla estas dos propiedades se llama matriz estocástica