Ejemplo de una Cadena Tiempo Discreto

de

Markov

en

por GEO Tutoriales el 05/09/2013 en Cadenas de Markov

En el siguiente artculo abordaremos la formulacin de una Cadena de Markov en tiempo discreto, para la cual identificaremos la variable aleatoria que resulta de inters su anlisis, los posibles estados que puede adoptar dicha variable en un periodo cualquiera y las probabilidades de transicin en una etapa (que se puede resumen en una matriz de transicin de probabilidades conocida como matriz P). En dicho contexto consideremos el siguiente ejemplo: Un individuo posee 2 paraguas los cuales emplea para ir de su casa al trabajo y viceversa (llevando uno a la vez). Si est en casa (oficina) al comienzo (final) del da y est lloviendo toma un paraguas, si lo hay para ir de su casa a la oficina y viceversa. Asuma que independiente del pasado llueve al comienzo (final) del da con probabilidad p ( 0<p<1). Se desea modelar el nmero de paraguas en su casa al inicio del da n, suponiendo que inicialmente ambos paraguas estn en su casa. El problema sugiere como variable aleatoria el modelamiento del nmero de paraguas que tiene el individuo en su casa al inicio del da n: Los posibles estados o valores que puede adoptar la variable aleatoria en una etapa n cualquiera son 0, 1 o 2. Es decir, el individuo podr tener en su casa al inicio de un da en particular 0, 1 o 2 paraguas. A continuacin corresponde identificar las probabilidades de

transicin en una etapa, lo cual depende de la dinmica de la situacin planteada:

Por ejemplo P(0,0) representa la probabilidad de que un da el individuo no tenga paraguas en su casa (por tanto los 2 paraguas estn en la oficina) y que al inicio del da siguiente siga en la misma situacin (es decir, sin paraguas en la casa). Los escenarios que permiten esta situacin son que llueva en la maana (con probabilidad p) y que no llueva en la tarde (con probabilidad 1-p). Adicionalmente si no llueve en la maana (con probabilidad 1-p) y no llueve en la tarde (con probabilidad 1-p) el individuo al inicio del da siguiente no tendr paraguas en la casa. En consecuencia se puede notar que para este caso lo relevante es que no llueva en la tarde (sin importar si llueve o no en la maana) para que de esta forma el individuo no se lleve un paragua desde la oficina a la casa. Otra combinacin interesante es P(2,2) que considera la probabilidad de tener los 2 paraguas en la casa al inicio de un da (y por tanto ninguno en la oficina) y al inicio del da siguiente tambin tener 2 paraguas en la casa. Para ello se debe cumplir alguno de los siguientes escenarios: que llueva en la maana y en la tarde, que no llueva ni en la maana ni en la tarde o que no llueva en la maana pero si llueva en la tarde. Una vez identificadas todas las probabilidades de transicin en una etapa entre estados, stas se pueden resumen en la matriz de probabilidades de transicin (conocida tambin como matriz P). Notar que la suma de las probabilidades de cada una de las filas de la matriz es (y debe ser) un 100%.

Alternativamente la informacin anterior se puede representar a travs de un grafo donde cada nodo representa un estado y las flechas muestran si es posible pasar de un estado a otro al cabo de una etapa (y cul es la probabilidad asociada en dicho caso):

Adicionalmente se puede identificar (si se cuenta con dicha informacin) ladistribucin inicial de estados que permite identificar cul es la probabilidad que al inicio de la planificacin el proceso se encuentre en alguno de los n estados posibles. En este ejemplo sabemos que se comienza con 2 paraguas en la casa:

Con la informacin recabada en este problema estamos en condiciones de poder estimar cul es la probabilidad que comenzando en un estado i pasemos a un estado j al cabo de n etapas (pasos). Este tipo de anlisis y otros complementarios los abordaremos en un prximo artculo.

Fuente: http://www.gestiondeoperaciones.net/cadenas-de-markov/ejemplo-de-una-cadenade-markov-en-tiempo-discreto/