CAPITULO 16 Procesos de Markov

Probabilidades de Transicin Probabilidades Fijas Estados de Absorcin Matriz de Transicin con Submatrices Matriz Fundamental

No. 1

INTRODUCCIN A LAS CADENAS DE MARKOV

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. las cadenas de este tipo tienen memoria. " Recuerdan" el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.
No. 2

En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo
No. 3

Algo ms importante an, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta informacin se puede predecir el comportamiento del sistema a travs del tiempo.
No. 4

Procesos de Markov MODELOS DE PROCESO MARKOV Son tiles para estudiar la evolucin de sistemas a lo largo de ensayos repetidos los que, a menudo, son periodos sucesivos donde el estado del sistema en cualquier perodo en particular no pueden determinarse con certeza. Para lograr esto, se utilizarn probabilidades de transicin.

No. 5

Una probabilidad condicional? La probabilidad de que Ek sea el siguiente evento generado es una probabilidad condicional : P ( Ek / Mj ). Esto se llama probabilidad de transicin del estado Mj al estado Ek. Para describir completamente una cadena de Markov es necesario saber el estado actual y todas las probabilidades de transicin.

No. 6

PROBILIDAD DE TRANSICIN Las probabilidades de transicin gobiernan la manera en la cual el estado del sistema cambia de una etapa al siguiente. Estos a menudo son representados en una matriz de transicin. Un sistema tiene una cadena de Markov finita con probabilidades de transicin FIJAS si: hay un nmero finito de estados las probabilidades de transicin permanecen constantes de una etapa a otra y la probabilidad del proceso est en un estado particular en la etapa n+1 la cual es completamente determinada por el estado del proceso en la etapa n (y no el estado en la etapa n-1). Esto se refiera a la caracterstica (propiedad) de memoria menos.

No. 7

Probabilidades fijas Las probabilidades de estado en cualquier etapa del proceso recurrentemente pueden ser calculadas al multiplicar las probabilidades iniciales de estado por el proceso en la etapa n. la probabilidad del sistema que est en un estado en particular despus de un nmero largo de etapas se le llama probabilidad fija. Probabilidades fijas de estado pueden ser encontradas al resolver el sistema de ecuaciones P = juntos con la condicin para probabilidades que i = 1. Aqu la matriz P es la matriz de probabilidad de transicin y el vector, , es el vector de probabilidades fijas.
No. 8

Estados de Absorcin

Un estado de absorcin es aquel en el cual la probabilidad de que el proceso permanezca en aquel estado una vez que entra en el estado es 1. Si hay mas de un estado de absorcin, entonces una condicin fija independiente de condiciones iniciales de estado no existe.

No. 9

Ejemplo: Norths Hardware

Henry, un vendedor persistente, llama la Ferretera del Norte una vez a la semana que espera hablar con el agente de compra de la tienda, Shirley. Si Shirley no acepta la llamada de Henry esta semana, la probabilidad de que ella har lo mismo la prxima semana es .35 para ambas situaciones. Por otra parte, si ella acepta la llamada de Henry esta semana, la probabilidad de que ella no lo har la prxima semana es .20.

No. 10

Ejemplo: Norths Hardware

Probabilidades Fijas PREGUNTA Cuantas veces al ao espera Henry hablar con Shirley ? RESPUESTA Para encontrar el nmero de llamadas con conexin, Encuentre El recorrido proporcional (probabilidad) de que una llamada ha sido aceptada y multipliquela por las 52 semanas del ao. ...........

No. 11

EJEMPLO: Norths Hardware

Matriz de Transicin Siguiente Semana Rechazos xitos Esta Rechazos Semana xito .35 .20 .65 .80

No. 12

Ejemplo: Norths Hardware

Probabilidades fijas RESPUESTA 1 = Corridas en la proporcin de rechazos 2 = Corridas en la proporcin de xitos Entonces, .35 .65 [1 2] = [1 2] .20 .80

No. 13

Ejemplo: Norths Hardware

Probabilidades Fijas Respuesta (continuacin) Se Tiene, .351 + .202 = 1 (1) .651 + .802 = 2 (2) y, 1 + 2 = 1 (3) Al resolver la ecuacin(2) y (3), (La ecuacin 1 es redundante, se substituye 1 = 1 - 2 en (2) y da: .65(1 - 2) + .802 = 2 La respuesta de 2 = .76471. Substituyendo nuevamente en la (3) da 1 = .23529. La expectativa de llamadas con xito es de (.76471)(52) = 39.76 o aproximadamente 40.

No. 14

Ejemplo: Norths Hardware

Probabilidad de Estado Pregunta Cual es la probabilidad de que Shirley acepte de Henry's las siguientes 2 llamadas si ella no acept esta semana sus llamadas Respuesta Rechazos
.35 Rechazos .35 Rechazos xito .65 Rechazos .20 xito .65 xitos .80

P = .35(.35) = .1225

P = .35(.65) = .2275 P = .65(.20) = .1300 P = .65(.80) = .5200

No. 15

Ejemplo: Norths Hardware

Probabilidad Estado Pregunta Cual es la probabilidad de que Shirley acepte exactamente una llamada de Henry de las siguientes dos llamadas si no acept su llamada esta semana? Respuesta La probabilidad de que exactamente una de las dos llamadas siguientes sean aceptadas si acepta la llamada de esta semana (puede ser aceptar esta semana y rechazar la semana siguiente) y (la rechaza la semana prxima y acepta la semana siguiente) 0.13 + 0.2275 = 0.3575
No. 16

Matriz de transicin y submatrices

Si una cadena de Markov tiene tanto estados de absorcin como otros que no lo son, los estados pueden ser reorganizados de modo que la matriz de transicin pueda ser escrita como la composicin siguiente de cuatro submatrices: I, 0, R, y Q:

R Q

No. 17

Matriz de transicin y submatrices

I = una matriz de identidad indicando que deja un estado de absorcin una vez que es alcanzado 0 = La matriz cero representa 0 probabilidad de un estado absorbente a un estado no absorbente R = Las probabilidades de transicin para un estado no absorbente a un estado absorbente Q = La transicin de probabilidades entre estados no absorbentes

No. 18

Matrices Fundamental y NR
La matriz fundamental, N, es el inverso de la diferencia entre la matriz de identidad y la matriz de Q: N = (I - Q )-1 La matriz NR, el producto de la matriz fundamental y la matriz de R, da las probabilidades de eventualmente el movimiento de cada estado de no absorcin a cada estado de absorcin. La multiplicacin de cualquier vector de inicial que no absorbe probabilidades estatales por el nmero da el vector de probabilidades para el proceso eventualmente que alcanza cada uno de los estados de absorcin. Tales cmputos permiten los anlisis econmicos de sistemas y poltica.

No. 19

Ejemplo: Jetair Aerospace

El vicepresidente de personal en el Jetair notific que los cambios de personal puede ser modelados por un proceso de Markov. La matriz de transicin es: Siguiente ao
Misma Posicin Promocin Retiro Renuncias Despedidos

Ao en curso Misma posicin Promocin Retiro Quit Despedido

.55 .70 0 0 0

.10 .20 0 0 0

.05 0 1 0 0

.20 .10 0 1 0

.10 0 0 0 1
No. 20

EJEMPLO: Jetair Aerospace

MATRIZ DE TRANSICIN Siguiente ao
Retiro Renuncia Despido Misma Promocin

Ao actual Retiro Renuncia Despido Misma Promocin

1 0 0 .05 0

0 1 0 .20 .10

0 0 1 .10 0

0 0 0 .55 .70

0 0 0 .10 .20

No. 21

Ejemplo: Jetair Aerospace

Matriz fundamental -1 1 0 N = (I - Q )-1 = 0 1 .70 .20 -1 .45 -.10 = -.70 .80 .55 .10

No. 22

Ejemplo: Jetair Aerospace

Matriz Fundamental La determinante, d = a11a22 - a21a12 = (.45)(.80) - (-.70)(-.10) = .29 Entonces, .80/.29 .10/.29 2.76 .34 N = = .70/.29 .45/.29 2.41 1.55

No. 23

Ejemplo: Jetair Aerospace

Matriz NR Las probabilidades de un eventual movimiento de un estado de absorcin para un estado de no absorcin estn dadas por: 2.76 .34 .05 .20 .10 NR = x 2.41 1.55 0 .10 0
Retiro Renuncia Despido

La misma = Promocin

.14 .12

.59 .64

.28 .24

No. 24

Ejemplo: Jetair Aerospace

Estados de Absorcin Question Cal es la probabilidad de que alguien quien ha sido promovido, eventualmente , se retire? . . . renuncie? . . . Sea despedido? Answer Las respuestas son dadas por la fila de abajo de la matriz NR . Las respuestas a continuacin: Eventualmente se retire Eventualmente renuncie Eventualmente sea despedido = = = .12 .64 .24
No. 25

Capitulo 16

No. 26