Procesos

Introduccin a los o PROCESOS ESTOCASTICOS
Luis Rincn o Departamento de Matemticas a Facultad de Ciencias UNAM Circuito Exterior de CU 04510 Mxico DF e Versin: Agosto 2009 o
Una versin actualizada del presente texto se encuentra disponible en formato o electrnico en la direccin o o http://www.matematicas.unam.mx/lars
ii
Contenido
1. Introduccin o 2. Caminatas aleatorias 2.1. Caminatas aleatorias . . 2.2. El problema del jugador Notas y referencias . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 5 . 5 . 14 . 20 . 21 . . . . . . . . . . . . . . . . . . . 23 23 27 34 37 40 41 43 46 51 52 59 62 64 70 75 77 80 81 83
3. Cadenas de Markov 3.1. Propiedad de Markov . . . . . . . 3.2. Ejemplos . . . . . . . . . . . . . . 3.3. Ecuacin de Chapman-Kolmogorov o 3.4. Comunicacin . . . . . . . . . . . . o 3.5. Clases cerradas . . . . . . . . . . . 3.6. Periodo . . . . . . . . . . . . . . . 3.7. Primeras visitas . . . . . . . . . . . 3.8. Recurrencia y transitoriedad . . . . 3.9. Tiempo medio de recurrencia . . . 3.10. N mero de visitas . . . . . . . . . u 3.11. Recurrencia positiva y nula . . . . 3.12. Evolucin de distribuciones . . . . o 3.13. Distribuciones estacionarias . . . . 3.14. Distribuciones l mite . . . . . . . . 3.15. Cadenas regulares . . . . . . . . . 3.16. Cadenas reversibles . . . . . . . . . Resumen de la notacin . . . . . . . . . o Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . iii
4. El proceso de Poisson 4.1. Proceso de Poisson . . . . . . . . . 4.2. Deniciones alternativas . . . . . . 4.3. Proceso de Poisson no homogneo e 4.4. Proceso de Poisson compuesto . . . Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
95 95 104 107 110 111 112 119 120 123 129 132 135 136 139 139 142 144 148 153 158 159 163 163 165 167 168 171 171 173 175 178 180 184 188 191
5. Cadenas de Markov a tiempo continuo 5.1. Procesos de saltos . . . . . . . . . . . . 5.2. Propiedades generales . . . . . . . . . . 5.3. Procesos de nacimiento y muerte . . . . 5.4. Proceso de nacimiento puro . . . . . . . Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . 6. Procesos de renovacin y conabilidad o 6.1. Procesos de renovacin . . . . . . . . . o 6.2. Funcin y ecuacin de renovacin . . . o o o 6.3. Tiempos de vida . . . . . . . . . . . . 6.4. Teoremas de renovacin . . . . . . . . o 6.5. Conabilidad . . . . . . . . . . . . . . Notas y referencias . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . .
7. Martingalas 7.1. Filtraciones . . . . . . . . . . . . . . . . 7.2. Tiempos de paro . . . . . . . . . . . . . 7.3. Martingalas . . . . . . . . . . . . . . . . 7.4. Ejemplos . . . . . . . . . . . . . . . . . 7.5. Una aplicacin: Estrategias de juego . . o 7.6. Procesos detenidos . . . . . . . . . . . . 7.7. Una aplicacin: La estrategia martingala o 7.8. Teorema de paro opcional . . . . . . . . 7.9. Algunas desigualdades . . . . . . . . . . 7.10. Convergencia de martingalas . . . . . . 7.11. Representacin de martingalas . . . . . o Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . .
iv
8. Movimiento Browniano 8.1. Denicin . . . . . . . . . . . . . . . . . . o 8.2. Propiedades bsicas . . . . . . . . . . . . a 8.3. Propiedades de las trayectorias . . . . . . 8.4. Movimiento Browniano multidimensional 8.5. El principio de reexin . . . . . . . . . . o 8.6. Recurrencia y transitoriedad . . . . . . . . Notas y referencias . . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . 9. Clculo estocstico a a 9.1. Integracin estocstica . . . . . . . . o a 9.2. Frmula de It . . . . . . . . . . . . o o 9.3. Ecuaciones diferenciales estocsticas a 9.4. Simulacin . . . . . . . . . . . . . . . o 9.5. Algunos modelos particulares . . . . Notas y referencias . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . A. Conceptos y resultados varios B. Solucin a algunos ejercicios o Caminatas aleatorias . . . . . . . . . . Cadenas de Markov . . . . . . . . . . Proceso de Poisson . . . . . . . . . . . Cadenas de Markov a tiempo continuo Procesos de renovacin . . . . . . . . . o Martingalas . . . . . . . . . . . . . . . Movimiento Browniano . . . . . . . . Clculo estocstico . . . . . . . . . . . a a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
197 197 202 206 210 213 215 221 224 229 229 242 244 249 250 260 262 263
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
269 269 270 277 280 281 282 286 288
vi
Prlogo o
El presente texto contiene material bsico en temas de procesos estocsticos a nivel a a licenciatura. Est dirigido a estudiantes de las carreras de matemticas, actuar a a a, matemticas aplicadas y otras carreras anes. Este trabajo es una versin ampliada a o de las notas de clase del curso semestral de procesos estocstico que he impartido a en la Facultad de Ciencias de la UNAM a alumnos de las carreras de actuar y a matemticas. a Los temas tratados en este texto corresponden a ciertos modelos clsicos de la a teor de los procesos estocsticos, y a ciertas preguntas o problemas matemticos a a a que uno puede plantearse al estudiar tales modelos. El texto inicia con una explicacin del concepto de proceso estocstico y con algunas deniciones y ejemplos o a generales de este tipo de modelos. A manera de un acercamiento inicial se presenta primero una introduccin breve al tema de caminatas aleatorias en una dimensin, o o y particularmente se analiza el problema de la ruina del jugador. En el segundo cap tulo se estudian cadenas de Markov a tiempo discreto y despus se estudia el e mismo tipo de modelo para tiempos continuos, para ello se presenta primero el proceso de Poisson. Se estudian despus los procesos de renovacin, y brevemente e o tambin la teor de la conabilidad. Se presenta despus una introduccin a la e a e o teor de martingalas a tiempo discreto, en donde se estudian unos pocos de sus a muchos resultados y aplicaciones. Se incluye adems una introduccin al movimiena o to Browniano. El texto naliza con una exposicin compacta y ligera del clculo o a estocstico de It. El material completo excede lo que regularmente es impartido a o en un curso semestral, y una seleccin adecuada de temas ser necesaria. Cada o a cap tulo contiene material que puede considerarse como introductorio al tema. Al nal de cada uno de ellos se proporcionan algunas referencias para que el lector pueda precisar o profundizar lo que aqu se presenta. El texto contiene una coleccin de ejercicios que se han colocado al nal de cada o cap tulo, y se han numerado de manera consecutiva a lo largo del libro. Se incluyen tambin sugerencias o soluciones de algunos de estos ejercicios. A lo largo de la e exposicin el lector encontrar tambin algunos otros ejemplos y ejercicios, los o a e cuales son particularmente utiles para el estudiante autodidacta, o para presentar en clase si se adopta alguna parte de este texto como material de estudio en alg n u curso.
A Este material fue escrito en L TEX, y las grcas fueron elaboradas usando el exa
vii
viii
celente paquete Pstricks. La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sabtica en la universidad de Nottingham durante el a o a n 2007, y agradezco sinceramente al Prof. Belavkin su amable hospitalidad para llevar a cabo este proyecto, y a la DGAPA-UNAM por el generoso apoyo econmico o recibido durante esta agradable estancia. Luis Rincn o Enero 2008 Ciudad Universitaria UNAM lars@fciencias.unam.mx
Cap tulo 1
Introduccin o
Considere un sistema que puede caracterizarse por estar en cualquiera de un conjunto de estados previamente especicado. Suponga que el sistema evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo a una cierta ley de movimiento, y sea Xt el estado del sistema al tiempo t. Si se considera que la forma en la que el sistema evoluciona no es determinista, sino provocada por alg n u mecanismo azaroso, entonces puede considerarse que Xt es una variable aleatoria para cada valor del ndice t. Esta coleccin de variables aleatorias es la denicin o o de proceso estocstico, y sirve como modelo para representar la evolucin aleatoa o ria de un sistema a lo largo del tiempo. En general, las variables aleatorias que conforman un proceso no son independientes entre s sino que estn relacionadas , a unas con otras de alguna manera particular. Ms precisamente, la denicin de a o proceso estocstico toma como base un espacio de probabilidad (, F , P ) y puede a enunciarse de la siguiente forma. Denicin. Un proceso estocstico es una coleccin de variables aleatorias o a o {Xt : t T } parametrizada por un conjunto T , llamado espacio parametral, y con valores en un conjunto S llamado espacio de estados. En los casos ms sencillos, y que son los que consideraremos en este texto, se toma a como espacio parametral el conjunto T = {0, 1, 2, . . .}, o T = [0, ), y estos n meu ros se interpretan como tiempos. En el primer caso se dice que el proceso es a tiempo discreto, y en general este tipo de procesos se denotar por {Xn : n = 0, 1, . . .}, a mientras que en el segundo caso el proceso es a tiempo continuo, y se denotar por a {Xt : t 0}. Es decir, seguiremos la convencin de que si el sub o ndice es n, enton1
2
ces los tiempos son discretos, y si el sub ndice es t, el tiempo se mide de manera continua. Los posibles espacios de estados que consideraremos son subconjuntos de Z, y un poco ms generalmente tomaremos como espacio de estados el conjunto a de n meros reales R, aunque en algunos pocos casos tambin consideraremos a u e Zn o Rn . Naturalmente espacios ms generales son posibles, tanto para el espacio a parametral como para el espacio de estados. En particular, para poder hablar de variables aleatorias con valores en el espacio de estados S, es necesario asociar a este conjunto una -lgebra, considerando que S es un subconjunto de R, puede a tomarse la -lgebra de Borel de S, es decir, S B(R). a Un proceso estocstico puede cona siderarse como una funcin de dos o Xt () variables X : T S tal que a la pareja (t, ) se le asocia el estado X(t, ), lo cual tambin e puede escribirse como Xt (). Para cada valor de t en T , el mapeo Xt () es una variable aleatoria, mientras que para cada en t jo, la funcin t Xt () es llamao Espacio parametral da una trayectoria o realizacin del o proceso. Es decir, a cada del esFigura 1.1: pacio muestral le corresponde una trayectoria del proceso. Es por ello que a veces se dene un proceso estocstico como una funcin aleatoria. Una de tales trayectorias t a o picas que adems a cuenta con la propiedad de ser continua se muestra en la Figura 1.1, y corresponde a una trayectoria de un movimiento Browniano, proceso que deniremos y estudiaremos ms adelante. a Si A es un conjunto de estados, el evento (Xt A) corresponde a la situacin en o donde al tiempo t el proceso toma alg n valor dentro del conjunto A. En particular, u (Xt = x) es el evento en donde al tiempo t el proceso se encuentra en el estado x. Los diferentes tipos de procesos estocsticos se obtienen al considerar las distintas a posibilidades para: el espacio parametral, el espacio de estados, las caracter sticas de las trayectorias, y principalmente las relaciones de dependencia entre las variables aleatorias que conforman el proceso. Los siguientes son algunos ejemplos generales de procesos estocsticos. Estos son procesos que cumplen una cierta a propiedad particular, no necesariamente excluyentes unas de otras. A lo largo del
Espacio de estados
Cap tulo 1. Introduccion
texto estudiaremos y especicaremos con mayor detalle algunos de estos tipos de procesos. Proceso de ensayos independientes. El proceso a tiempo discreto {Xn : n = 0, 1, . . .} puede estar constituido por variables aleatorias independientes. Este modelo corresponde al experimento de realizar una sucesin de ensayos independientes o de un mismo experimento aleatorio, por ejemplo, lanzar un dado o una moneda repetidas veces. El resultado u observacin del proceso en un momento cualquiera o es, por lo tanto, independiente de cualquier otra observacin pasada o futura del o proceso. Procesos de Markov. Estos tipos de procesos son importantes y son modelos en donde, suponiendo conocido el estado presente del sistema, los estados anteriores no tienen inuencia en los estados futuros del sistema. Esta condicin se llama propieo dad de Markov y puede expresarse de la siguiente forma: Para cualesquiera estados x0 , x1 , . . . , xn1 (pasado), xn (presente), xn+1 (futuro), se cumple la igualdad P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ). De esta forma la probabilidad del evento futuro (Xn = xn ) slo depende el evento o (Xn1 = xn1 ), mientras que la informacin dada por el evento (X0 = x0 , . . . , Xn2 = o xn2 ) es irrelevante. Los procesos de Markov han sido estudiados extensamente y existe un gran n mero de sistemas que surgen en muy diversas disciplinas del conou cimiento para los cuales el modelo de proceso estocstico y la propiedad de Markov a son razonables. En particular, los sistemas dinmicos deterministas dados por una a ecuacin diferencial pueden considerarse procesos de Markov pues su evolucin fuo o tura queda determinada por la posicin inicial del sistema y una ley de movimiento o especicada. Procesos con incrementos independientes. Se dice que un proceso {Xt : t 0} tiene incrementos independientes si para cualesquiera tiempos 0 t1 < t2 < < tn , las variables Xt1 , Xt2 Xt1 , . . . , Xtn Xtn1 son independientes. Procesos estacionarios. Se dice que un proceso {Xt : t 0} es estacionario (en el sentido estricto) si para cualesquiera tiempos t1 , . . . , tn , la distribucin del vector o (Xt1 , . . . , Xtn ) es la misma que la del vector (Xt1 +h , . . . , Xtn +h ) para cualquier valor de h > 0. En particular, la distribucin de Xt es la misma que la de Xt+h o para cualquier h > 0, y entonces esta distribucin es la misma para cualquier valor o de t. Procesos con incrementos estacionarios. Se dice que un proceso {Xt : t 0}
4
tiene incrementos estacionarios si para cualesquiera tiempos s < t, y para cualquier h > 0, las variables Xt+h Xs+h y Xt Xs tienen la misma distribucin de o probabilidad. Es decir, el incremento que sufre el proceso entre los tiempos s y t slo depende de estos tiempos a travs de la diferencia t s, y no de los valores o e espec cos de s y t. Martingalas. Una martingala a tiempo discreto es, en trminos generales, un e proceso {Xn : n = 0, 1, . . .} que cumple la condicin o E(Xn+1 | X0 = x0 , . . . , Xn = xn ) = xn . (1.1)
En palabras, esta igualdad signica que el estado promedio del proceso al tiempo futuro n + 1 es el valor del proceso en su ultimo momento observado, es decir, xn . Esto es, se trata de una ley de movimiento aleatoria equilibrada pues en promedio el sistema no se mueve del ultimo momento observado. A estos procesos tambin se e les conoce como procesos de juegos justos pues si se considera una sucesin innita o de apuestas sucesivas y si Xn denota el capital de uno de los jugadores al tiempo n, entonces la propiedad de martingala (1.1) establece que el juego es justo pues en promedio el jugador no pierde ni gana en cada apuesta. Procesos de L`vy. Se dice que un proceso a tiempo continuo {Xt : t 0} es e un proceso de L`vy si sus incrementos son independientes y estacionarios. Ms e a adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos. Procesos Gausianos. Se dice que un proceso a tiempo continuo {Xt : t 0} es un proceso Gausiano si para cualesquiera coleccin nita de tiempos t1 , . . . , tn , el o vector (Xt1 , . . . , Xtn ) tiene distribucin normal o Gausiana. Nuevamente, el movio miento Browniano es un ejemplo de este tipo de procesos. El objetivo del presente texto es el de proporcionar una introduccin a algunos o resultados elementales sobre algunos tipos de procesos estocsticos. a Ejercicio. Demuestre que todo proceso a tiempo discreto {Xn : n = 0, 1, . . .} con incrementos independientes es un proceso de Markov. Este resultado no es vlido a para procesos a tiempo continuo.
Cap tulo 2
Caminatas aleatorias
En este cap tulo se presenta una introduccin breve al tema de caminatas aleatorias o en una dimensin. Encontraremos la distribucin de probabilidad de la posicin de o o o una part cula que efect a una caminata aleatoria en Z, y la probabilidad de retorno u a la posicin de origen. Se plantea y resuelve despus el problema de la ruina del o e jugador, y se analizan algunos aspectos de la solucin. o
2.1.
Una caminata aleatoria simple sobre el conjunto de n meros enteros Z es un proceso u estocstico a tiempo discreto {Xn : n = 0, 1, . . .} que evoluciona como se muestra a en la Figura 2.1. Es decir, iniciando en el estado 0, al siq p guiente tiempo el proceso puede pasar al estado +1 con probabilidad p, o al estado 2 1 +1 +2 0 1 con probabilidad q, en donde p+q = 1. Se usa la misma regla para los siguientes tiempos, es decir, pasa al estado de la deFigura 2.1: recha con probabilidad p, o al estado de la izquierda con probabilidad q. El valor de Xn es el estado del proceso al tiempo n. Este proceso cambia de un estado a otro en dos tiempos consecutivos de acuerdo a las probabilidades de transicin que se muestran en la Figura 2.1, vlidas para o a
2.1. Caminatas aleatorias
cualquier n 0, y para cualesquiera enteros i y j. p si j = i + 1, = j | Xn = i) = q si j = i 1, 0 otro caso.
P (Xn+1
Dado que estas probabilidades no dependen de n, se dice que son homogneas en e el tiempo, es decir, son las mismas para cualquier valor de n. A partir de estas consideraciones, es intuitivamente claro que este proceso cumple la propiedad de Markov, es decir, el estado futuro del proceso depende unicamente del estado pre sente y no de los estados previamente visitados. Una posible trayectoria de este proceso se muestra en la Figura 2.2. Una caminata aleatoria puede tambin dee nirse de la forma siguiente: Sea 1 , 2 , . . . una sucesin de variables aleatorias ino dependientes e idnticamente distribuidas e tales que P ( = +1) = p y P ( = 1) = q, en donde, como antes, p + q = 1. Entonces para n 1 se dene Xn = X0 + 1 + + n .
Xn ()
Figura 2.2: Sin prdida de generalidad supondremos e que X0 = 0. Nos interesa encontrar algunas propiedades de la variable Xn , y de su comportamiento como funcin de n. Por ejemplo, a partir de la expresin anterior, o o es inmediato encontrar su esperanza y varianza. Proposicin. Para cualquier entero n 0, o 1. E(Xn ) = n(p q). 2. Var(Xn ) = 4npq.
Demostracin. Para la esperanza tenemos que E(Xn ) = n E(i ) = n E() = o i=1 n(p q). Por otro lado, como E( 2 ) = p + q = 1 y E() = p q, se tiene que n Var() = 1 (p q)2 = 4pq. Por lo tanto Var(Xn ) = i=1 Var(i ) = n Var() = 4npq.
Cap tulo 2. Caminatas aleatorias
Analicemos estas dos primeras frmulas. Si p > q, es decir, si la caminata toma o pasos a la derecha con mayor probabilidad, entonces el estado promedio despus e de n pasos es un n mero positivo, es decir, su comportamiento promedio es tender u hacia la derecha, lo cual es intuitivamente claro. Anlogamente, si p < q, entonces a el estado nal promedio de la caminata despus de n pasos es un n mero negativo, e u es decir, en promedio la caminata tiende a moverse hacia la izquierda. En ambos casos la varianza crece conforme el n mero de pasos n crece, eso indica que mientras u mayor es el n mero de pasos que se dan, mayor es la incertidumbre acerca de la u posicin nal del proceso. Cuando p = q se dice que la caminata es asimtrica. o e Cuando p = q = 1/2 se dice que la caminata es simtrica, y en promedio el proceso e se queda en su estado inicial pues E(Xn ) = 0, sin embargo para tal valor de p la varianza es Var(Xn ) = n, y es sencillo demostrar que ese valor es el mximo de la a expresin 4npq, para p (0, 1). o Ejercicio. Demuestre que la funcin generadora de momentos de la variable Xn o es M (t) = (pet + qet )n . A partir de ella encuentre nuevamente la esperanza y varianza de Xn . Probabilidades de transicin. Como hemos supuesto que la caminata inicia en o cero, es intuitivamente claro que despus de efectuar un nmero par de pasos la e u cadena slo puede terminar en una posicin par, y si se efect an un n mero impar o o u u de pasos la posicin nal slo puede ser un n mero impar. Adems, es claro que o o u a despus de efectuar n pasos, la caminata slo puede llegar a una distancia mxima e o a de n unidades, a la izquierda o a la derecha. Teniendo esto en mente, en el siguiente resultado se presenta la distribucin de probabilidad de la variable Xn . o Proposicin. Para cualesquiera n meros enteros x y n tales que n x n, y o u para el caso cuando x y n son ambos pares o ambos impares, P (Xn = x | X0 = 0) =
1 2 (n
1 1 n p 2 (n+x) q 2 (nx) . + x)
(2.1)
Demostracin. Suponga que se observa la posicin de la caminata despus de efeco o e tuar n pasos. Sean Rn y Ln el n mero de pasos realizados hacia la derecha y hacia u la izquierda, respectivamente. Entonces Xn = Rn Ln , y adems n = Rn + Ln . a n Sumando estas dos ecuaciones y substituyendo la expresin Xn = i=1 i se obo
8
tiene
Rn =
1 (n + Xn ) = 2
n i=1
1 (1 + i ). 2
Esta ecuacin es la identidad clave para obtener el resultado buscado. Observe o que esta frmula arroja un valor entero para Rn cuando n y Xn son ambos pares o o ambos impares. Como las variables independientes i toman los valores +1 y 1 con probabilidades p y q respectivamente, entonces las variables independientes 1 o 2 (1 + i ) toman los valores 1 y 0 con probabilidades p y q. Esto lleva a la conclusin de que la variable Rn tiene distribucin binomial(n, p). Por lo tanto, para cualquier o valor de x que cumpla las condiciones enunciadas se tiene que P (Xn = x | X0 = 0) = = P (Rn =
1 2 (n
1 (n + x)) 2 p 2 (n+x) q 2 (nx) .

1 1
n + x)
En particular, cuando la caminata es simtrica, es decir, cuando p = 1/2, y con las e mismas restricciones para n y x (n x n, ambos pares o ambos impares) se tiene la expresin o P (Xn = x | X0 = 0) =
1 2 (n
n + x)
1 . 2n
Esta frmula puede tambin justicarse mediante argumentos de anlisis combinao e a torio de la siguiente forma: En total hay 2n posibles trayectorias que la caminata puede seguir al efectuar n pasos, todas ellas con la misma probabilidad de ocurrir debido a la simetr Ahora, Cuntas de estas trayectorias terminan en x 0, por a. a ejemplo? Como se ha argumentado antes, el n mero de pasos a la derecha debe u ser 1 (n + x), y el n mero de trayectorias que cumplen la condicin es el n mero u o u 2 de formas en que los 1 (n + x) pasos a la derecha pueden escogerse de los n pasos 2 totales. La respuesta es entonces el cociente que aparece en la expresin anterior. o Ejercicio. Demuestre nuevamente la identidad (2.1) analizando ahora la variable Ln , es decir, demuestre primero las igualdades que aparecen abajo. Concluya que Ln tiene distribucin binomial(n, q). A partir de aqu obtenga el resultado. Ln = o n 1 1 i=1 2 (1 i ). 2 (n Xn ) = Ejercicio. Demuestre que la probabilidad (2.1) es una funcin simtrica de x si, y o e slo si, la caminata es simtrica. o e
La frmula (2.1) puede extenderse fcilmente al caso general de pasar de un estado o a cualquiera y a otro estado x en n pasos. Proposicin. Si los n meros n y x y son ambos pares o ambos impares, o u entonces para n x y n, P (Xn = x | X0 = y) =
1 2 (n
n + x y)
p 2 (n+xy) q 2 (nx+y) .
(2.2)
Demostracin. Suponga que X0 = 0 y dena Zn = Xn y. Entonces Zn es ahora o una caminata aleatoria que inicia en cero como en el caso antes demostrado. El resultado se obtiene de la identidad P (Xn = x | X0 = y) = P (Zn = x y | Zn = 0). Probabilidad de regreso a la posicin de origen. Nos plantearemos ahora el o problema de encontrar la probabilidad de que una caminata aleatoria que inicia en el origen, regrese eventualmente al punto de partida. Demostraremos que en el caso asimtrico, p = 1/2, la probabilidad de tal evento es menor que uno, es decir, e no es seguro que ello ocurra, pero en el caso simtrico, p = 1/2, se cumple que con e probabilidad uno la caminata regresa eventualmente al origen. Para el ultimo caso demostraremos adems que el n mero de pasos promedio para regresar al origen a u es, sin embargo, innito. La demostracin es un tanto tcnica y hace uso de las o e funciones generadoras de probabilidad. Dado que este cap tulo es introductorio, tal vez sea mejor recomendar al lector, cuando se trate de una primera lectura, omitir los detalles de esta demostracin. o Proposicin. Para una caminata aleatoria sobre Z, la probabilidad de un eveno tual regreso al punto de partida es 1 |p q| = 1 <1 si p = q, si p = q.
Es decir, slo en el caso simtrico, p = q, se tiene la certeza de un eventual o e retorno, sin embargo el tiempo promedio de regreso en tal caso es innito.
10
Demostracin. Para demostrar estas armaciones utilizaremos los siguientes eleo mentos: a) Para cada n 0 denotaremos por pn a la probabilidad de que la caminata se encuentre en el estado 0 al tiempo n, es decir, pn = P (Xn = 0 | X0 = 0). Esta probabilidad es distinta de cero slo cuando n es un n mero par. Naturalmente o u p0 = 1. Denotaremos tambin por fk a la probabilidad de que la caminata visite e el estado 0 por primera vez en el paso k 0. El uso de la letra f proviene el trmino en Ingls rst. Por conveniencia se dene f0 = 0. Observe que en trminos e e e de las probabilidades fk , la probabilidad de que la caminata regrese eventualmente al origen es k=0 fk . Esta serie es convergente pues se trata de la suma de probabilidades de eventos disjuntos, y por lo tanto a lo sumo vale uno. Demostraremos que en el caso simtrico la suma vale uno. Recordemos nuevamente que los valores e de fk son estrictamente positivos slo para valores pares de k distintos de cero. o b) No es dif comprobar que se cumple la siguiente igualdad cil
n
pn =
k=0
fk pnk .
(2.3)
En esta expresin simplemente se descompone la probabilidad de regreso al origen, o pn , en las distintas posibilidades en donde se efect a el primer regreso al origen. u Este primero regreso puede darse en el paso 1, o en el paso 2, ..., o en el ultimo momento, el paso n. Despus de efectuado el primer regreso se multiplica por la e probabilidad de regresar al origen en el n mero de pasos restantes. Observe que el u primer sumando es cero. Esta frmula ser demostrada ms adelante en el contexto o a a de las cadenas de Markov, vase la frmula (3.2) en la pgina 45. Usaremos (2.3) e o a para encontrar la funcin generadora de probabilidad de la coleccin de n meros o o u f0 , f1 , f2 , . . . , es decir, encontraremos G(t) =
k=0
f k tk .
11
Multiplicando (2.3) por tn , sumando y cambiando el orden de las sumas se obtiene

n=1
p n tn
= = = =
fk pnk tn fk pnk tn
n=k n=0
n=1 k=0
k=0 n=k f k tk k=0
pnk tnk
G(t)
p n tn .
Por lo tanto (
n=0
pn tn ) 1 = G(t)
n=0
p n tn .
(2.4)
Para encontrar G(t) se necesita encontrar una expresin para la suma que aparece o en la ultima ecuacin, y que no es otra cosa sino el funcin generadora de los o o n meros p0 , p1 , p2 , . . . Haremos esto a continuacin. u o c) Para el anlisis que sigue necesitamos recordar que para cualquier n mero real a u a y para cualquier entero n, se tiene el coeciente binomial a n = a(a 1) (a (n 1)) . n! (2.5)
Observe que en el numerador hay n factores. Este n mero es una generalizacin u o del coeciente binomial usual y aparece en la siguiente expansin binomial innita o vlida para |t| < 1, a a n (1 + t)a = t . (2.6) n n=0
12
En particular y como una aplicacin de (2.5) se tiene que o 2n n = = = = = 2n(2n 1)(2n 2) 3 2 1 n! n! n 2 n! (2n 1)(2n 3) 5 3 1 n! n! 2n 2n 2n 1 2n 3 5 3 1 ( )( ) ( )( )( ) n! 2 2 2 2 2 2n 2n 1 3 5 3 1 n (1) (n + )(n + ) ( )( )( ) n! 2 2 2 2 2 1/2 (4)n . n
(2.7)
d) Usando (2.6) y (2.7) podemos ahora encontrar una expresin cerrada para la o funcin generadora de la coleccin de n meros p0 , p1 , p2 , . . . o o u
n=0
p n tn
= = =
n=0 n=0 n=0
2n n n 2n p q t n (4)n 1/2 n n 2n p q t n
1/2 (4pqt2 )n n (2.8)
= (1 4pqt2 )1/2 . e) Substituyendo (2.8) en (2.4) se llega a la igualdad (1 4pqt2 )1/2 1 = G(t) (1 4pqt2 )1/2 . De donde se obtiene nalmente G(t) = 1 (1 4pqt2 )1/2 .
(2.9)
Usando esta expresin podemos ahora calcular la probabilidad de un eventual reo greso al estado inicial. En efecto, por el lema de Abel,
n=0
fn = l G(t) = 1 (1 4pq)1/2 = 1 |p q|. m

t1
13
En el caso asimtrico, p = 1/2, esta cantidad es estrictamente menor a uno y e por lo tanto no hay seguridad de que la caminata sea capaz de regresar al origen. En cambio, en el caso simtrico, p = 1/2, esta cantidad vale uno, es decir, con e probabilidad uno la cadena aleatoria simtrica regresa eventualmente a su posicin e o de origen. Adems, el tiempo promedio de regreso se obtiene derivando la funcin a o generadora G(t) = 1 (1 t)1/2 , es decir,
n=0
n fn = l G (t) = l m m
t1 t1
t = . 1 t2
Puede considerarse tambin el caso de una caminata en donde sea posible permanee cer en el mismo estado despus de una unidad de tiempo. Esta situacin se ilustra e o en la Figura 2.3(a), en donde p, q y r son probabilidades tales que p + q + r = 1. Tambin pueden considerarse caminatas aleatorias en Z2 como la que se muestra e en la Figura 2.3(b), en donde p + q + r + s = 1, o ms generalmente en Zn o a cualquier otro conjunto reticulado.
r q 1 0 p 1 1 r q
1 p 1 s 1
(a)
(b)
Figura 2.3: En el siguiente cap tulo se estudiarn algunas otras propiedades de las caminatas a aleatorias en el contexto de las cadenas de Markov.
14
2.2. El problema del jugador
2.2.
El problema del jugador
En esta seccin consideraremos un ejemplo particular de una caminata aleatoria o puesta en el contexto de un juego de apuestas. Planteamiento del problema. Suponga que un jugador A apuesta sucesivamente una unidad monetaria a un jugador B. Inicialmente el jugador A tiene k unidades, y B tiene N k unidades, es decir, el capital conjunto entre los dos jugadores es de N unidades monetarias. En cada apuesta el jugador A tiene probabilidad de ganar p, y probabilidad de perder q = 1 p, se asume adems que no hay empates. a Sea Xn la fortuna del jugador A al tiempo n. Entonces {Xn : n = 0, 1, . . .} es una caminata aleatoria que inicia en el estado k y eventualmente puede terminar en el estado 0 cuando el jugador A ha perdido todo su capital, o bien puede terminar en el estado N que corresponde a la situacin en donde el jugador A ha ganado todo o el capital. Este proceso es entonces una caminata aleatoria sobre el conjunto {0, 1, . . . , N }, en donde los estados 0 y N son absorbentes, pues una vez que la cadena llega a alguno de ellos, jams a lo abandona. Una posible trayectoria cuando la caminata se absorbe en el estado 0 se muestra en la Figura 2.4.
Xn N
k n
Una de las preguntas que resolvereFigura 2.4: mos para esta caminata es la siguiente: Cul es la probabilidad de que evena tualmente el jugador A se arruine? Es decir, Cul es la probabilidad de que la caminata se absorba en el estado 0 y no a en el estado N , u oscile entre estos dos estados? Este problema se conoce como el problema de la ruina del jugador, y encontraremos a continuacin su solucin. o o Usando probabilidad condicional es posible transformar este problema en resolver una ecuacin en diferencias. o Solucin al problema. Sea es el primer momento en el que la caminata visita o alguno de los dos estados absorbentes, es decir, = m n{n 0 : Xn = 0 Xn = o N }. Puede demostrarse que esta variable aleatoria is nita casi seguramente. La
Cap tulo 2. Caminatas aleatorias pregunta planteada se traduce en encontrar la probabilidad uk = P (X = 0 | X0 = k). Por el teorema de probabilidad total se obtiene la ecuacin en diferencias o uk = p uk+1 + q uk1 ,
15
(2.10)
vlida para k = 1, 2, . . . , N 1. La interpretacin intuitiva de esta identidad es a o sencilla: A partir del estado k se busca la probabilidad de ruina analizando lo que sucede en la siguiente apuesta. Se tienen dos casos. El jugador gana con probabilidad p y ahora se busca la probabilidad de ruina a partir del estado k + 1, o bien el jugador pierde con probabilidad q y se busca la probabilidad de ruina ahora a partir del estado k 1. Las condiciones de frontera son u0 = 1 y uN = 0. Esta ecuacin es o una ecuacin en diferencias, lineal, de segundo orden y homognea. Puede encono e trarse su solucin de la siguiente forma: Multiplicando el lado izquierdo de (2.10) o por (p + q) y agrupando trminos se llega a la expresin equivalente e o uk+1 uk = (q/p) (uk uk1 ). (2.11)
Resolviendo iterativamente, las primeras k 1 ecuaciones se escriben de la forma siguiente u2 u1 u3 u2 uk uk1 = (q/p) (u1 1)
= (q/p)2 (u1 1) . . . = (q/p)k1 (u1 1).
Hemos usado aqu la condicin de frontera u0 = 1. Conviene ahora denir Sk = o 1 + (q/p) + + (q/p)k pues al sumar las k 1 ecuaciones anteriores se obtiene uk u1 = (Sk1 1) (u1 1). O bien uk = 1 + Sk1 (u1 1). (2.12)
De manera anloga pero ahora sumando todas las ecuaciones de (2.11) se obtiene a uN = 1 + SN 1 (u1 1). Usando la segunda condicin de frontera uN = 0 se llega o a u1 1 = 1/SN 1 . Substituyendo en (2.12) y simplicando se llega a la solucin o uk = 1 Sk1 . SN 1
16
Por lo tanto
Es necesario ahora distinguir los siguientes dos casos: k+1 k k+1 Sk = 1 + (q/p) + + (q/p) = 1 (q/p) 1 (q/p) (N k)/N k N uk = (q/p) (q/p) 1 (q/p)N
si p = q, si p = q.
si p = 1/2, si p = 1/2. (2.13)
En la Figura 2.5 se muestra la grca de la probabilidad uk como funcin del a o parmetro k para varios valores de p y con N = 50. En el caso simtrico la solucin a e o es la linea recta que une la probabilidad uno con la probabilidad cero. Naturalmente la probabilidad de ruina decrece cuando el capital inicial k aumenta. En la seccin o de ejercicios se sugiere otra forma de resolver la ecuacin en diferencias (2.10). o
uk 1 p = 0.01 p = 0.2 p = 0.35 p = 0.5
p = 0.65 p = 0.8 p = 0.99 10 20 30 40 50
Figura 2.5: Anlisis de la solucin. Es interesante analizar la frmula (2.13) en sus varios a o o aspectos. Por ejemplo, para el caso simtrico p = 1/2, es decir, cuando el juego e es justo, la probabilidad de ruina es muy cercana a 1 cuando k es muy peque o n comparado con N . Esto sugiere que no conviene jugar esta serie de apuestas contra adversarios demasiado ricos, a n cuando el juego sea justo. Es tambin un tanto u e inesperado observar que la probabilidad uk es muy sensible a los valores de p cercanos a 1/2. Esto puede apreciarse en la Figura 2.6. Cuando p es distante de 1/2 la probabilidad uk es casi constante, pero para valores de p cercanos a 1/2
17
la probabilidad cambia rpidamente de un extremo a otro. Estas grcas fueron a a elaborados tomando N = 50.
uk 1 1
uk 1
uk
k=5 0.5 1
k = 25 0.5 1
k = 45 0.5 1
Figura 2.6:
Ejercicio. (Probabilidad de ruina del otro jugador). Si el juego se considera desde el punto de vista del jugador B, entonces se trata de la misma caminata aleatoria slo o que ahora el capital inicial es N k y la probabilidad de ganar en cada apuesta es q. Substituya estos parmetros en la solucin (2.13) y compruebe que la probabilidad a o de ruina del jugador B, denotada por vN k , es la que aparece abajo. Verique adems que uk + vN k = 1, es decir, la probabilidad de que eventualmente el juego a termine con la ruina de alguno de los jugadores es uno. si q = 1/2, k/N k vN k = (q/p) 1 si q = 1/2. N 1 (q/p) N mero esperado de apuestas antes de la ruina. Hemos comprobado que con u probabilidad uno ocurre que eventualmente alguno de los dos jugadores se arruina. Es natural entonces plantearse el problema de encontrar el tiempo promedio que transcurre antes de observar la eventual ruina de alguna de las partes. Este n mero u de apuestas promedio antes de la ruina puede encontrarse expl citamente, y el mtodo que usaremos para encontrarlo es nuevamente el planteamiento de una e ecuacin en diferencias que resolveremos del modo mostrado antes. Sea entonces o mk el n mero esperado de apuesta antes de que termine el juego, en donde el u jugador A tiene un capital inicial de k unidades, y B tiene N k.
18
Proposicin. El n mero esperado de apuestas antes de la ruina es o u si p = q, k (N k) k mk = 1 ( k N 1 (q/p) ) si p = q. N qp 1 (q/p) Demostracin. Condicionando sobre el resultado de la primera apuesta se obtiene o que mk satisface la ecuacin o mk = 1 + p mk+1 + q mk1 , vlida para k = 1, 2, . . . , N 1. Esta es una ecuacin en diferencias, de segundo a o orden, lineal y no homognea. Las condiciones de frontera son ahora m0 = 0 y e mN = 0. Substituyendo (p + q)mk por mk y agrupando trminos convenientemente e la ecuacin anterior puede reescribirse del siguiente modo o mk+1 mk = q 1 (mk mk1 ) . p p (2.14)
Recordando la notacin Sk = 1 + (q/p) + + (q/p)k , y substituyendo iterativao mente, las primeras k 1 ecuaciones son m2 m1 m3 m2 = = . . . mk mk1 = (q/p)k1 m1 1 Sk2 . p 1 S0 , p 1 (q/p)2 m1 S1 , p (q/p) m1
Aqu se ha hecho uso de la condicin de frontera m0 = 0. Sumando todas estas o ecuaciones se obtiene mk m1 = m1 (Sk1 1) Es decir, mk = m1 Sk1 1 p
k2
1 p
k2
Si .
i=0
Si .
i=0
(2.15)
Cap tulo 2. Caminatas aleatorias En particular, sumando todas las ecuaciones de (2.14) se obtiene mN = m1 SN 1 1 p
N 2 i=0
19
Si .
Ahora se hace uso de la condicin mN = 0, y se obtiene o m1 = Substituyendo en (2.15), mk = Sk1 1 SN 1 p

N 2 i=0
1 SN 1
1 p
k2
Si .
i=0
Si
1 p
k2
Si .
i=0
(2.16)
Substituyendo en (2.16) y simplicando, despus de algunos clculos se llega a la e a respuesta enunciada.

mk La forma en la que mk cambia al variar el parmetro k se muestra en la 625 a p = 0.5 Figura 2.7 cuando N = 50. La duracin mxima promedio del juego se o a obtiene cuando el juego es justo, p = 1/2, y ambos jugadores tienen el mismo capital inicial, es decir, k = N/2. p = 0.1 p = 0.9 Esto arroja un promedio mximo de a 10 20 30 40 (N/2)(N N/2) = (N/2)2 apuestas Figura 2.7: antes del n del juego. En el caso ilustrado, la duracin mxima promedio o a del juego es de (50/2)2 = 625 apuestas.
Nuevamente se deben distinguir los siguientes dos casos: k+1 k+1 Sk = 1 + (q/p) + + (q/p)k = 1 (q/p) 1 (q/p)
si p = q, si p = q.
50
20
Ejercicio. Demuestre que la duracin promedio del juego es siempre menor o igual o a (N/2)2 , es decir, para cada k = 1, . . . , N , se cumple que mk (N/2)2 , tanto en el caso simtrico como no simtrico. e e Notas y referencias. El tema de caminatas aleatorias puede ser encontrado en la mayor de los textos sobre procesos estocsticos, ya sea de una manera expl a a cita o como un ejemplo importante de cadena de Markov. En particular el libro de Jones y Smith [17], y el de Basu [1] contienen un cap tulo completo sobre el tema. Como lectura ms avanzada vase el texto de Resnick [28], y el de Spitzer [34]. a e
21
Ejercicios
Caminatas aleatorias 1. Demuestre que una caminata aleatoria simple sobre Z cumple la propiedad de Markov, es decir, demuestre que para cualesquiera enteros x0 , x1 , . . . , xn+1 , P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ). 2. Para una caminata aleatoria simple Xn sobre Z demuestre que P (Xn+1 = x) = p P (Xn = x 1) + q P (Xn = x + 1). 3. Una part cula realiza una caminata aleatoria simtrica sobre Z empezando en e cero. Encuentre la probabilidad de que la part cula se encuentre nuevamente en el origen en el sexto paso. 4. Una part cula realiza una caminata aleatoria simtrica sobre Z empezando e en cero. Cul es la probabilidad de que la part a cula regrese al estado cero por primera vez en el sexto paso? 5. Considere una caminata aleatoria simple sobre Z que empieza en cero y tal que la probabilidad de pasar al estado de la derecha es p y la probabilidad de pasar al estado de la izquierda es q = 1 p. Sea n el primer momento en el que la caminata visita el estado n 1. Usuando anlisis del primer paso a (condicionando sobre si primer paso se efect a a la izquierda o a la derecha) u demuestre que (p/q)n si p < 1/2, P (n < ) = 1 si p 1/2. En particular, la probabilidad de que la caminata se mantenga siempre en el conjunto {. . . , 1, 0, 1, . . . , n 1} es 1 (p/q)n en el caso p < 1/2, y con probabilidad uno llegar al estado n en el caso p 1/2. Generalice la frmula a o anterior en el caso cuando el estado inicial es m, menor o mayor a n.
El problema de la ruina del jugador 6. Siguiendo la notacin usada en el problema de la ruina del jugador, demuestre o la validez de la ecuacin uk = p uk+1 + q uk1 , para k = 1, 2, . . . , N 1. o
22
2.2. El problema del jugador 7. Para resolver el problema del jugador se requiere resolver la ecuacin en difeo rencias uk = p uk+1 + q uk1 . Resuelva nuevamente esta ecuacin siguiendo o los siguientes pasos [18]: a) Proponga la solucin uk = a mk , con a y m constantes distintas de cero, o y que encontraremos a continuacin. o b) Substituya la solucin propuesta en la ecuacin en diferencias y encueno o tre la ecuacin cuadrtica pm2 m + q = 0. Esta ecuacin se conoce o a o como la ecuacin caracter o stica de la ecuacin en diferencias. o c) Suponiendo el caso p = q, esta ecuacin cuadrtica tiene dos soluciones o a distintas: m1 = 1 y m2 = q/p. Dada la linealidad de la ecuacin en o diferencias, la solucin general puede escribirse como uk = a1 mk + o 1 a2 mk = a1 + a2 (q/p)k . 2 d ) Use las condiciones de frontera u0 = 1 y uN = 0 para encontrar los valores de las constantes a1 y a2 , y obtener nuevamente la solucin (2.13). o e) Cuando p = q la ecuacin caracter o stica tiene una unica ra m1 = 1. z: Como segundo valor para m se propone k veces el valor de la primera solucin, es decir, m2 = k. Proceda como en el inciso anterior para o encontrar (2.13) en este caso. 8. Siguiendo la notacin usada para encontrar el n mero esperado de apuestas o u antes de la ruina en el problema del jugador, demuestre la igualdad mk = 1 + p mk+1 + q mk1 , para k = 1, 2, . . . , N 1. 9. Considere el problema de la ruina del jugador permitiendo ahora que existan empates en cada una de las apuestas. Las probabilidades de ganar, perder o empatar para el jugador A son p, q y r, respectivamente, con p+q+r = 1. Demuestre que la probabilidad de ruina para el jugador A sigue siendo la misma expresin (2.13). Es decir, la posibilidad de empate en cada apuesta extiende o posiblemente la duracin del juego pero no modica las probabilidades de o ruina.
Cap tulo 3
Cadenas de Markov
Las cadenas de Markov fueron inventadas por el matemtico ruso A. A. Markov a alrededor de 1905. Su intencin era crear un modelo probabil o stico para analizar la aparicin de vocales en poemas y textos literarios. El xito del modelo propuesto o e por Markov radica en que es lo sucientemente complejo como para describir ciertas caracter sticas no triviales de algunos sistemas, pero al mismo tiempo es lo sucientemente sencillo para ser analizado matemticamente. Las cadenas de Markov a pueden aplicarse a una amplia gama de fenmenos cient o cos y sociales, y se cuenta con una teor matemtica extensa al respecto. En este cap a a tulo presentaremos una introduccin a algunos aspectos bsicos de este modelo. o a
3.1.
Propiedad de Markov
Vamos a considerar procesos estocsticos a tiempo discreto Xn que cumplen la a propiedad de Markov. Para escribir esta propiedad y varias de sus condiciones equivalentes de una manera simple, a la probabilidad P (Xn = xn ) se le escribe como p(xn ), es decir, el sub ndice indica tambin la variable a la que se hace e referencia. El signicado de la probabilidad condicional p(xn+1 | xn ) es anlogo. a
23
24
3.1. Propiedad de Markov
Denicin. Una cadena de Markov es un proceso estocstico a tiempo discreto o a {Xn : n = 0, 1, . . .}, con espacio de estados discreto, y que satisface la propiedad de Markov, esto es, para cualquier entero n 0, y para cualesquiera estados x0 , . . . , xn+1 , se cumple p(xn+1 | x0 , . . . , xn ) = p(xn+1 | xn ). (3.1)
Si el tiempo n+1 se considera como un tiempo futuro, el tiempo n como el presente y los tiempos 0, 1, . . . , n1 como el pasado, entonces la condicin (3.1) establece que o la distribucin de probabilidad del estado del proceso al tiempo futuro n+1 depende o unicamente del estado del proceso al tiempo n, y no depende de los estados en los tiempos pasados 0, 1, . . . , n 1. Existen otras formas equivalentes de expresar esta propiedad, algunas de ellas se encuentran enunciadas en la seccin de ejercicios. Por o ejemplo, es posible demostrar que la condicin (3.1) es equivalente a poder calcular o la distribucin conjunta de las variables X0 , X1 , . . . , Xn de la siguiente forma o p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ). Sin prdida de generalidad tomaremos como espacio de estados de una cadena de e Markov al conjunto discreto {0, 1, 2, . . .}, o cualquier subconjunto nito que conste de los primeros elementos de este conjunto. Cuando el espacio de estados de una cadena de Markov es un conjunto nito se dice que la cadena es nita. Probabilidades de transicin. A la probabilidad P (Xn+1 = j | Xn = i) se le o denota por pij (n, n + 1), y representa la probabilidad de transicin del estado i en o el tiempo n, al estado j en el tiempo n + 1. Estas probabilidades se conocen como las probabilidades de transicin en un paso. Cuando los n meros pij (n, n + 1) no o u dependen de n se dice que la cadena es estacionaria u homognea en el tiempo. Por e simplicidad se asume tal situacin de modo que las probabilidades de transicin en o o un paso se escriben simplemente como pij . Variando los ndices i y j, por ejemplo sobre el conjunto de estados {0, 1, 2, . . .}, se obtiene la matriz de probabilidades de transicin en un o paso que aparece en la Figura 3.1. La entrada (i, j) de esta matriz es la probabilidad de transicin pij , es decir, la probabilidad de pao sar del estado i al estado j en una unidad de
0 1 2 . . .
P =
p00 p10 p20 . . .
p01 p11 p21 . . .
p02 p12 p22 . . .
Figura 3.1:
Cap tulo 3. Cadenas de Markov
25
tiempo. En general, al escribir estas matrices omitiremos escribir la identicacin de los estados en los renglones y columnas coo mo aparece en la Figura 3.1, tal identicacin ser evidente a partir de conocer el o a espacio de estados. El ndice i se reere al rengln de la matriz y el o ndice j a la columna. Proposicin. La matriz de probabilidades de transicin P = (pij ) cumple las o o siguientes dos propiedades. a) pij 0. b)
j
pij = 1.
Demostracin. La primera condicin es evidente a partir del hecho de que estos o o n meros son probabilidades. Para la segunda propiedad se tiene que para cualquier u estado i y cualquier entero n 0, 1 = P (Xn+1 {0, 1, . . .}) = P (Xn+1 {0, 1, . . .} | Xn = i) = P(
j
(Xn+1 = j) | Xn = i)
=
j
P (Xn+1 = j | Xn = i) pij .
=
j
Esto ultimo signica que a partir de cualquier estado i con probabilidad uno la cadena pasa necesariamente a alg n elemento del espacio de estados al siguiente u momento. En general toda matriz cuadrada que cumpla estas dos propiedades se dice que es una matriz estocstica. Debido a la propiedad de Markov, esta matriz a captura la esencia del proceso y determina el comportamiento de la cadena en cualquier tiempo futuro. Si adems la matriz satisface la condicin i pij = 1, a o es decir, cuando la suma por columnas tambin es uno, entonces se dice que es e doblemente estocstica. a
26
3.1. Propiedad de Markov
Distribucin de probabilidad inicial. En general puede considerarse que una o cadena de Markov inicia su evolucin partiendo de un estado i cualquiera, o ms o a generalmente considerando una distribucin de probabilidad inicial sobre el espacio o de estados. Una distribucin inicial para una cadena de Markov con espacio de o estados {0, 1, 2, . . .} es simplemente una distribucin de probabilidad sobre este o conjunto, es decir, es una coleccin de n meros p0 , p1 , p2 . . . que son no negativos o u y que suman uno. El n mero pi corresponde a la probabilidad de que la cadena u inicie en el estado i. En general, la distribucin inicial juega un papel secundario o en el estudio de las cadenas de Markov. Existencia. Hemos mencionado que la propiedad de Markov es equivalente a la igualdad p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ). Esta identidad establece que las distribuciones conjuntas p(x0 , x1 , . . . , xn ) se encuentran completamente especicadas por la matriz de probabilidades de transicin y una distribucin inio o cial. En el texto de Chung [7] puede encontrarse una demostracin del hecho de o que dada una matriz estocstica y una distribucin de probabilidad inicial, existe a o un espacio de probabilidad y una cadena de Markov con matriz de probabilidades de transicin y distribucin inicial las especicadas. Es por ello que a la matriz o o misma se le llama a veces cadena de Markov. Ejercicio. Sea Xn una cadena de Markov con tres estados: 0,1,2, y con matriz de probabilidades de transicin como aparece abajo. Calcule P (X2 = 0, X1 = 0 | X0 = o 1) y P (X3 = 1, X2 = 1 | X1 = 2). P =
0.4 0.3 0.7 0.3 0.2 0 0.3 0.5 0.3
Ejercicio. Sea Xn una cadena de Markov con dos estados 0 y 1, con distribucin o inicial P (X0 = 0) = 0.5, P (X0 = 1) = 0.5, y con matriz de probabilidades de transicin como aparece abajo. Calcule P (X0 = 0, X1 = 1, X2 = 0), P (X0 = o 0 | X1 = 1), P (X1 = 0), P (X2 = 1) y P (X0 = 0, X1 = 0, X2 = 1, X3 = 1). P =
0.4 0.9 0.6 0.1
Ejercicio. Sea Xn una cadena de Markov con dos estados: 0,1, con distribucin o inicial P (X0 = 0) = 0.2, P (X0 = 1) = 0.8, y con matriz de probabilidades de transicin como aparece abajo. Encuentre la distribucin de las variables X1 , X2 , o o
Cap tulo 3. Cadenas de Markov X1 y X2 conjuntamente. P =

1/2 2/3 1/2 1/3
27
Probabilidades de transicin en n pasos. La probabilidad P (Xn+m = j | Xm = o i) corresponde a la probabilidad de pasar del estado i al tiempo m, al estado j al tiempo m + n. Dado que hemos supuesto la condicin de homogeneidad en el o tiempo, esta probabilidad no depende realmente de m, por lo tanto coincide con P (Xn = j | X0 = i), y se le denota por pij (n). A esta probabilidad tambin se le e (n) denota como pij , en donde el n mero de pasos n se escribe entre parntesis para u e distinguirlo de alg n posible exponente, y se le llama probabilidad de transicin en u o n pasos. Cuando n = 1 simplemente se omite su escritura, a menos que se quiera hacer nfasis en ello. Tambin cuando n = 0 es natural denir e e pij (0) = ij = 0 1 si i = j, si i = j.
Es decir, despus de realizar cero pasos la cadena no puede estar en otro estado e mas que en su lugar de origen. Esta es la funcin delta de Kronecker. o
3.2.
Ejemplos
Revisaremos a continuacin algunos ejemplos particulares clsicos de cadenas de o a Markov. Retomaremos ms adelante varios de estos ejemplos para ilustrar otros a conceptos y resultados generales de la teor general. a Cadena de dos estados. Considere una cadena de Markov con espacio de estados {0, 1}, con matriz y diagrama de transicin como aparece en la Figura 3.2, en o donde 0 a 1, y 0 b 1. Suponga que la distribucin inicial est dada por o a p0 = P (X0 = 0) y p1 = P (X0 = 1). Aunque de aspecto sencillo, esta cadena es susceptible de muchas aplicaciones pues es com n encontrar situaciones en donde se presenta siempre la dualidad de ser o u no ser, estar o no estar, tener o no tener, siempre en una constante alternancia entre un estado y el otro. Cuando a = 1 b, las variables X1 , X2 , . . . son independientes e idnticamente distribuidas con P (Xn = 0) = 1 a y P (Xn = 1) = a, para cada e n 1. Cuando a = 1 b, Xn depende de Xn1 . Mas adelante demostraremos que
28
3.2. Ejemplos
0 P = 0 1 1a b
1 a 1b 1a 0
a 1 b 1b
Figura 3.2: las probabilidades de transicin en n pasos son, para a + b > 0, o p00 (n) p01 (n) p10 (n) p11 (n) = 1 a+b b a b a + (1 a b)n a+b a b a b .
Ejercicio. Para la cadena de Markov de dos estados, compruebe directamente que a) P (X0 = 0, X1 = 1, X2 = 0) = ab p0 . b) P (X0 = 0, X2 = 1) = (ab + (1 a)a) p0 . c) P (X2 = 0) = ((1 a)2 + ab) p0 + ((1 b)b + b(1 a)) p1 . Cadena de variables aleatorias independientes. Sea 1 , 2 , . . . una sucesin o de variables aleatorias independientes con valores en el conjunto {0, 1, . . .}, y con idntica distribucin dada por las probabilidades a0 , a1 , . . . Deniremos varias cae o denas de Markov a partir de esta sucesin. o a) La sucesin Xn = n es una cadena de Markov con probabilidades de trano sicin pij = P (Xn = j | Xn1 = i) = P (Xn = j) = aj , es decir, la matriz de o probabilidades de transicin es de la siguiente forma o
a0 . . .
Esta cadena tiene la cualidad de poder pasar a un estado cualquiera siempre con la misma probabilidad, sin importar el estado de partida. Puede modelar, por ejemplo, una sucesin de lanzamientos de una moneda. o
P = a0
a1 a1 . . .
a2 a2 . . .
Cap tulo 3. Cadenas de Markov b) El proceso Xn = mx {1 , . . . , n } es una cadena de Markov con matriz a
a0
29
0 P = 0
. . .
a1 a0 + a1 0 . . .
a2 a2 a0 + a1 + a2 . . .
a3 a3 a3 . . .
c) El proceso Xn = 1 + + n es una cadena de Markov con matriz

a0
0 P = 0
. . .
a1 a0 0 . . .
a2 a1 a0 . . .
Ejercicio. Es el proceso Xn = m {1 , . . . , n } una cadena de Markov? En caso n armativo encuentre la matriz de probabilidades de transicin. o Cadena de rachas de xitos. Sea 1 , 2 , . . . una sucesin de ensayos indepene o dientes Bernoulli con probabilidad de xito p, y probabilidad de fracaso q = 1 p. e Sea Xn el n mero de xitos consecutivos previos al tiempo n, incluyendo el tiempo u e n. Se dice que una racha de xitos de longitud r ocurre al tiempo n si en el ensayo e n r se obtiene un fracaso y los resultados de los ensayos n r + 1 al n son todos xitos. Grcamente esta situacin se ilustra en la Figura 3.3. e a o
r xitos e 1 2 F nr E nr+1 E n
Figura 3.3: La coleccin de variables aleatorias {Xn : n = 1, 2, . . .} es una cadena de Markov o con espacio de estados {0, 1, . . .}. Las probabilidades de transicin y la matriz o correspondiente se muestran en la Figura 3.4. Las posibles transiciones de un estado a otro para esta cadena de Markov se pueden observar en la Figura 3.5.
30
3.2. Ejemplos
p q pij = 0
si j = i + 1, si j = 0, otro caso.
P =
Figura 3.4:
0 1 2 . . .
q q q . . .
p 0 0 . . .
0 0 p 0 0 p . . . .
0 p 1 q q 2 q 3 q r
Figura 3.5: Cadena de la caminata aleatoria. Una caminata aleatoria simple sobre el conjunto de n meros enteros constituye una cadena de Markov con espacio de estados u el conjunto Z, y con probabilidades de transicin o p si j = i + 1, q si j = i 1, pij = 0 otro caso,
en donde p+q = 1. Hemos demostrado en el cap tulo anterior que las probabilidades de transicin en n pasos son las siguientes: Si n + j i es par con n j i n, o entonces n pij (n) = 1 p(n+ji)/2 q (nj+i)/2 . (n + j i) 2 En otro caso pij (n) = 0, excepto cuando n = 0 e i = j. Ms adelante usaremos este a modelo para ilustrar algunos conceptos generales de cadenas de Markov.
31
Cadena del jugador. El modelo usado para el problema del jugador estudiado en el primer cap tulo es una caminata aleatoria sobre el conjunto de n meros enteros u {0, 1, , . . . , N }, en donde los estados 0 y N son absorbentes. Las probabilidades de transicin son como las de la caminata aleatoria simple slo que ahora p00 = o o 1 y pN N = 1. Este proceso es otro ejemplo de cadena de Markov con espacio de estados nito. Hemos demostrado antes que con probabilidad uno la cadena eventualmente se absorbe en alguno de los dos estados absorbentes, hemos calculado la probabilidad de ruina, es decir, la probabilidad de que la absorcin se observe o en el estado 0, y hemos adems encontrado el tiempo medio de absorcin. a o Cadena de Ehrenfest. Sean A y B dos urnas dentro de las cuales se encuentran distribuidas N bolas de acuerdo a cierta conguracin inicial. En cada unidad de o tiempo se escoge una bola al azar y se cambia de urna. Para tal efecto puede considerarse que las bolas se encuentran numeradas y que se escoge un n mero al u azar, se busca la bola con ese n mero y se cambia de urna. Vase la Figura 3.6. u e Sea Xn el n mero de bolas en la urna u A despus de n extracciones. Entonces e la coleccin {Xn : n = 0, 1, . . .} constio tuye una cadena de Markov con espa... ... cio de estados nito {0, 1, . . . , N }. Es claro que a partir del estado i la caN i bolas i bolas dena slo puede pasar al estadio i 1 o o al estado i + 1 al siguiente momenurna A urna B to, de modo que las probabilidades son pi,i+1 = i/N , y pi,i+1 = (N i)/N , Figura 3.6: vlidas para i = 1, 2, . . . , N 1. Naa turalmente p01 = 1 y pN,N 1 = 1. En este caso se dice que los estados 0 y N son reejantes. La matriz de probabilidades de transicin aparece ms abajo. Este modelo fue propuesto por Ehrenfest para o a describir el intercambio aleatorio de molculas (bolas) en dos regiones separadas e por una membrana porosa. La regin con mayor n mero de molculas tender a o u e a liberar mas molculas. e
32
3.2. Ejemplos
P =
0 1/N 0 . . . 0 0
1 0 2/N . . . 0 0
0 (N 1)/N 0 . . . 0 0
0 0 (N 2)/N . . . 0 0
0 0 0 . . . 0 1
0 0 0 . . . 1/N 0
Cadena de ramicacin. Considere una part o cula u objeto que es capaz de generar otras part culas del mismo tipo al nal de un periodo establecido de tiempo. El conjunto de part culas iniciales constituye la generacin 0. Cada una de estas o part culas simultneamente y de manera independiente genera un n mero de desa u cendientes dentro del conjunto {0, 1, . . .}, y el total de estos descendientes pertenece a la generacin 1, stos a su vez son los progenitores de la generacin 2, y as suo e o cesivamente. Una posible sucesin de generaciones se muestra en la Figura 3.7. El o posible evento cuando una part cula no genera ning n descendiente se interpreta u en el sentido de que la part cula se ha muerto o extinguido.
Generacin o 0 1 2 3 4
Figura 3.7: Sea la variable aleatoria que modela el n mero de descendientes de cada part u cula, y para cada n 0 dena Xn como el n mero de part u culas en la generacin n. o Entonces {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transicin pij = P (1 + + i = j), para i 1. o Si en alg n momento Xn = 0, entonces se dice que la poblacin de part u o culas se ha extinguido. Naturalmente el estado 0 es un estado absorbente. Este modelo ha sido usado para determinar la probabilidad de extincin de la descendencia de una o persona.
33
Cadena de la la de espera. Considere una cola o l nea de espera de clientes que solicitan alg n tipo de servicio de un servidor. Suponga que el sistema es u observado en los tiempos discretos n = 0, 1, . . ., y que la la funciona del siguiente modo: Cuando hay alg n cliente esperando servicio al inicio de un periodo, el u cliente al frente de la la es atendido terminando el servicio al nal del periodo. Naturalmente si no existiera ning n cliente en la la al inicio de alg n periodo, u u entonces ning n cliente es atendido. Para cada entero n 1 dena n como el u n mero de nuevos clientes que se incorporan a la la durante el periodo n. Bajo u ciertas condiciones es natural suponer que estas variables aleatorias son independientes, idnticamente distribuidas y con valores enteros no negativos. Suponga e P (n = k) = ak , con ak 0 y ak = 1. Sea X0 el n mero de clientes iniciales, u k=0 y para cada n 1 dena a Xn como el n mero de clientes en la la al nal del u periodo n. Las dos reglas de operacin se pueden escribir de la siguiente forma: o Xn+1 = n+1 Xn + n+1 1 si Xn = 0, si Xn 1.
Esto puede escribirse como Xn+1 = (Xn 1)+ + n+1 , en donde x+ = mx{x, 0}. a Por lo tanto el proceso {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transicin o pij = P ( = j) si i = 0, P ( = j i + 1) si i 1.
Es decir,
P =
a0 a0 0 0 . . .
a1 a1 a0 0 . . .
a2 a2 a1 a0 . . .
Cadena de inventarios. Suponga que se almacena un cierto n mero de bienes u en una bodega, y que se requiere una demanda aleatoria n del bien en el periodo n. Suponga que P (n = k) = ak , para k = 0, 1, . . . con ak 0 y k ak = 1, es decir, la distribucin de n es la misma para cualquier n. El n mero de bienes en o u el almacn es revisado al nal de cada periodo y se aplica la siguiente pol e tica de reabastecimiento: Si al nal del periodo la cantidad del bien es menor o igual a un cierto nivel s, entonces se reabastece la bodega inmediatamente hasta un nivel
34
3.3. Ecuacion de Chapman-Kolmogorov
mximo S. Si al nal del periodo el n mero de bienes es mayor a s, entonces no a u hay ning n reabastecimiento. Naturalmente s < S. Sea Xn el n mero de bienes al u u nal del periodo n y justo antes de aplicar la pol tica de reabastecimiento. Entonces Xn es una cadena de Markov con espacio de estados {. . . , 2, 1, 0, 1, 2, . . . , S}. Se permiten valores negativos para Xn los cuales corresponden a demandas del bien no satisfechas en su momento pero que sern cubiertas en el siguiente reabastecimiento. a El valor de Xn+1 en trminos de Xn se escribe de la forma siguiente: e Xn+1 = Xn n+1 S n+1 si s Xn < S, si Xn s.
Las probabilidades de transicin para esta cadena son o pij = P (Xn+1 = j | Xn = i) = P (n+1 = i j) = aij si s < i S,
P (n+1 = S j) = aSj
si i s.
La primera expresin corresponde al caso cuando no hay reabastecimiento, la proo babilidad de pasar de i a j es la probabilidad de que la demanda al nal de ese periodo sea de j i pues el nuevo nivel del almacn ser de i (i j) = j. La see a gunda expresin corresponde al caso cuando hay reabastecimiento y el nuevo nivel o ser de S (S j) = j, cuando la demanda sea S j. a
3.3.
Ecuacin de Chapman-Kolmogorov o
Esta ecuacin es una frmula sencilla y muy util que permite descomponer la proo o babilidad de pasar del estado i al estado j en n pasos, en la suma de probabilidades de las trayectorias que van de i a j, y que atraviesan por un estado k cualquiera en un tiempo intermedio r. Ecuacin de Chapman-Kolmogorov. Para cualesquiera n meros enteros r o u y n tales que 0 r n, y para cualesquiera estados i y j se cumple pij (n) =
k
pik (r) pkj (n r).
35
Demostracin. Por el teorema de probabilidad total y la propiedad de Markov, o pij (n) = P (Xn = j | X0 = i) =
k
P (Xn = j, Xr = k, X0 = i)/P (X0 = i) P (Xn = j | Xr = k) P (Xr = k | X0 = i) pkj (n r) pik (r).
=
k
=
k
Grcamente, las trayectorias que van del estado i al estado j en n pasos se desa componen como se muestra en la Figura 3.8. Para nes ilustrativos se dibujan las trayectorias de manera continua pero en realidad no lo son. Esta ecuacin es importante para hao cer ciertos clculos, y se usa con rea gularidad en el estudio de las cadenas de Markov. En particular, la siguiente desigualdad ser utilizada ms a a adelante: Para cualquier estado k y para 0 r n, se tiene que pij (n) pik (r) pkj (n r). Como una consecuencia importante de la ecuacin o de Chapman-Kolmogorov se tiene el siguiente resultado. k j
i r Figura 3.8: n
Proposicin. La probabilidad de transicin en n pasos, pij (n), est dada por la o o a entrada (i, j) de la n-sima potencia de la matriz P , es decir, e pij (n) = (P n )ij .
Demostracin. Esta identidad es consecuencia de la ecuacin de Chapman-Kolmogorov o o aplicada n 1 veces. La suma que aparece abajo corresponde a la entrada (i, j) de
36
3.3. Ecuacion de Chapman-Kolmogorov
la matriz resultante de multiplicar P consigo misma n veces. pij (n) =

i1
pi,i1 (1) pi1 ,j (n 1) pi,i1 (1) pi1 ,i2 (1) pi2 ,j (n 2)
=
i1 ,i2
. . . = =
i1 ,...,in1 (P n )ij .
pi,i1 (1) pi1 ,i2 (1) pin1 ,j (1)
En palabras este resultado establece que el problema de calcular las probabilidades de transicin en n pasos se transforma en obtener la n-sima potencia de la matriz o e de probabilidades de transicin en un paso, es decir, o n
p00 (n) . . .
Si se conoce esta matriz y si pi = P (X0 = i) es una distribucin inicial, entonces o la distribucin de Xn es P (Xn = j) = i pi pij (n). o Cuando una matriz estocstica P es diagonalizable, es decir, cuando puede ser a escrita en la forma QDQ1 en donde D es una matriz diagonal, las potencias de P se calculan fcilmente pues P n = QDn Q1 . Como D es diagonal, Dn es la matriz a con cada elemento de la diagonal elevado a la n-sima potencia. e Por ejemplo, vamos a ilustrar el proceso de diagonalizacin de una matriz estocstio a ca de dimensin dos. Consideremos nuevamente la cadena general de dos estados o
1a b a 1b
p10 (n)
p01 (n) p11 (n) . . .
p00 = p10 . . .
p01 p11 . . .
P =
Los eigenvalores de esta matriz estn dados por la ecuacin |P I| = 0, y resultan a o ser 1 = 1 y 2 = 1ab. Los correspondientes eigenvectores escritos como vectores
37
rengln son (1, 1) y (a, b), respectivamente. La matriz Q esta compuesta por los o eigenvectores como columnas, y si se cumple que a + b > 0, entonces es invertible, es decir, 1 a 1 b 1 a+b b a 1 1
Q=
Q1 =
La matriz D es la matriz diagonal que contiene a los dos eigenvalores. Puede entonces comprobarse la identidad P = QDQ1 , es decir,
1a b a 1b 1 1 a b 1 0 0 1ab
1 a+b
b 1
a 1
Por lo tanto,
Pn
= = =
Q Dn Q1 1 1 1 a+b a b b b a a 1 0 0 (1 a b)n + (1 a b)n a+b b 1 a 1 . 1 a+b
a a b b
Ejemplo. Toda matriz estocstica P con renglones idnticos es idempotente, es dea e cir, para cualquier entero n 1, se cumple que P n = P . Este es el caso de la cadena de variables aleatorias independientes.
3.4.
Comunicacin o
Deniremos a continuacin a la comunicacin entre dos estados de una cadena de o o Markov como la posibilidad de pasar de un estado a otro en algn n mero nito u u de transiciones.
38
3.4. Comunicacion
Denicin. Se dice que el estado j es accesible desde el estado i si existe un o entero n 0 tal que pij (n) > 0, esto se escribe simplemente como i j. Se dice adems que los estados i y j son comunicantes, y se escribe i j, si se a cumple que i j y j i. Observe que siempre se cumple que i i, pues por denicin pii (0) = 1. Adems o a observe que si ocurre que i j, la accesibilidad de i a j puede darse en un n mero u de pasos distinto que la accesibilidad de j a i. Grcamente la accesibilidad y la a comunicacin se representan, como lo hemos hecho antes en los ejemplos, mediante o echas entre nodos como se muestra en la Figura 3.9. Es sencillo vericar que la comunicacin es una relacin de o o equivalencia, es decir, cumple las siguientes propiedades. a) Es reexiva: i i. b) Es simtrica: si i j, entonces j i. e c) Es transitiva: si i j y j k, entonces i k. En consecuencia, la comunicacin induce una particin del o o espacio de estados de una cadena de Markov dada por los subconjuntos de estados comunicantes, es decir, dos estados pertenecen al mismo elemento de la particin si, y slo si, o o tales estados se comunican. De este modo el espacio de estados de una cadena de Markov se subdivide en clases de comunicacin. A la clase de o comunicacin de un estado i o se le denotar por C(i). Por a lo tanto, i j si, y slo si, o C(i) = C(j).
Accesibilidad i j
Comunicacin o i j
Figura 3.9:
C(i)
C(j) S
Particin de un espacio de estados o en clases de comunicacin o
Figura 3.10: Ejemplo. La cadena de Markov con espacio de estados {0, 1, 2, 3} y matriz de probabilidades de transicin que se muestra en la Figura 3.11 tiene tres clases de comunio cacin que son C(0) = {0}, C(1) = {1, 2} y C(3) = {3}. Es evidente que el estado o 0 se comunica consigo mismo pues existe una echa que parte de tal estado y llega
39
a l mismo. Visualmente tampoco hay duda de que la segunda coleccin de estados e o es una clase de comunicacin. Para la clase C(3) no existe una conexin f o o sica del estado 3 consigo mismo, sin embargo, por denicin p33 (0) = 1, y ello hace que o esta clase de unicamente un estado sea de comunicacin. Observe que estas clases o de comunicacin conforman una particin del espacio de estados. o o
C(0) 1 1/2 P = 0 1/2 0 0 1/2 0 0 1/2 1/2 1/2 0 0 0 0 0 1
C(1)
3 C(3)
Figura 3.11:
Ejercicio. Dibuje un diagrama de transicin e identique las clases de comunicacin o o para las siguientes cadenas de Markov. a) P =
0.3 0.4 0.5 0 0.6 0 0.7 0 0.5 0 0.2
Ejercicio. Cul es el n mero mximo y m a u a nimo de clases de comunicacin que o puede existir para una cadena de Markov de n estados? Dibuje un diagrama de transicin ilustrando cada una de estas dos situaciones. o El estado i de una cadena de Markov se llama absorbente si pii (1) = 1. Por ejemplo, el estado 0 de la cadena de la Figura 3.11 es absorbente. Denicin. Se dice que una cadena de Markov es irreducible si todos los estao dos se comunican entre s .
0.4 0.6 b) P = 0 0
0 0
0 0 1 0.3
0.8 0 0 0.7
40
3.5. Clases cerradas
En otras palabras, una cadena de Markov es irreducible si existe slo una clase de o comunicacin, es decir, si la particin generada por la relacin de comunicacin o o o o es trivial. Por ejemplo, la cadena de racha de xitos o la cadena de la caminata e aleatoria son cadenas irreducibles pues todos los estados se comunican entre s La . cadena de la Figura 3.11 no es irreducible pues no se cumple que todos los estados se comuniquen. Ejercicio. Dibuje el diagrama de transicin de una cadena de Markov que sea o a) nita e irreducible. b) nita y reducible. c) innita e irreducible. d) innita y reducible.
3.5.
Clases cerradas
Las clases cerradas son subconjuntos de estados de una cadena de Markov que cumplen la propiedad de que partiendo de cualquiera estado de este subconjunto, no se puede pasar a cualquier otro estado fuera del subconjunto. Esa propiedad hace a este subconjunto de estados un subsistema propio de la cadena de Markov. Denicin. Una coleccin de estados no vac C es cerrada si ning n estao o a u do fuera de C es accesible desde alg n estado dentro de C , es decir, si para u cualquier i C y j C , i j. / / Por ejemplo, si i es un estado absorbente, entonces la coleccin {i} es claramente o una clase cerrada. Como un ejemplo adicional considere cualquier clase de comunicacin recurrente. Es claro que esta clase es cerrada pues de lo contrario, si i C o y j C con C recurrente, e i j, entonces necesariamente j i pues hemos / supuesto que i es recurrente. Por lo tanto i j, y entonces j C , contrario a la hiptesis j C . Por lo tanto no es posible salir de una clase de comunicacin o / o recurrente. El siguiente resultado es una especie de rec proco de lo que acabamos de mencionar. Proposicin. Toda coleccin de estados que es cerrada e irreducible es una clase o o de comunicacin. o
41
Demostracin. Sea C una coleccin no vac de estados que es irreducible y cerrada, o o a y sea i C . Entonces C C(i) pues como C es irreducible, todos sus estados se comunican y por lo tanto deben pertenecer a la misma clase de comunicacin. o Como C es cerrada, no es posible salir de tal coleccin, de modo que la diferencia o C(i) C es vac si existiera j C(i) C , entonces i j, lo cual contradice el a, supuesto de que C es cerrada. Por lo tanto C = C(i).
3.6.
Periodo
El periodo es un n mero entero no negativo que se calcula para cada estado de u una cadena. Una interpretacin de este n mero ser mencionada ms adelante y o u a a aparecer tambin dentro de los enunciados generales sobre el comportamiento a e l mite de cadenas de Markov. Denicin. El periodo de un estado i es un n mero entero no negativo denoo u tado por d(i), y denido como sigue: d(i) = m.c.d. {n 1 : pii (n) > 0}, en donde m.c.d. signica mximo comn divisor. Cuando pii (n) = 0 para toda a u n 1, se dene d(i) = 0. En particular, se dice que un estado i es aperidico o si d(i) = 1. Cuando d(i) = k 2 se dice que i es peridico de periodo k. o Por ejemplo, considere una cadena de Markov con diagrama de transicin como en o la Figura 3.12. Es fcil comprobar que d(0) = 1, d(1) = 2, d(2) = 2 y d(3) = 0. a
Figura 3.12: Ejercicio. Dibuje un diagrama de transicin, determine las clases de comunicacin o o y calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov.
42
1/4 0 P = 0 0
3.6. Periodo
0 0 0 0 1/5 0 0 0 0 1/5 0 1 0 1 1/5 0 0 1/2 0 1/5 1 0 1/2 0 1/5
a)
1/4 1/2 0 0
1/4 1/2 0 1
1/4 0 1 0
Demostraremos a continuacin que el periodo es una propiedad de clase, es decir, o todos los estados de una misma clase de comunicacin tienen el mismo periodo. o De este modo uno puede hablar de clases de comunicacin peridicas, o clases o o aperidicas. o Proposicin. Si los estados i y j pertenecen a la misma clase de comunicacin, o o entonces tienen el mismo periodo.
b) P =
Demostracin. Claramente el resultado es vlido para i = j. Suponga entonces que o a i y j son distintos. Como los estados i y j estn en la misma clase de comunicacin, a o existen enteros n 1 y m 1 tales que pij (n) > 0 y pji (m) > 0. Sea s 1 un entero cualquiera tal que pii (s) > 0. Tal entero existe pues pii (n + m) pij (n) pji (m) > 0. Esto quiere decir que d(i)|s. Adems pjj (n + m + s) pji (m) pii (s)pij (n) > 0. a Anlogamente, pjj (n + m + 2s) pji (m) pii (2s) pij (n) > 0. Por lo tanto d(j)|(n + a m + s) y d(j)|(n + m + 2s). Entonces d(j) divide a la diferencia (n + m + 2s) (n + m + s) = s. Por lo tanto, todo entero s 1 tal que pii (s) > 0 cumple d(j)|s. Pero d(i) divide a s de manera mxima, por lo tanto d(i) d(j). De manera anloga, a a escribiendo i por j, y j por i, se obtiene d(j) d(i). Se concluye entonces que d(i) = d(j). El rec proco del resultado anterior es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Puede usted dar un ejemplo de tal situacin? El siguiente resultado establece que despus de un o e n mero sucientemente grande de pasos, con probabilidad positiva toda cadena u puede regresar a cada estado i cada d(i) pasos. Esta es la razn por la que a tal o n mero se le llama periodo. u Proposicin. Para cada estado i, existe un entero N tal que para toda n N , o se cumple pii (nd(i)) > 0.
Demostracin. Si pii (n) = 0 para cada n 1, entonces d(i) = 0 y por lo tanto la o
43
armacin es vlida pues pii (0) = 1, sin embargo la interpretacin de recurrencia o a o peridica no se aplica en este caso. Suponga entonces que n1 , . . . , nk son enteros o tales que pii (n1 ) > 0, . . ., pii (nk ) > 0. Sea d = m.c.d.{n1 , . . . , nk } d(i). Como d(i) es divisor de cada entero n1 , . . ., nk , se tiene que d(i)|d, y por lo tanto existe un entero q tal que qd(i) = d. Ahora se hace uso del siguiente resultado cuya demostracin puede encontrarse en [19]. o Sean n1 , . . . , nk enteros no negativos y sea d = m.c.d.{n1 , . . . , nk }. Entonces existe un entero M tal que para cada m M existen enteros no negativos c1 , . . . , ck tales que md = c1 n1 + + ck nk . Entonces existe un entero no negativo M tal que para cada m M , md = c1 n1 + + ck nk , para algunos enteros c1 , . . . , ck , y por lo tanto pii (md) = pii (c1 n1 + + ck nk ) pii (c1 n1 ) pii (ck nk ) > 0. Por lo tanto, para cada m M , pii (md) = pii (mqd(i)) > 0. Dena N = M q. Se puede entonces concluir que para toda n N , pii (nd(i)) > 0. Como corolario de la proposicin anterior se tiene el siguiente resultado: Si es o posible pasar de i a j en m pasos, entonces tambin es posible tal transicin en e o m + nd(j) pasos con n sucientemente grande, suponiendo d(j) > 0. Proposicin. Si pij (m) > 0 para alg n entero m, entonces existe un entero N o u tal que para toda n N se cumple pij (m + nd(j)) > 0. Demostracin. Por el resultado anterior, para n sucientemente grande, se tiene o que pij (m + nd(j)) pij (m) pjj (nd(j)) > 0.
3.7.
Primeras visitas
En ocasiones interesa estudiar el primer momento en el que una cadena de Markov visita un estado particular o un conjunto de estados. Deniremos a continuacin o este tiempo aleatorio y despus demostraremos una frmula util que lo relaciona e o con las probabilidades de transicin. o
44
3.7. Primeras visitas
Denicin. Sea A un subconjunto del espacio de estados de una cadena de o Markov Xn . El tiempo de primera visita al conjunto A es la variable aleatoria A = m {n 1 : Xn A} n si Xn A para alg n n 1, u otro caso.
Es decir, A es el primer momento positivo en el cual la cadena toma un valor dentro de la coleccin de estados A, si ello eventualmente sucede. Estaremos interesados o principalmente en el caso cuando el conjunto A consta de un solo estado j, y si suponemos que la cadena inicia en i, entonces el tiempo de primera visita al estado j se escribe ij . Cuando i = j se escribe simplemente i . En general no es fcil a encontrar la distribucin de probabilidad de esta variable aleatoria, los siguientes o ejemplos, sin embargo, son casos particulares sencillos. Ejemplo. Considere la cadena de Markov de dos estados. Es inmediato comprobar que b) P (00 = n) = a(1 b)n2 b, para n = 2, 3, . . . Ejemplo. Para la cadena de racha de xitos se tiene que e a) P (01 = n) = q n1 p para n = 1, 2, . . . b) P (00 = n) = pn1 q para n = 1, 2, . . . Ejercicio. Demuestre las siguientes igualdades. a) P (ij = 1) = pij (1). b) P (ij = 2) =
k=j
a) P (01 = n) = (1 a)n1 a, para n = 1, 2, . . .
pik (1) pkj (1). pik (1) P (kj = n),

k=j
c) P (ij = n + 1) =
para n 1.
45
Denicin. Para cada n 1, el n mero fij (n) denota la probabilidad de que o u una cadena que inicia en el estado i, llegue al estado j por primera vez en exactamente n pasos, es decir, fij (n) = P (ij = n). Adicionalmente se dene fij (0) = 0, incluyendo el caso i = j. Otra forma equivalente de escribir a la probabilidad de primera visita es a travs e de la expresin fij (n) = P (Xn = j, Xn1 = j, . . . , X1 = j | X0 = i). En particular, o observe que fii (n) es la probabilidad de regresar por primera vez al mismo estado i en el n-simo paso, y que fii (1) es simplemente pii . El uso de la letra f para esta e probabilidad proviene el trmino en ingls rst para indicar que es la probabilidad e e de primera visita, saber esto ayuda a recordar su signicado. El siguiente resultado establece que la probabilidad de visitar el estado j, a partir de i, en n pasos, puede descomponerse en las probabilidades de los eventos disjuntos en los que se presenta la primera visita, la cual puede efectuarse en el primer paso, o en el segundo paso, y as sucesivamente, hasta el ultimo momento posible n. Proposicin. Para cada n 1, o
n
pij (n) =
k=1
fij (k) pjj (n k).
(3.2)
Demostracin. La prueba se basa en la siguiente descomposicin que involucra o o eventos disjuntos. Se usa adems la propiedad de Markov. a pij (n) = =
k=1 n
P (Xn = j | X0 = i)
n
P (Xn = j, Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) P (Xn = j | Xk = j) P (Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) pjj (n k) fij (k).
=
k=1 n
=
k=1
46
3.8. Recurrencia y transitoriedad
Ejercicio. Use (3.2) para demostrar que para cada n 1, se cumple la desigualdad pij (n) P (ij n).
3.8.
Recurrencia y transitoriedad
Veremos a continuacin que los estados de una cadena de Markov pueden ser clasio cados, en una primera instancia, en dos tipos, dependiendo si la cadena es capaz de regresar con certeza al estado de partida. Denicin. (I) Se dice que un estado i es recurrente si la probabilidad de o eventualmente regresar a i, partiendo de i, es uno, es decir, si P (Xn = i para alguna n 1 | X0 = i) = 1. Un estado que no es recurrente se llama transitorio, y en tal caso la probabilidad anterior es estrictamente menor a uno. De manera intuitiva, un estado es recurrente si con probabilidad uno la cadena es capaz de regresar eventualmente a ese estado, y cuando ello ocurre en alg n mou mento nito, por la propiedad de Markov, se puede regresar a l una y otra vez con e probabilidad uno. Debido a este comportamiento es que al estado en cuestin se le o llama recurrente. En cambio, el estado se llama transitorio si existe una probabilidad positiva de que la cadena, iniciando en l, ya no regrese nunca a ese estado. En e trminos de las probabilidades de primera visita, la probabilidad de una eventual e visita al estado j, a partir del estado i, es el n mero u fij =
n=1
fij (n).
Recordemos que fij (n) es la probabilidad de que la primera visita al estado j, a partir de i, se efect e exactamente en el paso n. Siendo estos eventos disjuntos u para valores distintos de n, esta suma representa la probabilidad de una posible visita al estado j. De este modo la denicin de recurrencia y transitoriedad puede o enunciarse de manera equivalente de la siguiente forma.
47
Denicin. (II) Un estado i es recurrente si fii = 1, es decir, si la probabilidad o de regresar a l en un tiempo nito es uno. Anlogamente, un estado i es e a transitorio si fii < 1. Adems de la denicin, tenemos el siguiente criterio util para determinar si un a o estado es recurrente o transitorio. Proposicin. (Criterio para la recurrencia) El estado i es o 1. recurrente si, y slo si o 2. transitorio si, y slo si o
n=1 n=1
pii (n) = . pii (n) < .
Demostracin. Sea Ni la variable aleatoria que cuenta el n mero de veces que el o u proceso regresa al estado i, es decir, Ni = n=1 1(Xn =i) , cuando X0 = i. Entonces Ni tiene una distribucin geomtrica pues para k 1, o e P (Ni k | X0 = i) = =
m=1 m=1 m=1
P (Ni k, Xm = i, Xm1 = i, . . . , X1 = i | X0 = i) P (Ni k | Xm = i, Xm1 = i, . . . , X1 = i, X0 = i) P (Xm = i, Xm1 = i, . . . , X1 = i | X0 = i) P (Ni k 1 | X0 = i) fii (m)
= P (Ni k 1 | X0 = i) fii . . . = P (Ni 1 | X0 = i) (fii )k1 = (fii )k . La esperanza de Ni , posiblemente innita, puede calcularse de las siguientes dos
48
formas. Primero,
E(Ni | X0 = i) = =
k=1 k=1
P (Ni k | X0 = i) (fii )k si 0 fii < 1, si fii = 1.
Por otro lado, por el teorema de convergencia montona, o E(Ni | X0 = i) = = =

n=1 n=1 n=1
fii 1 fii =
E(1(Xn =i) | X0 = i) P (Xn = i | X0 = i) pii (n).
El resultado se sigue de igualar estas dos expresiones. Siguiendo con la notacin de la demostracin anterior, observe que la esperanza o o E(Ni | X0 = i) es el n mero promedio de retornos al estado i, de modo que un u estado i es recurrente si, y slo si, el n mero promedio de retornos a l es innito. o u e En contraparte, un estado i es transitorio si, y slo si, el n mero promedio de o u retornos a l es nito. e Ejemplo. Considere una caminata aleatoria sobre Z. En el primer cap tulo demos tramos que n=0 f00 (n) = 1 |p q|. De aqu hemos concluido que el estado 0 es recurrente en el caso simtrico. Siendo la cadena irreducible, la cadena toda es recue rrente. Alternativamente, hemos encontrado tambin la frmula pii (n) = 12n 21 , e o n 2 para n par. Estimando los factoriales mediante la frmula de Stirling, puede como probarse que p00 (n) = , conrmando nuevamente la recurrencia del estado n=0 0 y de la cadena, en el caso simtrico. La cadena es transitoria cuando es asimtrica. e e
49
Demostraremos a continuacin que la recurrencia y la transitoriedad son propieo dades de clase, es decir, si dos estados estn en una misma clase de comunicacin, a o entonces ambos estados son recurrentes o ambos son transitorios. Proposicin. La recurrencia es una propiedad de clase, es decir, o 1. Si i es recurrente e i j, entonces j es recurrente. 2. Si i es transitorio e i j, entonces j es transitorio.
Demostracin. Como i j, existen enteros n 1 y m 1 tales que pij (n) > 0 o y pji (m) > 0. Entonces pjj (m + n + r) pji (m) pii (r) pij (n). De modo que, por la ecuacin de Chapman-Kolmogorov, o
r=1
pjj (m + n + r) pji (m)
r=1
pii (r) pij (n).
Si i es recurrente, la suma del lado derecho es innita. Se sigue entonces que la suma del lado izquierdo tambin lo es, es decir, j es recurrente. La segunda armacin e o se demuestra fcilmente por contradiccin usando el primer resultado. a o En consecuencia, cuando una cadena es irreducible y alg n u estado es recurrente, todos los estados estados estados lo son, y se dice que la recurrentes transitorios cadena es recurrente. Tambin e puede presentarse la situacin o en donde el espacio de estados Descomposicin del espacio de estados o conste de varias clases de coFigura 3.13: municacin recurrentes, en tal o caso la cadena tambin se llae ma recurrente. En contraparte, una cadena es transitoria si todos los estados lo son, ya sea conformando una sola clase de comunicacin de estados transitorios o o varias de ellas. De este modo el espacio de estados de una cadena de Markov puede descomponerse en dos subconjuntos ajenos de estados, aquellos que son transitorios y aquellos que son recurrentes. Tal particin se muestra en la Figura 3.13. o Cada uno de estos subconjuntos puede constar de ninguna, una o varias clases de comunicacin. o
50
Ejemplo. La cadena de dos estados es irreducible y recurrente cuando a, b (0, 1). En efecto, tenemos que f00 (1) = 1 a, y f00 (n) = a(1 b)n2 b para n 2. Por lo tanto, f00 =
n=1
f00 (n) = (1 a) + ab
n=2
(1 b)n2 = (1 a) +
ab = 1. b
Ejemplo. Considere la cadena de rachas de xitos. En este caso es sencillo demostrar e que el estado 0 es recurrente pues f00 =
n=1
f00 (n) = q(1 + p + p2 + ) =
q = 1. 1p
Dado que la cadena es irreducible y la recurrencia es una propiedad de clase, cualquier otro estado es recurrente. Por lo tanto, la cadena es recurrente. Ejercicio. Determine las clases de comunicacin de las siguientes cadenas de Maro kov y clasique stas como recurrentes o transitorias. e a) P =
1/2 0 0 1/2 1/2 1/2 0 1/2 1/2 1/2
Ejercicio. Dibuje un diagrama de transicin de una cadena de Markov tal que: o a) todos sus estados sean recurrentes. b) todos sus estados sean transitorios. c) tenga igual n mero de estados transitorios y recurrentes. u Veremos a continuacin algunos ejemplos de aplicacin del criterio anterior. o o Proposicin. Sea j un estado transitorio. Para cualquier estado inicial i, se o cumple que n=1 pij (n) < . En consecuencia, l pij (n) = 0. m
n
0 b) P = 0
1/4
1/2 1/2 1/2 1/4
0 1/2 1/2 1/4
0 0 0 1/4
Cap tulo 3. Cadenas de Markov Demostracin. Usando (3.2), por el teorema de Fubini, o
n=1
51
pij (n)
= =
n1
n=1 k=0 k=0 m=1
fij (n k) pjj (k) = fij (m) pjj (k) = fij
k=0 n=k+1 k=0
fij (n k) pjj (k)

k=0
pjj (k)
pjj (k) < .
Proposicin. Toda cadena de Markov nita tiene por lo menos un estado recuo rrente. Demostracin. Por contradiccin, suponga que todos los estados son transitorios. o o Entonces para cualesquiera estados i y j, se cumple pij (n) < . Sumando n=1 sobre el conjunto nito de todos los posibles estados j se obtiene j n=1 pij (n) < . Por otro lado, intercambiando el orden de las sumas se llega a la armacin o contraria, pij (n) = 1 = . Por lo tanto es errneo suponer que o n=1 j n=1 todos los estados son transitorios, debe existir por lo menos uno que es recurrente.
En consecuencia, toda cadena nita e irreducible es recurrente. Ms adelante dea mostraremos que en tal caso, con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces.
3.9.
Tiempo medio de recurrencia
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a l una innidad de veces con probabilidad uno. Y hemos denido el e tiempo de primera visita a un estado j, a partir de cualquier estado i, como la variable aleatoria discreta ij = m {n 1 : Xn = j | X0 = i}, con la posibilidad n de que tome el valor innito. Vamos a denir el tiempo medio de recurrencia como la esperanza de esta variable aleatoria en el caso cuando el estado a visitar es recurrente.
52
3.10. Numero de visitas
Denicin. El tiempo medio de recurrencia de un estado recurrente j, a partir o del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij = E(ij ) =
n=1
nfij (n).
Recordemos que cuando el tiempo de primera visita se reere al mismo estado de inicio y de llegada j, se escribe j en lugar de jj . En este caso el tiempo medio de recurrencia se escribe simplemente como j . Esta esperanza puede ser nita o innita, y representa el n mero de pasos promedio que a la cadena le toma regresar u al estado recurrente j. Ejemplo. La cadena de Markov de dos estados es irreducible y recurrente cuando a, b (0, 1). Vamos a calcular los tiempos medios de recurrencia de estos dos estados. Tenemos que f00 (1) = 1 a, y f00 (n) = a(1 b)n2 b para n 2. Por lo tanto, 0 =
n=1
nf00 (n) = = =
(1 a) + ab
n=2
n(1 b)n2
(1 a) + ab (
b+1 ) b
a+b . b De manera anloga, o bien intercambiando los valores de a y b, se encuentra que a 1 = (a+b)/a. Observe que 1/0 +1/1 = 1, ms adelante explicaremos la razn de a o ello. Observe tambin que estos dos tiempos medios de recurrencia son, en general, e distintos. Esto ejemplica el hecho de que los tiempos medios de recurrencia no son necesariamente idnticos para cada elemento de una misma clase de comunicacin e o recurrente.
3.10.
N mero de visitas u
En esta seccin vamos a estudiar la variable aleatoria que registra el n mero de o u visitas que una cadena realiza sobre un estado j a partir del estado i, es decir, para
Cap tulo 3. Cadenas de Markov cualquier tiempo nito n se dene la variable aleatoria
n
53
Nij (n) =
k=1
1(Xk =j) ,
cuando X0 = i.
Cuando los estados i y j coinciden, se escribe Ni (n) en lugar de Nii (n). Observe que 0 Nij (1) Nij (2) , es decir, se trata de una sucesin montona creciente o o de variables aleatorias no negativas que converge casi seguramente a la variable Nij =
k=1
1(Xk =j) ,
cuando X0 = i.
Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la diferencia cualitativa en el comportamiento de los estados transitorios respecto de los recurrentes. Proposicin. Para cualesquiera estados i y j, o 1. P (Nij k) = 2. P (Nij = k) = 1 fij (fjj )k1 si k = 0, si k 1. si k = 0, si k 1. fij = 0, 0 fjj < 1, fij = 0 y fjj = 1.
3. E(Nij ) =
n=1
4. P (Nij = ) = 5. P (Nij < ) =
1 fij fij (fjj )k1 (1 fjj ) si 0 fij si pij (n) = 1 fjj si 0 fij 1 1 fij
si j es transitorio, si j es recurrente. si j es transitorio, si j es recurrente.
Demostracin. o
54
3.10. Numero de visitas 1. La primera parte de esta igualdad es evidente. Para demostrar el caso k 1 se usa anlisis del primer paso, a P (Nij k) = = =
n=1
fij (n) P (Njj k 1)
fij P (Njj k 1) fij (fjj )k1 .
2. Este resultado se sigue de la primera frmula y de la igualdad P (Nij = k) = o P (Nij k) P (Nij k + 1). 3. Por el teorema de convergencia montona, o E(Nij ) = = = E(
n=1 n=1 n=1
1(Xn =j) | X0 = i)
E(1(Xn =j) | X0 = i) pij (n).
Por otro lado, usando la primera frmula o E(Nij ) = =

k=1 k=1
P (Nij k) fij (fjj )k1 si fij = 0, si 0 fjj < 1, si fij = 0 y fjj = 1.
4. Por la primera frmula, o
0 fij 1 fjj
k k
P (Nij = ) = = =
l P (Nij k) m 0 fij si j es transitorio, si j es recurrente.
l fij (fjj )k1 . m
Cap tulo 3. Cadenas de Markov 5. Esta probabilidad es el complemento de la anterior.
55
Distribucin de probabilidad de la variable Nij . La variable aleatoria discreta o Nij toma valores en el conjunto {0, 1, . . . , }. La funcin de probabilidad que o hemos encontrado para esta variable incluye los siguientes casos: a) Si fij = 0, entonces no es posible visitar j a partir de i, y por lo tanto P (Nij = 0) = 1, es decir la probabilidad se concentra completamente en el valor 0. b) Si fij > 0 y fjj = 1, es decir, si se puede pasar de i a j y j es recurrente, entonces para cualquier valor de k 1, P (Nij k) = fij , y por lo tanto P (Nij = ) = fij . Mientras que P (Nij = 0) = 1fij . Se trata entonces de una medida de probabilidad concentrada en los valores 0 e . c) Si fij > 0 y fjj < 1, es decir, si se puede pasar de i a j y j es transitorio, entonces la probabilidad se distribuye sobre los valores nitos 0, 1, . . . como indica la frmula 2. o Recurrencia, transitoriedad y n mero esperado de visitas. A partir de u estas frmulas podemos ahora distinguir el comportamiento del n mero de visitas o u en los casos cuando el estado j es transitorio o recurrente. a) Si j es transitorio, entonces sin importar el estado inicial i, con probabilidad uno la cadena realiza slo un n mero nito de visitas al estado j, esto es lo que o u dice la frmula 5, y el n mero esperado de visitas a tal estado es siempre nito o u por la frmula 3 con fjj < 1, es decir, E(Nij ) = n=1 pij (n) < . Por lo tanto, o encontramos nuevamente que l pij (n) = 0. m
n
b) Si j es recurrente, y si se inicia en j, entonces con probabilidad uno la cadena regresa a j una innidad de veces, esto es lo que dice la frmula 4 con fij = fjj = 1, o y el n mero esperado de visitas al estado j es innito. Si la cadena inicia en cualquier u otro estado i, entonces existe la posibilidad de que la cadena nunca visite j (fij = 0), y el n mero esperado de visitas es naturalmente cero (frmula 3 con fij = 0). Pero u o si la cadena visita j alguna vez (fij > 0), entonces regresar a j una innidad de a veces, y el n mero esperado de visitas al estado j es innito por la frmula 3 con u o fij > 0 y fjj = 1. Anteriormente hab amos demostrado un criterio para la transitoriedad y la recurrencia del estado i en trminos de la convergencia o divergencia de la serie e pii (n). En vista de la frmula 3 ahora podemos corroborar que un estado i o n=1
56
es recurrente si, y slo si, el n mero de regresos a l es innito, y es transitorio o u e si, y slo si, el n mero de regresos es nito. Tambin en particular, la frmula 4 o u e o demuestra que toda cadena de Markov irreducible y recurrente, visita cada uno de sus estados una innidad de veces con probabilidad uno. Ejemplo. La cadena de racha de xitos es irreducible y recurrente. Por lo tanto con e probabilidad uno visita cada uno de sus estados una innidad de veces. Ejemplo: El problema del mono. Suponga que un mono escribe caracteres al azar en una mquina de escribir. Cul es la probabilidad de que eventualmente el mono a a escriba exactamente, y sin ning n error, las obras completas de Shakespeare? Puede u encontrarse la respuesta a esta pregunta de varias formas [30]. Usaremos la teor a de cadenas de Markov para demostrar que esta probabilidad es uno. Imaginemos entonces que un mono escribe caracteres al azar en una mquina de escribir, y que a lo hace de manera continua generando una sucesin lineal de caracteres. Cada uno o de los caracteres tiene la misma probabilidad de aparecer y se genera un caracter independientemente de otro. Sea m el total de caracteres disponibles que se pueden imprimir, y sea N la longitud de caracteres de los cuales consta las obras completas de Shakespeare. Sea Xn el n mero de caracteres correctos obtenidos inmediatamenu te antes e incluyendo el ultimo momento observado n, es decir, se trata de un mo delo de rachas de xitos. Es claro que las variables Xn toman valores en el conjunto e {0, 1, 2, . . . , N }, y dado que los caracteres se generan de manera independiente, el valor de Xn+1 depende unicamente del valor de Xn y no de los anteriores, es decir, se trata efectivamente de una cadena de Markov. Considerando entonces un conjunto de s mbolos de m caracteres se tiene que P (Xn+1 = x + 1 | Xn = x) = 1/m, y P (Xn+1 = 0 | Xn = x) = (m 1)/m. El primer caso corresponde a obtener el caracter correcto al siguiente tiempo n + 1, y denotaremos a la probabilidad de tal evento por p. La segunda igualdad reeja la situacin de cometer un error en el o siguiente caracter generado cuando ya se hab obtenido x caracteres correctos, an tal probabilidad ser denotada por q. Las posibles transiciones de un estado a otro a y las correspondientes probabilidades se muestran en la Figura 3.14. Tcnicamente e existen algunas otras posibles transiciones de algunos estados en otros, pero ello no modica substancialmente el comportamiento cualitativo del modelo. Como puede observarse, se trata de una matriz nita e irreducible pues todos los estados se comunican. Por lo tanto es recurrente. Entonces con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces. En particular, cada vez que la cadena visita el estado N el mono concluye una sucesin exitosa o de caracteres, y ello suceder una innidad de veces con probabilidad uno. a
57
0 P = q q . . . q q p 0 . . . 0 p 0 p . . . 0 0 0 0 0 0 0 0 . . . p 0
Figura 3.14:
Teorema ergdico para cadenas de Markov. Para cualesquiera estados i o y j de una cadena de Markov irreducible se cumple que l m Nij (n) 1 = n j c.s. (3.3)
siendo este l mite cero cuando j = . Demostracin. Si la cadena es transitoria, entonces ambos lados de la igualdad se o anulan. Suponga que la cadena es recurrente. El tiempo de primera visita al estado j a partir de i es ij = m {n 1 : Xn = j | X0 = i}. Dada la recurrencia e n irreducibilidad, P (ij < ) = 1, y entonces para cualquier n 1 se cumple la identidad Nij (ij + n) = 1 + Njj (n).
58
Por lo tanto es suciente demostrar la convergencia para Njj (n)/n pues Nij (ij + n) ij + n 1 + Njj (n) = l m n ij + n Njj (n) n = l m n n ij + n Njj (n) = l m . n n Sea Y (k) la variable que registra el n mero de pasos que transcurren entre la visita u k 1 y la visita k que la cadena realiza al estado j. Sabemos que el tiempo medio de recurrencia es E(Y (k)) = j , para j = 1, 2, . . ., y usando la propiedad fuerte de Markov puede demostrarse que las variables Y (1), Y (2), . . . son independientes. Se tienen entonces las siguientes estimaciones
n
l m
Nij (n) n
l m
Y (1) + + Y (Njj (n)) n Y (1) + + Y (Njj (n) + 1) . Njj (n) Njj (n) Njj (n) Por la recurrencia, Njj (n) , cuando n , de modo que por la ley de los grandes n meros, los dos extremos de esta desigualdad convergen a j casi u seguramente. Por lo tanto,
n
l m
Njj (n) 1 = n j
c.s.
Interpretacin: Para una cadena de Markov irreducible, el n mero j = 1/j o u es el tiempo promedio que la cadena permanece en el estado j a largo plazo. Tomando esperanza en (3.3), por el teorema de convergencia dominada, y para una cadena irreducible, se cumple que E( l m
n
Nij (n) ) n
1 E(Nij (n)) n n 1 = l m pij (k) n n =

n
l m
k=1
1 . j
59
En particular, cuando el tiempo medio de recurrencia j es innito, y a n ms u a particularmente cuando el estado j es transitorio, se tiene que l m 1 n
n
pij (k) = 0.
k=1
3.11.
Recurrencia positiva y nula
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a l una innidad de veces con probabilidad uno. Sin embargo, esta recue rrencia puede presentarse de dos formas: cuando el tiempo promedio de retorno es nito o cuando es innito. Esto lleva a la denicin de recurrencia positiva y o recurrencia nula respectivamente. Consideremos entonces que j es un estado recurrente. El tiempo de primera visita a este estado, a partir de cualquier otro estado i, es la variable aleatoria discreta ij = m {n 1 : Xn = j | X0 = i}. Recordemos n que cuando el tiempo de primera visita se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i en lugar de ii . La esperanza de esta variable aleatoria es naturalmente el tiempo medio de recurrencia. Denicin. El tiempo medio de recurrencia de un estado recurrente j, a partir o del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij = E(ij ) =
n=1
nfij (n).
Nuevamente cuando el tiempo medio de recurrencia se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i . Como hemos mencionado, esta esperanza puede ser nita o innita, y ello lleva a la siguiente clasicacin de estados recurrentes. o Denicin. Se dice que el estado recurrente i es o a) recurrente positivo si i < . b) recurrente nulo si i = .
60
3.11. Recurrencia positiva y nula
Demostraremos a continuacin que la recurrencia positiva y la recurrencia nula son o propiedades de las clases de comunicacin. Es decir, dos estados en una misma clase o de comunicacin recurrente, son ambos recurrentes positivos o recurrente nulos. o Proposicin. (La recurrencia positiva o nula es una propiedad de clase). o Sea i un estado recurrente. Entonces a) si i es recurrente positivo e i j, entonces j es recurrente positivo. b) si i es recurrente nulo e i j, entonces j es recurrente nulo. Demostracin. Observe que es suciente demostrar cualquiera de estas armacioo nes. Demostraremos la primera. Suponga que i es un estado recurrente positivo, es decir, i es recurrente y es tal que i < . Como i j, se tiene que j es tambin un e estado recurrente. Adems existen enteros no negativos n y m tales que pij (n) > 0 a y pji (m) > 0. Entonces para cualquier entero natural k, pjj (n + m + k) pji (m) pii (k) pij (n). Sumando para k = 1, . . . , N , y dividiendo entre N , 1 N
N N
k=1
pjj (n + m + k) pji (m)
1 N
pii (k) pij (n).

k=1
Haciendo N se obtiene
1 1 pji (m) pij (n) > 0. j i
Por lo tanto tambin j es nito, es decir, j es recurrente positivo. e De esta forma, el espacio de estados de toda cadena de Markov puede descomponerse en tres grandes subconjuntos de estados: transitorios, recurrentes positivos y recurrentes nulos. Esto se muestra en la Figura 3.15. Cada una de estas colecciones de estados puede estar constituida por ninguna, una, o varias clase de comunicacin. o Ejemplo. En el primer cap tulo demostramos que para la caminata aleatoria sobre Z, el tiempo promedio de regreso al estado 0 es 0 = 4pq n f00 (n) = . 1 4pq n=0
61
estados transitorios
estados recurrentes nulos
estados recurrentes positivos
Descomposicin del espacio de estados o
Figura 3.15: En el caso simtrico, es decir, en el caso en el que la cadena es recurrente, este e cociente se hace innito. Esto demuestra que el estado 0 es recurrente nulo, y por lo tanto la cadena entera es recurrente nula. Ejemplo. Demostraremos ahora que la cadena de Markov de rachas de xitos es e recurrente positiva. Recordemos que dicha cadena es irreducible y recurrente. Comprobaremos que el tiempo medio de recurrencia del estado 0 es nito. En efecto, 0 =
n=1
n f00 (n) =
n=1
n (1 p)pn1 = (1 p)
n=1
n pn1 =
1 < . 1p
Esto demuestra que el estado 0 es recurrente positivo y siendo la cadena irreducible, es recurrente positiva. Por lo tanto el tiempo medio de recurrencia de cada estado es nito. Hemos aprovechado la facilidad del clculo de las probabilidades a de primer regreso al estado 0. Se ha demostrado antes que toda cadena nita tiene por lo menos un estado recurrente. Demostraremos ahora que para cadenas nitas slo puede haber dos tipos o de estados: transitorios o recurrentes positivos. Proposicin. No existen estados recurrentes nulos en cadenas de Markov nitas. o
Demostracin. Sea j un estado recurrente y sea C su clase de comunicacin. La o o clase C es cerrada y adems es nita pues la cadena completa lo es. Demostraremos a
62
3.12. Evolucion de distribuciones
que j < . Para cualquier i C, y k natural, pij (k) = 1.

jC
Entonces 1 n
n
pij (k) =
k=1 jC jC
1 n
pij (k) = 1.
k=1
Haciendo n , por el teorema ergdico aplicado a la clase cerrada C se obtiene o

jC
1 = 1. j
Para que esta suma sea uno debe existir por lo menos un valor de j en C tal que j < , pues de lo contrario cada sumando ser cero y la suma total no a podr ser uno. Por lo tanto existe un estado j que es recurrente positivo. Dado a que la recurrencia positiva es una propiedad de clase, todos los elementos de C son recurrentes positivos. Observe que en particular, todos los estados de una cadena nita e irreducible son recurrentes positivos.
3.12.
Evolucin de distribuciones o
Una matriz estocstica establece una dinmica en el conjunto de las distribucioa a nes de probabilidad denidas sobre el espacio de estados de la correspondiente cadena de Markov. Para explicar la situacin de manera simple consideraremos un o espacio de estados nito {0, 1, . . . , N }, y una distribucin de probabilidad inicial o (0) = (0 (0), 1 (0), . . . , N (0)). Despus de transcurrida la primera unidad de e tiempo, la cadena se encuentre en cualquiera de sus posibles estados de acuerdo a la distribucin (1) = (0 (1), 1 (1), . . . , N (1)), en donde la j-sima entrada de o e
Cap tulo 3. Cadenas de Markov este vector es j (1) = =

i=0
63
P (X1 = j)
N
P (X1 = j | X0 = i)P (X0 = i)
= =
0 (0) p0j + 1 (0) p1j + + N (0) pN j ((0) P )j .
Es decir, (1) se obtiene a partir de (0) y de la matriz de probabilidades de transicin P a travs de la frmula (1) = (0) P , o e o A su vez la distribucin (1) se transforma en (2) a travs de la ecuacin (2) = o e o (1) P = (0) P 2 , y as sucesivamente. En general, (n + 1) = (n) P = (0) P n+1 . De esta forma se obtiene una sucesin innita de distribuciones de probabilidad o (0), (1), (2), . . ., en donde cada una de ellas, excepto la primera, es obtenida de la anterior multiplicada por la derecha por la matriz de probabilidades de transicin o en un paso. Por ejemplo, considere la matriz estocstica a P =
0 0 1/2 1 0 1/2 0 1 0
(0 (1), . . . , N (1)) = (0 (0), . . . , N (0))
p00 . . . pN0
p0N . . . . pNN
con distribucin inicial (0) = (0.1, 0, 0.9). Las subsecuentes distribuciones se calo culan a continuacin y las grcas aparecen en la Figura 3.16. o a (1) = (2) = (3) = (4) = . . . (0) P 1 = (0.45, 0.55, 0) (0) P 2 = (0, 0.45, 0.55) (0) P 3 = (0.275, 0.275, 0.45) (0) P 4 = (0.225, 0.5, 0.275)
Es natural preguntarse si existe alg n l u mite para esta sucesin de distribuciones. o En las siguientes secciones estudiaremos tal problema y encontraremos condiciones
64
3.13. Distribuciones estacionarias
(0)
(1)
(2)
(3)
(4)
0 1 2
0 1 2
0 1 2
0 1 2
0 1 2
Figura 3.16: bajo las cuales existe un unico l mite para esta sucesin. Estudiaremos a continuao cin el caso particular cuando la distribucin inicial no cambia al ser multiplicada o o por la derecha por P . A tales distribuciones se les llama estacionarias o invariantes en el tiempo.
3.13.
Distribuciones estacionarias
Denicin. Una distribucin de probabilidad = (0 , 1 , . . .) es estacionaria o o o invariante para una cadena de Markov con probabilidades de transicin pij o si j = i pij .
i
En trminos matriciales, es estacionaria si = P . e La condicin = P tiene como consecuencia el hecho de que para cualquier o n mero natural n 1, se cumpla que = P n , es decir, es tambin una u e distribucin estacionaria para la matriz P n . Esto signica que si la variable aleatoria o inicial X0 tiene esa distribucin , entonces la distribucin de Xn tambin es pues o o e P (Xn = j) = i i pij (n) = j , es decir, esta distribucin no cambia con el paso o del tiempo y por ello que se le llama estacionaria o invariante. Observe que el vector de ceros cumple la condicin = P , pero no correspono de a una distribucin de probabilidad. Los siguientes ejemplos muestran que las o distribuciones estacionarias pueden no ser unicas y pueden incluso no existir. Ejemplo: Existencia mltiple. Considere una cadena de Markov sobre el conjunto u
65
de estados {0, 1, 2} y con probabilidades de transicin dada por la siguiente matriz o P =

1 1/3 0 0 1/3 0 0 1/3 1
Es inmediato comprobar que el vector = (1 , 0, ) satisface el sistema de ecuaciones = P para cada con [0, 1]. Existen entonces una innidad de distribuciones estacionarias para esta cadena. Observe que el vector (1 , 0, ) se puede escribir como la combinacin lineal (1 )(1, 0, 0) + (0, 0, 1). o Ejemplo: No existencia. No existe ninguna distribucin estacionaria para la cao minata aleatoria simtrica simple sobre Z pues la condicin = P se trae o duce en el sistema de ecuaciones en diferencias j = j1 /2 + j+1 /2. O bien j+1 j = j j1 . Sumando estas ecuaciones puede encontrarse que para todo entero n 1, n+1 0 = n(1 0 ). El lado izquierdo es acotado mientras el lado derecho crece sin l mite cuando n es grande, a menos que 1 0 = 0. Esto demuestra que todas estas diferencias son cero, y por lo tanto j es constante para cualquier valor de j. Es decir, el vector constante es la solucin al sistema o de ecuaciones en diferencias planteado, pero ello es incompatible con la restriccin o j = 1. Por lo tanto no existe ninguna distribucin de probabilidad que cumo j pla la igualdad = P para esta cadena. Ejemplo: Existencia unica. La cadena de Markov de dos estados dada por la matriz P =
1a b a 1b
b a tiene una unica distribucin estacionaria dada por = (0 , 1 ) = ( a+b , a+b ), cuan o do a + b > 0. Cuando a = b = 0, la matriz resultante es la matriz identidad que acepta como distribucin estacionaria a cualquier distribucin de probabilidad soo o bre {0, 1}.
Observacin 1: Para encontrar una posible distribucin estacionaria de una cadena o o con matriz P , un primer mtodo consiste en resolver el sistema de ecuaciones e = P . Ms adelante expondremos una forma alternativa de buscar distribuciones a estacionarias para cadenas reversibles. Observacin 2: Suponga que y son dos distribuciones estacionarias distintas o para una matriz P . Entonces la combinacin lineal convexa + (1 ) , para o
66
[0, 1], tambin es una distribucin estacionaria pues e o
( + (1 ) ) P = P + (1 ) P = + (1 ) .
Por lo tanto, si existen dos distribuciones estacionarias distintas para una cadena, entonces existen una innidad de ellas. Observacin 3: Con base en las observaciones anteriores y en los ejemplos moso trados, slo hay tres situaciones sobre la existencia de distribuciones estacionarias o para una cadena de Markov cualquiera: a) No existe ninguna distribucin estacionaria. o b) Existe una distribucin estacionaria y es unica. o c) Existen una innidad de distribuciones estacionarias. Dadas estas consideraciones, es natural plantearse el problema de encontrar condiciones necesarias y sucientes para que una cadena tenga alguna distribucin o estacionaria. Primeramente demostraremos que cuando existe una distribucin eso tacionaria, sta tiene como soporte el conjunto de estados recurrentes positivos. e Proposicin. (Soporte de una distribucin estacionaria). Sea una distribucin o o o estacionaria. Si j es un estado transitorio o recurrente nulo, entonces j = 0.
Demostracin. Usaremos el hecho de que si j es un estado transitorio o recurrente o nulo, entonces para cualquier estado i,
n
l m
1 n
pij (k) = 0.
k=1
Como es una distribucin estacionaria, o j =

i
i pij i pij (k)

i
= = =
i
1 n
i pij (k)
k=1 i
i (
1 n
pij (k) )
k=1
67
Tomando el l mite cuando n , por el teorema de convergencia dominada, se obtiene n 1 pij (k) ) = 0. j = i ( l m n n i
k=1
El resultado anterior nos ayuda a corroborar nuevamente, por ejemplo, que una caminata aleatoria simtrica simple no tiene distribucin estacionaria pues se trata de e o una cadena cuyos estados son todos recurrentes nulos. Ahora se presentan dos condiciones que en su conjunto garantizan la existencia y unicidad de una distribucin o estacionaria. Proposicin. (Existencia y unicidad de la distribucin estacionaria). Toda cao o dena de Markov que es a) irreducible y b) recurrente positiva, tiene una unica distribucin estacionaria dada por o j = 1 > 0. j
En particular, toda cadena nita e irreducible tiene una unica distribucin o estacionaria.
Demostracin. Sea j = 1/j . Demostraremos que o (1) j =

i
i pij .
(2)
j
j = 1.
(3) j es unica. Como la cadena es irreducible y recurrente positiva, j < para cualquier estado j. Por lo tanto el cociente 1/j es estrictamente positivo. Usaremos el hecho de que l m 1 1 pij (m) = . n m=1 j
n
68
(1) Estacionariedad. Para cualquier natural N ,

N N
i pij
i=0
=
i=0
( l m 1 n 1 n
1 n
pki (m) ) pij

m=1 N
l m
pki (m) pij

m=1 i=0 n
l m
pkj (m + 1)
m=1
= j . Haciendo N ,
i
i pij j .
(3.4)
Suponga que para alg n valor de j la desigualdad anterior es estricta. Sumando u sobre todos los valores j, por el teorema de Fubini, j >
j j i
i pij =
i
i
j
pij =
i
i .
Lo cual es una contradiccin. Por lo tanto (3.4) es una igualdad. Esto demuestra o que es estacionaria, y para cualquier m natural, j =
i
i pij (m).
(3.5)
(2) Distribucin de probabilidad. Para cualquier natural N , o

N N
j
j=0
=
j=0
( l m 1 n n l m l m 1 n
1 n n
n
pij (k) )
k=1 N
pij (k)
k=1 j=0 n
1
k=1
= 1.
Cap tulo 3. Cadenas de Markov Por lo tanto

j
69
j 1.
Por otra parte, por (3.5), para cualquier n natural, j =

i
i (
1 pij (m) ). n m=1
Haciendo n , por el teorema de convergencia dominada de Lebesgue, y usando el hecho de que j j 1, j =

i=0
i ( l m
1 pij (m) ) = n n m=1 i = 1.
i=0
i j .
Dado que j > 0, se obtiene
(3) Unicidad. Sean y dos distribuciones estacionarias para la matriz P . Entonces

j = i i pij (m) = i i (
1 pij (m)) n m=1

N
N i ( i=0
1 pij (m)). n m=1
Haciendo n ,
j
i j . i=0
Ahora hacemos N para obtener

j j .
(3.6)
Si esta desigualdad fuera estricta para alg n valor de j, entonces sumando sobre u todos los valores de j se obtiene 1=
j j > j
j = 1.
Lo cual es una contradiccin. Por lo tanto (3.6) es una igualdad para cada valor de o j, y ello demuestra la unicidad.
70
3.14. Distribuciones l mite
Ejemplo. La cadena de Ehrenfest es nita e irreducible, y en consecuencia es recurrente positiva. Por lo tanto tiene una unica distribucin estacionaria. Resolviendo o el sistema de ecuaciones = P se encuentra que el vector tiene distribucin o bin(N, 1/2), es decir, j = N 1 j 2N para j = 0, 1, . . . , N.
En vista de la proposicin demostrada, los tiempos medios de recurrencia para esta o cadena son 1 2N para j = 0, 1, . . . , N. j = = N j j
Ejemplo. La cadena de racha de xitos, aunque no es nita, es irreducible y recue rrente positiva. Por lo tanto tiene una unica distribucin estacionaria dada por la o distribucin geo(1 p), es decir, el sistema de ecuaciones = P tiene como unica o solucin la distribucin o o j = (1 p) pj para j = 0, 1, 2 . . .
Como consecuencia de la proposicin anterior, se obtiene que los tiempos medios o de recurrencia para cada uno de los estados de esta cadena son j = 1 1 = j (1 p) pj para j = 0, 1, 2 . . .
En particular, 0 = 1/(1 p). Esto conrma los clculos realizados antes para 0 a a partir de la frmula 0 = n=1 n f00 (n). o
3.14.
Distribuciones l mite
Como hemos mencionado antes, toda matriz de probabilidades de transicin P o determina una sucesin de distribuciones de probabilidad 0 , 1 , . . . sobre el espacio o de estados en donde n+1 = n P = 0 P n+1 . (3.7)
71
Bajo ciertas condiciones tal sucesin es convergente a una distribucin l o o mite . Imaginemos por ahora que tal es el caso y examinemos algunas propiedades de esta distribucin l o mite. Por (3.7) se tiene que = l n = 0 l P n+1 = 1 l P n . m m m
n n n
Estas igualdades revelan varias cosas. Primero, la distribucin l o mite no depende de la distribucin inicial pues el lado derecho de estas ecuaciones debe ser el mismo. o Segundo, la distribucin l o mite est dada por el l a mite de las potencias de P pues si se toma como distribucin inicial aquella concentrada en el i-simo estado, entono e ces el j-simo elemento de la distribucin l e o mite es j = l n pij (n). Tercero, m el l mite de las potencias de P es una matriz con todos sus renglones idnticos, e siendo este regln la distribucin l o o mite. Por ultimo, a partir de (3.7) se obtiene que l n n+1 = l n n P , esto es, = P , es decir, la distribucin l m m o mite es una distribucin estacionaria, suponiendo un espacio de estados nito. En esta o seccin se establecen condiciones para obtener rigurosamente estos resultados. o Como se ha visto, toda distribucin l o mite es estacionaria pero el rec proco es en general falso como se ilustra en el siguiente ejemplo. Ejemplo. Es inmediato comprobar que la distribucin uniforme (1/2, 1/2) es estao cionaria para la cadena con matriz P = 0 1 , y sin embargo las potencias P n 1 0 no convergen pues para cualquier entero natural n, P 2n+1 = 0 1 , mientras 1 0 que P 2n = 1 0 . 0 1 El siguiente resultado es vlido para espacios de estados nitos o innitos, y esa tablece que si el l mite de las probabilidades pij (n), cuando n , existen y no dependen de i, entonces la distribucin l o mite podr ser una distribucin estacioa o naria. Esto es solamente una posibilidad pues los l mites podr ser todos cero. an En el caso nito, sin embargo, demostraremos que tales l mites conforman una distribucin de probabilidad verdadera. o
72
Proposicin. Considere una cadena de Markov con probabilidades de transicin o o pij tales que los l mites j = l n pij (n) existen para cada j, y no dependen m del estado i. Entonces 1.
j
j 1. i pij (n).
i
2. j =
Cuando el espacio de estados es nito se cumple la igualdad en el primer resultado obtenindose una distribucin de probabilidad verdadera. e o
Demostracin. Suponga primero el caso cuando el espacio de estados es el conjunto o nito {0, 1, . . . , N }. Entonces la primera armacin se cumple con igualdad pues o
N N N n
j =
j=0 j=0
l pij (n) = l m m
pij (n) = 1.
j=0
Para la segunda armacin se tiene que para cualquier n 1, o

N N
i pij (n) =
i=0 i=0
m N
l m pki (m) pij (n) pki (m) pij (n)

i=0
= = =
m m j .
l m
l pkj (m + n) m
Suponga ahora que el espacio de estados es innito. En este caso no es posible garantizar la validez del intercambio de l mite y suma efectuado antes. Para la primera armacin se tiene que para cualquier n mero natural N 1, o u
N N N n
j =
j=0 j=0
l pij (n) = l m m
j=0
pij (n) l 1 = 1. m
n
Haciendo N se obtiene el resultado buscado. Para la segunda armacin, o
Cap tulo 3. Cadenas de Markov nuevamente para cualquier n mero natural N 1, u

N N
73
i pij
i=0
=
i=0
n N
l pki (n) pij m pki (n) pij

i=0
= =
n n j .
l m
l pkj (n + 1) m
Si j = 0 para cualquier j, entonces estas desigualdades se convierten en identidades como dice el enunciado. Suponga que j j > 0. Demostraremos que las desigualdades estrictas no son posibles. Suponga que para alg n estado j, i i pij < j . u Entonces j > i pij = i pij = i .
j i,j i j i
Esto es una contradiccin, por lo tanto la igualdad en el prrafo anterior se cumple. o a
Ahora se establecen condiciones sucientes para que el l mite de las probabilidades de transicin existan. Este resultado es una especie de rec o proco del resultado anterior pues supone la existencia de una distribucin estacionaria para concluir que o los l mites de las probabilidades existen. Teorema de convergencia. Considere una cadena de Markov que es a) irreducible, b) aperidica, y o c) con distribucin estacionaria . o Entonces para cualesquiera estados i y j,
n
l pij (n) = j . m
Demostracin. El mtodo de esta demostracin se conoce como tcnica de acople. o e o e Sea Yn una cadena de Markov independiente de la original Xn pero con la misma matriz de probabilidades de transicin. Entonces el proceso Zn = (Xn , Yn ) es una o cadena de Markov con probabilidades de transicin o P (Zn+1 = (xn+1 , yn+1 ) | Zn = (xn , yn )) = pxn ,xn+1 pyn ,yn+1 ,
74
y tiene distribucin estacionaria xn ,yn = xn yn . Puede comprobarse que la cao dena Z es recurrente positiva. Adems es irreducible pues como X y Y son apea ridicas, existe un n mero natural N tal que pij (n) pkl (n) > 0, para toda n > N . o u Sea j cualquier estado. Dena el primer momento en el que la cadena Z visita el estado (j, j) como j = m n{n 1 : Zn = (j, j)}. Sea adems = m a n{n 1 : Xn = Yn }. Este es el momento de acople de las dos cadenas. Como Z es recurrente, P ( < ) = 1. Adems j . Por la propiedad de Markov a
n
P (Xn = x, n) = =
P (Xn = x, Xr = j, = r)
j r=1 n r=1 n r=1 n r=1
P (Xn = x | Xr = j, = r) P (Xr = j, = r) P (Yn = x | Yr = j, = r) P (Yr = j, = r) P (Yn = x | Yr = j) P (Yr = j, = r)
=
j
=
j
P (Yn = x, n),
es decir, sobre el evento ( n), las variables Xn y Yn tienen la misma distribucin o de probabilidad. Por otro lado P (Xn = j) = = P (Xn = j, n) + P (Xn = j, > n) P (Yn = j, n) + P (Xn = j, > n) P (Yn = j) + P ( > n).
De manera anloga, P (Yn = j) P (Xn = j) + P ( > n). Por lo tanto, a |P (Xn = j) P (Yn = j)| P ( > n) 0, (3.8) cuando n . Si ahora se toma X0 = i y Y0 con la distribucin estacionaria , o entonces P (Xn = j) = P (X0 = i) pij (n) = pij (n), y por lo tanto (3.8) establece que |pij (n) j | 0. El siguiente resultado establece condiciones sucientes para la existencia del l mite de las probabilidades de transicin, asegurando adems que se trata de una o a distribucin de probabilidad. o
75
Teorema de convergencia. Considere una cadena de Markov que es a) irreducible, b) recurrente positiva, y c) aperidica. o Entonces las probabilidades l mite j = l pij (n) = m
n
1 existen, y constituyen j
la unica solucin al sistema de ecuaciones o j =

j=0 i=0
i pij ,
(3.9)
sujeto a las condiciones j 0, y
j = 1.
Demostracin. Como la cadena es irreducible y recurrente positiva, tiene una unica o distribucin estacionaria dada por j = 1/j . Es decir, es la unica solucin al o o sistema de ecuaciones = P , con j 0 y j j = 1. Adems por ser peridica, a o pij (n) j .
3.15.
Cadenas regulares
Las cadenas de Markov regulares son cadenas nitas que cumplen la propiedad de que a partir de un cierto momento, con probabilidad positiva se puede pasar de un estado a otro cualquiera en un paso. Demostraremos que para este tipo de cadenas existe siempre la distribucin l o mite. Denicin. Se dice que una cadena nita o su matriz de probabilidades de o transicin es regular si existe un entero natural n tal que pij (n) > 0, para o cualesquiera estados i y j. En palabras, una cadena de Markov nita es regular si alguna potencia de su matriz de probabilidades de transicin tiene todas sus entradas estrictamente positivas. o Otra forma de denir a una cadena regular es a travs del siguiente resultado. e
76
3.15. Cadenas regulares
Proposicin. Una matriz estocstica es regular si, y slo si, es nita, irreducible o a o y aperidica. o
Demostracin. Si la matriz es regular, entonces claramente es nita, irreducible y o aperidica. Rec o procamente, por la irreducibilidad, para cualesquiera dos estados i y j, existe un entero m tal que pij (m) > 0. Entonces existe un entero N tal que pij (m + n d(j)) > 0, para cada n N . Como d(j) = 1 y siendo la matriz nita, esto implica la regularidad. Para este tipo particular de cadenas nitas se conocen los siguientes resultados acerca de su comportamiento l mite. Proposicin. Toda cadena nita que adems es o a 1. regular, tiene como distribucin l o mite la unica solucin no negativa del o sistema (3.9). 2. regular y doblemente estocstica, tiene como distribucin l a o mite la distribucin uniforme. o 3. irreducible, aperidica y doblemente estocstica, tiene como distribucin o a o l mite la distribucin uniforme. o
Demostracin. o 1. Como la cadena es regular, es irreducible, aperidica, y es recurrente positiva o por ser nita. Por el teorema anterior la distribucin l o mite existe y est dada a por el sistema de ecuaciones (3.9). 2. Como la cadena es regular, es aperidica, irreducible y recurrente positiva o por ser nita. Entonces la distribucin l o mite existe. Por la hiptesis de doble o estocasticidad y suponiendo que el espacio de estados es {0, 1, . . . , N }, se N tiene que i=0 pij (n) = 1. Tomando el l mite cuando n tiende a innito se obtiene N j = 1. Por lo tanto j = 1/(N + 1). i=0 3. Este resultado es idntico al anterior pues hemos demostrado que la regularie dad es equivalente a la nitud, irreducibilidad y aperiodicidad conjuntamente.
77
Ejemplo. Sea Sn la suma de los resultados que se obtienen al lanzar un dado equilibrado n veces. Encontraremos
n
l P (Sn es m ltiplo de 7). m u
Dena el proceso Xn = Sn mod. 7 cuyo espacio de estados es {0, 1, . . . , 6}. No es dif convencerse que Xn es una cadena de Markov con matriz de probabilidades cil de transicin o P =
0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0
El evento (Sn es m ltiplo de 7) es idntico al evento (Xn = 0), de modo que la u e probabilidad de que Sn sea m ltiplo de 7 a largo plazo es el tiempo de estancia a u largo plazo que la cadena Xn pasa en el estado 0. El problema se reduce a encontrar la distribucin l o mite de P . Pero esta matriz es regular, y entonces su distribucin o limite es la uniforme. Por lo tanto l P (Xn = 0) = 1/7. m
n
3.16.
Cadenas reversibles
Sea Xn una cadena de Markov con probabilidades de transicin pij . Sea m 1 un o entero jo y dena un nuevo proceso Yn = Xmn para n = 0, . . . , m, es decir, Yn es la cadena original pero vista en sentido inverso en el tiempo, ahora del tiempo m al tiempo 0. Este nuevo proceso resulta tambin ser una cadena de Markov e pues cumple el criterio de independencia entre pasado y futuro cuando se conoce el presente, las nociones de pasado y futuro se intercambian debido al cambio en el sentido del tiempo. En efecto, para 1 r < n m, considere la probabilidad condicional P ( y1 , . . . , yr1 , yr+1 , . . . , yn | yr ).
78
3.16. Cadenas reversibles
En trminos del proceso X, esta probabilidad es e P (Xm1 = y1 , . . . , Xmr+1 = yr1 , Por la propiedad de Markov del proceso X, esta probabilidad es el producto P (Xm1 = y1 , . . . , Xmr+1 = yr1 | Xmr = yr ) P (Xmr1 = yr+1 , . . . , Xmn = yn | Xmr = yr ), P (y1 , . . . , yr1 | yr ) P (yr+1 , . . . , yn | yr ). Sin embargo las probabilidades de transicin del nuevo proceso no son homogneas o e pues para 0 n < m, P (Yn+1 = j | Yn = i) = P (Xmn = i, Xmn1 = j) P (Xmn = i) Xmr1 = yr+1 , . . . , Xmn = yn | Xmr = yr ).
que en trminos del proceso Y es la propiedad de Markov para este proceso e
= P (Xmn = i | Xmn1 = j) = pji P (Yn+1 = j) , P (Yn = i)
P (Xmn1 = j) P (Xmn = i)
es decir, estas probabilidades dependen de n a travs del cociente P (Yn+1 = e j)/P (Yn = i). Tal dependencia desaparece cuando se asume que existe una distribucin estacionaria para Xn , pues en tal caso la igualdad anterior se reduce o a j P (Yn+1 = j | Yn = i) = pji . i Bajo tal hiptesis las probabilidades de transicin de la nueva cadena son ahora o o estacionarias. Si adicionalmente se pide que las probabilidades de transicin sean o las mismas para ambas cadenas, entonces de la ecuacin anterior se obtiene que o debe cumplirse que pij = pji j , es decir, i pij = j pji . Esto lleva a la siguiente i denicin de reversibilidad la cual a ade la hiptesis de irreducibilidad. o n o Denicin. Se dice que una cadena de Markov irreducible con probabilidades o de transicin pij y con distribucin estacionaria es reversible en el tiempo si o o para cualesquiera estados i y j, i pij = j pji . (3.10)
79
A la ecuacin (3.10) se llama ecuacin de balance detallado. La utilidad de las o o cadenas reversibles est dada por el siguiente resultado, el cual ejemplicaremos a ms adelante con un par de aplicaciones. a Proposicin. Considere una cadena irreducible para la cual existe una distrio bucin que cumple (3.10). Entonces es una distribucin estacionaria y la o o cadena es reversible.
Demostracin. Si cumple (3.10), entonces es una distribucin estacionaria pues o o i pij = i j pji = j . Adems la cadena es reversible por denicin. a o i Ejemplo. Considere nuevamente la cadena de Ehrenfest. El espacio de estados es {0, . . . , N }, y las probabilidades de transicin son, para i = 1, . . . , N 1, o (N i)/N si j = i + 1, i/N si j = i 1, pij = 0 otro caso, con p01 = 1 y pN,N 1 = 1. Esta cadena es nita, irreducible y recurrente positiva. Si se desea encontrar la distribucin estacionaria a travs de la ecuacin = P , o e o uno tendr que resolver el sistema a 0 i N = = = 1 (1/N ), i1 (i/N ) + i+1 (N i)/N, N 1 /N. para i = 1, . . . , N 1,
En lugar de ello se puede buscar una posible solucin al sistema (3.10), el cual se o escribe como sigue i+1 = N i i , i+1 N i para i = 0, 1, . . . , N 1.
Resolviendo iterativamente hacia abajo se encuentra que i = 0 , para i = 1, . . . , N.
Sumando todas estas cantidades,

N
1 = 0
i=0
N i
= 0 2N .
80
Por lo tanto 0 = 21 , y i = N 21 es la solucin al sistema. Esta es la distribucin o o N N i bin(N, p) con p = 1/2. Por lo demostrado antes esta distribucin es estacionaria y o la cadena es reversible. Ejemplo. Considere una caminata aleatoria probabilidades de transicin o pi qi pij = 1 pi qi 0 no homognea sobre {0, 1, . . .}, con e si j = i + 1, si j = i 1, si j = i, otro caso,
en donde q0 = 0. Esta es una cadena irreducible. Si uno busca una distribucin o estacionaria a travs de la ecuacin = P , uno tendr que resolver el sistema e o a de ecuaciones 0 i = = 0 (1 p0 ) + q1 1 , i+1 qi+1 + i (1 pi qi ) + i1 pi1 , para i 1.
Sin embargo la condicin (3.10) se traduce en el sistema ms simple i pi = o a i+1 qi+1 . Una posible solucin de este sistema (su existencia depender de los o a parmetros pi y qi ), ser la distribucin estacionaria para esta caminata y la cadea a o na ser entonces reversible en el tiempo. a Resumen de la notacin utilizada. Como referencia se presenta a continuacin o o una lista de la notacin utilizada en este cap o tulo. pij pij (n) probabilidad de pasar del estado i al estado j en un paso, es decir, pij = P (X1 = j | X0 = i). probabilidad de pasar del estado i al estado j en exactamente n pasos, es decir, pij (n) = P (Xn = j | X0 = i). En algunos textos aparece tambin como e (n) pij . En particular, se dene pij (0) = ij , que vale uno cuando i = j, y cero cuando i = j. probabilidad de llegar por primera vez al estado j a partir del estado i exactamente en el paso n, es decir, fij (n) = P (Xn = j, Xn1 = j, . . . , X1 = j | X0 = (n) i). A veces se escribe tambin como fij . En particular se dene fij (0) = 0 e para cualesquiera estados i y j, incluyendo el caso i = j.
fij (n)
Cap tulo 3. Cadenas de Markov fij
81
probabilidad de una eventual visita el estado j a partir del estado i. En trminos de probabilidades de primeras visitas, esta probabilidad es fij = e k=0 fij (n). variable aleatoria que registra el n mero de visitas realizadas al estado j u durante las primeras n transiciones, cuando la cadena inicia en el estado i, es n decir, Nij (n) = k=1 1(Xk =j) , cuando X0 = i. variable aleatoria que cuenta el n mero total de visitas realizadas al estado j u cuando la cadena inicia en el estado i, es decir, Nij = 1(Xk =j) , cuando k=1 X0 = i. Puede tomar el valor innito. tiempo en el que se logra la primera visita el estado j a partir del estado i, es decir, ij = m n{n 1 : Xn = j}, cuando X0 = i. Toma el valor innito cuando nunca ocurre tal evento. Cuando i = j se escribe i , y corresponde al tiempo del primer regreso al estado i. tiempo medio de primera visita al estado j a partir del estado i, es decir, ij = E(ij ). Puede ser innito. Cuando i = j se escribe i y se le llama tiempo medio de recurrencia del estado i.
Nij (n)
Nij
ij
ij
Notas y referencias. El tema de cadenas de Markov a tiempo discreto aparece en casi cualquier texto de procesos estocsticos, e incluso puede encontrarse tambin a e en los ultimos cap tulos de algunos textos de probabilidad. El tema es regularmente la parte inicial de un curso elemental de procesos estocsticos. Las siguientes refea rencias son una muestra de algunos textos que contienen cap tulos sobre el tema de cadenas de Markov a un nivel similar al presentado: Karlin y Taylor [19], Brzeniak z y Zastawniak [4], Jones y Smith [17], Hoel, Port y Stone [16], y Stirzaker [36]. Los textos de Caballero et al [6] y Norris [25], estn dedicados enteramente al tema de a cadenas de Markov.
82
Andrei Andreyevich Markov (Rusia 18561922). Markov tuvo una salud muy precaria durante sus primeros a os de vida, teniendo que caminar con muletas hasta la n edad de 10 a os. En 1874 ingres a la facultad de f n o sica y matemticas de la universidad de San Petersburgo, y asisa ti a las clases de reconocidos matemticos de la poca, eno a e tre ellos P. L. Chebyshev, quien tuvo una inuencia decisiva en el quehacer futuro de Markov. Se gradu brillantemente o en 1878, y continu con sus estudios de maestr los cuales o a, concluy en 1880. Trabaj como profesor en la universidad o o de San Petersburgo al mismo tiempo que estudiaba para su Markov doctorado, el cual concluy en 1884. Continu trabajando o o en la misma universidad por prcticamente el resto de su vida. Despus de 1900, y a e siguiendo los trabajos de P. L. Chebyshev, aplic el mtodo de fracciones continuas o e en la teor de la probabilidad. Markov fue el mejor exponente y continuador de las a ideas de Chebyshev y de sus temas de investigacin en probabilidad. Especialmente o sobresalientes son sus trabajos sobre la ley de los grandes n meros y el teorema u central del l mite, asi como otros resultados fundamentales de la teor de la probaa bilidad, y sobre el mtodo de m e nimos cuadrados. Fue muy estricto como profesor pero tambin muy claro en sus exposiciones, y demandaba mucho rigor matemtico e a en los argumentos de sus estudiantes. Markov desarroll su teor de cadenas de o a Markov desde un punto de vista matemtico, aunque tambin aplic su modelo en a e o el anlisis de estilos de escritura en poemas. Con sus trabajos sobre cadenas de a Markov, fund una nueva rama de la probabilidad e inici la teor de los procesos o o a estocsticos. Fuente: Archivo MacTutor, Universidad de St. Andrews. a
83
Ejercicios
Propiedad de Markov Recordemos que para hacer la notacin ms corta, a la probabilidad P (Xn = xn ) o a se le ha escrito como p(xn ), es decir, el sub ndice indica tambin la variable a la e que se hace referencia. El signicado de la probabilidad condicional p(xn+1 | xn ) es anlogo. a 10. Demuestre que la propiedad de Markov (3.1) es equivalente a cada una de las siguientes condiciones. a) Esta condicin establece que la distribucin conjunta queda especicada o o a travs de la distribucin inicial y las probabilidades de transicin en e o o un paso: Para cualesquiera estados x0 , . . . , xn , p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ). b) Esta condicin establece que el futuro, sin importar lo distante que se o encuentre, depende slamente del ultimo momento observado: Para cuao lesquiera enteros n, m 1, p(xn+m | x0 , . . . , xn ) = p(xn+m | xn ). c) Esta es la condicin de Markov para tiempos no necesariamente conseo cutivos: Para cualesquiera enteros 0 n1 < < nm+1 , p(xnm+1 | xn1 , . . . , xnm ) = p(xnm+1 | xnm ). d ) Esta condicin expresa la independencia entre el pasado y el futuro o cuando se conoce el presente: Para cualesquiera enteros 0 < k < n, p(x0 , . . . , xk1 , xk+1 , . . . , xn | xk ) = p(x0 , . . . , xk1 | xk ) p(xk+1 , . . . , xn | xk ).
e) En esta condicin se consideran varios eventos en el futuro: Para cuao lesquiera enteros n, m 1, p(xn+m , . . . , xn+1 | x0 , . . . , xn ) = p(xn+1 | xn ) p(xn+m | xn+m1 ).
84
Matrices estocsticas a 11. Demuestre que
a) si P y Q dos matrices estocsticas (o doblemente estocsticas) de la a a misma dimensin, entonces P Q tambin es estocstica (o doblemente o e a estocstica). a b) si P es estocstica (o doblemente estocstica), entonces para cualquier a a entero positivo n, la potencia P n tambin es estocstica (o doblemente e a estocstica). a 12. Demuestre que una matriz cuadrada P puede ser tal que la potencia P n sea estocstica para alg n entero n 2, sin ser P misma estocstica. a u a 13. Demuestre que si una matriz estocstica P es simtrica, entonces para cuala e quier n 1, la potencia P n tambin es simtrica. e e 14. Demuestre que toda matriz estocstica simtrica es doblemente estocstica. a e a 15. Demuestre que toda matriz estocstica nita tiene siempre al n mero uno a u como valor propio.
Probabilidades de transicin o 16. Considere una cadena de Markov de dos estados: 0 y 1, con matriz de probabilidades de transicin como aparece abajo. Suponga que la cadena tiene o una distribucin inicial dada por el vector (0.6, 0.4). Encuentre P (X1 = 0), o P (X1 = 1), P (X2 = 0) y P (X2 = 1). P =
0.2 0.5 0.8 0.5
17. Considere una cadena de Markov de dos estados: 0 y 1, con distribucin o inicial (1/2, 1/2), y con matriz de probabilidades de transicin dada como o aparece abajo. Encuentre P (X1 = 0), P (X1 = 1), P (X5 = 1 | X4 = 0), P (X3 = 0 | X1 = 0), P (X100 = 0 | X98 = 0), P (X1 = 0 | X2 = 0), P (X1 = 1 | X2 = 1, X3 = 1), P (X3 = 0, X2 = 0 | X1 = 0). P =
1/3 3/4 2/3 1/4
85
18. Ecuacin de Chapman-Kolmogorov para cadenas no homogneas. Considere o e una cadena de Markov con probabilidades de transicin no necesariamente o homogneas pij (n, m) = P (Xm = j | Xn = i), para n m. Demuestre que e para cualquier tiempo u tal que n < u < m, pij (n, m) =
k
pik (n, u) pkj (u, m).
19. Demuestre o proporcione un contraejemplo. a) pij (n) pij (1) pjj (n 1). b) pij (n) = 1 pji (n). Cadenas de Markov 20. Para la cadena de Markov de dos estados con distribucin inicial (p0 , p1 ), o demuestre que para a + b > 0, P (Xn = 0) = P (Xn = 1) = b b + (p0 ) (1 a b)n , a+b a+b a a + (p1 ) (1 a b)n . a+b a+b
21. Encuentre la matriz de probabilidades de transicin de la cadena de Markov o de cuatro estados dada por el diagrama de la Figura 3.17. A partir de cada posicin slo se permite pasar a los estados como indica el laberinto, con o o idntica probabilidad para todas las posibilidades. Suponga que no se permite e permanecer en la misma posicin al efectuarse un movimiento. o
Figura 3.17:
86
22. Se lanza un dado equilibrado repetidas veces. Sea Xn el n mero de lanzamienu tos realizados al tiempo n desde la ultima vez que apareci el n mero 6. o u Demuestre que Xn es una cadena de Markov y encuentre las probabilidades de transicin. o 23. Sea Xn una cadena de Markov con probabilidades de transicin pij , y sea m o 1 un entero jo. Demuestre que los siguientes procesos son tambin cadenas e de Markov y encuentre las correspondientes probabilidades de transicin. o a) Xn+m . b) Xnm . 24. Demuestre que para cualquier entero n 1, a) P (Xn = j) =
i
P (Xn1 = i) pij (1). P (X0 = i) pij (n).

i
b) P (Xn = j) =
25. Considere una cadena de Markov con espacio de estados {0, 1, . . . , N }, y probabilidades de transicin tales que para cualquier estado i, o
N
E(Xn+1 | Xn = i) =
j pij = i,
j=0
es decir, el estado promedio despus de una transicin es el estado inicial. e o Demuestre que esta cadena es una martingala y que los estados 0 y N son absorbentes. 26. Renovaciones discretas. Sea 1 , 2 , . . . una sucesin de variables aleatorias ino dependientes idnticamente distribuidas, y con valores en el conjunto {1, 2, . . .}. e Interpretaremos estas variables discretas como los tiempos de vida de art culos puestos en operacin uno despus de otro en un proceso de renovacin a o e o tiempo discreto. Sea X0 = 0 y para cada n 1 sea Xn = 1 + + n . Para cada k = 1, 2, . . . dena Nk = mx {n 1 : Xn k}. a Si el conjunto indicado es vac entonces el mximo se dene como cero. La o, a variable Nk cuenta el n mero de renovaciones efectuadas hasta el tiempo k. u Sea Ak = k XNk , es decir, Ak es la edad del art culo que se encuentra en
87
operacin al tiempo k, o bien el tiempo transcurrido desde la ultima renoo vacin. La notacin A proviene del trmino en ingls age. Demuestre que el o o e e proceso Ak es una cadena de Markov con espacio de estados {0, 1, . . .}, y con probabilidades de transicin o pi,0 = P (X = i + 1) , P (X i + 1) pi,i+1 = P (X i + 2) . P (X i + 1)
27. Considere la cadena de inventarios en donde n tiene distribucin uniforme o en el conjunto {0, 1, 2, 3}, con s = 1 y S = 4. Encuentre la matriz de probabilidades de transicin de esta cadena. o 28. Sea Xn la cadena de Markov de dos estados. Demuestre que el proceso Yn = (Xn1 , Xn ) es una cadena de Markov. Determine el espacio de estados de este nuevo proceso y encuentre la matriz de probabilidades de transicin. o Generalize este resultado para cualquier cadena. 29. Se colocan N bolas negras en una primera urna, y N bolas blancas en una segunda urna. Se selecciona al azar una bola de cada urna y se intercambian. Este ensayo se repite varias veces. Sea Xn el n mero de bolas blancas en la u primera urna despus del n-simo ensayo. Justique que Xn es una cadena e e de Markov y encuentre la matriz de probabilidades de transicin. o 30. Sea 0 , 1 , . . . una sucesin de variables independientes con idntica distrio e bucin Ber(p). Determine si el proceso Xn denido a continuacin es una o o cadena de Markov. En caso armativo encuentre la matriz de probabilidades de transicin. o a) Xn = n + n1 . b) Xn = Xn1 + n . c) Xn = Xn1 + n , mdulo 2. o 31. Modicacin de la cadena de Ehrenfest. Considere el esquema de dos urnas o como en la cadena de Ehrenfest con un total de N bolas. Suponga ahora que un ensayo consiste en que cada una de las bolas se cambia de urna con una distribucin de probabilidad especicada p1 , . . . , pN , sin importar la posicin o o de las bolas. Sea Xn el n mero de bolas en una de las urnas despus del nu e simo ensayo. Es esta una cadena de Markov? En caso armativo encuentre e la matriz de probabilidades de transicin. o
88
Comunicacin o
32. Dibuje un diagrama de transicin y encuentre las clases de comunicacin para o o cada una de las siguientes cadenas de Markov. a) P =
1/2 1/2 0 1/2 0 0 0 1/2 1 0 0 0 P = 0 1/2
c)
1 0 1 0
0 0 0 1/2
33. Considere una cadena de Markov con n estados. Demuestre que si i j, entonces es posible pasar de i a j en a lo sumo n 1 pasos. Suponga i = j. Clases cerradas 34. Demuestre que toda cadena de Markov tiene por lo menos una clase de comunicacin cerrada. o 35. Demuestre que la coleccin de estados C es cerrada si, y slo si, alguna de o o las siguientes condiciones se cumple. Para cualesquiera i C y j C , / a) pij (n) = 0, para cada n 1. b) pij (1) = 0. 36. Demuestre que a) toda clase de comunicacin recurrente es cerrada. o b) la unin de dos clases de comunicacin recurrentes es una clase cerrada. o o c) la unin de todas las clases de comunicacin recurrentes de una cadena de o o Markov es una clase cerrada.
0 1 0 0
1 b) P = 1/2
1/3
0 0 1/2 1/3
1 0 0 1/3
0 0 0 0
Periodo 37. Dibuje un diagrama de transicin, determine las clases de comunicacin y o o calcule el periodo de cada uno de los estados de las siguientes cadenas de
Cap tulo 3. Cadenas de Markov Markov. a) P =

1/2 1/2 0 1/2 1/2 1/2 0 0 0 1/4 0 0 1/2 1/2 0 1/2 1/4 0 1 0 1/4
89
b)
c)
38. Hemos demostrado que el periodo es una propiedad de clase, es decir, dos estados que pertenecen a la misma clase de comunicacin tienen el mismo o periodo. El rec proco de tal armacin es en general falso, es decir, dos eso tados pueden tener el mismo periodo y sin embargo no ser comunicantes. Proporcione un ejemplo de tal situacin. o
1/2 0 P = 1/2 1/4
1/3 1 P = 1/2 1/3
1/3 0 1/2 1/3
1/3 0 0 1/3
0 0 0 0
Tiempo y probabilidad de primera visita 39. Demuestre que i j, si y slo si, fij > 0. o 40. Sea j un estado absorbente. Demuestre que para cada n 1, pij (n) = P (ij n). Tiempo medio de absorcin o 41. Se efect a un sucesin de lanzamientos independientes de una moneda equiu o librada con resultados A y S. Encuentre el n mero esperado de lanzamientos u para que aparezca la secuencia particular a) S b) SA c) SAS
Recurrencia y transitoriedad 42. Encuentre las clases de comunicacin de la siguiente cadena de Markov. Eno cuentre adems los periodos, y clasique cada clase de comunicacin como a o
90
3.16. Cadenas reversibles transitoria o recurrente. P =
1/2 1/2 0 0 1/6 1/6
1/2 1/2 0 0 1/6 1/6
0 0 1/2 1/2 1/6 1/6
0 0 1/2 1/2 1/6 1/6
0 0 0 0 1/6 1/6
0 0 0 0 1/6 1/6
43. Demuestre que todo estado absorbente es recurrente. 44. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transicin de la Figura 3.18(a) es transitorio. o
1/2 0 1/2 2 1/2 1 (a) 1 1/2
1 0 1 3
1 1 (b) 2 1
Figura 3.18: 45. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transicin de la Figura 3.18(b) es recurrente. Suponga que 0 < < 1 y o 0 < < 1. Concluya que todos los estados de esta cadena son recurrentes.
Tiempo medio de recurrencia 46. Considere una sucesin de ensayos independientes Bernoulli con resultados A o y B, y con probabilidades P (A) = p y P (B) = q = 1 p. Calcule el n mero u promedio de ensayos para la primera ocurrencia de la secuencia AB.
Recurrencia positiva y nula 47. Determine si la cadena de racha de xitos es recurrente positiva o nula. e
Cap tulo 3. Cadenas de Markov Distribuciones estacionarias
91
48. Encuentre todas las distribuciones estacionarias, si existen, para cada una de las siguientes cadenas de Markov. a) P =
1/2 0 0 1/2 1/2 1/2 0 1/2 1/2 1/2
49. Determine si existe alguna distribucin estacionaria para la siguiente matriz o estocstica. a
1p p 0
0 b) P = 0
1/4
1/2 1/2 1/2 1/4
0 1/2 1/2 1/4
0 0 0 1/4
50. Demuestre que la siguiente cadena de Markov tiene un n mero innito de u distribuciones estacionarias.
1/2
0 1p 0 P = 1p p 0 0 1 0
0 p 0 0
51. Demuestre que la cadena del jugador tiene una innidad de distribuciones estacionarias. 52. Demuestre que la cadena de variables aleatorias independientes tiene una unica distribucin estacionaria dada por (0 , 1 , . . .) = (a0 , a1 , . . .). o 53. Demuestre que toda matriz doblemente estocstica, aperidica, nita e irrea o ducible tiene una unica distribucin estacionaria dada por la distribucin o o uniforme. 54. Demuestre que si la distribucin uniforme es una distribucin estacionaria o o para una cadena de Markov nita, entonces la correspondiente matriz de probabilidades de transicin es doblemente estocstica. o a 55. Considere una cadena de Markov a tiempo discreto con espacio de estados nito y tal que para cada estado j los siguientes l mites existen y no dependen del estado i, l pij (n) = j . m
n
0 P = 1/2
0
0 1/2 0 1/2
1/2 0 1/2 0
0 1/2 0 1/2
Demuestre que = {j } es una distribucin estacionaria. o
92
Distribuciones l mite
56. Calcule la distribucin l o mite, cuando existe, de las siguientes cadenas de Markov.
0
a)
1 P = 1/2
0
1/3
0 0 1/2 1/3
1 0 0 1/3
c)
57. Una persona se traslada todos los d de su casa a la ocina en la ma ana, as n y de la ocina a su casa por la tarde. Esta persona tiene un coche que usa en cualquiera de estos dos viajes en caso de lluvia, siempre y cuando tenga el coche disponible. No siempre tiene el coche disponible pues ha decidido dejarlo en la casa o en la ocina e irse caminando cuando al salir de alguno de estos lugares no est lloviendo. La probabilidad de lluvia por la ma ana a n o por la tarde es p > 0, independiente un evento del otro. a) Calcule la proporcin de viajes a largo plazo en los cuales la persona se o moja por la lluvia. b) Conteste la misma pregunta cuando la persona posee r coches.
0 P = 0
1/2
1 0 1 0
0 0 0 1/2
0 1 0 0
0 0 0 0
0 b) P = 0
1/3
1 0 1 0
0 0 0 2/3
0 1 0 0
Cadenas regulares 58. Determine si las siguientes matrices estocsticas son regulares. a a) P =
0 0 1 1 0 0 0 1 0
b) P =
0 0 1/2
1 1/2 1/2
0 1/2 0
59. Cuntas potencias de una matriz se necesitan calcular como mximo para a a vericar que es regular? 60. Sean Xn y Yn dos cadenas de Markov independientes y regulares. Demuestre que Zn = (Xn , Yn ) es una cadena de Markov regular. Encuentre adems sus a probabilidades de transicin. o
Cap tulo 3. Cadenas de Markov Cadenas reversibles
93
61. Resolviendo la ecuacin de balance detallado (3.10), demuestre que la cadena o de dos estados es reversible y encuentre nuevamente la distribucin estacioo b a naria (0 , 1 ) = ( a+b , a+b ), cuando a + b > 0.
Cap tulo 4
El proceso de Poisson
Estudiaremos ahora el modelo de cadena de Markov a tiempo continuo. Como una introduccin a la teor general que se expondr ms adelante, en el presente o a a a cap tulo estudiaremos uno de los ejemplos ms importantes de este tipo de modelos: a el proceso de Poisson. Deniremos este proceso de varias formas equivalentes, y estudiaremos algunas de sus propiedades y generalizaciones. El proceso de Poisson es un modelo relevante tanto en las aplicaciones como en la teor general de los a procesos estocsticos. a
4.1.
Proceso de Poisson
Suponga que un cierto evento ocurre repetidas veces de manera aleatoria a lo largo del tiempo. Tal evento puede ser por ejemplo la llegada de una reclamacin a una o compa aseguradora, o la llegada de una llamada a un conmutador, o la llegada na de un cliente a una ventanilla para solicitar alg n servicio, etctera. Suponga que u e las variables aleatorias T1 , T2 . . . representan los tiempos que transcurren entre una ocurrencia del evento y la siguiente ocurrencia. Suponga que estos tiempos son independientes uno del otro, y que cada uno de ellos tiene distribucin exp(). Se o dene el proceso de Poisson al tiempo t como el n mero de ocurrencias del evento u observadas hasta ese momento. Esta es una denicin constructiva de este proceso. o Ms adelante enunciaremos otras deniciones axiomticas equivalentes. a a
95
96
4.1. Proceso de Poisson
Denicin. (I) Sea T1 , T2 , . . . una sucesin de variables aleatorias indepeno o dientes cada una con distribucin exp(). El proceso de Poisson de parmetro o a es el proceso a tiempo continuo {Xt : t 0} denido de la siguiente manera: Xt = mx {n 1 : T1 + + Tn t}. a
Se postula adems que el proceso inicia en cero y para ello se dene mx = 0. a a En palabras, la variable Xt es el entero n mximo tal que T1 + + Tn es menor a o igual a t, y ello equivale a contar el n mero de eventos ocurridos hasta el tiempo u t. A este proceso se le llama proceso de Poisson homogneo, tal adjetivo se reere e a que el parmetro no cambia con el tiempo, es homogneo en el tiempo. a e Una trayectoria t pica de este proceXt () so puede observarse en la Figura 4.1. A los tiempos T1 , T2 , . . . se les llama 3 tiempos de estancia, o tiempos de interarribo, y corresponden a los tiem- 2 pos que transcurren entre un salto del 1 proceso y el siguiente salto. Hemos supuesto que estos tiempos son int W1 W2 W3 dependientes y que todos tienen dis0 tribucin exp(). En consecuencia, la o T1 T2 T3 T4 variable Wn = T1 + + Tn tiene distribucin gama(n, ). Esta variao Figura 4.1: ble representa el tiempo real en el que se observa la ocurrencia del n-simo e evento. Observe la igualdad de eventos (Xt n) = (Wn t), esto equivale a decir que al tiempo t han ocurrido por lo menos n eventos si, y slo si, el n-simo evento o e ocurri antes de t. o Una de las caracter sticas sobresalientes de este proceso es que puede encontrarse expl citamente la distribucin de probabilidad de la variable Xt para cualquier o valor de t. La respuesta es la distribucin Poisson, y es de all de donde el proceso o adquiere su nombre.
Cap tulo 4. El proceso de Poisson
97
Proposicin. La variable Xt tiene distribucin Poisson(t), es decir, para cualo o quier t > 0, y para n = 0, 1, . . . P (Xt = n) = et (t)n . n!
Demostracin. Como Wn tiene distribucin gama(n, ), su funcin de distribucin o o o o es, para t > 0, n1 (t)k P (Wn t) = 1 et . k!
k=0
Entonces para cualquier t > 0 y para cada n = 0, 1, . . . P (Xt = n) = P (Xt n) P (Xt n + 1) = P (Wn t) P (Wn+1 t) = et (t)k . k!
Entonces, dado que Xt tiene una distribucin Poisson(t), se tiene que E(Xt ) = o t, y Var(Xt ) = t. Por lo tanto t es el promedio de observaciones o registros del evento de inters en el intervalo [0, t]. As mientras mayor es la longitud del e , intervalo de observacin, mayor es el promedio de observaciones realizadas, y mayor o tambin la incertidumbre del n mero de observaciones. e u Prdida de memoria y sus consecuencias. Una de las propiedades que cae racterizan de manera unica a la distribucin exponencial dentro del conjunto de o distribuciones continuas es que satisface la propiedad de prdida de memoria, esto e es, si T tiene distribucin exp(), entonces para cualesquiera tiempos s, t > 0 se o cumple la igualdad P (T > t + s | T > s) = P (T > t). En otras palabras, condicionada al evento (T > s), la variable T s sigue teniendo distribucin exp(). Esto signica que el proceso de Poisson puede estudiarse a o partir de cualquier tiempo s 0, teniendo las mismas propiedades a partir de ese momento hacia adelante. Esto es, si uno toma cualquier tiempo s 0 y empieza a
98
contar desde cero las ocurrencias de eventos a partir de ese momento, lo que uno obtiene es nuevamente un proceso de Poisson. Entonces, para cualquier t > 0 y para n = 0, 1, . . . P (Xt+s Xs = n) = P (Xt = n) = et (t)n . n! (4.1)
Esta propiedad caracteriza de manera unica a este proceso y de ella pueden derivar se todas las propiedades del Proceso de Poisson, incluida la propiedad de Markov. Proposicin. El proceso de Poisson satisface las siguientes propiedades. o a) Es un proceso de Markov. b) Tiene incrementos independientes. c) Tiene incrementos estacionarios. d) Para cualesquiera s, t > 0, Xt+s Xs Poisson(t).
e) Para cualesquiera s, t 0, y enteros 0 i j, sus probabilidades de transicin son o (t)ji P (Xt+s = j | Xs = i) = et . (4.2) (j i)!
Demostracin. o a) Considere la probabilidad condicional P (Xtn = xn | Xt1 = x1 , . . . , Xtn1 = xn1 ), para cualesquiera n tiempos 0 t1 t2 tn , y estados 0 x1 . . . xn . Entonces al tiempo tn1 ha habido xn1 ocurrencias del evento de inters. e A partir de ese momento inicia un nuevo proceso de Poisson y para que al tiempo tn hayan xn ocurrencias es necesario que en el intervalo de tiempo (tn1 , tn ] hayan xn xn1 ocurrencias. Esto es exactamente P (Xtn = xn | Xtn1 = xn1 ). b) Considere cualesquiera n tiempos 0 t1 t2 tn . Por la propiedad de
Cap tulo 4. El proceso de Poisson Markov y por (4.1), P (Xt2 Xt1 = x1 , . . . , Xtn Xtn1 = xn1 ) =
x
99
P (Xt1 = x, Xt2 = x + x1 , . . . , Xtn = x + + xn1 ) P (Xt1 = x) P (Xt2 = x + x1 | Xt1 = x) P (Xtn = x + x1 + + xn1 | Xtn1 = x + x1 + + xn2 ) P (Xt1 = x) P (Xt2 Xt1 = x1 ) P (Xtn Xtn1 = xn1 )
=
x
=
x
= P (Xt2 Xt1 = x1 ) P (Xtn Xtn1 = xn1 ). Las propiedades c), d) y e) son consecuencia inmediata de (4.1). La expresin (4.2) establece de manera evidente que las probabilidades de transicin o o son estacionarias en el tiempo, es decir, no dependen del parmetro s, y se escriben a simplemente como pij (t). Pero tambin es interesante observar que (4.2) dice que e estas probabilidades son estacionarias en el espacio, es decir, dependen de los estados i y j unicamente a travs de la diferencia j i. En s e mbolos, pij (t) = p0,ji (t), para j i. Ejemplo. (Paradoja del autob s). Suponga que la llegada de autobuses a una estau cin se modela mediante un proceso de Poisson de parmetro , es decir, el tiempo o a que transcurre entre la llegada de un autob s y el siguiente es una variable aleau toria con distribucin exp(). Suponga que el tiempo es medido en minutos. La o propiedad de prdida de memoria en este contexto puede interpretarse de la sie guiente forma: Un persona ha llegado a la estacin y ha esperado s minutos sin que o un autob s aparezca. La probabilidad de que tenga que esperar ms de t minutos u a adicionales es la misma que la probabilidad de espera de ms de t minutos para a una persona que acaba de llegar a la estacin! o Ejemplo. Sean Xt y Yt dos procesos de Poisson independientes de parmetros 1 y a 2 respectivamente. Demostraremos que la suma Xt + Yt es un proceso de Poisson de parmetro 1 + 2 . Denotaremos por T1 , T2 , . . . a los tiempos de interarribo a del proceso suma. La forma en la que se obtienen estos tiempos se muestra en la Figura 4.2. Demostraremos que estas variables aleatorias son independientes con idntica distribucin exp(1 + 2 ). e o
100
4.1. Proceso de Poisson Figura 4.2:

Xt Yt Xt + Yt
Para cualesquiera tiempos t1 , . . . , tn , el evento (T1 > t1 , T2 > t2 , . . . , Tn > tn ) puede expresarse como ((X + Y )[0,t1 ] = 0, (X + Y )[T1 ,T1 +t2 ] = 0, . . . , (X + Y )[Tn1 ,Tn1 +tn ] = 0), esto es, (X[0,t1 ] = 0) (Y[0,t1 ] = 0) (X[T1 ,T1 +t2 ] = 0) (Y[T1 ,T1 +t2 ] = 0)
(X[Tn1 ,Tn1 +tn ] = 0) (Y[Tn1 ,Tn1 +tn ] = 0). Por la independencia de los procesos y la propiedad de incrementos independientes de cada uno de ellos, la probabilidad de este evento es P (X[0,t1 ] = 0) P (Y[0,t1 ] = 0) P (X[T1 ,T1 +t2 ] = 0) P (Y[T1 ,T1 +t2 ] = 0) Por lo tanto, P (T1 > t1 , T2 > t2 , . . . , Tn > tn ) = e(1 +2 )t1 e(1 +2 )t2 e(1 +2 )tn . Esta identidad demuestra que las variables T1 , T2 , . . . , Tn son independientes con idntica distribucin exp(1 + 2 ). e o
P (X[Tn1 ,Tn1 +tn ] = 0) P (Y[Tn1 ,Tn1 +tn ] = 0).
101
Distribuciones asociadas al proceso de Poisson. Adems de las distribuciones a exponencial y gama ya mencionadas, existen otras distribuciones de probabilidad que surgen al estudiar ciertas caracter sticas del proceso de Poisson. Mencionaremos a continuacin algunas de ellas. o Proposicin. Dado el evento (Xt = n), el vector de tiempos reales (W1 , . . . , Wn ) o tiene la misma distribucin que el vector de las estad o sticas de orden (Y(1) , . . . , Y(n) ) de una muestra aleatoria Y1 , . . . , Yn de la distribucin uniforme o en el intervalo [0, t], es decir, n! si 0 < w1 < < wn < t, tn fW1 ,...,Wn |Xt (w1 , . . . , wn | n) = 0 otro caso. Demostracin. La frmula general para la funcin de densidad conjunta de las o o o estad sticas de orden Y(1) , . . . , Y(n) de una muestra aleatoria Y1 , . . . , Yn de una distribucin con funcin de densidad f (y) es, para y1 < < yn , o o fY(1) ,...,Y(n) (y1 , . . . , yn ) = n! f (y1 ) f (yn ). Cuando la funcin de densidad f (y) es la uniforme en el intervalo [0, t], esta funcin o o de densidad conjunta es la que aparece en el enunciado. Demostraremos que la distribucin conjunta de las variables W1 , . . . , Wn , condicionada al evento (Xt = n) o tambin tiene esta misma funcin de densidad. Usaremos nuevamente la identidad e o de eventos (Xt n) = (Wn t). Para tiempos 0 < w1 < < wn < t, se tiene
102
que
fW1 ,...,Wn |Xt (w1 , . . . , wn | n) n = P (W1 w1 , W2 w2 , . . . , Wn wn | Xt = n) w1 wn n = P (Xw1 1, Xw2 2, . . . , Xwn n | Xt = n) w1 wn n P (Xt Xwn = 0, Xwn Xwn1 = 1, . . . = w1 wn . . . , Xw2 Xw1 = 1, Xw1 = 1)/P (Xt = n) n = e(twn ) e(wn wn1 ) (wn wn1 ) w1 wn e(w2 w1 ) (w2 w1 ) ew1 w1 /[ et (t)n /n! ] n = n! (wn wn1 ) (w2 w1 )w1 /tn w1 wn = n!/tn . Observe que bajo el signo de derivada, la probabilidad del evento (Xw1 1, Xw2 2, . . . , Xwn n, Xt = n), que aparece en la segunda igualdad, es idntica a la e probabilidad de (Xt Xwn = 0, Xwn Xwn1 = 1, . . . , Xw2 Xw1 = 1, Xw1 = 1), pues si alguna de estas identidades (exceptuando la primera) fuera distinta de uno, la derivada se anula. La frmula anterior nos provee de un mecanismo para obtener simulaciones por o computadora de las trayectorias del proceso Poisson. El procedimiento es el siguiente: Fije un valor t > 0 y asigne un valor para > 0. Genere un valor al azar de la variable Xt con distribucin Poisson(t). Suponga Xt = n. A continuacin o o genere n valores u1 , . . . , un de la distribucin unif(0, t), y ordene estos valores de o menor a mayor u(1) u(n) . Estos son los tiempos en donde la trayectoria tiene saltos. De esta forma pueden obtenerse trayectorias como la que se muestra en la Figura 4.1. El siguiente resultado establece una forma de obtener la distribucin binomial a o partir del proceso de Poisson. Suponga que durante el intervalo de tiempo [0, t] se han observado n ocurrencias del evento de inters, es decir, el evento (Xt = n) ha e ocurrido. La pregunta es Cuntos de estos eventos ocurrieron en el subintervalo a [0, s]? Demostraremos a continuacin que esta variable aleatoria tiene distribucin o o binomial(n, s/t).
103
Proposicin. Sean s y t tiempos tales que 0 < s < t, y sean k y n enteros tales o que 0 k n. Entonces P (Xs = k | Xt = n) = n s k s ( ) (1 )nk . t t k
Demostracin. Por la propiedad de incrementos independientes, o P (Xu = k | Xt = n) = = = = P (Xu = k, Xt = n)/P (Xt = n) P (Xu = k, Xt Xu = n k)/P (Xt = n)
P (Xu = k)P (Xt Xu = n k)/P (Xt = n) P (Xu = k)P (Xtu = n k)/P (Xt = n).
Substituyendo estas probabilidades y simplicando se obtiene el resultado. Recordando que la suma de dos procesos de Poisson independientes es nuevamente un proceso de Poisson, se puede comprobar fcilmente el siguiente resultado. a Proposicin. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con o parmetros 1 y 2 respectivamente, y sean k y n enteros tales que 0 k n. a Entonces P (X1 (t) = k | X1 (t) + X2 (t) = n) = n 1 1 ( )k (1 )nk . k 1 + 2 1 + 2
Demostracin. Por la hiptesis de independencia entre los procesos, o o P (X1 (t) = k | X1 (t) + X2 (t) = n) = P (X1 (t) = k, X1 (t) + X2 (t) = n)/P (X1 (t) + X2 (t) = n) = = P (X1 (t) = k, X2 (t) = n k)/P (X1 (t) + X2 (t) = n) P (X1 (t) = k) P (X2 (t) = n k)/P (X1 (t) + X2 (t) = n).
Substituyendo estas probabilidades se obtiene el resultado.
104
4.2. Definiciones alternativas
4.2.
Deniciones alternativas
La denicin (I) de proceso de Poisson es constructiva pues a partir de los tiempos o de interarribo se construye el proceso de conteo correspondiente. Existen otras formas equivalentes y un tanto axiomticas de denir a este proceso. Revisaremos a y comentaremos a continuacin dos de ellas. Una de las ventajas de contar con o estas deniciones alternativas es que para demostrar que un cierto proceso es de Poisson se puede tomar cualquiera de las deniciones a conveniencia. Denicin. (II) Un proceso de Poisson de parmetro > 0 es un proceso a o a tiempo continuo {Xt : t 0}, con espacio de estados {0, 1, . . .}, y que cumple las siguientes propiedades: a) X0 = 0. b) Tiene incrementos independientes y estacionarios. c) Para cualquier t 0, y cuando h 0, ii) P (Xt+h Xt 2) = o(h). i) P (Xt+h Xt 1) = h + o(h).
Esta denicin hace uso de las probabilidades innitesimales del proceso y ello tiene o algunas ventajas desde el punto de vista de la interpretacin de lo que sucede en o un intervalo innitesimal de tiempo (t, t + h]. El proceso empieza en cero y por el tercer postulado la probabilidad de que pase al estado uno al nal de un intervalo de tiempo peque o [0, h] es h + o(h), la probabilidad de que el proceso no sufra n ning n cambio en dicho intervalo es 1 h + o(h), y nalmente la probabilidad de u que el proceso tenga dos o ms incrementos en tal intervalo es o(h). Es decir, en un a intervalo cualquiera de longitud innitesimal h slo pueden ocurrir dos situaciones: o que haya un incremento o que no lo haya. Ejemplo. (Demostracin de que la variable Xt+s Xs tiene distribucin Poisson(t) o o a partir de los postulados de la denicin (II)). Se dene pn (t) = P (Xt = n) o y se considera cualquier h > 0. Denotaremos por pn (t, t + h] a la probabilidad
105
P (Xt+h Xt = n). Por la hiptesis de independencia, para t 0 y cuando h 0, o p0 (t + h) = = p0 (t) p0 (t, t + h] p0 (t) (1 h + o(h)).
Haciendo h 0 se obtiene la ecuacin diferencial p0 (t) = p0 (t), cuya solucin o o es p0 (t) = c et , en donde la constante c es uno por la condicin inicial p0 (0) = 1. o Ahora encontraremos pn (t) para n 1. Nuevamente por independencia, pn (t + h)
= pn (t) p0 (t, t + h] + pn1 (t) p1 (t, t + h] + o(h) = pn (t) (1 h + o(h)) + pn1 (t) (h + o(h)) + o(h).
Entonces pn (t) = pn (t) + pn1 (t), con condicin inicial pn (0) = 0 para o n 1. Deniendo qn (t) = et pn (t) la ecuacin diferencial se transforma en qn (t) = o qn1 (t), con condiciones qn (0) = 0 y q0 (t) = 1. Esta ecuacin se resuelve iterao tivamente primero para q1 (t), despus para q2 (t), y as sucesivamente, en general e qn (t) = (t)n /n! Por lo tanto pn (t) = et (t)n /n! Esto signica que Xt tiene distribucin Poisson(t). Debido al postulado de incrementos estacionarios, la vao riable Xt+s Xs tiene la misma distribucin que Xt . o Denicin. (III) Un proceso de Poisson de parmetro > 0 es un proceso a o a tiempo continuo {Xt : t 0} con espacio de estados {0, 1, . . .}, con trayectorias no decrecientes y que cumple las siguientes propiedades: a) X0 = 0. b) Tiene incrementos independientes. c) Xt+s Xs Poisson(t), para cualesquiera s 0, t > 0. Esta es posiblemente la denicin mas frecuente del proceso de Poisson. A partir de o ella inmediatamente sabemos que Xt tiene distribucin Poisson(t). La indepeno dencia de los incrementos es expl cita, y la estacionariedad de los mismos aparece de manera impl cita en el tercer postulado. Para demostrar la equivalencia con la denicin (I), el reto consiste en denir los tiempos de interarribo y demostrar que o stos son variables aleatorias independientes con distribucin exponencial(). e o Ejercicio. Usando la denicin (III), demuestre que la suma de dos procesos de o Poisson independientes es nuevamente un proceso Poisson.
106
4.2. Definiciones alternativas
Proposicin. Las deniciones (I), (II) y (III) son equivalentes. o
Demostracin. Hemos demostrado que (II) (III). El rec o proco es inmediato pues la propiedad de incrementos independientes y estacionarios aparecen en ambas deniciones, y para cualquier t 0 y h > 0, P (Xt+h Xt 1) = = = 1 eh 1 (1 h + o(h)) 1 P (Xt+h Xt = 0)
= Anlogamente a P (Xt+h Xt 2) = = = =
h + o(h).
1 (1 h + o(h)) (h + o(h)) o(h).
1 P (Xt+h Xt = 0) P (Xt+h Xt = 1) 1 eh eh h
Estos clculos y lo desarrollado antes demuestra que (II) (III). Tambin antes a e hemos demostrado que (I) (III). Para demostrar el rec proco es necesario comprobar que los tiempos de interarribo T1 , T2 , . . . son independientes con distribucin o exp(). Daremos una demostracin no completamente rigurosa de este resultado. o Sean t1 , . . . , tn > 0 tiempos cualesquiera y sean t1 , . . . , tn las longitudes que se muestran en la Figura 4.3.
t1 0
t1
t2
t2
tn
tn
Figura 4.3: La probabilidad de que T1 tome un valor en el intervalo t1 , T2 tome un valor en el intervalo t2 , etctera, es e fT1 ,...,Tn (t1 , . . . , tn )t1 tn = = (et1 et1 t1 ) (et2 et2 t2 ) (etn etn tn ) et1 et2 etn t1 tn e(t1 ++tn )
Cap tulo 4. El proceso de Poisson Al hacer t1 , . . . , tn 0 se obtiene fT1 ,...,Tn (t1 , . . . , tn ) = et1 et2 etn .
107
Esto demuestra que las variables T1 , . . . , Tn son independientes y cada una de ellas tiene distribucin exp(). En conjunto esto demuestra que (I) (III) (II). o Observe que la pregunta acerca de la existencia de un proceso estocstico que a cumpla los postulados de la denicin (II) o (III) queda resuelta al vericar la o equivalencia de tales postulados con la denicin constructiva (I). o Presentaremos a continuacin algunas generalizaciones del proceso de Poisson. Una o de tales generalizaciones que estudiaremos con mayor detalle en un cap tulo ms a adelante es aquella en la que se considera que las variables T1 , T2 , . . . no son necesariamente exponenciales, en tal caso se pierde la propiedad de Markov del proceso. A este tipo de procesos se les llama procesos de renovacin. o
4.3.
Proceso de Poisson no homogneo e
Se considera ahora que el parmetro del proceso de Poisson no es necesariamente a una constante sino una funcin del tiempo. A veces a este proceso se le llama o tambin proceso de Poisson con parmetro dependiente del tiempo. Este modelo e a puede ser naturalmente ms adecuado para algunas situaciones reales aunque deja a de cumplir la propiedad de Markov. Denicin. Un proceso de Poisson no homogneo es un proceso a tiempo cono e tinuo {Xt : t 0}, con espacio de estados {0, 1, . . .}, con parmetro la funcin a o positiva y localmente integrable (t), y que cumple las siguientes propiedades: a) X0 = 0. b) Los incrementos son independientes. c) Para cualquier t 0, y cuando h 0, ii) P (Xt+h Xt 2) = o(h). i) P (Xt+h Xt 1) = (t) h + o(h).
108
4.3. Proceso de Poisson no homogneo e
Comparando esta denicin con la denicin (II) de proceso de Poisson se observa o o mucha similaridad excepto por dos aspectos: En lugar de la constante se escribe ahora la funcin (t), y la hiptesis de incrementos estacionarios ya no aparece. Ello o o es consecuencia de que el parmetro var con el tiempo, generalmente de manera a a decreciente. Es decir, la distribucin de probabilidad de la variable incremento o Xt+s Xs depende de los valores de la funcin en el intervalo (s, s + t]. Sin o embargo, y en completa analog con el caso homogneo, la variable Xt contin a a e u teniendo distribucin Poisson como a continuacin demostraremos. o o Proposicin. La variable Xt en un proceso de Poisson no homogneo de parmeo e a t tro (t) tiene distribucin Poisson((t)), en donde (t) = 0 (s) ds, es decir, o para n = 0, 1, . . . [(t)]n . P (Xt = n) = e(t) n!
Demostracin. La prueba es anloga a una de las realizadas en el caso homogneo. o a e Se dene nuevamente pn (t) = P (Xt = n) y se considera cualquier h > 0. Denotaremos por pn (t, t + h] a la probabilidad P (Xt+h Xt = n). Por la hiptesis de o independencia, para t 0 y cuando h 0, p0 (t + h) = p0 (t) p0 (t, t + h] = p0 (t) (1 (t)h + o(h)). Calculando la derivada se obtiene la ecuacin diferencial p0 (t) = (t) p0 (t), cuya o solucin es p0 (t) = c e(t) , en donde la constante c es uno por la condicin inicial o o p0 (0) = 1. Ahora encontraremos pn (t) para n 1. Nuevamente por independencia, pn (t + h) = =

pn (t) p0 (t, t + h] + pn1 (t) p1 (t, t + h] + o(h) pn (t) (1 (t)h + o(h)) + pn1 (t) ((t)h + o(h)) + o(h).
Entonces pn (t) = (t) pn (t) + (t) pn1 (t), con condicin inicial pn (0) = 0 pao ra n 1. Deniendo qn (t) = e(t) pn (t) la ecuacin diferencial se transforma en o qn (t) = (t) qn1 (t), con condiciones qn (0) = 0 y q0 (t) = 1. Esta ecuacin se reo suelve iterativamente primero para q1 (t), despus para q2 (t), y as sucesivamente, e en general qn (t) = ((t))n /n! y de aqu se obtiene pn (t). Las trayectorias de un proceso de Poisson no homogneo son semejantes a las e trayectorias de un proceso de Poisson, es decir, son trayectorias no decrecientes y
109
con saltos unitarios hacia arriba, pero la frecuencia promedio con la que aparecen los saltos cambia a lo largo del tiempo. De manera anloga al caso homogneo, los a e incrementos de este proceso tambin tienen distribucin Poisson. e o Proposicin. Xt+s Xs tiene distribucin Poisson((t + s) (s)). o o Demostracin. Se escribe Xt+s = Xs + (Xt+s Xs ), en donde, por el axioma de o incrementos independientes, en el lado derecho aparece la suma de dos variables aleatorias independientes. Recordando que la funcin generadora de momentos de o la distribucin Poisson() es M (r) = exp [(er 1)], al aplicar este resultado a la o ecuacin anterior se obtiene o exp [(t + s) (er 1)] = exp [(s) (er 1)] MXt+s Xs (r). Por lo tanto MXt+s Xs (r) = exp [((t + s) (s)) (er 1)]. Si la funcin (t) es constante igual a , entonces (t) = t, y se recupera el o proceso de Poisson homogneo. Cuando (t) es continua, (t) es diferenciable y e por lo tanto (t) = (t). A la funcin (t) se le llama funcin de intensidad y a (t) o o se le conoce como funcin de valor medio. Un proceso de Poisson no homogneo o e en donde {(t) : t 0} es un proceso estocstico se le llama proceso de Cox. a El siguiente resultado establece que bajo una transformacin del parmetro tiempo, o a un proceso de Poisson no homogneo puede ser llevado a un proceso de Poisson e homogneo de parmetro uno. Antes de demostrar este resultado observemos que e a como la funcin t (t) es positiva, la funcin de intensidad (t) es continua y no o o decreciente, y en general no es invertible. Puede denirse, sin embargo, la inversa por la derecha 1 (t) = nf{u 0 : (u) = t}, que cumple la identidad (1 (t)) = t, y que es una funcin continua y creciente. o Proposicin. Sea Xt un proceso de Poisson no homogneo de parmetro (t), o e a t y funcin de intensidad (t) = 0 (s) ds. Dena la funcin o o 1 (t) = nf{u 0 : (u) = t}. Entonces el proceso X1 (t) es un proceso de Poisson homogneo de parmetro e a = 1.
110
4.4. Proceso de Poisson compuesto
Demostracin. Usaremos la denicin (III) de proceso de Poisson. El proceso X1 (t) o o empieza en cero y tiene incrementos independientes pues si se consideran cualesquiera tiempos 0 t1 < t2 < < tn , bajo la funcin creciente 1 (t) estos o tiempos se transforman en una nueva coleccin montona de tiempos o o 0 1 (t1 ) < 1 (t2 ) < < 1 (tn ). Por lo tanto las variables X1 (t1 ) , X1 (t2 ) X1 (t1 ) ,. . ., X1 (tn ) X1 (tn1 ) son independientes. Finalmente, para cualesquiera tiempos s, t 0 el incremento X1 (t+s) X1 (s) tiene distribucin Poisson de parmetro (1 (t + s)) o a (1 (s)) = (t + s) s = t. Pueden denirse los tiempos de interarribo T1 , T2 , . . ., y los tiempos de saltos W1 , W2 , . . . para un proceso de Poisson no homogneo de manera anloga al caso e a homogneo. Por hiptesis los incrementos de este procesos son independientes, sin e o embargo, debido a que el parmetro (t) es una funcin del tiempo, los tiempos a o de interarribo T1 , T2 , . . . no son independientes pues, por ejemplo, T2 depende de (t) para valores de t mayores a T1 . Y por las mismas razones las distribuciones de estas variables no son idnticas. e
4.4.
Proceso de Poisson compuesto
Esta es una de las generalizaciones del proceso de Poisson ms conocidas y de a amplia aplicacin. o Denicin. Sea {Nt : t 0} un proceso de Poisson y sea Y1 , Y2 , . . . una suceo sin de variables aleatorias independientes, idnticamente distribuidas e indeo e pendientes del proceso Poisson. Sea Y0 = 0. El proceso de Poisson compuesto se dene de la siguiente forma
Nt
Xt =
n=0
Yn .
La variable Xt es una suma de variables aleatorias en donde el n mero de suu mandos es aleatorio. Tal tipo de modelos encuentra aplicacin natural en distintos o
111
contextos, por ejemplo, la variable Xt puede interpretarse como el monto total de reclamaciones recibidas por una compa aseguradora al tiempo t. El proceso na de Poisson determina el n mero de siniestros o reclamaciones efectuadas hasta un u momento cualquiera. La variable Yn representa el monto de la n-sima reclamacin e o y es natural suponer Yn > 0. En la Figura 4.4 se muestra una trayectoria de este proceso y en los siguientes ejercicios se presentan algunas de sus propiedades bsicas. Cuando las variables a Y1 , Y2 , . . . toman valores en el conjunto {1, 2, . . .} se dice que este proceso es un proceso de Poisson generalizado pues los saltos ya no son necesariamente unitarios. Observe que si las variables Y1 , Y2 , . . . son todas idnticamente uno, este proceso se e reduce al proceso de Poisson.
Xt () Y3 Y2 Y1 t
Figura 4.4:
Ejercicio. Demuestre que el proceso de Poisson compuesto satisface las siguientes propiedades. a) MXt (u) = exp [ t (MY (u) 1) ]. a) E(Xt ) = t E(Y ). b) Var(Xt ) = t E(Y 2 ). c) Cov(Xt , Xs ) = E(Y 2 ) m n{s, t}. d) Tiene incrementos independientes y estacionarios. Notas y referencias. El proceso de Poisson es otro de los temas clsicos que a se estudia en los cursos bsicos de procesos estocsticos. La mayor de los textos a a a sobre procesos que aparecen en la bibliograf cuentan por lo menos con una seccin a o sobre este tema. Algunos textos espec cos que dedican un cap tulo entero para el proceso de Poisson son: Basu [1], Taylor y Karlin [37], y Jones y Smith [17].
112
Ejercicios
Proceso de Poisson 62. Los clientes de una tienda entran al establecimiento de acuerdo a un proceso de Poisson de parmetro = 4. Sea Xt el n mero de clientes que han a u ingresado hasta el instante t. Calcule a) P (X2 = 1). b) P (X1 = 3, X2 = 6). d ) P (X2 = 4 | X1 = 2). e) P (X2 3). f ) P (X1 4 | X1 2). c) P (X1 = 0 | X3 = 4).
63. Los pasajeros llegan a una parada de autob s de acuerdo a un proceso de u Poisson Xt de parmetro = 2. Por otro lado, sea el momento en el que llega a el primer autob s. Suponga que es una variable aleatoria con distribucin u o unif(0, 1) e independiente del proceso de Poisson. Calcule a) E(X | = t). b) E(X ).
2 c) E(X | = t).
d ) Var(X ).
64. Sea Xt un proceso de Poisson de parmetro = 2. Sea Wn el instante en el a que ocurre el n-simo evento. Calcule e a) E(X5 ). b) E(X5 | X2 = 1). c) E(W7 ). d ) E(W7 | X2 = 3).
e) E(W7 | W5 = 4).
113
65. Sean T1 , T2 , . . . una sucesin de variables aleatorias independientes idnticao e mente distribuidas con distribucin exp(). Dena la variable aleatoria N de o la siguiente forma N= 0 k si T1 > 1, si T1 + + Tk 1 < T1 + + Tk+1 .
Demuestre que N tiene distribucin Poisson(). Este resultado puede ser o usado para obtener valores al azar de la distribucin Poisson. o
1 66. Demuestre que si X tiene distribucin unif(0, 1), entonces Y := ln(1 o X) tiene distribucin exp(). Este resultado puede ser usado para generar o valores al azar de la distribucin exp() a partir de valores de la distribucin o o unif(0, 1).
67. Sean T1 , . . . , Tn variables aleatorias independientes cada una con distribucin exp(). Demuestre que la suma Wn = T1 + + Tn tiene distribucin o o gama(n, ) y que la correspondiente funcin de distribucin puede escribirse o o de la siguiente forma: Para cada t > 0, P (Wn t) =
k=n
et
(t)k . k!
68. Sea Xt un proceso de Poisson de parmetro = 1, e independiente de una a variable aleatoria con distribucin exp() con = 1. Dena el proceso o Yt = Xt . Demuestre que a) P (Yt = n) = 1 t n ( ) , para n = 0, 1, . . .. 1+t 1+t n+m n m 1 b) P (Yt = n, Yt+s = n + m) = t s ( 1+t+s )n+m+1 . n
Concluya que las variables Yt y Yt+s Yt no son independientes. Para los ejercicios restantes de esta seccin suponga que Xt es un proceso de Poisson o homogneo de parmetro > 0. e a 69. Demuestre los siguientes resultados de manera sucesiva. o a) (W1 > t1 , W2 > t2 ) = (Xt1 = 0, Xt2 Xt1 = 0 1).
114
4.4. Proceso de Poisson compuesto b) P (W1 > t1 , W2 > t2 ) = et1 (1 + (t2 t1 )) e(t2 t1 ) . c) fW1 ,W2 (t1 , t2 ) = 2 et2 , para 0 < t1 < t2 . d ) fW1 (t1 ) = et1 . e) fW2 (t2 ) = 2 t1 et1 . f ) Las variables T1 = W1 y T2 = W2 W1 son independientes.
70. Sean s y t dos tiempos tales que 0 s < t. Demuestre que a) P (Xs = 0, Xt = 1) = (t s)et . b) P (Xs = Xt ) = e(ts) .
71. Demuestre que Cov(Xt , Xs ) = m n{s, t}. 72. Las funciones seno y coseno hiperblico se denen de la siguiente forma: o senh(x) = (ex ex )/2, y cosh(x) = (ex + ex )/2. Demuestre que a) P (Xt sea impar) = et senh(t). b) P (Xt sea par) = et cosh(t). 73. Sea s > 0 un tiempo jo. Demuestre que el proceso Yt = Xt+s Xs tambin es e un proceso de Poisson de parmetro . En la Figura 4.5 se ilustra grcamente a a la denicin de este nuevo proceso. o
Xt
Yt
3 2 1
2 1
t t s
Figura 4.5: 74. Demuestre que a) fW1 ,W2 (w1 , w2 ) = 2 ew2 0 si 0 < w1 < w2 , otro caso.
Cap tulo 4. El proceso de Poisson 1/w2 0 si w1 (0, w2 ), si w2 (w1 , ), otro caso.
115
b) fW1 | W2 (w1 | w2 ) = c) fW2 | W1 (w2 | w1 ) =
otro caso.
e(w2 w1 ) 0
75. Sea T una variable aleatoria con distribucin exp() e independiente del proo ceso de Poisson. Encuentre la funcin de densidad de la variable XT . o 76. Sean r y n dos enteros tales que 1 r n, y sea t > 0. Suponga que el evento (Xt = n) ocurre. Encuentre la densidad condicional de Wr . 77. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con parmetros a 1 y 2 respectivamente. Calcule la probabilidad de que a) X1 (t) = 1 antes que X2 (t) = 1. b) X1 (t) = 2 antes que X2 (t) = 2. 78. Suponga que un cierto aparato elctrico sufre desperfectos a lo largo del e tiempo de acuerdo a un proceso de Poisson de parmetro . Suponga que a cada vez que el aparato se descompone es enviado a reparacin y despus o e es puesto en funcionamiento nuevamente. Suponga adems que el aparato se a reemplaza completamente por uno nuevo cuando el tiempo que transcurre entre dos descomposturas sucesivas es menor o igual a una cierta constante a > 0, incluyendo el tiempo antes de la primera reparacin. Encuentre la o funcin de densidad del o a) tiempo de vida util del equipo antes de ser reemplazado. b) n mero de reparaciones antes de realizar el reemplazo. u 79. Suponga que un cierto circuito recibe impulsos elctricos de acuerdo a un e proceso de Poisson de parmetro . Suponga adems que el circuito se desa a compone al recibir el k-simo impulso. Encuentre la funcin de densidad del e o tiempo de vida del circuito. 80. Sean X1 (t), . . . , Xn (t) procesos de Poisson independientes, todos de parmea tro > 0. Encuentre la distribucin de probabilidad del primer momento en o el cual a) ha ocurrido en cada uno de los procesos al menos un evento. b) ocurre el primer evento en cualquiera de los procesos.
116
81. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con parmetros a 1 > 0 y 2 > 0, respectivamente. Sea n cualquier n mero natural, y dena u el tiempo aleatorio = {t 0 : X1 (t) = n}. Demuestre que X2 ( ) tiene nf distribucin binomial negativa, es decir, para k = 0, 1, . . . o P (X2 ( ) = k) = n+k1 k 1 1 + 2
k
2 1 + 2
82. Sea Xt un proceso de Poisson de parmetro > 0, y sea a > 0 una constante. a Demuestre que Xat es un proceso de Poisson de parmetro a. a 83. Sea {Xt : t 0} un proceso de Poisson. Demuestre que, condicionado a que el proceso tiene exactamente un salto en el intervalo [s, s + t], el momento en el que ese salto ocurre se distribuye de manera uniforme en dicho intervalo.
Distribuciones asociadas al proceso de Poisson 84. Sea t0 un tiempo positivo jo y suponga que hasta ese momento se ha observado un solo evento de un proceso de Poisson, es decir, Xt0 = 1. La pregunta es Cundo ocurri tal evento? Demuestre que la distribucin condicional del a o o momento en el que se ha registrado el evento, es decir T1 , es uniforme en el intervalo [0, t0 ]. 85. Sea Xt un proceso Poisson de tasa y sean dos tiempos 0 < s < t. Dena la variable X(s,t] como el n mero de eventos del proceso de Poisson que ocurren u en el intervalo (s, t]. Demuestre que, condicionada a la ocurrencia del evento (Xt = n), la variable X(s,t] tiene distribucin binomial(n, 1 s/t). o Proceso de Poisson no homogneo e 86. Sea Xt un proceso Poisson no homogneo de intensidad (t), sean T1 , T2 , . . . e los tiempos de interarribo, y sean W1 , W2 , . . . los tiempos reales de ocurrencia. Demuestre que para cualquier t > 0, a) fT1 (t) = e(t) (t). b)fT2 |T1 (t|s) = e(t+s)+(s) (t + s). c) fT2 (t) =
0
e(t+s) (t + s) (s) ds.
Cap tulo 4. El proceso de Poisson d) fWn (t) = e(t) [(t)]n1 (t). (n 1)!
117
e) FTk |Wk1 (t|s) = 1 e(t+s)+(s) . f) FTk (t) = 1
e(t+s)
[(s)]k2 (s) ds, k 2. (k 2)!
Proceso de Poisson compuesto 87.
Cap tulo 5
Cadenas de Markov a tiempo continuo
Vamos a considerar ahora cadenas de Markov {Xt : t 0} en donde el tiempo es continuo y las variables toman valores enteros. Varios de los conceptos que mencionaremos para este tipo de procesos son anlogos al caso de tiempo discreto, a pero existen diferencias en el comportamiento y desarrollo matemtico entre los a dos modelos, y no pretendemos presentar y justicar la teor completa. a Usando la misma notacin que en el caso de tiempos discretos, recordemos que el o trmino p(xt ) signica P (Xt = xt ). La propiedad de Markov que consideraremos e tiene la siguiente forma: Para cualesquiera tiempos 0 t1 < t2 < < tn , p(xtn | xt1 , . . . , xtn1 ) = p(xtn | xtn1 ). Observe que no estamos suponiendo que se conoce la historia del proceso en todo el pasado a tiempo continuo, sino unicamente en una coleccin arbitraria pero nita de o tiempos pasados t1 , . . . , tn1 . Supondremos nuevamente que estas probabilidades de transicin son estacionarias en el tiempo, esto signica que para cada s 0 y o t 0, la probabilidad P (Xt+s = j | Xs = i) es idntica a P (Xt = j | X0 = i), es e decir, no hay dependencia del valor de s. Esta probabilidad se escribe de manera breve mediante la expresin pij (t), para i y j enteros no negativos. En particular o para t = 0 se dene nuevamente pij (0) como la funcin delta de Kronecker, es decir, o pij (0) = ij = 1 0 si i = j, si i = j.
119
120
5.1. Procesos de saltos
Haciendo variar los ndices i y j en el espacio de estados, se obtiene la matriz de probabilidades de transicin al tiempo t: o p00 (t) p01 (t) Pt = p10 (t) p11 (t) . . . . . . . Plantearemos a continuacin el modelo general de cadena de Markov a tiempo o continuo, estudiaremos algunas de sus propiedades, y despus revisaremos algunos e modelos particulares.
5.1.
Procesos de saltos
Considere un proceso a tiempo continuo {Xt : t 0} que inicia en el estado i1 al tiempo cero. El proceso permanece en ese estado un tiempo aleatorio Ti1 , y despus e salta a un nuevo estado i2 distinto del anterior. El sistema permanece ahora en el estado i2 un tiempo aleatorio Ti2 al cabo del cual brinca a otro estado i3 distinto del inmediato anterior, y as sucesivamente. Esta sucesin de saltos se muestra o grcamente en la Figura 5.1. a
Xt () i4 i2 i1 i3 t Ti1 Ti2 Ti3 Ti4
Figura 5.1: Los tiempos aleatorios T son los tiempos en los que el proceso permanece constante en alguno de sus estados, y se llaman tiempos de estancia (passage times). Los momentos en donde el proceso tiene saltos son los tiempos Wn = Ti1 + + Tin ,
Cap tulo 5. Cadenas de Markov a tiempo continuo para n 1. El proceso puede entonces escribirse de la forma siguiente: i1 si 0 t < W1 , i2 si W1 t < W2 , Xt = i3 si W2 t < W3 , . . .
121
Un proceso de estas caracter sticas se llama proceso de saltos, y parece ser una buena versin continua de las cadenas de Markov a tiempo discreto. Sin embargo o puede comprobarse que un proceso con estas caracter sticas pudiera no estar denido para todo t 0, y tampoco hay garant de que se cumpla la propiedad de a Markov. A n de evitar situaciones demasiado complicadas, los procesos de saltos que consideraremos estarn restringidos por las siguientes condiciones: a No explosin. Puede suceder que los tiempos de estancia T sean cada vez ms o a peque os de tal forma que l n Wn < , es decir, existe la posibilidad de que n m el proceso efect e un n mero innito de saltos durante un intervalo de tiempo u u acotado. En tal situacin el proceso no estar bien denido para todo t 0, y se o a dice que el proceso explota en un tiempo nito. Para evitar tal comportamiento supondremos que l n Wn = , y por lo tanto, para cada t 0, el valor de Xt m es nito. Probabilidades de transicin. Supondremos que el espacio de estados es {0, 1, . . .} o y que el tiempo de estancia asociado el estado i es la variable aleatoria Ti , la cual supondremos positiva con funcin de distribucin Fi (t). Como en el caso de o o cadenas a tiempos discreto, se denotar por pij a la probabilidad de que la cadena a salte del estado i al estado j. Adicionalmente impondremos la condicin pii = 0, y o con ello se inhibe, por ahora, que la cadena salte al mismo estado de partida. Las probabilidades de transicin cumplen entonces las siguientes condiciones: o a) pij 0. b) pii = 0. c)
j
pij = 1.
Independencia. Supondremos que los tiempos de estancia Ti1 , Ti2 , . . . son independientes entre s y tambin son independientes del mecanismo mediante el cual se , e
122
5.1. Procesos de saltos
escoge el estado j al cual la cadena brinca despus de estar en cualquier otro estado e i. Estados absorbentes o no absorbentes. Supondremos que cada variable Ti es nita con probabilidad uno, o bien es innita con probabilidad uno. En el primer caso se dice que el estado i es no absorbente, y en el segundo caso que es absorbente. El hecho de que Ti = se interpreta en el sentido de que el proceso deja de saltar y permanece en el estado i el resto del tiempo, es decir, es absorbente. Estamos entonces suponiendo que slo hay dos tipos de estados: absorbentes o no o absorbentes, en otras palabras, con probabilidad uno el tiempo de estancia es nito o con probabilidad uno es innito. Propiedad de Markov. Puede demostrarse que el proceso de saltos descrito arriba satisface la propiedad de Markov si, y slo si, los tiempos de estancia de estados o no absorbentes tienen distribucin exponencial. Este es un resultado importante o cuya demostracin omitiremos y que simplica el modelo general planteado antes. o Supondremos entonces que el tiempo de estancia en un estado no absorbente i tiene distribucin exp(i ), con i > 0, es decir, Fi (t) = 1 ei t , para t 0. Cuando o Ti = puede considerarse que i = 0. Denicin. A un proceso de saltos con las caracter o sticas arriba se aladas se n le llama cadena de Markov a tiempo continuo. Observe que un proceso de Markov a tiempo continuo queda completamente especicado por los siguientes tres elementos: una distribucin de probabilidad inicial, o los parmetros i , y las probabilidades pij . a Ejemplo. (Cadena de primera ocurrencia). Sea Xt el estado de un sistema tal que en cualquier instante se encuentra en alguno de los dos posibles estados: 0 y 1. Suponga que X0 = 0 y que el proceso cambia al estado 1 despus de un tiempo e aleatorio con distribucin exp(), y permanece all el resto del tiempo. Una posible o trayectoria de este proceso se muestra en la Figura 5.2(a). Este proceso modela la situacin de espera para la primera ocurrencia de un evento de inters. Las o e probabilidades de transicin son o Pt =
p00 (t) p10 (t) p01 (t) p11 (t)
et 0
1 et 1
Cap tulo 5. Cadenas de Markov a tiempo continuo
123
Xt () 1 t (a) 1
Xt ()
t (b)
Figura 5.2: Ejemplo. (Cadena de dos estados). Considere el proceso Xt con dos posibles estados: 0 y 1, denido por la siguiente dinmica: Cuando el proceso entra al estado 0 a permanece en l un tiempo exp(), y luego va al estado 1, entonces permanece en e el estado 1 un tiempo exp() y despus regresa a 0, y as sucesivamente. Se postula e que los tiempos de estancia en cada estado son variables aleatorias independientes. Una trayectoria de este proceso se muestra en la Figura 5.2(b). Puede demostrarse que las probabilidades de transicin son o Pt =
p00 (t) p10 (t) p01 (t) p11 (t)
1 +
1 +
e(+)t .
Ejemplo. El proceso de Poisson es una cadena de Markov a tiempo continuo que empieza en cero, los tiempos de estancia son exponenciales de parmetro , y las a probabilidades de transicin de un estado a otro son pi,i+1 = 1. o
5.2.
Propiedades generales
Mencionaremos ahora algunos conceptos y propiedades generales de procesos de Markov a tiempo continuo. Varios de estos resultados son similares a los desarrollados antes para el caso de tiempos discretos. Cadena a tiempo discreto asociada. Toda cadena de Markov a tiempo continuo {Xt : t 0} tiene asociada una cadena a tiempo discreto que denotaremos por el
124
5.2. Propiedades generales
mismo s mbolo {Xn : n = 0, 1, . . .}, y que est dada por la primera pero observada a en los tiempos en donde se efect an los saltos. Algunas caracter u sticas de la cadena a tiempo discreto se trasladan a su versin continua. Inversamente, a partir de o una cadena a tiempo discreto puede construirse su versin continua en el tiempo o tomando tiempos exponenciales independientes entre salto y salto. Probabilidades de transicin. Para una cadena de Markov a tiempo continuo o las probabilidades de transicin son los n meros pij (t) = P (Xt = j | X0 = i), para o u cualesquiera estados i y j, y para cualquier tiempo t 0. Cuando el espacio de estados es nito, los elementos de cada rengln de esta matriz suman uno, pero o para espacios de estados innito esta suma puede ser estrictamente menor a uno, es decir, en general, j pij (t) 1. Esta es una diferencia inesperada respecto del modelo a tiempo discreto. Intentar encontrar pij (t) para cada par de estados i y j, y para cada t 0, es un problema demasiado general, y slo en algunos casos es posible encontrar expl o citamente tales probabilidades. El siguiente resultado nos permitir obtener algunas a conclusiones generales acerca de pij (t). Proposicin. Sean i y j dos estados. Para cualquier t 0, o pij (t) = ij ei t + i ei t
0 t
ei s (
k=i
pik pkj (s) ) ds.
(5.1)
Demostracin. Si i es un estado absorbente, i.e. i = 0, entonces la frmula se o o reduce a pij (t) = ij , lo cual es correcto. Si i es un estado no absorbente, entonces pij (t) = = = = P (Xt = j | X0 = i) ij ei t + ij ei t +
0
P (Xt = j, Ti > t | X0 = i) + P (Xt = j, Ti t | X0 = i)

k=i t
P (Xt = j, Ti t, XTi = k | X0 = i) pik pkj (t u) ) du.
i ei u (
k=i
Haciendo el cambio de variable s = t u en la integral se obtiene el resultado.
125
Las probabilidades de transicin satisfacen tambin una versin continua de la o e o ecuacin de Chapman-Kolmogorov, y que en este caso se conoce como la propiedad o de semigrupo. Proposicin. (Ecuacin de Chapman-Kolmogorov). Para cualquiera estados i y o o j, y para todo t 0 y s 0, pij (t + s) =
k
pik (t) pkj (s).
En notacin matricial, Pt+s = Pt Ps . o
Demostracin. Por la propiedad de Markov, o pij (t + s) = =

k
P (Xt+s = j | X0 = i) P (Xt+s = j, Xt = k | X0 = i) P (Xt+s = j | Xt = k) P (Xt = k | X0 = i) pik (t) pkj (s).

k
=
k
La coleccin {Pt : t 0} constituye un semigrupo de matrices estocsticas, esto o a quiere decir que cumple las siguientes propiedades: a) P0 = I, en donde I es la matriz identidad. b) Pt es una matriz estocstica. a c) Pt+s = Pt Ps , para cualesquiera t, s 0. La ecuacin de Chapman-Kolmogorov es interesante pues permite expresar a la o probabilidad pij (t), para cualquier tiempo t > 0, en trminos de probabilidades e innitesimales, es decir, probabilidades de transicin en intervalos de tiempo de o longitud muy peque a. Por ejemplo, para cualquier n natural, tomando t = t/n, n pij (t) =
k1 ,...,kn1
pi,k1 (t) pk1 ,k2 (t) pkn1 ,j (t).
126
Esto quiere decir que es suciente conocer el comportamiento de pij (t) en tiempos t peque os para conocer su comportamiento para cualquier t > 0. Especicaremos n con detalle este resultado ms adelante. a Parmetros innitesimales. De la frmula (5.1) es inmediato observar que las a o probabilidades pij (t) son funciones continuas en t, y en particular el integrando en (5.1) es una funcin continua. Esto implica que la integral es diferenciable y por o lo tanto tambin pij (t). Derivando entonces (5.1) se obtiene el siguiente resultado. e Proposicin. Para cualquier t > 0, o p (t) = i pij (t) + i ij pik pkj (t).
k=i
(5.2)
Tomando ahora el l mite cuando t 0, se tiene que p (0) = ij = = i ij + i i i pij pik kj

k=i
i ij + i pij
si i = j, si i = j.
Denicin. A las cantidades p (0) se les denota por gij , y se les conoce con el o ij nombre de parmetros innitesimales del proceso. Es decir, estos parmetros a a son i si i = j, gij = (5.3) i pij si i = j.
Variando los ndices i y j, estos nuevos parmetros se escriben en notacin matricial a o de la forma siguiente:
0
1 p10 G = 2 p20
. . .
0 p01 1 2 p21 . . .
0 p02 1 p12 2 . . .
127
Esta matriz determina de manera unica el comportamiento de la cadena de Markov a tiempo continuo, y es el concepto equivalente a la matriz de probabilidades de transicin en un paso para cadenas a tiempo discreto. Se trata de una matriz con o las siguientes propiedades: a) gii 0. b) gij 0, si i = j. c)
j
gij = 0.
Observe que gii = 0 cuando el estado i es absorbente, es decir, cuando i = 0. Cuando i > 0 la ultima propiedad se obtiene a partir del hecho de que pii = 0 pues gij = i + i pij = i + i (1 pii ) = 0.
j j=i
Proposicin. Los parmetros innitesimales determinan de manera unica a la o a cadena de Markov a tiempo continuo. Este resultado es consecuencia de (5.3) pues a partir de gij se obtiene i pij = = gii , 0 gij /gii si i = j, si i = j.
(5.4)
Probabilidades innitesimales. Un proceso de Markov a tiempo continuo puede ser tambin denido a partir del comportamiento de las probabilidades de trane sicin pij (t) cuando t 0. Tales probabilidades se llaman a veces probabilidades o innitesimales, y pueden expresarse en trminos de los parmetros innitesimales e a como establece el siguiente resultado y del cual omitiremos su demostracin. o Proposicin. Cuando t 0, o 1. pii (t) = 1 + gii t + o(t). 2. pij (t) = gij t + o(t), para i = j.
128
Ecuaciones de Kolmogorov. En trminos de los parmetros innitesimales, la e a ecuacin (5.2) puede escribirse en la forma o p (t) = ij
k
gik pkj (t).
(5.5)
En trminos de matrices esta igualdad se escribe como P (t) = G P (t), es decir, e
p00 (t) p10 (t) . . .
p01 (t) p11 (t) . . .
0 = 1 p10 . . .
0 p01 1 . . .
p00 (t) p10 (t) . . .
p01 (t) p11 (t) . . .
Este sistema de ecuaciones se conoce como las ecuaciones hacia atrs de Kolmoa gorov. Comunicacin. Se dice que el estado j es accesible desde el estado i si pij (t) > 0 o para alg n t 0, y se escribe i j. Se dice que los estados i y j se comunican u si i j y j i, y en tal caso se escribe i j. Nuevamente puede demostrarse que la comunicacin es una relacin de equivalencia, y eso lleva a una particin del o o o espacio de estados en clases de comunicacin. Se dice que la cadena es irreducible o cuando todos los estados pertenecen a la misma clase de comunicacin. o Tiempos de primera visita. Para cualesquiera estados i y j, se dene Tij = nf {t > W1 : Xt = j}, cuando X0 = i.
El tiempo medio de primera visita es entonces ij = E(Tij ). Cuando los estados i y j coinciden se escribe Ti , y i = E(Ti ) respectivamente. A i se le llama tiempo medio de recurrencia. Recurrencia y transitoriedad. Se dice que el estado i es transitorio si, partiendo de i, con probabilidad uno el conjunto de tiempos {t 0 : Xt = i} es acotado. En cambio, se dice que es recurrente si, partiendo de i, con probabilidad uno el conjunto {t 0 : Xt = i} es no acotado. Cuando E(Ti ) = se dice que el estado i es recurrente nulo, y cuando E(Ti ) < se dice que es recurrente positivo. Distribuciones estacionarias. Una distribucin de probabilidad = {0 , 1 , . . .} o sobre el espacio de estados {0, 1, . . .} es estacionaria para la cadena con matriz de
129
probabilidades de transicin Pt si para cualquier t 0, o i i pij (t) = j . En notacin matricial, Pt = . Si X0 tiene como distribucin inicial una distribucin o o o estacionaria , entonces P (Xt = j) = i i pij (t) = j , es decir, la variable Xt tiene la misma distribucin de probabilidad para cualquier valor de t. o
5.3.
Procesos de nacimiento y muerte
Un proceso de nacimiento y muerte es una cadena de Markov a tiempo continuo con espacio de estados {0, 1, . . .} tal que en cada salto la cadena unicamente puede brincar una unidad hacia arriba o una unidad hacia abajo. Un salto hacia arriba se interpreta como un nacimiento mientras que un salto hacia abajo representa una muerte. La matriz de parmetros innitesimales es de la siguiente forma a
0
1 G= 0
. . .
0 (1 + 1 ) 2 . . .
0 1 (2 + 2 ) . . .
0 0 2
en donde 0 , 1 , . . . y 1 , 2 , . . . son constantes positivas conocidas como las tasas instantneas de nacimiento y muerte, respectivamente. De acuerdo a (5.4), el tiema po de estancia en el estado i tiene distribucin exp(i + i ), en donde se dene o 0 = 0. Las probabilidades de saltos son i + si j = i + 1, i i i pij = + si j = i 1, i i 0 otro caso.
Una posible trayectoria de este proceso se muestra en la Figura 5.3 con X0 = 0, los saltos son unitarios, hacia arriba o hacia abajo. La variable Xt puede interpretarse como el n mero de individuos en una poblacin al tiempo t, en donde pueden preu o sentarse nacimientos y muertes de individuos. Como 0 > 0 y 0 = 0, la poblacin o puede crecer cuando se encuentre en el estado cero, pero nunca decrecer por abajo de ese nivel. Se pueden tomar las siguientes probabilidades innitesimales como postulados para denir a este proceso. Para cualquier t 0, y cuando h 0,
130
5.3. Procesos de nacimiento y muerte
Xt ()
3 2 1
t
Figura 5.3: a) P (Xt+h Xt = 1 | Xt = k) = k h + o(h). b) P (Xt+h Xt = 1 | Xt = k) = k h + o(h). c) P (Xt+h Xt = 0 | Xt = k) = 1 (k + k ) h + o(h). Para cualquier t 0 y h > 0 peque o consideremos el intervalo [0, t + h] visto n como [0, h] + (h, t + h]. Haciendo un anlisis sobre estos intervalos puede encona trarse nuevamente que las probabilidades pij (t) satisfacen el sistema de ecuaciones diferenciales hacia atrs de Kolmogorov: a p (t) 0j p (t) ij = = 0 p0j (t) + 0 p1j (t), i pi1,j (t) (i + i ) pij (t) + i pi+1,j (t).
De manera anloga, considerando [0, t + h] = [0, t] + (t, t + h], es posible comprobar a que se cumple el sistema de ecuaciones diferenciales hacia adelante de Kolmogorov: p (t) = i0 p (t) = ij 0 pi0 (t) + 1 pi1 (t),
j1 pi,j1 (t) (j + j ) pij (t) + j+1 pi,j+1 (t).
Ejemplo. Un proceso de Poisson es una cadena de nacimiento y muerte en donde las tasas instantneas de muerte 0 , 1 , . . . son cero, y las tasas instantneas de a a nacimiento 0 , 1 , . . . son todas ellas iguales a una constante > 0. La matriz de parmetros innitesimales es entonces de la forma a
131
0 G= 0 . . .
0 . . .
0 . . .
0 0
Ejemplo. Las ecuaciones hacia adelante de Kolmogorov del proceso de Poisson son p (t) = 0 p (t) n = p0 (t).
pn1 (t) pn (t),
para n 1,
en donde pn (t) = p0n (t). Usaremos estas ecuaciones para comprobar nuevamente que Xt tiene distribucin Poisson(). Usando la condicin inicial p0 (0) = 1, la o o primera ecuacin tiene solucin p0 (t) = et . Deniendo qn (t) = et pn (t), la seo o gunda ecuacin se transforma en qn (t) = qn1 (t), con condiciones qn (0) = 0n o y q0 (t) = 1. Esta nueva ecuacin se resuelve iterativamente, primero para q1 (t), o despus para q2 (t), y as sucesivamente. En general, qn (t) = (t)n /n! para n 0. e De aqu se obtiene pn (t) = et (t)n /n! Ejemplo. Esta es otra derivacin mas de la distribucin Poisson en el proceso de o o Poisson, ahora usando las ecuaciones hacia adelante de Kolmogorov y la funcin geo neradora de probabilidad. La variable aleatoria Xt puede tomar los valores 0, 1, . . . de modo que su funcin generadora de probabilidad es o GXt (u) = E(uXt ) =
n=0
pn (t) un ,
para valores reales de u tales que |u| < 1, y en donde pn (t) = P (Xt = n). Consideraremos a esta funcin tambin como funcin del tiempo t y por comodidad o e o en los siguientes clculos la llamaremos G(t, u). Derivando respecto de t, para el a mismo radio de convergencia |u| < 1, y usando las ecuaciones hacia adelante de
132
5.4. Proceso de nacimiento puro
Kolmogorov para el proceso de Poisson se tiene que G (t, u) = = = =

n=0 n=0
p (t) un n (pn1 (t) pn (t))un
uG(t, u) G(t, u) (u 1)G(u),
de donde se obtiene la ecuacin diferencial G /G = (u 1). Integrando de 0 a t y o usando la condicin G(0, u) = 1 se llega a o G(t, u) = G(0, u) e(u1)t = et etu =
n=0
et
(t)n n u . n!
Esta es la funcin generadora de la distribucin Poisson(t). Por la propiedad de o o unicidad se obtiene que Xt tiene distribucin Poisson(t). o
5.4.
Proceso de nacimiento puro

G= 0 0 0 . . . 0 1 0 . . . 0 1 2 . . . 0 0 2 ,
Cuando en un proceso de nacimiento y muerte los parmea tros 0 , 1 , . . . son todos cero, se obtiene un proceso de nacimiento puro. La matriz de parmetros innitesimales a tiene la forma que se muestra en la Figura 5.4, en donde, como antes, los parmea tros 0 , 1 , . . . se conocen como las tasas instantneas de a nacimiento. En la Figura 5.4 se muestra una trayectoria de este proceso cuando inicia en el estado cero. Por construccin, el tiempo de estancia en o
Xt ()
3 2 1
t
exp(0 ) exp(1 ) exp(2 ) exp(3 )
Figura 5.4:
133
el estado i tiene distribucin o exponencial con parmetro i . a Las probabilidades de saltos son evidentemente pij = 1 cuando j = i + 1, y cero en caso contrario. Puede demostrarse que los incrementos de un proceso de nacimiento puro son independientes pero no son necesariamente estacionarios. Un proceso de nacimiento puro puede tambin denirse mediante las siguientes e probabilidades innitesimales: Cuando h 0, a) P (Xt+h Xt = 1 | Xt = k) = k h + o(h). b) P (Xt+h Xt = 0 | Xt = k) = 1 k h + o(h). En general no es fcil encontrar una frmula para las probabilidades de transicin a o o pij (t), sin embargo cuando el estado inicial es el cero se conoce la siguiente frmula o recursiva. Proposicin. Para cualquier t 0 y cualquier entero n 1, o p0n (t) = n1 en t
0 t
en s p0,n1 (s) ds.
(5.6)
Demostracin. El sistema de ecuaciones diferenciales hacia adelante de Kolmogoo rov para este proceso es p (t) = j1 pi,j1 (t) j pij (t). ij En particular, partiendo de cero, p00 (t) = p0n (t) =

0 p00 (t),
n1 p0,n1 (t) n p0n (t),
n 1,
con las condiciones de frontera p00 (0) = 1 y p0n (0) = 0, para n 1. La primera ecuacin tiene solucin p00 (t) = e0 t , mientras que para el caso n 1, multiplicano o do por el factor integrante en t y resolviendo se obtiene la frmula enunciada. o De manera anloga puede denirse un proceso de muerte como un proceso de a nacimiento y muerte en donde los parmetros de nacimiento 0 , 1 , . . . son todos a
134
cero. El proceso puede iniciar con una poblacin de tama o k 1, y presentar o n fallecimientos sucesivos hasta una posible extincin completa de la poblacin. o o El proceso de Yule. Este es un tipo particular de proceso de nacimiento puro, y para el cual es posible encontrar expl citamente las probabilidades de transicin. o Este proceso puede denirse a travs de los siguientes postulados: e a. El estado inicial es X0 = k 1. b. Si Xt = n, entonces cada uno de estos elementos puede dar nacimiento a un nuevo elemento durante un periodo de longitud innitesimal h > 0 con probabilidad h + o(h), en donde > 0, es decir, P (Xt+h Xt = 1 | Xt = n) = = n [ h + o(h)] [1 h + o(h)]n1 1 nh + o(h).
Es decir, las tasas instantneas de nacimiento son n = n, que crecen de manera a lineal conforme la poblacin crece. El tiempo de estancia en el estado n tiene o distribucin exp(n), en consecuencia el tiempo medio de estancia en ese estado es o 1/(n), cada vez menor conforme n crece. El sistema de ecuaciones hacia adelante para pkn (t), con n k, se reduce a p (t) = kk p (t) = kn k pkk (t), (n 1) pk,n1 (t) n pkn (t),
t 0
n k + 1.
La frmula recursiva (5.6) es, para n k + 1, o pkn (t) = (n 1) ent ens pk,n1 (s) ds. (5.7)
Demostraremos a continuacin que el incremento Xt X0 tiene distribucin binoo o mial negativa de parmetros (r, p), con r = k y p = et . a Proposicin. o pkn (t) = n 1 kt e (1 et )nk , para n k. nk
Demostracin. Usaremos induccin sobre n. Para n = k se tiene la ecuacin dio o o ferencial p (t) = k pkk (t), con condicin inicial pkk (0) = 1. Esto produce la o kk
135
solucin pkk (t) = ekt , que es de la forma enunciada. Para valores de n k + 1 o usaremos la frmula recursiva (5.7), o pkn (t) = = = = = = = (n 1) ent
t 0
ens
n2 (n 1) ent n1k (n 1) (n 1)
n2 eks (1 es )n1k ds n1k

t 0 t 0 t 0
(es )(nk) (1 es )n1k ds (1 es )1 (es 1)nk ds es (es 1)n1k ds
n2 ent n1k
t n2 1 d s (n 1) ent (e 1)nk ds n1k (n k) ds 0 n1 n2 ent (et 1)nk nk n1k n 1 kt e (1 et )nk . k1
n2 ent n1k
Notas y referencias. Una exposicin ms completa del tema de cadenas de Maro a kov a tiempo continuo puede encontrarse en Basu [1], Karlin y Taylor [19], o Stirzaker [36].
136
Ejercicios
Ecuaciones de Kolmogorov 88. Sea {Nt : t 0} un proceso de Poisson de parmetro y sean Y1 , Y2 , . . . a v.a.i.i.d. con distribucin com n Bernoulli(p). Encuentre las ecuaciones de o u Kolmogorov hacia atrs y hacia adelante del proceso a
Nt
Xt =
j=1
Yj .
Resuelva cualquiera de estos sistemas de ecuaciones y demuestre que para j i, (pt)ji pij (t) = ept . (j i)! Procesos de nacimiento y muerte 89. Para la cadena de Markov a tiempo continuo de dos estados en donde la estancia en el estado 0 tiene distribucin exp(), y la estancia en el estado 1 o es exp(), demuestre que a) p00 (t) = b) p01 (t) = c) p10 (t) = d) p11 (t) =
1 + 1 + 1 + 1 +
( + e(+)t ). ( e(+)t ). ( e(+)t ). ( + e(+)t ).
90. Considere una cadena de Markov a tiempo continuo de dos estados en donde el tiempo de estancia en cada uno de ellos tiene distribucin exp(). Dena Nt o como el n mero de veces que la cadena de Markov ha efectuado saltos hasta u un tiempo t 0 cualquiera. Demuestre que Nt es un proceso de Poisson de parmetro . a
Cap tulo 5. Cadenas de Markov a tiempo continuo Procesos de nacimiento puro
137
91. Sea Xt un proceso de Yule con estado inicial X0 = k 1. Demuestre que a) E(Xt ) = k et . b) Var(Xt ) = k e2t (1 et ).
Cap tulo 6
Procesos de renovacin o y conabilidad
En este cap tulo se presenta otra generalizacin del proceso de Poisson. Se consio dera ahora que los tiempos de interarribo no son necesariamente exponenciales. A tales procesos de saltos unitarios se les conoce como procesos de renovacin, y en o general dejan de cumplir la propiedad de Markov. Adems de estudiar algunas proa piedades generales de los procesos de renovacin, estudiaremos tambin el concepto o e de conabilidad para sistemas conformados por varios componentes los cuales son susceptibles de sufrir fallas en tiempos aleatorios.
6.1.
Procesos de renovacin o
Suponga que se pone en operacin un cierto componente o art o culo cuya duracin de o vida util se modela mediante una variable aleatoria T1 . Una vez que el componente falla, se reemplaza o renueva con otro componente cuyo tiempo de vida es T2 , y as sucesivamente. La coleccin de variables aleatorias T1 , T2 , . . . representa la o sucesin de tiempos de vida de componentes puestos en operacin uno tras otro. o o Esto se ilustra en la Figura 6.1. En este contexto es natural suponer que las variables que modelan los tiempos de vida son no negativas, independientes y con la misma distribucin de probabio lidad. Un proceso de estas caracter sticas se conoce con el nombre de proceso de
139
140
6.1. Procesos de renovacion
T1
T2
T3
T4
Figura 6.1: renovacin. Observe que exactamente en los tiempos en los que se efect an las renoo u vaciones, el proceso reinicia probabil sticamente. Empezaremos por dar un primera denicin formal de un proceso de renovacin basada en lo recin mencionado. o o e Denicin. Un proceso de renovacin es una sucesin innita de variables o o o aleatorias T1 , T2 , . . . que son no negativas, independientes e idnticamente dise tribuidas. Otra forma equivalente de denir a este proceso es a travs del registro de los e tiempos reales en los que se observan las renovaciones, o bien a travs del cone teo de renovaciones observadas hasta un tiempo cualquiera. Estos puntos de vista alternativos se denen a continuacin. o Denicin. Dado un proceso de renovacin {T1 , T2 , . . .}, se denen los tiempos o o reales de renovacin como W0 = 0 y Wn = T1 + + Tn , para n 1. El proceso o de conteo de renovaciones es Nt = mx {n 0 : Wn t}, a para cada t 0.
La variable aleatoria Wn representa el tiempo real en el que se realiza la n-sima e renovacin, mientras que Nt indica el n mero de renovaciones observadas hasta el o u tiempo t. En la literatura se le denomina proceso de renovacin a cualquiera de o los procesos {Tn : n = 1, 2, . . .}, {Wn : n = 0, 1, . . .}, o {Nt : t 0}, pues por construccin existe una correspondencia biun o voca entre cualesquiera dos de estos tres procesos. Denotaremos por F (t) a la funcin de distribucin de los tiempos de o o vida. Por lo tanto, la funcin de distribucin de Wn es la convolucin de F (t) consigo o o o misma n veces, es decir, FWn (t) = P (T1 + + Tn t) = F n (t) = (F F )(t).
Cap tulo 6. Procesos de renovacion y confiabilidad En particular, cuando n = 0 se dene F 0 (t) = 0 1 si t < 0, si t 0.
141
Una de las primeras preguntas que uno puede hacerse acerca de un proceso de renovacin es la de conocer la distribucin de la variable Nt . La respuesta no es o o fcil de encontrar pues la distribucin de esta variable depende de la distribucin a o o de los tiempos de vida como indica la siguiente frmula. o Proposicin. Para cualquier n 0, o P (Nt = n) = F n (t) F (n+1) (t).
Demostracin. Se usa el hecho de que las variables Wn y Tn+1 son independientes. o P (Nt = n) = = = = = = = P (Wn t, Wn+1 > t) P (Wn t, Wn + Tn+1 > t) P (t Tn+1 < Wn t) F n (t) F n (t)
FWn (t) FWn (t Tn+1 )

0
FWn | Tn+1 (t u | u) dF (u) F n (t u) dF (u) (t).
F n (t) F
0 (n+1)
Por ejemplo, un proceso de Poisson homogneo de tasa es un proceso de renovae cin en donde los tiempos de vida tienen distribucin exp(). En consecuencia, los o o tiempos reales de renovacin Wn tienen distribucin gama(n, ), cuya funcin de o o o distribucin es, para t > 0, o
t
FWn (t) =
0
(x)n1 ex dx = (n)
k=n
et
(t)k . k!
142
6.2. Funcion y ecuacion de renovacion
A partir de esta expresin puede recuperarse la distribucin Poisson pues por la o o proposicin anterior, o P (Nt = n) = F n (t) F (n+1) (t) = et (t)n . n!
Observe la igualdad de eventos (Nt n) = (Wn t), la cual es vlida para t 0 a y para cada n = 0, 1, . . . Esta identidad ser de utilidad ms adelante. a a
6.2.
Funcin y ecuacin de renovacin o o o
Otra de las funciones que es natural desear conocer en un proceso de renovacin o es el n mero promedio de renovaciones efectuadas hasta un tiempo t cualquiera. u A tal funcin se le llama funcin de renovacin, y se le denota por (t), es decir, o o o (t) = E(Nt ). En general no es fcil encontrar una expresin expl a o cita para esta funcin. Se cuenta, sin embargo, con la siguiente ecuacin integral. o o Proposicin. La funcin de renovacin (t) satisface la ecuacin o o o o
t
(t) = F (t) +
0
(t s) dF (s).
(6.1)
Demostracin. Condicionando sobre el valor del primer tiempo de vida T1 se obo tiene (t) = 0 E(Nt | T1 = s) dF (s), en donde E(Nt | T1 = s) = Por lo tanto
t t
0 1 + (t s)
si s > t, si s t.
(t) =
0
(1 + (t s)) dF (s) = F (t) +
(t s) dF (s).
Cap tulo 6. Procesos de renovacion y confiabilidad
143
Observe quela ecuacin (6.1) puede escribirse como (t) = F (t) + ( F )(t). o Debido a que se condiciona sobre el valor del primer tiempo de renovacin, a la o tcnica de la demostracin de este resultado se le llama a veces anlisis del primer e o a paso. Para el proceso de Poisson, el promedio de renovaciones o saltos al tiempo t es (t) = t. Puede comprobarse directamente que esta funcin satisface (6.1) o con F (t) = 1 et . A una ecuacin integral del tipo (6.1) se le llama ecuacin o o de renovacin, pues algunas funciones de inters en la teor de la renovacin la o e a o cumplen. La denicin general aparece a continuacin. o o Denicin. Sean F (t), g(t) y h(t) funciones denidas para t 0. Suponga que o F (t) y h(t) son conocidas, y g(t) es desconocida. Se dice que g(t) satisface una ecuacin de renovacin si cumple la ecuacin integral o o o
t
g(t) = h(t) +
0
g(t s) dF (s).
En general no es fcil resolver este tipo de ecuaciones aunque se conocen condiciones a para la existencia y unicidad de la solucin. He aqu otra expresin general para el o o promedio de renovaciones (t).
n=1
Proposicin. (t) = o
F n (t), para cualquier t > 0.
Demostracin. o (t) =
n=0
n P (Nt = n)
= P (Nt = 1) + 2 P (Nt = 2) + = F 1 (t) + F 2 (t) + =
= [ F 1 (t) F 2 (t) ] + 2 [ F 2 (t) F 3 (t) ] + F n (t).
n=1
144
6.3. Tiempos de vida
Por ejemplo, cuando los tiempos de interarribo tienen distribucin exp() se tiene o que t (x)n1 (t)k F n (t) = ex dx = et . (n) k! 0
k=n
Usando esta expresin y la frmula recin demostrada puede corroborarse que en o o e este caso (t) = t. Es posible demostrar que para un proceso de renovacin la variable Nt tiene moo mentos nitos de cualquier orden, y entonces en particular la suma anterior es siempre convergente. Otros resultados generales son los siguientes: Existe una correspondencia biun voca entre las funciones (t) y F (t), y adems el proceso de a renovacin Nt queda completamente especicado por la funcin promedio (t). La o o demostracin de estos resultados pueden consultarse en [1]. o
6.3.
Tiempos de vida
Junto a todo proceso de renovacin y para cada tiempo jo, pueden considerarse o tres variables aleatorias no negativas, t , t y t , cuyo signicado geomtrico se e muestra en la Figura 6.2, y que deniremos con mayor precisin a continuacin. o o
Nt + 1 Nt Nt 1
WNt
WNt +1
Figura 6.2:
145
Tiempo de vida restante. Este es el tiempo de vida util que le resta al elemento que se encuentra en operacin al tiempo t, y est dado por la variable o a t = WNt +1 t. Esta longitud aleatoria se muestra en la Figura 6.2. Usando un argumento de renovacin demostraremos que para cada x > 0 la funcin t g(t) = P (t > x) o o satisface una ecuacin de renovacin. o o Proposicin. La funcin g(t) = P (t > x) satisface la ecuacin de renovacin o o o o
t
g(t) = 1 F (t + x) +
g(t s) dF (s).
Demostracin. Se condiciona sobre el valor de T1 . Se tienen los tres posibles casos o que se muestran en la Figura 6.3.
T1 0 t T1 t+x T1
Figura 6.3: Puesto que un proceso de renovacin puede considerarse que inicia nuevamente a o partir del momento en que se observa una renovacin, se tiene que o si s > t + x, 1 0 si t < s t + x, P (t > x | T1 = s) = P (ts > x) si 0 < s t. g(t) =
0 t+x
Por lo tanto
P (t > x | T1 = s) dF (s)
t
dF (s) +
0
P (ts > x) dF (s)

t
= 1 F (t + x) +
g(t s) dF (s).
146
6.3. Tiempos de vida
En particular, cuando los tiempos de vida son exponenciales de parmetro , la a unica solucin de esta ecuacin es la funcin constante g(t) = ex , que equivale a o o o decir que la variable t tiene distribucin exp(). Esta es nuevamente la propiedad o de prdida de memoria de la distribucin exponencial. e o Tiempo de vida transcurrido. Este es el tiempo que ha estado en uso el elemento que se encuentra en operacin al tiempo t, y est dado por la variable o a t = t WNt . Vase nuevamente la Figura 6.2. Es claro que esta variable est acotada superiore a mente por el valor t, pues el elemento en uso al tiempo t no puede tener hasta ese momento un tiempo de uso mayor a t. Sea nuevamente x > 0 y dena la funcin o t g(t) = P (t > x). Por las consideraciones anteriores, tenemos que g(t) = 0 para t (0, x]. Usando un argumento de renovacin demostraremos que la funcin o o g(t) satisface una ecuacin de renovacin. o o Proposicin. Para t (x, ), la funcin g(t) = P (t > x) satisface la ecuacin o o o de renovacin o
tx
g(t) = 1 F (t) +
g(t s) dF (s).
Demostracin. Nuevamente se condiciona sobre el valor de T1 . Los tres posibles o casos se muestran en la Figura 6.4.
T1 0 tx T1 t T1
Figura 6.4: Por lo tanto, 1 0 P (t > x | T1 = s) = P (ts > x) si s t, si 0 < t x s < t, si 0 < s < t x.
Cap tulo 6. Procesos de renovacion y confiabilidad Entonces g(t) =

0 t
147
P (t > x | T1 = s) dF (s)
tx
= = En resumen, 0
dF (s) +
0 tx 0
P (ts > x) dF (s) g(t s) dF (s).
1 F (t) +
g(t) =
tx 0
si t (0, x], g(t s) dF (s) si t (x, ).
1 F (t) +
Considerando otra vez el caso de tiempos de vida exponencial de parmetro , a puede demostrarse que el tiempo de vida transcurrido tiene funcin de distribucin o o ....... Tiempo de vida total. Este es el tiempo completo de vida util que tiene el elemento que se encuentra en operacin al tiempo t, y est dado por la variable o a t = t + t = WNt +1 WNt = TNt +1 . Nuevamente, para x > 0 se dene la funcin t g(t) = P (t > x). Demostrareo mos que esta funcin satisface una ecuacin de renovacin, en la cual aparecer el o o o a trmino x y, que signica mx{x, y}. e a Proposicin. La funcin g(t) = P (t > x) satisface la ecuacin de renovacin o o o o
t
g(t) = 1 F (t x) +
g(t s) dF (s),
Demostracin. Nuevamente condicionaremos sobre un posible valor de T1 . Los poo sibles casos se muestran en la Figura 6.5.
148
6.4. Teoremas de renovacion

T1 0 t T2 t+x T3
Figura 6.5: El caso s (t, t + x) se debe subdividir en dos casos: s x s > x. De este modo o se obtienen los siguientes resultados 0 1 P (t > x | T1 = s) = 1 P (ts > x) g(t) =
0 tx
si si si si
El segundo y tercer rengln se conjuntan en las condiciones t x < s < t + x o s t + x, lo cual se reduce a la condicin t x < s < . Por lo tanto, o o P (t > x | T1 = s) dF (s)
t
t < s < t + x, y s x, t < s < t + x, y s > x, s t + x, 0 < s t.
dF (s) +
0
P (ts > x) dF (s)

t
= 1 F (t x) +
g(t s) dF (s).
En el caso de tiempos de interarribo exponenciales de parmetro puede demosa trarse que el tiempo de vida total tiene funcin de distribucin o o P (t x) = 1 (1 + (t x)) ex 0 si x > 0, otro caso.
6.4.
Teoremas de renovacin o
En esta seccin se estudian algunos resultados sobre del comportamiento l o mite de un proceso de renovacin. Primeramente se demuestra que todo proceso de o renovacin de conteo crece a innito con probabilidad uno cuando el tiempo crece. o
149
Proposicin. Para todo proceso de renovacin, l Nt = c.s. o o m

t
Demostracin. Recordemos la igualdad de eventos (Nt n) = (Wn t). Entonces o para cualquier n natural, 1 = = = =
t t
l FWn (t) m l P (Wn t) m l P (Nt n) m

t
P ( l Nt n). m
Para la ultima igualdad se ha utilizado el hecho de que la funcin t Nt es o montona no decreciente. Como el resultado demostrado vale para cualquier n o natural, se tiene que P ( l Nt = ) = 1. m
t
Proposicin. Para un proceso de renovacin Nt en donde E(T ) = con 0 < o o < , WNt l m = , c.s. t Nt
Demostracin. Para valores enteros de n, por la ley fuerte de los grandes n meros, o u Wn /n casi seguramente cuando n . Ahora observe la contencin de o eventos WNt Wn ( ) (Nt ) ( ). n Nt Los dos eventos del lado izquierdo tienen probabilidad uno, por lo tanto la interseccin tambin, y ello implica que el lado derecho tambin tiene probabilidad o e e uno.
150
Teorema elemental de renovacin (J. L. Doob, 1948). Para un proceso o de renovacin Nt en donde E(T ) = con 0 < < , o
t
l m
Nt 1 = , c.s. t
Demostracin. Para cualquier t > 0 se cumple WNt t < WNt +1 . Por lo tanto o WNt t WNt +1 Nt + 1 < . Nt Nt Nt + 1 Nt Cuando t tiende a innito ambos extremos de estas desigualdades convergen a c.s. Por lo tanto Nt /t 1/ c.s. Teorema elemental de renovacin (W. Feller, 1941). Considere un proo ceso de renovacin en donde E(T ) = , con 0 < < . Entonces o
t
l m
(t) 1 = . t
Demostracin. Por la identidad de Wald, o E(WNt +1 ) = E(Nt + 1) E(T ) = ((t) + 1). Despejando (t), dividiendo entre t y arreglando trminos adecuadamente se obe tiene (t) 1 1 1 = E(WNt +1 t) + . t t t Como WNt +1 > t, se tiene que E(WNt +1 t) 0. Por lo tanto l inf m
t
(t) 1 . t
151
Ahora estimaremos el l mite superior del mismo cociente. Como WNt +1 t WNt +1 WNt = TNt +1 , se tiene que E(WNt +1 t) E(TNt +1 ) y por lo tanto (t) 1 1 + E(TNt +1 ). t t Consideremos primero el caso particular cuando las variables T son uniformemente acotadas, es decir, supongamos que existe un entero k > 0 tal que para cada n 1, P (Tn k) = 1. Entonces E(TNt +1 ) k y por lo tanto l sup m
t
(t) 1 . t
Esto concluye la demostracin en el caso particular mencionado. Ahora considereo mos que las variables T no son necesariamente acotadas de la forma anterior. En este caso se denen los tiempos recortados
k Tn =
Tn k
si Tn k, si Tn > k.
k Observe que Tn Tn cuando k . A partir de estos tiempos se considera un nuevo proceso de renovacin Ntk con funcin de renovacin k . Se cumple que o o o t (t) k y por lo tanto t (t) 1 l sup m . t E(T k ) t
Ahora se hace k tender a innito. Por el teorema de convergencia montona, o E(T k ) E(T ), y ello prueba la desigualdad faltante. El cociente (t)/t es el n mero de renovaciones promedio por unidad de tiempo. u El resultado recin demostrado establece que a largo plazo habr en promedio e a 1/E(T ) renovaciones por unidad de tiempo. Por ejemplo, para el proceso Poisson, E(T ) = 1/ y (t) = t. Por lo tanto (t)/t = . Los siguientes dos resultados se enuncian sin demostracin. o
152
Teorema de renovacin. (D. Blackwell, 1948). Si F (t) es no aritmtica, o e entonces para cualquier h > 0, l (t + h) (t) = m h .
Si F (t) es aritmtica con base d, entonces para cualquier natural n, e l (t + nd) (t) = m nd .
Por ejemplo, para el proceso de Poisson se tiene que (t+h)(t) = (t+h)t = h = h/(1/) = h/E(T ). Teorema clave de renovacin. (W. L. Smith, 1953). Sea A(t) la solucin o o a la ecuacin de renovacin o o
t
A(t) = H(t) +
0
A(t s) dF (s),
en donde H : [0, ) R es una funcin directamente Riemann integrable. Si o F (t) es no aritmtica, e l A(t) = m 1
0
H(t) dt.
Si F (t) es aritmtica con base d, entonces e l A(t + nd) = m d

k=0
H(t + kd).
Puede demostrarse que los teoremas de Smith y Blackwell son equivalentes, y que cualquiera de ellos implica el teorema elemental de Feller.
153
6.5.
Conabilidad
Suponga que T > 0 es una variable aleatoria continua que registra el tiempo de falla de un cierto componente que se encuentra en operacin al tiempo cero. Nuevamente o denotaremos por F (t) y f (t) a la funcin de distribucin y de densidad de esta o o variable aleatoria. En la teor de la conabilidad interesa conocer la probabilidad a de que el componente funcione correctamente por lo menos hasta un tiempo t cualquiera, o la probabilidad de que deje de funcionar en el siguiente instante de tiempo, dado que el componente ha funcionado bien hasta un cierto momento. Es por ello que se denen las siguientes dos funciones. Denicin. La funcin de conabilidad se dene como R(t) = P (T > t), o o mientras que la funcin de tasa de falla es r(t) = f (t)/(1 F (t)). o A la funcin de conabilidad se le llama tambin funcin de supervivencia, y a la o e o funcin de tasa de falla se le conoce tambin como funcin hazard, y se le llama o e o as pues un componente que ha sobrevivido al tiempo t, fallar en el intervalo a (t, t + t] con probabilidad condicional r(t) t + o(t), en efecto, P (t < T t + t | T > t) P (t < T t + t) P (t > t) f (t) = t + o(t) 1 F (t) = r(t) t + o(t). =
Despus de algunos clculos sencillos es inmediato comprobar que estas dos fune a ciones estn relacionadas de la siguiente forma. a r(t) = f (t) d = ln R(t). R(t) dt
t
R(t) =
exp (
0
r(s) ds).
Adems, el tiempo promedio de falla E(T ) puede escribirse en trminos de la a e funcin R(t) como o E(T ) =
0
R(t) dt.
154
6.5. Confiabilidad
Ejemplo. Suponga que el tiempo de falla T de un componente tiene una distribucin exponencial de parmetro . La funcin de conabilidad es R(t) = et , y o a o la funcin de tasa de falla es constante r(t) = . El hecho de que la funcin de o o tasa de falla sea constante signica que la probabilidad de falla en un intervalo de tiempo peque o t, dado que el componente se encuentra operando al tiempo t, es n aproximadamente t, independiente del valor de t. Esta es otra manifestacin de o la propiedad de prdida de memoria de la distribucin exponencial, y es la unica e o distribucin continua con tasa de falla constante. Por otro lado, el tiempo medio o de falla es E(T ) = 1/. Ejercicio. Demuestre que la funcin R(t) es decreciente, es decir, si t1 t2 , entonces o R(t1 ) R(t2 ). Puede decirse algo sobre la monoton de r(t)? a Confiabilidad para sistemas en serie. Considere un sistema de n componentes puestos en serie como se muestra en la Figura 6.6. Supondremos que cada uno de estos componentes funciona de manera independiente uno del otro. Es intuitivamente claro que tal sistema en su conjunto funciona si todos y cada uno de los componentes se encuentra en buen estado. Nos interesa encontrar las funciones de conabilidad y de tasa de falla de este tipo de sistemas.
C1
C2
Cn
Figura 6.6: Observe que el tiempo de falla T de un sistema de este tipo es el tiempo de falla ms a peque o de cada uno de los componentes, es decir, T = m n n{T1 , . . . , Tn }. Esquemas f sicos de este tipo ayudan a justicar el plantearse la pregunta de encontrar la distribucin de probabilidad del m o nimo de n variables aleatorias independientes. Ejercicio. Suponga que los tiempos de falla T1 , . . . , Tn de los componentes del sistema en serie de la Figura 6.6 son idnticamente distribuidos con funcin de e o distribucin F (t), y funcin de densidad f (t). Demuestre que el tiempo de falla o o T del sistema tiene funcin de distribucin y densidad dada por las siguientes o o expresiones: a) FT (t) = 1 (1 F (t))n . b) fT (t) = n(1 F (t))n1 f (t).
155
Calcularemos a continuacin las funciones de conabilidad y de tasa de falla pao ra sistemas en serie. Denotaremos por R1 (t), . . . , Rn (t) las funciones de conabilidad de cada componente en el sistema, y las funciones de tasa de falla sern a r1 (t), . . . , rn (t). Proposicin. Las funciones de conabilidad y de tasa de falla del sistema en o serie de la Figura 6.6 son 1. R(t) = R1 (t) Rn (t). 2. r(t) = r1 (t) + + rn (t).
Demostracin. o 1. R(t) = P (T1 > t, . . . , Tn > t) = P (T1 > t) P (Tn > t) = R1 (t) Rn (t).
d d 2. r(t) = dt ln R(t) = dt n k=1 n k=1 rk (t).
ln Rk (t) =
Ejemplo. La funcin de conabilidad y la funcin de tasa de falla de un sistema o o de n componentes puestos en serie en donde cada uno de ellos tiene un tiempo de falla exponencial de parmetro son, respectivamente, R(t) = ent , y r(t) = nt. a La distribucin del tiempo de falla T es exponencial de parmetro n. El tiempo o a medio de falla es E(T ) = 1/(n), naturalmente decreciente conforme mayor es el n mero de componentes en el sistema, es decir, mientras mas componentes haya u en el sistema en serie, menor es el tiempo de vida operacional del sistema en su conjunto pues una falla de cualesquiera de los componentes provoca que el sistema completo deje de funcionar. Ejercicio. En el contexto de sistemas de n componentes en serie, demuestre que la funcin de conabilidad R(t) = R1 (t) Rn (t) es una funcin decreciente de n, y o o en consecuencia el tiempo medio de falla tambin es una funcin decreciente de n. e o Confiabilidad para sistemas en paralelo. Considere ahora sistemas de n componentes puestos en paralelo como se muestra en la Figura 6.7, en donde cada uno de estos componentes funciona de manera independiente uno del otro. Tales tipos de sistemas funcionan en su conjunto si por lo menos uno de los componentes
156
6.5. Confiabilidad
se encuentra en buen estado. Sistemas de este tipo se utilizan cuando se desea mantener un nivel alto de conabilidad de funcionamiento, como por ejemplo los sistemas de vuelo de los aviones, o los sistemas de manejo de reactores nucleares.
C1
C2
Cn
Figura 6.7: El tiempo de falla T de un sistema de este tipo es el tiempo de falla ms grande a de los componentes, es decir, T = mx {T1 , . . . , Tn }, y que el evento (T t) es a equivalente a que todos los componentes fallen antes del tiempo t. Proposicin. La funcin de conabilidad del sistema en paralelo de la Figura 6.7 o o es R(t) = 1 (1 R1 (t)) (1 Rn (t)). Demostracin. Primeramente se tiene que o F (t) = P (T t) = P (T1 t, . . . , Tn t) = F1 (t) Fn (t). Por lo tanto R(t) = 1 F (t) = 1 F1 (t) Fn (t) = 1 (1 R1 (t)) (1 Rn (t)).
Ejercicio. Demuestre que la funcin de conabilidad R(t) para sistemas en paralelo o recin encontrada es una funcin creciente de n. Es decir, mientras mas compoe o nentes haya en el sistema ms seguro es ste. En consecuencia, demuestre que el a e tiempo medio de falla es una funcin creciente de n. o
157
Ejercicio. Demuestre que las funciones de distribucin y de densidad del tiempo de o falla T del sistema en paralelo de la Figura 6.7 son a) FT (t) = F n (t). b) fT (t) = n F n1 (t) f (t). Puede calcularse la funcin de tasa de falla del sistema r(t) en trminos de las o e funciones r1 (t), . . . , rn (t) pero la expresin no resulta ser simple. o Ejemplo. Para un sistema de n componentes puestos en paralelo en donde cada uno de ellos tiene un tiempo de falla exponencial de parmetro se tiene que a R(t) = 1 (1 et )n . r(t) = n(1 et )n1 et /(1 (1 et )n ). Confiabilidad para sistemas mezcla serie/paralelo. Pueden tambin cone siderarse sistemas que son una combinacin de sistemas en serie y en paralelo como o el que se muestra en la parte izquierda de la Figura 6.8. Sistemas de este tipo pueden ser representados de manera equivalente como se muestra en la parte derecha de la misma gura. Ejercicio. Demuestre que la funcin de conabilidad del sistema de la Figura 6.8 o es R(t) = R1 (t)(1 (1 R2 (t))(1 R3 (t)).
C2 C1 C3 C1 C3 C1 C2
Figura 6.8: Ejercicio. Encuentre la funcin de conabilidad para cada uno de los sistemas de o componentes que aparecen en la Figura 6.9.
158
6.5. Confiabilidad
C1
C2
C1
C3
C3
C2
C4
Figura 6.9:
Notas y referencias
En los textos de Karlin y Taylor [19], Basu [1], y Lawler [23] el lector puede encontrar algunos otros resultados y aplicaciones de los procesos de renovacin. o
159
Ejercicios
Procesos de renovacin o 92. Demuestre que F n (t) F m (t), para n m. 93. Respecto de la denicin de proceso de renovacin, demuestre que los procesos o o {Tn : n = 1, 2, . . .}, {Wn : n = 0, 1, . . .} y {Nt : t 0} pueden escribirse cada uno en trminos de cualquier otro. e 94. Es la suma de dos procesos de renovacin independientes nuevamente un o proceso de renovacin? Los siguientes ejercicios dan respuesta a esta pregunta. o a) Demuestre que si la suma de dos procesos de renovacin independieno tes resulta ser un proceso de Poisson, entonces ambos sumandos son procesos de Poisson. b) Demuestre que si la suma de dos procesos de renovacin independientes o y con la misma funcin de distribucin de interarribo es un proceso de o o renovacin, entonces la suma y cada uno de los sumandos es un proceso o de Poisson. c) Mediante un contraejemplo demuestre que, en general, la suma de dos procesos de renovacin independientes y con la misma funcin de distrio o bucin de interarribo no es necesariamente un proceso de renovacin. o o 95. Sea Nt un proceso de renovacin. Demuestre que para cada k 1, o E(Ntk ) =
n=0
[(n + 1)k nk ] F (n+1) (t).
96. Sea Nt un proceso de renovacin con funcin de renovacin (t) = E(Nt ). o o o Demuestre que para cualquier t 0, 0 (t) 1 . 1 F (t)
97. Demuestre que el tiempo de vida restante t y el tiempo de vida transcurrido t , para un proceso de renovacin, tienen distribucin conjunta dada por la o o siguiente expresin: Para 0 < y < t, o
t
P (t > x, t y) =
ty
(1 F (t + x u)) d(u).
160
6.5. Confiabilidad
98. Considere el proceso de Poisson visto como un proceso de renovacin, es o decir, los tiempos de vida tienen distribucin exponencial con parmetro . o a Demuestre que la funcin de renovacin (t) = t satisface la ecuacin de o o o renovacin o (t) = 1 et +
t 0
(t s)es ds.
99. Sea Nt un proceso de Poisson de parmetro > 0. Demuestre que el tiempo a de vida total t tiene funcin de distribucin o o P (t x) = 1 (1 + (t x)) ex si x > 0, otro caso.
1 Demuestre adems que E(t ) = (2 et ). a
100. Sea Nt el proceso de conteo de un proceso de renovacin. Dena (t) = o E(Nt ), y 2 (t) = E(Nt2 ). Demuestre que a) 2 (t) =
n=1
(2n 1)F n (t).

t 0
b) 2 (t) = (t) + 2
(t s) d(s).
Encuentre adems 2 (t) cuando Nt es un proceso de Poisson. a 101. Encuentre la distribucin de probabilidad del tiempo de vida restante, del o tiempo de vida transcurrido y del tiempo de vida total para un proceso de Poisson. Encuentre adems la esperanza de estas variables aleatorias. a
Conabilidad 102. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos en serie como en la Figura 6.6. Suponga que las correspondientes funciones de distribucin y de densidad son F1 (t), . . . , Fn (t), y f1 (t), . . . , fn (t), respectivao mente. Demuestre que las funciones de distribucin y de densidad del tiempo o de falla del sistema dado por T = m {T1 , . . . , Tn } son n a) F (t) = 1 (1 F1 (t)) (1 Fn (t)).
n
b) f (t) =
k=1
fk (t) (1 F1 (t) 1(k=1) ) (1 Fn (t) 1(k=n) ).
161
103. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos en paralelo como en la Figura 6.7. Suponga que las correspondientes funciones de distribucin y de densidad son F1 (t), . . . , Fn (t), y f1 (t), . . . , fn (t), respeco tivamente. Demuestre que las funciones de distribucin y de densidad del o tiempo de falla del sistema dado por T = mx {T1 , . . . , Tn } son a a) F (t) = F1 (t) Fn (t).
n
b) f (t) =
k=1
fk (t) (1 (1 F1 (t)) 1(k=1) ) (1 (1 Fn (t)) 1(k=n) ).
Cap tulo 7
Martingalas
Existen varias acepciones para el trmino martingala. Una de ellas hace referencia a e un tipo de proceso estocstico que bsicamente cumple la identidad E(Xn+1 | X0 = a a x0 , . . . , Xn = xn ) = xn . Hemos mencionado antes que este tipo de modelo corresponde a un proceso que representa la evolucin del capital de un jugador que realiza o una sucesin de apuestas justas. Parte de la motivacin para el estudio de este tipo o o de procesos fue el buscar demostrar la inexistencia de estrategias ventajosas en este juego de apuestas. El concepto de martingala fue incorporado a la teor de a la probabilidad por Paul L`vy, y buena parte de su desarrollo inicial fue realizado e por Joseph Doob. En este cap tulo se presenta una introduccin a la teor de martingalas a tiempo o a discreto, aunque tambin se mencionan algunas deniciones generales a tiempo e continuo.
7.1.
Filtraciones
Sea (, F , P ) un espacio de probabilidad para modelar un cierto experimento aleatorio. La -lgebra F es la estructura que agrupa a los eventos del experimento a aleatorio a los cuales se les puede calcular su probabilidad. Suponga ahora que se consideran dos sub -lgebras F1 y F2 tales que F1 F2 . Entonces F2 contiene a ms informacin que F1 en el sentido de que, en general, un mayor n mero de a o u conjuntos son considerados como eventos. Ms generalmente, puede considerarse a
163
164
7.1. Filtraciones
una sucesin no decreciente de sub -lgebras F1 F2 Este tipo de estruco a turas surgen de manera natural, por ejemplo, para un proceso estocstico a tiempo a discreto X1 , X2 , . . ., pues puede construirse la sucesin o F1 F2 F3 = = = . . . {X1 },
{X1 , X2 }, {X1 , X2 , X3 },
en donde efectivamente se cumple que F1 F2 En este caso la -lgebra a Fn contiene los eventos para los cuales puede determinarse su ocurrencia o no ocurrencia, slo con la informacin del proceso disponible hasta el tiempo n. o o Ejemplo. Si las variables X1 , X2 , . . . representan los resultados de lanzar sucesivamente un dado, y si se dene el evento A como La suma de los dos primeros resultados es mayor a 3, entonces es claro que A F1 , sin embargo A F2 . Por / supuesto, si sucede por ejemplo que X1 = 4, entonces sabemos que el evento A ocurre, pero sin esta informacin adicional la ocurrencia o no ocurrencia del evento o A no puede determinarse sino hasta el segundo lanzamiento del dado. Estas consideraciones sobre sucesiones no decrecientes de -lgebras llevan a la a denicin de ltracin. o o Denicin. Una ltracin es una coleccin de -lgebras {Fn }n1 tal que o o o a Fn Fm , cuando n m. En particular, la ltracin natural o cannio o ca de un proceso Xn es aquella sucesin de -lgebras denidas por Fn = o a {X1 , . . . , Xn }, n 1. A tiempo continuo las deniciones de estos conceptos son anlogas: Una ltracin a o es una coleccin no numerable de sub -lgebras {Ft }t0 tal que Fs Ft , cuando o a 0 s t. La ltracin natural o cannica de un proceso a tiempo continuo {Xt : o o t 0} es la coleccin de -lgebras {Ft }t0 dadas por Ft = {Xs : 0 s t}, o a esto es, Ft es la m nima -lgebra que hace que cada una de las variables Xs , para a valores de s en el intervalo [0, t], sean medibles. A la -lgebra Ft se le denomina a la historia del proceso al tiempo t. Regresemos al caso de tiempo discreto.
Cap tulo 7. Martingalas
165
Denicin. Se dice que un proceso Xn es adaptado a una ltracin Fn si la o o variable Xn es Fn -medible, para cada n 1. Sabemos que cada Xn es F -medible por ser variable aleatoria. La condicin de o adaptabilidad requiere que Xn sea tambin una variable aleatoria respecto de la e sub -lgebra Fn . Naturalmente todo proceso es adaptado a su ltracin natural, a o y puede demostrarse que la ltracin natural es la ltracin ms peque a respecto o o a n de la cual el proceso es adaptado. El siguiente caso particular es necesario de considerar. Denicin. Se dice que el proceso {Xn : n 1} es predecible respecto de la o ltracin {Fn }n0 si para cada n 1, la variable Xn es Fn1 -medible. o Evidentemente todo proceso predecible es adaptado. La denicin de adaptabilidad o es la misma en el caso de procesos a tiempo continuo, y se pueden denir adems a las siguientes dos -lgebras: a F Ft+ = =
s>t
(
t0
Ft ), Fs .
Se dice entonces que una ltracin es continua por la derecha si Ft+ = Ft . Si Ft o es una ltracin continua por la derecha y la -lgebra inicial F0 contiene a todos o a los subconjuntos insignicantes de F , entonces la ltracin se llama estndar, o o a bien que satisface las condiciones usuales. Algunos clculos requieren suponer estas a hiptesis. o
7.2.
Tiempos de paro
Sea Xn un proceso adaptado a la ltracin Fn . Un tiempo de paro es una variable o aleatoria con valores en el espacio parametral de este proceso, que registra la ocurrencia de un cierto evento del proceso de tal forma que puede determinarse si ha ocurrido o no ha ocurrido tal evento al tiempo n slo con la informacin de Fn . o o Esta variable aleatoria puede tomar el valor innito cuando el evento de inters e nunca ocurre.
166
7.2. Tiempos de paro
Denicin. Una variable aleatoria con valores en {1, 2, . . .} {} es un o tiempo de paro respecto de una ltracin Fn si ( n) Fn , para cada o n 1. Bajo la interpretacin de que es un tiempo aleatorio en el cual ocurre un cierto o evento de inters, la condicin ( n) Fn puede interpretarse del siguiente e o modo: la pregunta de si el tiempo el evento ha ocurrido en el tiempo n, o antes, debe poder ser respondida con la informacin dada por la ltracin al tiempo n. o o No es dif comprobar que la condicin que aparece en la denicin es equivalente cil o o a la condicin ( = n) Fn , para cada n 1. o Ejemplo: Tiempo de primer arribo. Sea X1 , X2 , . . . una sucesin de variables aleao torias adaptada a la ltracin Fn . Sea A un conjunto de Borel de R, y dena o = m {n 1 : Xn A}, en donde conviene denir m = . Es decir, es n n el primer momento en el que la sucesin toma un valor dentro del conjunto A, si o acaso ello sucede. La variable aleatoria es un tiempo de paro pues para cualquier valor entero de n, ( = n) = (X1 A) (Xn1 A) (Xn A) Fn . / / En particular, y recordando el problema de la ruina del jugador, tomando A como el conjunto {0, N }, el primer momento en el que la variable Xn = 1 + + n toma uno de los dos valores del conjunto A es un tiempo de paro, y es el tiempo aleatorio en el cual el juego naliza, ya sea porque el jugador se arruina o porque gana todo el capital. Ejemplo: Tiempo de segundo arribo. Sea nuevamente X1 , X2 , . . . una sucesin de o variables aleatorias adaptada a la ltracin Fn , y sea A un conjunto de Borel de o R. Dado un tiempo de paro cualquiera 1 , dena ahora un segundo tiempo de paro de la siguiente forma 2 = m {n > 1 : Xn A}. Es decir 2 es el primer n momento, despus de 1 , en el que el proceso toma un valor dentro del conjunto e A. Naturalmente se cumple 1 2 . Esta nueva variable resulta tambin ser un e tiempo de paro pues el siguiente conjunto es un elemento de Fn .
n1
(2 = n) =
k=1
(1 = k) (Xk+1 A) (Xn1 A) (Xn A). / /
167
Ejercicio. Sea n un entero positivo. Demuestre que la variable aleatoria constante = n es un tiempo de paro. Este es un tiempo de paro determinista. Compruebe adems que = es tambin un tiempo de paro. a e Ejercicio. Sea un tiempo de paro con valores en {1, 2, . . .}{}, y sea n un entero positivo. Demuestre que las siguientes variables tambin son tiempos de paro. e a) n. b) n. c) + n. En el caso de tiempos continuos, la denicin de tiempo de paro es la siguiente. o Una variable aleatoria : [0, ) {} es un tiempo de paro respecto de una ltracin Ft si se cumple que ( t) Ft , para cada t 0. o
7.3.
Martingalas
Denicin. Se dice que un proceso Xn es una martingala respecto de una o ltracin Fn si cumple las siguiente tres condiciones: o a) Es integrable. b) Es adaptado a la ltracin. o c) Para cada n m, E(Xm | Fn ) = Xn . (7.1)
Cuando en lugar de (7.1) se cumple la desigualdad E(Xm | Fn ) Xn , entonces el proceso es una submartingala, y si E(Xm | Fn ) Xn , entonces es una supermartingala. Las martingalas tienen una interpretacin sencilla en trminos de juegos justos que o e ya hemos mencionado antes: Si Xn denota el capital de un jugador al tiempo n, entonces la igualdad (7.1) establece que la fortuna promedio al tiempo futuro m, dado que se conoce la historia del juego hasta el tiempo n, es su capital al tiempo n, es decir, el juego es justo pues en promedio el jugador no pierde ni gana. En este sentido, la desigualdad E(Xm | Fn ) Xn , correspondiente a la denicin de o submartingala, equivale a un juego favorable al jugador. La desigualdad contraria,
168
7.4. Ejemplos
el caso de submartingala, corresponde a un juego desfavorable al jugador. Puede comprobarse que la condicin (7.1) es equivalente a la igualdad aparenteo mente ms dbil E(Xn+1 | Fn ) = Xn . Esta ultima condicin es la que a menudo a e o usaremos para vericar la propiedad de martingala de un proceso a tiempo discreto. Adems, cuando la ltracin es la natural, es decir, cuando Fn = {X1 , . . . , Xn }, la a o condicin de martingala puede escribirse en la forma E(Xn+1 | X1 , . . . , Xn ) = Xn . o Observe que toda martingala es al mismo tiempo una submartingala y una supermartingala, y que si Xn es una submartingala, entonces Xn es una supermartingala. Por lo tanto, toda propiedad para submartingalas puede ser escrita tambin para supermartingalas bajo este cambio de signo. Por otro lado, tomando e esperanza en (7.1) con n = 1 se obtiene la igualdad E(Xm ) = E(X1 ), para cada m 1, esto quiere decir que todas las variables aleatorias que conforman una martingala tienen la misma esperanza. Anlogamente, tomando esperanza ahora en la a condicin de submartingala se obtiene que para cualesquiera tiempos 1 n m, o E(Xm ) E(Xn ), esto puede interpretarse en el sentido de que, en promedio, las submartingalas son procesos que tienden a crecer. Ms adelante demostraremos que a cuando la submartingala es acotada superiormente, es convergente. Este interesante resultado es el anlogo estocstico al hecho de que toda sucesin de n meros a a o u reales creciente y acotada es convergente. Para procesos a tiempos continuos, la condicin de martingala se escribe E(Xt | Fs ) = o Xs , para cualesquiera tiempos s y t tales que 0 s t, sin olvidar la condiciones de adaptabilidad e integrabilidad para poder llamar a tal proceso una martingala.
7.4.
Ejemplos
Veremos a continuacin algunos ejemplos de martingalas. o Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesin de variables o aleatorias independientes idnticamente distribuidas y con esperanza nita. Dena e Xn = 1 + + n , y considere la ltracin Fn = {1 , . . . , n }. La variable o aleatoria Xn puede interpretarse como la fortuna de un jugador despus de n e apuestas sucesivas en donde la ganancia o prdida en la k-sima apuesta es k . e e
Cap tulo 7. Martingalas Claramente el proceso Xn es integrable y es adaptado. Adems a E(Xn+1 | Fn ) = = = E(Xn + n+1 | Fn ) Xn + E(n+1 | Fn ) Xn + E(n+1 ).
169
Cuando el resultado promedio de cualquiera de las apuestas es cero, el segundo sumando se anula y se tiene un ejemplo de martingala, es decir, un juego justo. En particular, una caminata aleatoria simtrica es una martingala. Si el resultado e promedio de las apuestas es mayor o igual a cero, entonces E(Xn+1 |Fn ) Xn , y por lo tanto el proceso es una submartingala, un juego favorable al jugador. Finalmente cuando el resultado promedio de cualquier apuesta es menor o igual a cero, el proceso es una supermartingala pues E(Xn+1 |Fn ) Xn , correspondiente a un juego desfavorable al jugador. Ejercicio. Para la martingala del juego de apuestas justas Xn = 1 + + n , 2 demuestre que el proceso Xn n es una martingala si, y slo si, Var() = 1. o Martingala del proceso de Poisson centrado. Sea Xt un proceso de Poisson de parmetro . Entonces el proceso centrado Xt t es una martingala. En efecto, a este nuevo proceso es integrable y adaptado. Adems, para cada 0 s t, a E(Xt t | Fs ) = = = = = = E(Xt | Fs ) t E(Xt Xs + Xs | Fs ) t
E(Xt Xs | Fs ) + Xs t E(Xt Xs ) + Xs t (t s) + Xs t Xs s.
Este ejemplo es un caso particular del siguiente resultado que el lector puede fcila mente vericar siguiendo el clculo anterior: Si un proceso integrable Xt tiene a incrementos independientes, entonces el proceso centrado Xt E(Xt ) es una martingala. Martingala de la esperanza condicional. Sea X una variable aleatoria integrable, y sean F1 y F2 dos sub -lgebras tales que F1 F2 . No es dif coma cil probar la siguiente propiedad de la esperanza condicional: E( E(X | F2 ) | F1 ) = E(X | F1 ). Sea Fn una ltracin dada. Usando la identidad anterior demostrao remos que la sucesin de variables aleatorias dada por Xn = E(X | Fn ) es una o
170
7.4. Ejemplos
martingala. Es claro que cada una de estas variables es integrable y por denicin o de esperanza condicional el proceso es adaptado a la ltracin. Adems o a E(Xn+1 | Fn ) = E(E(X | Fn+1 ) | Fn ) = E(X | Fn ) = Xn . Martingala de la urna de Polya. Suponga que una urna contiene inicialmente una bola blanca y una bola negra. Un experimento consiste en escoger una bola al azar y regresarla a la urna junto con otra bola del mismo color. Este experimento se repite varias veces. Sea Xn el n mero de bolas blancas en la urna despus u e del n-simo ensayo. Es claro que X0 = 1, y que dese pus del n-simo ensayo hay n + 2 bolas en la urna. e e Adems 1 Xn n + 1, y por lo tanto E|Xn | < . a Las probabilidades de transicin son o P (Xn+1 = k + 1 | Xn = k) = P (Xn+1 k , n+2 n+2k = k | Xn = k) = . n+2
Figura 7.1:
Observe que se puede escribir Xn+1 = Xn + Yn+1 , en donde Yn+1 es una variable aleatoria que toma el valor +1 cuando se escoge una bola blanca en la extraccin n + 1, y el valor 0 cuando la bola escogida es negra, o por lo tanto E(Xn+1 | Xn ) = Xn + (0) n + 2 Xn Xn n+3 + (1) = Xn . n+2 n+2 n+2
Este clculo demuestra que el proceso Xn no es una martingala. Sin embargo, si se a dene Mn = Xn /(n + 2), lo cual representa la fraccin de bolas blancas en la urna o despus de la n-sima extraccin, entonces se tiene que e e o E(Mn+1 | Fn ) = E( Xn+1 Xn | Fn ) = = Mn . n+3 n+2
Es decir, hemos comprobado que el proceso Mn es una martingala. Se modica el resultado si la conguracin inicial de la urna es distinta a la considerada? Se o modica el resultado si en lugar de agregar una bola adicional se agregan r bolas del mismo color?
171
7.5.
Una aplicacin: Estrategias de juego o
Considere nuevamente una sucesin de variables aleatorias independientes 1 , 2 , . . . o que adems son idnticamente distribuidas y tales que P ( = +1) = 1/2 y P ( = a e 1) = 1/2, y con ltracin natural {Fn }n1 . Considere la suma Xn = 1 + + n , o es decir, Xn es una martingala que representa el total de ganancias en una serie de n apuestas justas de una unidad monetaria. Suponga ahora que el monto de cada apuesta no es uno, sino una cantidad an para la n-sima apuesta. Supondremos que e an es una variable aleatoria que el jugador determina a partir de la informacin o de las n 1 apuestas previas, y por lo tanto es una variable Fn1 -medible, es decir, se trata de un proceso predecible. A la coleccin de variables aleatorias o {a1 , a2 , . . .} con esta caracter stica se le llama una estrategia de juego. Bajo una de estas estrategias, el capital del jugador despus de la n-sima apuesta es ahora e e An = a1 1 + + an n , que es Fn -medible. Bajo la hiptesis de que la estrategia o de juego consta de variables aleatorias acotadas, se cumple que el proceso An es integrable y cumple adems la propiedad de martingala pues a E(An+1 | Fn ) = = = = = E(An + an+1 n+1 | Fn ) An + an+1 E(n+1 | Fn )
An + an+1 E(Xn+1 Xn | Fn )
An + an+1 (E(Xn+1 | Fn ) Xn ) An .
Esto quiere decir que bajo cualquier estrategia de juego, el proceso de ganancias An es una martingala siempre y cuando el proceso original Xn lo sea. Este resultado es importante saber para los apostadores pues quiere decir que no existe una estrategia de juego que convierta un juego justo en un juego favorable o desfavorable al jugador. El mismo anlisis demuestra que si el proceso original Xn es una submara tingala o supermartingala y la estrategia de juego consta de variables aleatorias no negativas y acotadas, entonces el proceso An sigue siendo una submartingala o supermartingala.
7.6.
Procesos detenidos
Sea Xn un proceso estocstico adaptado a una ltracin Fn , y sea un tiempo a o de paro respecto de la misma ltracin. En ocasiones es necesario considerar un o
172
7.6. Procesos detenidos
proceso de la forma X n , en donde n = m n{, n}. A este tipo de procesos se les llama procesos detenidos, por ejemplo, suponga que = k, entonces X n = Xn Xk si n k, si n > k.
Es decir, como funcin del parmetro n el proceso se vuelve constante a partir del o a tiempo aleatorio . No es dif comprobar que n es tambin un tiempo de paro. cil e Medibilidad y adaptabilidad de X n . Las variables del proceso detenido son efectivamente variables aleatorias y el proceso mismo es adaptado a la misma ltracin pues para cualquier n mero real x, y para cada n mero natural n, o u u
n
(X n x) =
k=1
( = k) (Xk x) ( > n) (Xn x).
La expresin del lado derecho es claramente un elemento de Fn . Si el proceso o original es integrable, entonces el proceso detenido es tambin integrable pues e E|X n | = E( |X | 1( n) ) + E( |Xn | 1( >n) )
n
k=1 n
E( |Xk | 1( =k) ) + E( |Xn | 1( >n) ) E|Xk | + E|Xn | < .
k=1
Por ejemplo, considere que Xn es la martingala del juego de apuestas. Suponga que el jugador decide dejar de jugar cuando pierda todo su capital o cuando consigue ganar el doble de su capital inicial. El momento aleatorio en el que ocurre alguno de estos dos eventos es un tiempo de paro . El capital del jugador en cualquier tiempo n puede expresarse como X n . Ejercicio. Sea Xn un proceso adaptado a la ltracin Fn , y sea un tiempo de o paro a tiempo discreto que adems es nito, es decir, P ( < ) = 1. Demuestre a que X es una variable aleatoria. Demostraremos a continuacin que una martingala detenida sigue siendo martino gala. Proposicin. Si Xn es una martingala, submartingala o supermartingala, y es o un tiempo de paro respecto de la misma ltracin, entonces el proceso detenido o X n tambin lo es. e
173
Demostracin. Hemos demostrado antes que el proceso detenido es adaptado e o integrable. Resta demostrar la propiedad de martingala. El caso submartingala y supermartingala se obtienen modicando adecuadamente la pen ltima igualdad en u el siguiente anlisis. a
n
E(X (n+1) | Fn ) = =
k=1 n
E(Xk 1( =k) | Fn ) + E(Xn+1 1( >n) | Fn ) Xk 1( =k) + E(Xn+1 | Fn ) 1( >n) Xk 1( =k) + Xn 1( >n)
k=1 n
=
k=1
X n
7.7.
Una aplicacin: La estrategia martingala o
Uno de los varios signicados del tmino martingala, y que parece ser el original, e establece que una martingala es una estrategia de juego en la cual un jugador apuesta sucesivamente en cada lanzamiento de una moneda honesta del siguiente modo: Inicialmente apuesta una unidad monetaria. En caso de perder, dobla el monto de la apuesta para el siguiente lanzamiento. En caso de ganar, vuelve a apostar una unidad monetaria en el siguiente lanzamiento. En la Figura 7.2 se muestra una tabla con algunos resultados siguiendo esta estrategia de juego. Bajo esta estrategia de juego resulta que, cada vez que el jugador acierta, se recupera de las prdidas anteriores e incluso incrementa su fortuna en una unidad e monetaria. En efecto, si el jugador pierde las primeras n apuestas y gana la apuesta
174
7.7. Una aplicacion: La estrategia martingala
Monto de la apuesta Resultado del lanzamiento Capital
1 x -1
2 x -3
4 x -7
8 1
1 2
1 x 1
2 3
1 x 2
Figura 7.2: n + 1, entonces su capital al tiempo n + 1 es

n1
1 21 22 2n1 +
n apuestas perdidas
2n
apuesta n + 1 ganada
2k + 2n
k=0
= = =
1 2n + 2n 12 (1 2n ) + 2n 1.
De esta manera si el jugador pudiera mantener esta estrategia de juego tendr una a unidad ganada por cada acierto que haya conseguido. Parece ser una estrategia segura de ganar, sin embargo, veamos cunto, en promedio, podr ser su dcit a a e justo antes de recuperarse, es decir, calcularemos E(X 1 ), en donde es el tiempo de paro en el que el jugador acierta por primera vez. Puede comprobarse que este tiempo de paro es nito casi seguramente, es decir, P ( < ) = 1. De hecho, con probabilidad uno, el jugador tendr eventualmente un xito a n cuando sus proa e u babilidades de acertar fueran peque as. Como hemos visto, despus de n apuestas n e consecutivas perdidas el capital empe ado es 1 21 22 2n1 = 1 2n , y n la probabilidad de perder n apuestas sucesivas y ganar la apuesta n + 1 es 1/2n+1 .
Cap tulo 7. Martingalas Por lo tanto E(X 1 ) = = = =

n=1 n=1 n=1
175
E(X 1 | = n) P ( = n) E(Xn1 ) P ( = n) 1 2n
(1 2n1 )
Es decir, se requerir de un capital promedio innito y poder apostar una innidad a de veces para llevar a cabo con xito esta estrategia, algo no muy factible en e trminos de dinero y tiempo. e
7.8.
Teorema de paro opcional
Hemos observado antes que para una martingala Xn se cumple que E(Xn ) = E(X1 ), para cualquier valor de n. Si adems se tiene un tiempo de paro , no a necesariamente es cierto que E(X ) = E(X1 ), e incluso el n mero E(X ) podr no u a ser nito como en la estrategia de juego llamada martingala analizada en la seccin o anterior. El siguiente resultado establece condiciones bajo las cuales la variable X tiene la misma esperanza que la martingala. Teorema de paro opcional. Sea Xn una martingala y sea un tiempo de paro, ambos respecto de una ltracin Fn . Suponga que o a) < c.s. b) X es integrable. c) l E(Xn 1( >n) ) = 0. m
n
Entonces E(X ) = E(Xn ), para cualquier n 1. Demostracin. La observacin importante es que para cualquier n 1, o o X = X n + (X Xn ) 1( >n) .
176
7.8. Teorema de paro opcional
Tomando esperanza y usando el hecho de que X n es una martingala, E(X ) = = E(X n ) + E((X Xn ) 1( >n) ) E(X1 ) + E(X 1( >n) ) E(Xn 1( >n) ).
Como el proceso original es una martingala, el primer sumando es E(Xn ). Haciendo n , el tercer sumando se anula por hiptesis. Usando la hiptesis de o o integrabilidad de X y el teorema de convergencia dominada, el segundo sumando converge tambin a cero pues es la cola de la serie convergente e E(X ) = E(
Xk 1( =k) ) =
k=1
E(Xk 1( =k) ).
k=1
Aplicacin: Tiempos medios de arribo en caminatas aleatorias. o Sea Xn una caminata aleatoria simtrica e Xn () simple sobre Z que inicia en cero, y sea b b 1 un entero cualquiera. Dena el tiempo de paro = m {n 1 : |Xn | = b}, n es decir, es el primer momento en el n que la caminata alcanza, en valor absolu to, el nivel b. Vase la Figura 7.3. Sabemos e 2 que tanto el proceso Xn como Xn n son martingalas. Suponiendo de manera preFigura 7.3: liminar que las condiciones del teorema de paro opcional se cumplen, se tiene que 2 2 2 E(X ) = E(X1 1) = E(X1 ) 1 = 0. 2 Por lo tanto, E( ) = E(X ) = b2 . La ultima igualdad se obtiene al observar que |X | = b. En palabras, este resultado dice que la caminata aleatoria simtrie ca simple que inicia en cero necesita, en promedio, b2 pasos para alcanzar, en valor absoluto, el nivel b. Este resultado puede generalizarse del siguiente modo. Sea Xn = 1 + + n una caminata aleatoria simple sobre Z y que inicia en el origen. Consideraremos el caso no simtrico, suponga P ( = +1) = p y e P ( = 1) = q = 1 p. Sean a y b dos enteros positivos jos. Dena el tiempo de paro = m n{n 1 : Xn = a Xn = b}. Usando una tcnica similar a la o e
Cap tulo 7. Martingalas presentada puede demostrarse que ab b a+b 1 (p/q)b E( ) = pq p q 1 (p/q)a+b
177
si p = q, si p = q.
Vericaremos a continuacin la validez de las tres condiciones del teorema de paro o opcional para esta aplicacin. o
a) Demostraremos que < c.s. El estrategia consiste en considerar bloques sucesivos de 2N pasos en la caminata aleatoria. Observe que el evento ( = ) es el l mite de la sucesin decreciente de eventos ( > 2N k), para k = 1, 2, . . ., y o que el evento ( > 2N k) est contenido en el evento Ninguno de los primeros k a bloques contiene unicamente valores +1. La utilidad de este evento mayor radica en que es fcil calcular su probabilidad. Tenemos que a P ( = ) = = =
k k
l P ( > 2N k) m
l P (Ninguno de los primeros k bloques m contiene unicamente valores +1) l (1 (1/2)2N )k m
0.
2 2 b) Demostraremos ahora que E(|X |) < . Como X = N 2 , se tiene que 2 E(|X |)
N 2 + E( ) N2 + N2 + N2 +
k=0
k P ( = k)
2N
(2N k + j) P ( = 2N k + j)
2N
k=0 j=1
<
(2N (k + 1)) P ( > 2N k) (k + 1) (1 (1/2)2N )k
N 2 + (2N ) .
k=0 j=1 2 k=0
178
7.9. Algunas desigualdades
2 c) Finalmente vericaremos que E((Xn n)1( >n) ) 0, cuando . 2 E(|Xn n|1( >n)) 2 E(Xn 1( >n) ) + E(n1( >n) )
N 2 P ( > n) + E( 1( >n) ).
La sucesin de eventos ( > n) es montona decreciente y por lo tanto convergente, o o su l mite es el evento ( = ) que tiene probabilidad cero. El primer sumando por lo tanto se hace peque o cuando n crece. Como E( ) < , la sucesin de variables n o 1( >n) es tambin decreciente y consta de variables aleatorias integrables cuyo e l mite es cero c.s. El segundo sumando por tanto tambin converge a cero. e
7.9.
Algunas desigualdades
Proposicin. (Desigualdad maximal de Doob.) Sea Xn una submartingala o no negativa y dena Xn = mx{X1 , . . . , Xn }. Entonces para cualquier > 0, a
P (Xn ) E(Xn 1(Xn ) ).
Demostracin. Para cada n natural dena el tiempo de paro o = n m n{1 k n : Xk }. Es decir, es el primer momento hasta n en el que el proceso alcanza o rebasa el valor . Si tal evento nunca ocurre, entonces = n. Como Xn es una submartingala y 1 n, se tiene que E(Xn ) E(X ). Observe que si ocurre el evento (Xn ), entonces X , y si ocurre (Xn < ), entonces = n. Por lo tanto E(Xn ) E(X ) = E(X 1(Xn ) ) + E(X 1(Xn <) )
P (Xn ) + E(Xn 1(Xn <) ).
Es decir,
P (Xn )
E(Xn ) E(Xn 1(Xn <) ) = E(Xn 1(Xn ) ).
179
Proposicin. (Desigualdad maximal de Doob en L2 .) Sea Xn una subo martingala no negativa y cuadrado integrable. Para Xn = mx{X1 , . . . , Xn } se a tiene que 2 E(|Xn |2 ) 4 E(Xn ).
Demostracin. El segundo momento de una variable aleatoria no negativa X puede o expresarse, cuando existe, de la siguiente forma E(X 2 ) = 2
0
x P (X > x) dx.
Usando esta expresin, la primera desigualdad maximal, el teorema de Fubini y o despus la desigualdad de Cauchy-Schwarz se tiene que e
E(|Xn |2 )
= 2
0
x P (Xn > x) dx
E(Xn 1(Xn x) ) dx.
2 = 2
(
(Xn x) Xn
Xn dP ) dx dx dP
0
= 2
Xn
= 2
Xn Xn dP
= 2E(Xn Xn )
2 Por lo tanto,
E(|Xn |2 )
E|Xn |2 2
E|Xn |2 .
Elevando al cuadrado se obtiene el resultado.
E|Xn |2
E|Xn |2 .
180
7.10. Convergencia de martingalas
7.10.
Convergencia de martingalas
Sea Xk un proceso adaptado a la ltracin Fk , y sean a < b dos n meros reales. o u Consideraremos que n es un n mero natural cualquiera. Dena la sucesin creciente u o de tiempos de paro 1 2 3 4 = m {k 1 : Xk > b}, n
= m {k > 1 : Xk < a}, n = m {k > 2 : Xk > b}, n = m {k > 3 : Xk < a}, n . . .
Si alguno de los conjunXk () tos se alados es vac o n o bien cuando k n, para b alguna k, se dene k = n. De esta forma se tiea ne la sucesin 1 2 o n. Una de tales sucesiones se muestra en la k Figura 7.4, en donde se 1 2 3 4 5 6 presenta una trayectoria Figura 7.4: del proceso con sus valores unidos por una l nea continua para una mejor visualizacin. Nos interesa contar el n mero de cruces o u de arriba hacia abajo, que las trayectorias del proceso realizan sobre el intervalo [a, b]. En la grca se muestran tres cruces de este tipo, los cuales se encuentran a remarcados en la trayectoria. Observe que antes del valor n y para valores impares en el sub ndice de , el proceso se encuentra arriba de b en ese momento, mientras que para valores pares del sub ndice, el proceso se encuentra por abajo del nivel a, es decir, entre los tiempos 2k1 y 2k el proceso realiza un cruce de arriba hacia abajo. El n mero de cruces completos, de arriba hacia abajo, que el proceso realiza sobre u el intervalo [a, b] antes del tiempo n es el mximo entero k tal que 2k < n, y se a
Cap tulo 7. Martingalas denota por Dn [a, b], es decir, Dn [a, b] = mx {k 1 : 2k < n}. a
181
Si el conjunto de cruces es vac se dene Dn [a, b] = 0. La letra D usada para o, denotar este n mero proviene del trmino en ingls downcrossing. Observe que para u e e cada n, la funcin Dn [a, b] : {0, 1, . . .} es una variable aleatoria pues para cada o entero k, el conjunto (Dn [a, b] k) = (2k < n) es medible. De esta manera se tiene la sucesin montona de variables aleatorias D1 [a, b] D2 [a, b] , y tomando o o n , es convergente al n mero total de cruces u D[a, b] = sup {k 1 : 2k < }. En la demostracin que se presenta a continuacin sobre la convergencia de subo o martingalas se hace uso de este n mero de cruces. u Proposicin. Sea Xn una submartingala. Entonces o E(Dn [a, b]) 1 1 E(Xn b)+ ( sup E|Xn | + |b| ). ba ba n
Demostracin. Dena la sucesin de eventos Ak = (k < n). Por la monoton de o o a los tiempos de paro denidos antes se tiene que A1 A2 Eventualmente los elementos de esta sucesin son el conjunto vac pues no pueden efectuarse o o demasiados cruces en un tiempo limitado n. Observe adems que cuando ocurre a el evento A2k1 el proceso al tiempo 2k1 se encuentra por arriba de b, mientras que cuando ocurre A2k , el proceso al tiempo 2k se encuentra por abajo de a. A continuacin usaremos la propiedad de submartingala aplicada a los tiempos de o paro 2k1 2k . Tenemos entonces que E(X2k1 ) E(X2k ), es decir, X2k1 dP X2k dP.
Separando ambas regiones de integracin como = A2k1 Ac o 2k1 , X2k1 dP +

A2k1
Ac 2k1
X2k1 dP
X2k dP +
A2k1
Ac 2k1
X2k dP.
182
7.10. Convergencia de martingalas
Ahora observe que sobre el conjunto Ac 2k1 , se cumple que 2k1 = 2k = N . Por lo tanto, la segunda y cuarta integral coinciden y podemos omitirlas de esta desigualdad. A adiendo la constante b, esto lleva al siguiente resultado: n
0 =
A2k1
(X2k1 b) dP (X2k b) dP
A2k1 \A2k
A2k1
A2k
(X2k b) dP +
(X2k b) dP
Por lo tanto
(a b)P (A2k ) + 1 ba 1 ba
n
A2k1 \A2k
(Xn b) dP.
P (A2k )
A2k1 \A2k A2k1 \A2k
(Xn b) dP (Xn b)+ dP
Como P (A2k ) = P (2k < n) = P (Dn [a, b] k), E(Dn [a, b]) =
k=1 n
P (Dn [a, b] k) P (A2k )
=
k=1
1 ba
n A2k1 \A2k
k=1
(Xn b)+ dP
Para la ultima desigualdad se hace uso del hecho de que las diferencias A2k1 \A2k son conjuntos ajenos. La segunda desigualdad se sigue de las estimaciones (Xn b)+ |Xn b| |Xn | + |b|. Ahora estamos en condiciones de probar que toda submartingala acotada en media es convergente.
1 E(Xn b)+ . ba
183
Teorema de convergencia de submartingalas de Doob. Sea Xn una submartingala tal que supn E|Xn | < . Entonces existe una variable aleatoria integrable X tal que l Xn = X c.s. m
n
Demostracin. Vericaremos primero que la convergencia de tal sucesin de vao o riables aleatorias es equivalente a la condicin: D[a, b] < casi seguramente, o para cualesquiera n meros a < b. Sea y considere la sucesin numrica u o e X1 (), X2 (), . . . cuyo n mero de cruces es denotado por D[a, b](). Demostrareu mos que esta sucesin es convergente si, y slo si, D[a, b]() < , para cualesquiera o o a < b. () Suponga que la sucesin es convergente pero que D[a, b]() = para alg n o u par de n meros a y b tales que a < b. Entonces u l inf Xn () a < b l sup Xn (). m m
n n
Esto contradice la hiptesis de que la sucesin es convergente. o o () Suponga ahora que D[a, b]() < para cualesquiera a < b. Suponga que la sucesin no es convergente. Entonces existen a1 < b1 tales que o l inf Xn () a1 < b1 l sup Xn (). m m
n n
Entonces, en particular, para este par de n meros reales se tiene que U [a1 , b1 ]() = u , lo cual contradice la hiptesis inicial. o Resta demostrar que con probabilidad uno, D[a, b] < . Para llegar a esta conclusin es suciente probar que E(D[a, b]) < , pero ello es consecuencia del teorema o de convergencia montona y la ultima proposicin pues o o E(D[a, b]) =
n
l E(Dn [a, b]) m
La integrabilidad del l mite X se sigue del lema de Fatou,

n n n
1 (sup E|Xn | + |b|) < . ba n
E|X| = E(l inf |Xn |) l inf E|Xn | sup E|Xn | < . m m
184
7.11. Representacion de martingalas
Como toda martingala es una submartingala, y toda supermartingala se convierte en una submartingala a travs de un cambio de signo, se tiene que el teorema e anterior es vlido en cualquiera de los tres casos. Es decir, toda martingala, suba martingala o supermartingala acotada en media es convergente casi seguramente, y su l mite es una variable aleatoria integrable. La demostracin presentada sobre la convergencia de submartingalas es la prueba o original de Doob de 1940. En [14] pueden encontrarse algunos otros mtodos altere nativos de demostracin. Como hemos mencionado antes, las submartingalas son o procesos que en promedio tienden a crecer, de modo que en este caso hemos encontrado una cota superior para el n mero promedio de cruces hacia abajo, E(Dn [a, b]). u En algunos textos, por ejemplo [4], se enuncia y prueba el mismo resultado para supermartingalas, procesos que, en promedio, tienden a decrecer.
7.11.
Representacin de martingalas o
En esta seccin demostraremos que toda martingala que cumple la condicin de o o ser uniformemente integrable puede escribirse en trminos de una esperanza condie cional. Antes de enunciar el resultado explicaremos la condicin de integrabilidad o uniforme para un proceso. Integrabilidad uniforme. Puede comprobarse que una variable aleatoria X es integrable si, y slo si, para cada > 0 puede encontrarse un n mero M > 0 tal o u que
(|X|>M)
|X| dP < .
Considere ahora una sucesin innita de variables aleatorias integrables X1 , X2 , . . . o Para cada > 0 puede encontrarse entonces una sucesin de n meros reales Mn > 0 o u tales que
(|Xn |>Mn )
|Xn | dP < .
Cuando la sucesin Mn no depende de n, es decir, cuando sea una sucesin constano o te, se dice que la sucesin de variables aleatorias es uniformemente integrable. Es o evidente que la integrabilidad uniforme es ms fuerte que la simple integrabilidad a
185
de las variables de un proceso. Tenemos entonces la siguiente denicin, la cual o ilustraremos despus con un par de ejemplos. e Denicin. Se dice que una sucesin de variables aleatorias integrables o o X1 , X2 , . . . es uniformemente integrable si para cada > 0 existe un n meu ro M > 0 tal que para toda n 1,
(|Xn |>M)
|Xn | dP < .
Ejemplo. Considere el espacio muestral = (0, 1) con la -lgebra los subconjuntos a de Borel de (0, 1), y como medida de probabilidad la medida de Lebesgue sobre dicho intervalo. La sucesin de variables aleatorias dada por Xn = n 1(0,1/n) no es o uniformemente integrable pues para cualquier M > 0, |Xn | dP = 1 0 si n > M, si n M.
(|Xn |>M)
Ejemplo. Sea X una variable aleatoria integrable y sea Fn un ltracin. Demoso traremos que la martingala Xn = E(X | Fn ) es uniformemente integrable. Como |X| es integrable, tenemos que para cada > 0 existe > 0 tal que si P (A) < , entonces A |X| dP < . Adems, como |Xn | E(|X| | Fn ), tomando esperanzas y a para cualquier M > 0 se tiene que E|X| E|Xn |
(|Xn |>M)
|Xn | dP
M P (|Xn | > M ).
De modo que si se toma M > E(|X|)/, con > 0 arbitrario, entonces P (|Xn | >
186
M ) E(|X|)/M < . Por lo tanto

(|Xn |>M)
|Xn | dP
(|Xn |>M) (|Xn |>M)
E(|X| | Fn ) dP |X| dP
< .
La siguiente proposicin establece que la convergencia en media es una condicin o o suciente para que se cumpla la propiedad de integrabilidad uniforme en un proceso. Proposicin. Todo proceso que consta de variables aleatorias integrables y que o es convergente en media, es uniformemente integrable.
Demostracin. Suponga que X1 , X2 , . . . es una sucesin de variables aleatorias o o integrables convergente en media a la variable aleatoria integrable X, es decir, E|Xn X| 0. Esto es, para cada > 0 existe un natural N tal que para cualquier n > N , E|Xn X| < /2. Dado que el l mite X es integrable, para cada > 0 existe > 0 tal que si P (A) < , entonces A |X| dP < /2. Tomando un valor de > 0 ms peque o si es necesario se tiene adems que A |Xn | dP < , para cada a n a n = 1, . . . , N , cuando P (A) < . Por otro lado, para cualquier n 1, E(|Xn |)
(|Xn |>M)
|Xn | dP M P (|Xn | > M ).
1 Es decir, P (|Xn | > M ) M E(|Xn |) si se toma M = 1 supn E((|Xn |). Tal valor de M es nito pues como la sucesin converge en media, es acotada en media. o En particular y con el valor de M mencionado, lo anterior demuestra la integrabilidad uniforme de las variables Xn para valores de n menores o iguales a N . Para el caso n > N se tiene que
(|Xn |>M)
|Xn | dP
(|Xn |>M) (|Xn |>M)
|X| dP +
(|Xn |>M)
|Xn X| dP
|X| dP + E(|Xn X|)
+ = . 2 2
187
El siguiente resultado es un rec proco de la proposicin anterior, slo que hay que o o a adir la condicin de que el proceso sea una submartingala, en particular, una n o martingala. Proposicin. Toda submartingala uniformemente integrable es convergente en o media.
Demostracin. Sea {Xn : n 1} una submartingala uniformemente integrable. Heo mos demostrado antes que en tales condiciones la submartingala es necesariamente acotada en L1 , y por lo tanto satisface las condiciones del teorema de convergencia de martingalas de Doob. Existe entonces una variable aleatoria integrable X tal que Xn X c.s. Demostraremos que Xn X en media, es decir, que E|Xn X| 0. Sea > 0 arbitrario. Debido a la hiptesis de integrabilidad uniforme, existe M > 0 o tal que para toda n 1,
(|Xn X|>M)
|Xn X| dP <
. 3
Por otro lado, como la convergencia casi segura implica la convergencia en probabilidad se tiene que P (|Xn X| > /3) 0, cuando n , es decir, existe un entero N tal que para n > N , P (|Xn X| > /3) < , 3M en donde M > 0 es la constante de la estimacin anterior. Entonces o E(|Xn X|) =
(|Xn X|>M)
|Xn X| dP |Xn X| dP
+
(/3<|Xn X|M)
+
(|Xn X|/3)
|Xn X| dP
< <
+ M P (|Xn X| > /3) + P (|Xn X| /3) 3 3 .
188
Finalmente se presenta el resultado que establece que toda martingala uniformemente integrable se puede escribir como una esperanza condicional. Teorema de representacin de martingalas. Sea Xn una martingala unio formemente integrable, con ltracin natural Fn , y teniendo a la variable X o como su l mite en media. Entonces Xn = E(X | Fn ).
Demostracin. Para cualquier m > n, E(Xm | Fn ) = Xn . Esto quiere decir que o para cualquier evento A en Fn , Xm dP =
A A
Xn dP.
Entonces | Xn X dP | = | Xm X dP |
|Xm X| dP |Xm X| dP.
Por lo demostrado antes, el ultimo trmino converge a cero cuando m . Es e decir, para cualquier A en Fn , A Xn dP = A X dP . Esto signica que Xn = E(X | Fn ) c.s. La variable Xn = E(X | Fn ) puede interpretarse como una aproximacin de la o variable desconocida X cuando se cuenta con la informacin dada por la -lgebra o a Fn . Conforme n crece, la informacin acerca de X aumenta a travs de la ltracin, o e o y en el l mite se obtiene o reconstruye X. Notas y referencias. El lector puede encontrar otras exposiciones introductorias al tema de martingalas a tiempo discreto en Karlin y Taylor [19], y Lawler [23]. Para lecturas ms avanzadas pueden consultarse Revuz y Yor [29] y Tudor [38]. a
189
Joseph L. Doob (Estados Unidos 19102004). Doob empez a tener inters por la ciencia desde peque o o e n cuando cursaba la escuela secundaria. Estuvo muy interesado en el funcionamiento del radio e incluso construy l oe mismo su propio equipo. Este inters suyo por la electrnie o ca y las comunicaciones se increment durante la prepao ratoria obteniendo incluso una licencia para llevar a cabo transmisiones por radio. Dado este inters en la electrnie o ca, Doob pens que la f o sica era el rea que deb estudiar a a al ingresar a la universidad. Y as lo hizo al ingresar a la universidad de Harvard en 1926. Sin embargo, despus de e Doob un a o de estudios, se convenci que el curso que verdan o deramente disfrut fue el de clculo y sus aplicaciones. Para el segundo a o se o a n registr en cursos de matemticas. En 1930 obtuvo el grado de licenciatura de la o a universidad de Harvard, y en 1931 obtuvo el grado de maestr bajo la supervisin a o de J. L. Walsh en la misma universidad. En Junio de ese mismo ao se cas con n o Elsie Field con quien tuvo tres ni os. Al a o siguiente, en 1932, obtuvo el grado n n de doctorado con un trabajo de tesis sobre las funciones anal ticas y sus valores de frontera. Tiempo despus obtuvo un beca para trabajar en la teor de la probabie a lidad con H. Hotelling en la universidad de Columbia de 1934 a 1935. Al nal de ese periodo fue contratado como profesor asociado en la universidad de Illinois en 1935, all fue donde desarroll su carrera como profesor hasta el a o de 1978 cuando o n se jubil. Dentro de sus estudiantes de doctorado guran, entre otros, Paul Halmos o (1938), David Blackwell (1941), J. Laurie Snell (1951) y John Walsh (1966). El trabajo de Doob se centra principalmente en la teor de la medida, la teor de la a a probabilidad y las relaciones de sta ultima con la teor del potencial. En partie a cular, y profundizando parte del trabajo de Paul L`vy, durante los a os cuarentas e n y cincuentas Doob desarroll la teor bsica de las martingalas y algunas de sus o a a aplicaciones. En 1953 public su libro clsico Stochastic Processes, el cual fue reo a editado en 1990. En 1984 public Classical Potential Theory and its Probabilistic o Counterparts, reimpreso en 2001. En 1994, a la edad de 84 a os, public su ultimo n o texto titulado Measure Theory. Doob fue miembro de las Academias de Ciencias de los Estados Unidos y de Francia, presidi el Instituto de Estad o stica Matemtica a (IMS) en 1950, y la Sociedad Matemtica Norteamericana (AMS) de 1963 a 1964. a Recibi varios premios prestigiosos de su pa por la trascendencia y profundidad o s de sus trabajos. Durante muchos a os de su vida Doob mantuvo la costumbre y el n gusto por organizar y realizar las famosas caminatas de los sbados por la tarde a junto a profesores universitarios, colegas y amigos, de la universidad de Illinois. A peticin propia, las cenizas de los restos mortales de Doob fueron esparcidas por o
190
sus compa eros en uno de sus sitios favoritos donde acostumbraba caminar junto n a sus amigos. Fuente: Archivo MacTutor, Universidad de St. Andrews. Para una informacin o ms amplia sobre la vida y el trabajo de Doob vanse los trabajos de Bingham [2], a e Burkholder y Protter [5], y Snell [32], [33].
191
Ejercicios
Filtraciones 104. Sea Xt un proceso adaptado a la ltracin Ft , y sea Gt la ltracin natural o o del proceso. Demuestre que para cada t 0 se cumple Gt Ft . Esto signica que la ltracin natural es la ltracin ms peque a respecto de la cual un o o a n proceso es adaptado.
Tiempos de paro 105. Demuestre que la condicin en la denicin de tiempo de paro a tiempo o o discreto ( n) Fn es equivalente a la condicin ( = n) Fn . o 106. Sea n un entero positivo. Demuestre que la variable aleatoria constante = n es un tiempo de paro. Compruebe adems que = es tambin un tiempo a e de paro. 107. Sea un tiempo de paro con valores en {1, 2, . . . , } y sea n un n mero u natural. Demuestre que tanto n como n son tambin tiempos de paro e respecto de la misma ltracin. o 108. Sean 1 y 2 dos tiempos de paro respecto de la misma ltracin. Demuestre o que las siguientes variables aleatorias tambin son tiempos de paro. e a) 1 2 b) 1 2 . 109. Sean 1 y 2 dos tiempos de paro respecto de la misma ltracin. Demuestre o que 1 + 2 es tambin un tiempo de paro. e 110. Sea Xn un proceso a tiempo discreto, y sea x un n mero real cualquiera u dentro del espacio de estados del proceso. Dena las variables aleatorias: 1 como el primer momento en el que el proceso toma el valor x, 2 como el segundo momento en el que el proceso toma el valor x, etc. Demuestre que 1 2 son tiempos de paro. 111. Sea un tiempo de paro con valores en [0, ) y sea c 1 una constante. Demuestre que c es tiempo de paro. 112. Sea 1 , 2 , . . . una sucesin innita de tiempos de paro. Demuestre que tanto o supn n como n n son tiempos de paro. nf
192
Martingalas
113. Sea Xn una martingala a tiempo discreto. Demuestre que la propiedad de martingala E(Xm | Fn ) = Xn , para cualquier m n, es equivalente a la condicin E(Xn+1 | Fn ) = Xn , para cada n 1. Enuncie y demuestre la o equivalencia anloga al caso submartingala y supermartingala. a 114. Demuestre que a) toda martingala es una submartingala y una supermartingala. b) todo proceso que es al mismo tiempo una submartingala y una supermartingala es una martingala. 115. Demuestre que para cualquier t > s 0, a) E(Xt ) = E(Xs ) en el caso martingala. b) E(Xt ) E(Xs ) en el caso submartingala. c) E(Xt ) E(Xs ) en el caso supermartingala. 116. Sea X una variable aleatoria integrable, y sea {Ft }t0 una ltracin a tiempo o continuo. Demuestre que Xt = E(X | Ft ) es una martingala. 117. Sea {Xn : n 1} un proceso adaptado a la ltracin {Fn }n1 . Demuestre o que si A es un evento F1 -medible, entonces el proceso Xn 1A es una martingala, submartingala o supermartingala cuando Xn lo es. 118. Sea M una constante. Demuestre que a) si Xn es una submartingala, entonces mx {Xn , M } es una submartingala. a b) si Xn es una supermartingala, entonces m {Xn , M } es una supermartinn gala. 119. Sean Xt and Yt dos martingalas, submartingalas o supermartingalas respecto de la misma ltracin. Demuestre que el proceso aXt + bYt + c es tambin una o e martingala, submartingala o supermartingala, respectivamente, en donde a, b y c son constantes. Para el caso submartingala y supermartingala se necesita suponer adems que a y b son no negativos. En particular esto demuestra a que la suma de dos martingalas es una martingala, y que el conjunto de martingalas respecto de la misma ltracin y denidas en un mismo espacio o de probabilidad es un espacio vectorial.
193
120. Sea Xn un proceso integrable. Demuestre que el proceso dado por Xn = mx{X1 , . . . , Xn } es una submartingala. a
121. Sean Xt y Yt dos martingalas o submartingalas respecto de la misma ltracin. Demuestre que el proceso mx {Xt , Yt } es una submartingala. o a 122. Sean Xt y Yt dos martingalas o supermartingalas respecto de la misma ltracin. Demuestre que el proceso m {Xt , Yt } es una supermartingala. o n 123. Martingala de de Moivre. Sea 1 , 2 , . . . una sucesin de variables aleatorias o independientes cada una de ellas con la misma distribucin dada por P ( = o +1) = p y P ( = 1) = q = 1 p. Sea Xn = 1 + + n . Demuestre que Yn = (q/p)Xn es una martingala respecto de la ltracin generada por el o proceso Xn . 124. Sea Xt una martingala respecto de una ltracin Ft . Demuestre que el proo ceso tambin es una martingala respecto de su ltracin natural. En general e o el rec proco es falso. 125. Sea 1 , 2 , . . . una sucesin de variables aleatorias independientes con esperano za cero. Dena X0 = 0 y Xn = 1 + +n , para n 1. Se ha demostrado que el proceso Xn es una martingala respecto de la ltracin Fn = {1 , . . . , n }. o Suponga ahora que las variables tienen segundo momento nito. Demues2 tre que el proceso Xn n es tambin una martingala respecto de la misma e ltracin si, y slo si, las variables tienen varianza uno. o o 126. Martingala producto. Sean 1 , 2 , . . . variables aleatorias independientes con esperanza unitaria. Demuestre que el proceso Xn = 1 n es una martingala respecto de su ltracin natural. o 127. Sea Xn una submartingala. Demuestre que los siguientes procesos tambin e son submartingalas.
+ a) Xn = mx {Xn , 0}. a b) Xn = m {Xn , 0}. n
c) |Xn |. Suponga, en este caso, que Xn es una martingala. 128. Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesin de variables o aleatorias independientes e idnticamente distribuidas. Dena Xn = 1 + e + n . Demuestre que el proceso a) Xn nE() es una martingala, suponiendo E() < .
194

2 b) Xn nE( 2 ) es una martingala, suponiendo E( 2 ) < .
2 129. Sea Xt una martingala cuadrado integrable. Demuestre que Xt es una submartingala respecto de la misma ltracin. Vea el siguiente ejercicio para una o generalizacin de este resultado. o
130. Sea Xt una martingala tal que E|Xt |p < para cada t 0, con p 1. Demuestre que |Xt |p es tambin una submartingala. Sugerencia: Use la e desigualdad de Jensen. En el siguiente ejercicio se generaliza este resultado. 131. Sea Xt un proceso integrable, y sea g una funcin convexa tal que g(Xt ) es o integrable. Demuestre que bajo cualquiera de las siguientes condiciones se cumple que el proceso g(Xt ) es una submartingala. a) cuando Xt es una martingala. b) cuando Xt es una submartingala y g es una funcin no decreciente. o 132. Sea 1 , 2 , . . . una sucesin de variables aleatorias independientes tales que o 2 E() = k , Var() = k < , y con ltracin natural Fn . Demuestre que el o siguiente proceso es una martingala respecto de esta ltracin. o
n 2 Xn = ( k=1 n
(k k ) )2
2 k . k=1
133. Sea {n : n 0} un proceso integrable y adaptado a la ltracin Fn . Deo muestre que el siguiente proceso es una martingala.
n
Xn =
k=1
( k E(k | Fk1 ) ).
134. Sea Xt un proceso de Poisson de parmetro > 0. Demuestre que los sia guientes procesos son martingalas. a) Yt = (Xt t)2 t. b) Yt = exp( Xt + t (1 e ) ), en donde R. 135. Sea {Xt : t 0} un proceso integrable con incrementos independientes. Demuestre que el proceso centrado {Xt E(Xt ) : t 0} es una martingala. 136. Considere la martingala de la urna de Polya con una conguracin inicial de o una bola blanca y una negra. Suponga ahora que cuando se extrae una bola de un color se regresa a la urna junto con k bolas del mismo color. Dena Mn = Xn /(2 + nk). Es Mn una martingala?
195
137. Demuestre que el proceso Xn de la estrategia de juego llamada martingala, cuando las apuestas son justas, es una martingala. 138. Sea Xn = 1 + + n una caminata aleatoria simple sobre Z y que inicia en el origen. Suponga P ( = +1) = p y P ( = 1) = q = 1 p. Sean a y b dos enteros positivos jos. Dena el tiempo de paro = m n{n 1 : Xn = a Xn = b}. o Demuestre que E( ) = ab si p = q, si p = q. b a + b 1 (p/q)b pq p q 1 (p/q)a+b E((Xn3 Xn2 )Xn1 ) = 0. 140. Sea 1 , 2 , . . . una sucesin de variables aleatorias tal que el proceso Xn = o 1 + + n es una martingala. Demuestre que E(i j ) = 0 para i = j. 141. Sea Xn una cadena de Markov con espacio de estados {0, 1, . . .}. Suponga que las probabilidades de transicin son p00 = 1 y pij = ei ij /j! en los otros o casos. Demuestre que Xn es una martingala.
139. Sea {Xn } una martingala. Demuestre que para n1 n2 < n3 ,
Teorema de paro opcional 142. Sea Xn = 1 + + n una caminata aleatoria simple sobre Z y que inicia en el origen. Suponga P ( = +1) = p y P ( = 1) = q = 1 p. Sean a y b dos enteros positivos jos. Dena el tiempo de paro = m n{n 1 : Xn = a Xn = b}. Demuestre que o si p = q, ab b a + b 1 (p/q)b E( ) = si p = q. pq p q 1 (p/q)a+b
196
Integrabilidad uniforme 143. Demuestre que una variable aleatoria X es integrable si, y slo si, para cada o > 0 existe M > 0 tal que |X| dP < .
(|X|>M)
Cap tulo 8
Movimiento Browniano
El fenmeno natural que ahora se conoce como movimiento Browniano tiene una o interesante historia. El primer registro, aunque no as la primera observacin de l, o e data de 1828 cuando el botnico Robert Brown [3] report en una revista cient a o ca que granos de polen suspendidos en una cierta substancia y vistos a travs de un e microscopio, realizaban un movimiento irregular e inexplicable. Este extra o mon vimiento fue objeto de mucha discusin y controversias a partir de su divulgacin o o en la comunidad cient ca. Se llevaron a cabo diversos experimentos y se formularon muy diversas hiptesis con la intencin de dar una explicacin satisfactoria o o o al fenmeno observado [10]. Hoy en d este movimiento es entendido y explicado o a a travs de las m ltiples colisiones aleatorias de las molculas del l e u e quido con los granos de polen. Llegar a tal aseveracin tom muchos a os pues debi aceptarse o o n o la teor cintico molecular de la materia, y el seminal trabajo de Einstein de 1905 a e sobre este fenmeno [10] contribuy decididamente a tal tarea. o o En este cap tulo se presenta una introduccin al modelo matemtico para el movio a miento Browniano. Se trata del ejemplo ms importante de un proceso de Markov a a tiempo continuo y espacio de estados tambin continuo. e
8.1.
Denicin o
Las observaciones reales del movimiento de granos de polen a travs del microscoe pio sugieren que el fenmeno satisface las siguientes propiedades: o
197
198
8.1. Definicion
Robert Brown (Escocia 17731858)
Movimiento irregular de un grano de polen.
Figura 8.1:
a) Es continuo. b) Parece tener desplazamientos independientes en intervalos de tiempo disjuntos. c) Debido al gran n mero de colisiones del grano de polen con las molculas ciru e cundantes en longitudes de tiempo no peque os, y teniendo en cuenta el teorema n central del l mite, los incrementos pueden modelarse como variables aleatorias Gausianas. La estructura matemtica de un proceso estocstico a tiempo continuo {Bt : t 0}, a a ha resultado adecuada para modelar este tipo de fenmenos. La variable Bt puede o representar la posicin de la part o cula al tiempo t. La denicin matemtica, en el o a caso unidimensional, es la siguiente.
Cap tulo 8. Movimiento Browniano
199
Denicin. Un movimiento Browniano unidimensional de parmetro 2 es o a un proceso estocstico {Bt : t 0} con valores en R que cumple las siguientes a propiedades. 1. B0 = 0 c.s. 2. Las trayectorias t Bt son continuas. 3. El proceso tiene incrementos independientes. 4. La variable Bt Bs tiene distribucin N (0, 2 (t s)), para cualesquiera o tiempos 0 s < t. Las condiciones que aparecen en esta denicin son consecuencia directa de las o observaciones del fenmeno f o sico, pero eso no garantiza que tal objeto matemtico a exista. En 1923 el matemtico norteamericano Norbert Wiener demostr la existena o cia y unicidad de un proceso con tales condiciones. Es por esta razn que a menudo o a este proceso tambin se le llama proceso de Wiener y se le denota tambin por e e {Wt : t 0}. En sentido estricto, el movimiento Browniano es el fenmeno f o sico, mientras que su modelo matemtico es el proceso de Wiener, aunque es com n a u llamar a ambas cosas por el mismo nombre: movimiento Browniano. Demostraremos a continuacin que las condiciones (3) y (4) de la denicin anterior o o son equivalentes a solicitar que las distribuciones nito dimensionales del proceso sean las siguientes.
5. Para cualesquiera tiempos 0 < t1 < < tn , y para cualesquiera conjuntos de Borel A1 , . . . , An de R, se cumple que P (Bt1 A1 , . . . , Btn An ) = p(t1 , 0, x1 )
A1
An
p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ) dxn dx1 , en donde

2 2 1 p(t, x, y) = e(yx) /2 t . 2t 2
(8.1)
200
Demostracin. ( (3),(4) (5) ) o
8.1. Definicion
() Dada la funcin de densidad del vector (X1 , . . . , Xn ), la funcin del densidad o o del vector de sumas parciales (X1 , X2 + X1 , . . . , Xn + + X1 ) es fX1 ,X2 +X1 ,...,Xn ++X1 (x1 , x2 , . . . , xn ) = fX1 ,X2 ,...,Xn (x1 , x2 x1 , . . . , xn xn1 ). Aplicaremos esta frmula cuando las variables X son los incrementos del o movimiento Browniano. Es decir, si X1 = Bt1 y Xk = Btk Btk1 , entonces Btk = Xk + + X1 . Por lo tanto, fBt1 ,Bt2 ,...,Btn (x1 , x2 , . . . , xn ) = fBt1 ,Bt2 Bt1 ,...,Btn Btn1 (x1 , x2 x1 , . . . , xn xn1 )
= p(t1 , 0, x1 ) p(t2 t1 , 0, x2 x1 ) p(tn tn1 , 0, xn xn1 ) = p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ). () De acuerdo a la propiedad (5), para 0 s < t, la funcin de densidad del o vector (Bs , Bt ) es fBs ,Bt (x, y) = p(s, 0, x) p(t s, x, y). Aplicando la frmula o general para la funcin de densidad de la diferencia de dos variables aleatorias, o fY X (u) = fX,Y (x, u + x) dx, se obtiene fBt Bs (u) = = = =

= fBt1 (x1 ) fBt2 Bt1 (x2 x1 ) fBtn Btn1 (xn xn1 )
p(s, 0, x) p(t s, x, u + x) dx
2 2 2 1 1 ex /2s eu /2 (ts) dx 2 2 (t s) 2 2 s 2 2 1 eu /2 (ts) 2 2 (t s) p(t s, 0, u),
es decir, Bt Bs tiene distribucin N(0, ts). Ahora, dado un vector (X1 , . . . , Xn ) o con funcin de densidad absolutamente continua fX1 ,...,Xn (x1 , . . . , xn ), la funo cin de densidad del vector de las diferencias (X1 , X2 X1 , . . . , Xn Xn1 ) o es fX1 ,X2 X1 ,...,Xn Xn1 (x1 , x2 , . . . , xn ) = fX1 ,X2 ,...,Xn (x1 , x2 + x1 , . . . , xn + xn1 + + x1 ).
Cap tulo 8. Movimiento Browniano Aplicando esta frmula se tiene que o fBt1 ,Bt2 Bt1 ,...,Btn Btn1 (x1 , x2 , . . . , xn ) = fBt1 ,Bt2 ,...,Btn (x1 , x2 + x1 , . . . , xn + xn1 + + x1 ) = p(t1 , 0, x1 )p(t2 t1 , x1 , x2 + x1 ) . . . p(tn tn1 , x1 + + xn1 , x1 + + xn ) = p(t1 , 0, x1 )p(t2 t1 , 0, x2 ) p(tn tn1 , 0, xn ) = fBt1 (x1 )fBt2 Bt1 (x2 ) fBtn Btn1 (xn ).
201
Esto demuestre que las variables Bt1 , Bt2 Bt1 , . . . , Btn Btn1 son independientes cada una de ellas con distribucin normal con los parmetros o a mencionados.
A la funcin p(t, x, y) denida por (8.1) se le llama funcin de probabilidad de trano o sicin del movimiento Browniano de parmetro 2 . En particular, la probabilidad o a de que un movimiento Browniano que inicia en x se encuentre en el conjunto A despus de t unidades de tiempo es e p(t, x, A) =
A
p(t, x, y) dy.
Hemos hecho nfasis en la propiedad (5) pues sta tiene la ventaja de que proe e porciona una expresin expl o cita para la probabilidad del conjunto de trayectorias Brownianas que cumplen las condiciones de encontrarse en el conjunto A1 al tiempo t1 , estar en el conjunto A2 al tiempo posterior t2 , etctera. e La condicin de que el movimiento Browniano inicie en el origen no es absolutao mente necesaria. Pueden considerarse trayectorias Brownianas que inicien en un x punto x cualquiera a travs del proceso x + Bt , el cual se denota a veces por Bt e para recordar la posicin de origen. o Ejercicio. Demuestre que para cualquier t = s, P (Bt > Bs ) = 1/2. Ejercicio. Sea Bt un movimiento Browniano. Demuestre que los siguientes procesos tambin son movimientos Brownianos. e a) Wt = Bt .
202
8.2. Propiedades basicas
b) Wt = 1 Bc2 t , con c constante positiva. c c) Wt = t B1/t , con W0 = 0. d) Wt = Bt+t0 Bt0 , con t0 0 jo. Se dice que un movimiento Browniano es estndar cuando 2 = 1. A travs del a e cambio de variable = 2 t un movimiento Browniano no estndar puede convertira se en uno estndar. Entonces, a menos que se especique lo contrario y sin prdida a e de generalidad, a partir de ahora supondremos que el movimiento Browniano es estndar, es decir, Bt Bs tiene distribucin N (0, t s). a o
8.2.
Propiedades bsicas a
Tenemos entonces que para el movimiento Browniano estndar cada variable aleaa 2 toria Bt tiene distribucin N (0, t) y por lo tanto E(Bt ) = 0 y Var(Bt ) = E(Bt ) = t. o 2 En particular E(Bt Bs ) = t s, para 0 s < t. El movimiento Browniano f sico real se presenta en tres dimensiones y es completamente errtico. a En la Figura 8.2 puede apreciarse una posible trayectoria Browniana cuando sta se proyecta sobre una de sus coore denadas. Esta grca fue generada en a computadora y es slo una aproximao cin del modelo matemtico. En la o a grca pueden apreciarse algunas pea que as partes en donde aparentemenn te el comportamiento es lineal y suave, ello no sucede en el modelo terico. o
Bt ()
Figura 8.2: Integrando directamente puede comprobarse que la probabilidad de transicin p(t, x, y) cumple la ecuacin de Chapman-Kolmogorov, o o p(t + s, x, y) =

p(t, x, u) p(s, u, y) du,
y tambin cumple la ecuacin de difusin, o ecuacin de calor, e o o o p 1 2p = . t 2 x2
203
Usando esta probabilidad de transicin demostraremos a continuacin que el moo o vimiento Browniano cumple la propiedad de Markov en el sentido dbil. e Proposicin. El movimiento Browniano es un proceso de Markov. o
Demostracin. Para cualesquiera tiempos 0 t1 < t2 < < tn < tn+1 , y para o cualquier evento A en R, P (Btn+1 A | Bt1 = x1 , . . . , Btn = xn ) p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ) p(tn+1 tn , xn , A) = p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ) = p(tn+1 tn , xn , A) p(tn , 0, xn ) = p(tn+1 tn , xn , A) p(tn , 0, xn ) = P (Btn+1 A | Btn = xn ).
Puede demostrarse que cumple adems la propiedad fuerte de Markov: Si es un a tiempo de paro respecto de la ltracin del movimiento Browniano, entonces el o proceso Bt+ B es tambin un movimiento Browniano y es independiente de la e -lgebra F = {A F : A ( t) Ft para cada t 0}. En particular, a tomando = t0 constante, el proceso Bt+t0 Bt0 es un movimiento Browniano. Como una consecuencia del hecho de que los incrementos de este proceso son independientes, demostraremos a continuacin la propiedad de martingala. o Proposicin. El movimiento Browniano es una martingala continua. o
Demostracin. Claramente cada variable aleatoria Bt es integrable y el proceso es o
204
8.2. Propiedades basicas
adaptado a su ltracin natural. Para cualesquiera tiempos s, t 0 tales que s < t, o E(Bt | Fs ) = = = = E(Bt Bs | Fs ) + E(Bs | Fs ) E(Bt Bs ) + Bs Bs . E(Bt Bs + Bs | Fs )
El siguiente resultado no trivial se debe a Paul L`vy y establece condiciones que e caracterizan de manera unica al movimiento Browniano en trminos de la propiedad e de martingala. Teorema de caracterizacin de Paul L`vy. Un proceso {Xt : t 0} es un o e movimiento Browniano si, y slo si, tiene trayectorias continuas, empieza en o 2 cero, y tanto Xt como Xt t son martingalas. El movimiento Browniano Bt cumple claramente cada una de las condiciones men2 cionadas, aunque posiblemente no sea tan evidente que el proceso Bt t sea tambin e una martingala, ello no es dif de vericar y se deja como ejercicio. La parte fuercil te de esta caracterizacin radica en que estas condiciones denen a un movimiento o Browniano. Ejercicio. Use la caracterizacin de Paul L`vy para demostrar nuevamente que los o e siguientes procesos son movimientos Brownianos. a) Wt = Bt . b) Wt = 1 Bc2 t , con c > 0 constante. c c) Wt = t B1/t , con W0 = 0. d) Wt = Bt+t0 Bt0 , con t0 0 jo.
El movimiento Browniano como l mite de una caminata aleatoria. Considere una caminata aleatoria simtrica simple sobre Z que inicia en el origen, es e decir, sea Xn = 1 + + n , en donde 1 , 2 , . . . son variables aleatorias independientes e idnticamente distribuidas tales que P ( = +1) = P ( = 1) = 1/2. e
205
Es decir, E() = 0 y Var() = E( 2 ) = 1. Suponga que la unidad en la variable tiempo es ahora de longitud t = 1/N , con N entero. El objetivo es hacer t cada vez ms peque o. Para lograr una versin discreta del movimiento Browniano es a n o necesario hacer tambin un cambio la escala en el tama o de los saltos, ahora e en n no sern unitarios sino de longitud t, ms adelante explicaremos las razones de a a esta eleccin. Para cada n mero natural n dena ahora la caminata aleatoria o u Wnt = t 1 + + t n , una de cuyas trayectorias aparece en la Figura 8.3. Dada la simetr de la caminata sigue a cumplindose que E(Wnt ) = 0. La e razn por la que se ha tomado esa nueo va escala en el tama o de los saltos n es que con ello se logra similitud con el movimiento Browniano al cumplirse tambin que para cualquier valor de n, e Var(Wnt ) = nt Var() = nt. Puede demostrarse que cuando t 0 esta caminata tiende a un proceso a tiempo continuo con trayectorias continuas. El proceso l mite resultante es el movimiento Browniano estndar. a
3 t 2 t t
t t
2t
3t
4t
5t
6t
7t
8t
2 t
Figura 8.3:
Esta aproximacin del movimiento Browniano como l o mite de una caminata aleatoria sugiere un mecanismo para simular trayectorias Brownianas por computadora: Se escoge t peque o y N el n mero de puntos que se deseen gracar. Se genen u ran entonces N valores independientes de la variable con distribucin uniforme o en el conjunto {1, +1}, y se graca la sucesin de puntos (kt, Wkt ), para o k = 0, 1, . . . , N . En la prctica suelen generarse valores continuos para Y con disa tribucin normal estndar. Este es el mecanismo seguido para generar la grca de o a a la Figura 8.2 y las otras trayectorias Brownianas que aparecen en este cap tulo. Difusin. Suponga que se coloca una part o cula al azar en la recta real de acuerdo a una densidad de probabilidad f (y). Suponga ahora que esta part cula se mueve siguiendo un movimiento Browniano estndar unidimensional. Entonces la densidad a de probabilidad de la posicin de la part o cula despus de t unidades de tiempo es e la funcin f (t, x) dada por o f (t, x) =

f (y) p(t, y, x) dx =
f (y) p(t, x, y) dx,
206
8.3. Propiedades de las trayectorias
en donde para la segunda igualdad se ha hecho uso de la identidad p(t, y, x) = p(t, x, y), pero ahora esta ultima expresin adquiere una interpretacin interesante o o pues corresponde a la esperanza de la variable f (Bt ) para un movimiento Browx niano que inicia en x, es decir, f (t, x) = E(f (Bt )). A esta funcin tambin se le o e denota por E x (f (Bt )), y puede demostrarse que satisface la ecuacin o 1 2 f (t, x) = f (t, x). t 2 x2
8.3.
Propiedades de las trayectorias
Antes de establecer las siguientes propiedades, recordemos la denicin de variacin o o de una funcin. Sea a = t0 < t1 < < tn = b una particin del intervalo [a, b], o o y dena t = mx {|ti+1 ti | : i = 0, . . . , n 1}. La variacin de una funcin a o o g : [a, b] R es el n mero u
n1
l sup m
t0 i=0
|g(ti+1 ) g(ti )|.
Cuando este n mero es nito se dice que la funcin tiene variacin nita en dicho u o o intervalo. Anlogamente, la variacin cuadrtica es a o a
n1
l sup m
t0 i=0
|g(ti+1 ) g(ti )|2 .
Variacin y variacin cuadrtica. Demostraremos a continuacin que sobre o o a o un intervalo de tiempo acotado [a, b], casi todas las trayectorias del movimiento Browniano tienen variacin no acotada, esto es, o
n1
l sup m
t0 i=1
|Bti+1 Bti | = ,
c.s.
Esta propiedad es particularmente importante pues tiene como consecuencia el hecho de que no se pueden usar las trayectorias Brownianas como funciones integradoras en el sentido de Riemann-Stieltjes. El hecho de que se desee denir alg n tipo de integral respecto del movimiento Browniano ser claro en el siguiente u a
207
cap tulo cuando se estudian ecuaciones diferenciales estocsticas. Por otro lado dea mostraremos tambin que la variacin cuadrtica del movimiento Browniano sobre e o a [a, b] es nita, de hecho, es la longitud del intervalo en cuestin. o Proposicin. (Variacin cuadrtica del movimiento Browniano). La variacin o o a o cuadrtica de una trayectoria del movimiento Browniano sobre el intervalo a [a, b] es la longitud del intervalo, casi seguramente, es decir,
n1
l sup m
t0 i=1
|Bti+1 Bti |2 = b a,
c.s.
Demostracin. (Convergencia en media cuadrtica). Si ti denota el incremento o a ti+1 ti , y Bi es la diferencia Bti+1 Bti , entonces E|
i
(Bi )2 (b a)|2
i
= E( =E
i,j
(Bi )2 (b a))2 (Bi )2 (Bj )2 2(b a)E

4 2 i
(Bi )2 + (b a)2 (ti ) + (b a)2
=
i
E(Bi ) +
i=j
E(Bi ) E(Bj )2 2(b a)

2
=
i
3(ti ) +
i=j
ti tj (b a) ti )2 (b a)2
=
i
2(ti )2 + (
i
=
i
2(ti )
2(b a) mx ti 0. a
0i<n
208
8.3. Propiedades de las trayectorias
Proposicin. (Variacin del movimiento Browniano). La variacin de una trao o o yectoria del movimiento Browniano sobre el intervalo [a, b] es innita, casi seguramente, es decir,
n1
l sup m
t0 i=1
|Bti+1 Bti | = ,
c.s.
Demostracin. Para cada n natural sea Pn la particin uniforme del intervalo [a, b] o o en n subintervalos, es decir cada incremento ti = ti+1 ti tiene longitud (ba)/n. Sea nuevamente Bi = Bti+1 Bti . Entonces se tiene la estimacin o
n1 i=0 n1
|Bi |2 ( mx |Bi | ) a
i
i=0
|Bi |.
(8.2)
Usando el hecho de que toda sucesin de variables aleatorias convergente en el o sentido L2 tiene una subsucesin convergente casi seguramente, existe entonces o una subsucesin de particiones uniformes Pnk tales que o l m
nk 1 i=0
|Bi |2 = b a,
c.s.
Por otro lado, como las trayectorias del movimiento Browniano son continuas casi seguramente, se tiene que
k
l ( mx |Bi | ) = 0, m a
i
c.s.
Substituyendo los ultimos dos resultados en (8.2) se obtiene que, respecto de la subsucesin de particiones, o l m
nk 1 i=0
|Bi | = ,
c.s.
De donde se sigue que el l mite superior es innito c.s. No diferenciabilidad. Demostraremos a continuacin que para cualquier tiempo o t0 0 jo, con probabilidad uno la trayectoria t Bt no es diferenciable en t0 .
209
Ms adelante se enuncia sin demostracin un resultado ms fuerte acerca de esta a o a no diferenciabilidad. Proposicin. Sea t0 0 jo. Con probabilidad uno, el movimiento Browniano o Bt no es diferenciable en t0 .
Demostracin. Debido a que Bt+t0 Bt0 es tambin un movimiento Browniano, o e es suciente demostrar la no diferenciabilidad de Bt en t = 0. Demostraremos que con probabilidad uno, para cada n mero natural n existe t en el intervalo [0, 1/n2] u tal que | 1 Bt | > n. Esta propiedad implica que Bt no es diferenciable en t = 0. Para t cada n mero natural n dena el evento u 1 An = { | Bt | > n, t para alg n t [0, 1/n2] }, u
y observe que A1 A2 Entonces P (An ) = = = 1 B1/n4 | > n ) 1/n4 1 P ( |B1/n4 | > 3 ) n 1 2 P ( |n B(1/n4 )(1) | > ) n 1 P ( |B1 | > ) 1 cuando n . n P( |
Hemos usado el hecho de que 1 Bc2 t es tambin un movimiento Browniano para e c cualquier c > 0 constante. Por lo tanto P (A1 ) P (A2 ) 1. Es decir, P (An ) = 1 para cualquier n 1. Es decir, para cada t0 0, el conjunto de trayectorias t Bt que no son diferenciables en t0 tiene probabilidad uno. Este conjunto de trayectorias puede cambiar para cada valor de t0 , aunque cada una de ellas tenga probabilidad uno. El siguiente resultado, ms fuerte y que se enuncia sin demostracin, asegura que con probaa o bilidad uno no hay diferenciabilidad en ning n punto. Observe que el conjunto de u tiempos t0 0 no es numerable y por lo tanto la armacin no se sigue de manera o obvia del resultado anterior.
210
8.4. Movimiento Browniano multidimensional
Proposicin. Con probabilidad uno, el movimiento Browniano Bt no es difereno ciable en ning n t 0. u Las trayectorias Brownianas son entonces ejemplos de funciones, otrora consideradas extra as, que son continuas pero no diferenciables en ning n punto. La grca n u a de la Figura 8.2 muestra una de tales trayectorias, el zigzagueo incesante del movimiento de la part cula no permite la diferenciabilidad de su trayectoria en ning n u punto. Este tipo de resultados son los que justican el buscar desarrollar una teor a de la diferenciabilidad de funciones un poco ms amplia que la proporcionada por a el clculo diferencial tradicional. a
8.4.
Movimiento Browniano multidimensional
El movimiento Browniano en R puede extenderse a Rn de la siguiente forma. Denicin. Sean B1 (t), . . . , Bn (t) n movimientos Brownianos independientes o unidimensionales. El movimiento Browniano en Rn es el proceso B(t) = (B1 (t), . . . , Bn (t)).
En la Figura 8.4 puede apreciarse una simulacin de una trayectoria Browniana en R2 . Este o proceso puede denirse de manera alternativa mediante los siguientes postulados: 1. B(0) = 0 casi seguramente. 2. Las trayectorias t B(t) son continuas. 3. El proceso tiene incrementos independientes. 4. Para cualesquiera tiempos 0 s < t, el vector B(t) B(s) tiene distribucin noro
B2 (t)
B1 (t)
Figura 8.4:
Cap tulo 8. Movimiento Browniano mal con media cero y matriz de covarianzas la matriz diagonal 2 (t s)1 Var(B(t) B(s)) = 0 1 2(t
2 s)1
2
211
0 .. .
2 (t s)n
Es decir, la funcin de densidad del vector B(t) B(s) es o f (x1 , . . . , xn ) = ex1 /2(ts)1 1 2(t
2 s)n
2
exn /2(ts)n .
Cuando los valores de los parmetros son todos uno, se dice nuevamente que a el movimiento Browniano es estndar, y la funcin de densidad de B(t) B(s) a o adquiere la expresin compacta o f (x1 , . . . , xn ) =
2 1 e||x|| /2(ts) , (2(t s))n/2
en donde ||x|| = x2 + + x2 . Como en el caso unidimensional, puede considen 1 rarse un movimiento Browniano que inicie en x Rn , y entonces para cualquier t > 0 la probabilidad de transicin o densidad de B(t) es o p(t, x, y) =
2 1 e||yx|| /2t , (2t)n/2
que nuevamente cumple al ecuacin de Chapman-Kolmogorov o p(t + s, x, y) =

Rn
p(t, x, u) p(s, u, y) du.
El proceso de Bessel. Sea B(t) un movimiento Browniano en Rn . El proceso 2 2 de Bessel es el proceso dado por R(t) = ||B(t)|| = (B1 (t) + + Bn (t))1/2 . Es decir, R(t) es la distancia Euclideana que guarda un movimiento Browniano ndimensional respecto al origen al tiempo t. Se trata de un proceso con valores en [0, ), y que evidentemente tiene trayectorias continuas. Se le llama a veces movimiento Browniano radial. Puede demostrarse [1] que es un proceso de Markov y
212
8.4. Movimiento Browniano multidimensional
que la funcin de probabilidades de transicin p(t, x, y) puede escribirse en trminos o o e de las funciones de Bessel. Ecuacin de calor en dominios acotados. Vamos a enunciar sin demostracin o o un resultado que nos llevar a una aplicacin del movimiento Browniano. Considere a o una regin abierta y acotada D de Rn con frontera D, y suponga que la funcin o o u(t, x) representa la temperatura en el punto x D al tiempo t 0. La evolucin o en el tiempo de esta funcin est dada por la ecuacin de calor o a o d u(t, x) = u(t, x), t 2 en donde es el operador Laplaciano, y d es una constante positiva. Suponga adems que se tiene una temperatura inicial u(0, x) = f (x) para x D, y la a condicin de frontera u(t, x) = g(x) para x D. Sea x un punto cualquiera en o x x D y dena el tiempo = {t > 0 : Bt D}, en donde Bt es un movimiento nf 2 Browniano de parmetro = d, y que inicia en x. La solucin a esta ecuacin de a o o x calor con las condiciones mencionadas se puede expresar en trminos de Bt de la e siguiente forma x x u(t, x) = E( f (Bt )1( >t) + g(B )1( t) ). (8.3) Conforme t la estructura de la ecuacin de calor hace que la solucin u(t, x) o o se aproxime a una funcin u(x), la solucin estacionaria de la ecuacin de calor, o o o que satisface u(x) = 0, para x D, y conservando la condicin de frontera u(x) = g(x) para x D, es o decir, x E( g(B ) ) si x D, u(x) = l u(t, x) = m t g(x) si x D. Aplicacin: El problema de la ruina del jugador con trayectorias Brownianas. Suo ponga que un movimiento Browniano unidimensional inicia en el punto x dentro del intervalo (a, b), con 0 a < b < . Cul es la probabilidad de que el proceso a tome el valor a antes que b? Una trayectoria Browniana que cumple tal condicin o se muestra en la Figura 8.5(a). Este es el problema de la ruina del jugador estudiado antes slo que ahora el capital del jugador cambia continuamente siguiendo o un movimiento Browniano. Llegar primero al valor a se interpreta como ruina, y el juego es justo pues los saltos del movimiento Browniano tienen esperanza nula.
213
x Dena nuevamente el tiempo de paro = {t > 0 : Bt = a Bt = b}. Nos nf o x interesa encontrar x x u(x) = P (B = a) = E(1{a} (B )).
Por lo anterior, esta funcin cumple la ecuacin u (x) = 0, para a < x < b, con o o condiciones de frontera u(a) = 1 y u(b) = 0. La solucin es u(x) = (b x)/(b a), o cuya grca se muestra en la Figura 8.5(b). a
Bt b x a t (a) 1
u(x)
a (b)
Figura 8.5:
8.5.
El principio de reexin o
Este resultado tiene una interpretacin geomtrica fcil de entender. Considere o e a un movimiento Browniano que inicia en a, y sea b otro n mero tal que b > a. u El conjunto de trayectorias que tocan la l nea horizontal y = b en alg n tiempo u s [0, t], se descompone en dos conjuntos ajenos que son simtricos uno del otro y e tienen idntica probabilidad: aquel conjunto de trayectorias que nalizan en alg n e u punto arriba de b, y el conjunto de trayectorias que terminan por abajo de b. En la Figura 8.6 se ilustra esta situacin. Una vez que una trayectoria toca el punto o b, es igualmente probable que nalice al tiempo t arriba de b o abajo de b. Este resultado adquiere su nombre debido a esta propiedad de reexin y facilita el o clculo de algunas probabilidades, en particular, lo usaremos para demostrar la a propiedad de recurrencia puntual del movimiento Browniano unidimensional.
214
8.5. El principio de reflexion
Xt ()
b a
Figura 8.6:
a Proposicin. (Principio de reexin). Sea Bt un movimiento Browniano que o o empieza en a, y sea b > a. Para cualquier t > 0, a a P ( Bs b para alg n s [0, t] ) = 2 P (Bt b). u
(8.4)
Demostracin. Sea el primer momento en el que el movimiento Browniano es o a igual a b, es decir, sea = {t 0 : Bt = b}. Esta variable aleatoria puede nf tomar el valor innito si el evento mencionado nunca ocurre. Entonces
a P ( Bs b para alg n s [0, t] ) = u =
P ( t) P ( < t) + P ( = t) P ( < t).
a a La ultima igualdad se debe a que P ( = t) P (Bt = b) = 0, por ser Bt una variable aleatoria continua. Por otro lado, a P (Bt b) = a P (Bt b | t) P ( t)
a P (Bt b 0 | < t) P ( < t),
(8.5)
en donde, por la propiedad de Markov, y condicionada a la ocurrencia del evento a a a ( < t), la variable Bt b = Bt B tiene distribucin N(0, (t ) 2 ). Por lo o

a tanto P (Bt b 0 | < t) = 1/2. Substituyendo en (8.5) se obtiene a P ( < t) = 2 P (Bt b).
215
8.6.
Recurrencia y transitoriedad
En esta seccin encontraremos la probabilidad de que el movimiento Browniano o eventualmente regrese a su posicin de origen. Veremos que la respuesta depende o de la dimensin del proceso. Empezaremos estudiando una propiedad general en el o caso unidimensional. Proposicin. Sea Bt un movimiento Browniano unidimensional que inicia en o cero y considere dos tiempos t1 y t2 tales que 0 < t1 < t2 . Entonces 2 t1 P ( Bt = 0 para alg n t [t1 , t2 ] ) = 1 arctan u . t2 t1
Demostracin. Para cualquier u > 0, mediante argumentos de traslacin y por el o o principio de reexin se tiene que o P ( Bt = 0 para alg n t [t1 , t2 ] | Bt1 = u ) u
= P ( Bt u para alg n t [0, t2 t1 ] ) u = P ( Bt u para alg n t [0, t2 t1 ] ) u = 2 P (Bt2 t1 u).
216
Por simetr se tiene la misma probabilidad para el caso u < 0. Entonces a P ( Bt = 0 para alg n t [t1 , t2 ] ) u = = =4 =4
0
P ( Bt = 0 para alg n t [t1 , t2 ] | Bt1 = u ) p(t1 , 0, u) du u 2 P ( Bt2 t1 u ) p(t1 , 0, u) du P ( Bt2 t1 u ) p(t1 , 0, u) du (

u u
p(t2 t1 , 0, v) dv) p(t1 , 0, u) du 1 2(t2 t1 ) ev

2
=4
0
/2(t2 t1 )
2 1 eu /2t1 dv du. 2t1
Haciendo el cambio de variable (x, y) = (u/ t1 , v/ t2 t1 ) se obtiene la expresin o equivalente 4

0 x t1 / t2 t1
1 (x2 +y2 )/2 e dy dx. 2
Ahora se resuelve esta integral usando coordenadas polares. La regin de inteo gracin {(x, y) : x 0 y y x t1 / t2 t1 } que se muestra en la Figura 8.7, o corresponde a la regin polar {(r, ) : r > 0 y (arctan t2t1 1 , /2)}. Por lo o t tanto la probabilidad buscada es
/2
t arctan 1
1 r2 /2 e r dr d 2 0 t2 t1 t1 1 = 4 ( arctan ) 2 t2 t1 2 2 t1 . = 1 arctan t2 t1
er
/2
dr
Con ayuda de este resultado demostramos ahora la recurrencia puntual del movimiento Browniano unidimensional.
217
y=
t1 x t2 t1
= arctan
t1 t2 t1
Figura 8.7:
Proposicin. (Recurrencia puntual del mov. Browniano unidimensional). Con o probabilidad uno el movimiento Browniano unidimensional es recurrente puntual, es decir, regresa a su posicin de origen una innidad de veces casi seguo ramente.
Demostracin. Haciendo t2 tender a innito en la frmula recin demostrada e o o e intercambiando el l mite con la probabilidad, lo cual es vlido pues la sucesin de a o eventos es creciente, se obtiene que para cualquier valor positivo de t1 , 2 t1 P ( Bt = 0 para alg n t [t1 , ) ) = l (1 arctan u m ) = 1. t2 t2 t1 Esto es, la probabilidad de que el movimiento Browniano unidimensional regrese al cero para alg n tiempo t dentro del intervalo [t1 , ) es uno, sin importar la u magnitud de t1 . Ahora, una vez que regresa a cero, por la propiedad fuerte de Markov, inicia en ese momento otro movimiento Browniano que eventualmente regresar nuevamente a cero con probabilidad uno. De esta manera regresar a a a cero una innidad de veces con probabilidad uno. Esta propiedad de recurrencia signica que una trayectoria como la de la Figura 8.2 cruzar una innidad de veces el eje horizontal, casi seguramente. Puede uno tama bin considerar que el movimiento inicia en un punto cualquiera x obtenindose e e la misma propiedad de recurrencia al punto x. La siguiente conclusin es tambin o e muy interesante: Hemos mencionado antes que el proceso Wt = tB1/t , con W0 = 0,
218
es tambin un movimiento Browniano. Ahora, dado que Bt es cero para una ine nidad de valores de t en cualquier intervalo de la forma [t1 , ), se tiene entonces que Wt es cero una innidad de veces dentro del intervalo (0, 1/t1 ). Es decir, en cualquier vecindad de t = 0, las trayectorias del movimiento Browniano cruzan el eje horizontal una innidad de veces, casi seguramente. Esta misma conclusin o puede obtenerse directamente de la frmula recin demostrada tomando t2 > 0 jo o e y haciendo t1 0, es decir, 2 t1 P ( Bt = 0 para alg n t (0, t2 ] ) = l (1 arctan u m ) = 1. t1 0 t2 t1 En el caso de dimensiones mayores la situacin es distinta. o Proposicin. Sea B(t) un movimiento Browniano n-dimensional que inicia en o el origen, y sea el disco D = {x Rn : ||x|| < r}, para alg n r > 0. u 1. Cuando n = 2, con probabilidad uno el movimiento Browniano visita la vecindad D en una innidad de tiempos no acotados. Esto es, el proceso es recurrente por vecindades. Sin embargo no es recurrente puntual pues la probabilidad de que regrese exactamente al punto de partida es cero. 2. Cuando n 3, el proceso es transitorio por vecindades, es decir, existe una probabilidad positiva de que el proceso nunca regrese a la vecindad del punto de partida.
Demostracin. Sean r1 y r2 dos radios tales que 0 < r1 < r2 , y dena la regin o o A = {x Rn : r1 < ||x|| < r2 } como se muestra en la Figura 8.8. La frontera de A es A = {x Rn : ||x|| = r1 o ||x|| = r2 }, y ||x|| = x2 + x2 . 1 2 Suponga que el movimiento Browniano inicia en el origen y que en alg n tiempo u posterior se encuentra en un punto x dentro de la regin A. Dena la funcin f (x) o o como la probabilidad de que el movimiento Browniano que parte de x llegue a la circunferencia exterior {x Rn : ||x|| = r2 } antes que a la circunferencia interior {x Rn : ||x|| = r1 }. Es decir, si se dene el tiempo de paro = {t > 0 : B(t) D}, nf entonces f (x) = P ( ||B( )|| = r2 | B(0) = x ). Esta funcin puede tambin escribirse o e
219
r1
r2
Figura 8.8: como f (x) = E( g(B( )) | B(0) = x ), en donde g(x) : A R es la funcin indicadora o g(y) = La funcin f (x) satisface o f (x) = 0, con condiciones de frontera f (y) = g(y) = 1 0 si ||y|| = r2 , si ||y|| = r1 . (8.6) 1 0 si ||x|| = r2 , si ||x|| = r1 .
Dada la simetr del movimiento Browniano, la funcin f (x) depende de x slo a a o o travs de la magnitud ||x||. Sea entonces f (x) = (||x||) para alguna funcin (r) e o con r = ||x||. En este caso particular, conviene escribir al operador de Laplace en coordenadas esfricas adquiriendo la expresin e o = = d n1 d (r ) dr dr d2 n1 d + . dr2 r dr 1 rn1
220
Por lo tanto, la ecuacin (8.6) se escribe o (r) + n1 (r) = 0, r para r (r1 , r2 ),
y las nuevas condiciones de frontera son (r2 ) = 1 y (r1 ) = 0. La solucin general o de esta ecuacin es o (r) = c1 ln r + c2 c1 r
2n
si n = 2, si n 3,
+ c2
con c1 y c2 constantes. Usando ahora las condiciones de frontera se obtiene (||x||) (||x||) = = ln ||x|| ln r1 ln r2 ln r1 2n r1 ||x||2n 2n 2n r1 r2 si n = 2, si n 3. (8.7) (8.8)
Estos resultados nos permitirn encontrar las probabilidades buscadas tomando a algunos l mites sobre los radios r1 y r2 . Para el caso n = 2, la probabilidad de que el movimiento Browniano que inicia en x nunca visite la bola de radio r1 alrededor del cero es, por (8.7),
r2
l m P ( ||B( )|| = r2 antes que ||B( )|| = r1 | B(0) = x ) = l m = 0.

r2
ln ||x|| ln r1 ln r2 ln r1
Es decir, la probabilidad de que el movimiento Browniano en R2 visite el disco de radio r1 alrededor del origen es uno. Y regresar a dicho disco en una innidad de a tiempos no acotados. Este comportamiento se conoce con el nombre de recurrencia por vecindades. Sin embargo, no se presenta la recurrencia puntual, es decir, la probabilidad de que el movimiento Browniano en R2 regrese exactamente al punto de origen es cero. Esto es consecuencia nuevamente de (8.7) al tomar el l mite cuando r1 0. Es decir, la probabilidad de que el proceso tome el valor (0, 0) antes de que toque el c rculo de radio r2 es
r1 0
l P ( ||B( )|| = r1 antes que ||B( )|| = r2 | B(0) = x ) m = l ( 1 m = 0.

r1 0
ln ||x|| ln r1 ) ln r2 ln r1
221
Ahora consideremos el caso n 3. La probabilidad de que el proceso que inicia en x nunca visite el disco de radio r1 alrededor del cero es, por (8.8),
r2
l m P ( ||B( )|| = r2 antes que ||B( )|| = r1 | B(0) = x ) = l m

2n r1 ||x||2n 2n 2n r2 r1 r2 r1 n2 =1( ) ||x|| > 0.
Es decir, existe una probabilidad estrictamente positiva de que el proceso nunca visite el disco de radio r1 alrededor del origen, cuando inicia en x. Este es el comportamiento transitorio del movimiento Browniano para dimensiones n 3. Expl citamente, la probabilidad de un retorno exacto al origen es cero pues por (8.8), esta probabilidad es
r1 0
l P ( ||B( )|| = r1 antes que ||B( )|| = r2 | B(0) = x ) m = l (1 m

r1 0 2n r1 ||x||2n 2n 2n ) r1 r2
= 0.
Notas y referencias
El lector puede encontrar una muy interesante y motivadora exposicin histrica o o sobre el descubrimiento del movimiento Browniano en el excelente libro de Edward Nelson [24]. Este libro se encuentra disponible en formato electrnico en la pgina o a web del autor. Para otras primeras lecturas y mas resultados sobre el movimiento Browniano pueden consultarse, por ejemplo, los textos de Karlin y Taylor [19], Lawler [23], Nelson [24], y Tudor [38].
222
Norbert Wiener (USA 18941964). Norbert Wiener fue ante todo un ni o prodigio. En 1903 a n la edad de 9 a os ingres a la preparatoria Ayer en Massan o chusetts, la cual concluy en 1906 para ingresar despus al o e colegio Tufts en donde estudi matemticas con el apoyo y o a asesor de su padre. En 1909 se gradu del colegio Tufts a o a la edad 14 a os e ingres a la universidad de Harvard n o para realizar estudios de posgrado en Zoolog Con ayuda a. de una beca ingres despus a la universidad de Cornell en o e 1910 en donde tom cursos de posgrado en matemticas y o a losof pero su desempe o all no fue del todo satisfaca, n torio y su padre lo regres a Harvard para continuar sus o Wiener estudios de losof Se gradu en Harvard a la edad de a. o 18 a os con una tesis sobre lgica matemtica bajo la direccin de Karl Schmidt. n o a o Despus de Harvard viaj a Cambridge, Inglaterra, para estudiar junto a Bertrand e o Russell y en donde asisti a algunos cursos dictados por G. H. Hardy. En 1914 o viaj a Gottingen para estudiar ecuaciones diferenciales con David Hilbert. Reo gres a los Estados Unidos dos d antes del inicio de la primera guerra mundial. o as Muri en Estocolmo a la edad de 69 a os despus de sufrir un segundo ataque al o n e corazn. Una universidad en el Per lleva ahora su nombre. o u Fuente: Archivo MacTutor, Universidad de St. Andrews.
223
Paul Pierre L`vy (Francia 18861971). e Paul L`vy naci dentro de una familia con tradicin mae o o temtica. Su abuelo fue profesor de matemticas y su padre a a estudi geometr y trabaj en la Ecole Polytechnique. De o a o peque o, L`vy asisti al Lyce Saint Louis en Paris, en n e o e donde mostr ser un excelente estudiante, sobresaliendo y o ganando premios no slo en matemticas sino tambin en o a e Griego, f sica y qu mica. Ingres despus a la Ecole Polyo e technique y siendo all a n estudiante public su primer u o art culo en matemticas en 1905, el cual tocaba temas de a series convergentes. Despus de un a o de servicio militar, e n L`vy e ingres en 1907 a la Ecole des Mines, y asisti a cursos de o o matemticas en la Sorbonne. En 1910 concluy sus estudios en la Ecole des Mines, a o y realiz a partir de entonces trabajos de investigacin en anlisis funcional que o o a le llevaron a obtener el grado de Docteur s Sciences en 1912 bajo el escrutinio e de E. Picard, H. Poincar y J. Hadamard. Trabaj como profesor en la Ecole des e o Mines de Saint-Etienne en Paris de 1910 a 1913, y en la Ecole Nationale Suprieure e de Mines de 1914 a 1951. Tambin imparti clases en la Ecole Polytechnique de e o 1920 a 1959, a o en el que se jubil. En 1963 fue nombrado miembro honorario n o de la London Mathematical Society, y en 1964 fue elegido miembro de la Acadmie e des Sciences. Paul L`vy realiz contribuciones importantes en la teor de la proe o a babilidad, el anlisis funcional y las ecuaciones diferenciales parciales. Dentro de a sus textos publicados se encuentran Leons danalyse funtionelle (1922), Calcul des c probabilits (1925), Theorie de laddition des variables alatoires (1937), y Procese e sus stochastiques et mouvement Brownien (1948). Paul L`vy fue uno de los ms e a grandes matemticos de su tiempo. Como cient a co fue un ejemplo de individualismo absoluto, era un investigador solitario que slo se preocupaba por plantearse o problemas matemticos de su inters y buscaba su solucin a travs de la reexin a e o e o interior. No participaba mayormente en los congresos internacionales excepto posiblemente hacia el nal de su vida. A menudo encontraba por si mismo resultados ya conocidos, y otras veces descubr resultados importantes nuevos sin darles mucha a publicidad pues los cre ya conocidos. Paul L`vy fue un ejemplo de un hombre de a e pensamiento de originalidad profunda, indiferente a las escuelas y mtodos establee cidos, y quien no dudaba en lanzarse sobre nuevos caminos de pensamiento pues no tem de ninguna manera a la soledad intelectual. a Fuente: Archivo MacTutor, Universidad de St. Andrews.
224
Ejercicios
Movimiento Browniano unidimensional
144. Sea Bt un movimiento Browniano de parmetro 2 . Demuestre que Wt = a Bt/2 es un movimiento Browniano estndar. a 145. Sea = 0 una constante. Demuestre que si Bt es un movimiento Browniano estndar, entonces los siguientes procesos son movimientos Brownianos de a parmetro 2 . a a) Wt = Bt . b) Wt = B2 t . 146. Sea Bt un movimiento Browniano de parmetro 2 . A partir de la denia cin, demuestre que el proceso Wt = tB1/t , con W0 = 0, es un movimiento o Browniano de parmetro 2 . a 147. Demuestre que la funcin de covarianza del movimiento Browniano estndar o a es Cov(Bs , Bt ) = s t. 148. Sea t0 > 0 jo y sea Bt es un movimiento Browniano estndar. Demuestre a que el proceso {Bt0 Bt0 t : 0 t t0 } es un movimiento Browniano en el intervalo [0, t0 ]. Este es un movimiento Browniano con tiempo invertido. 149. Sea Bt un movimiento Browniano de parmetro 2 . Demuestre que para a cualesquiera tiempos t = s, P (Bt > Bs ) = 1/2. 150. Demuestre que la probabilidad de transicin p(t, x, y) del movimiento Browo niano unidimensional de parmetro 2 satisface la ecuacin de difusin (tama o o bin llamada ecuacin de calor): e o p 2p = . t 2 y 2 151. Demuestre que la probabilidad de transicin p(t, x, y) del movimiento Browo niano unidimensional de parmetro 2 cumple la ecuacin de Chapman- Kola o mogorov p(t + s, x, y) =
p(t, x, u) p(s, u, y) du.
Cap tulo 8. Movimiento Browniano 152. Sea Bt un movimiento Browniano estndar. Demuestre que a a) E|Bt Bs | = 2|t s| . b) E(Bt Bs )2 = |t s|. c) E(Bs Bt ) = m n{s, t}. s/t, para 0 s t.
225
d ) (Bt , Bs ) =
153. Demuestre que el movimiento Browniano es una martingala respecto de su ltracin natural. o
2 154. Sea Bt un movimiento Browniano. Demuestre que Bt t es tambin una e martingala respecto de la misma ltracin. o
155. Sea Bt un movimiento Browniano de parmetro 2 que inicia en cero. Sea a a una constante y dena el tiempo = {t 0 : Bt = a}. Encuentre la nf funcin de densidad de . o 156. Movimiento Browniano reejado en el origen. Sea Bt un movimiento Browniano estndar. El proceso Xt = |Bt | corresponde a un movimiento Browa niano que slo toma valores positivos pues las trayectorias son reejadas o respecto del origen hacia la parte positiva del eje. Demuestre que Xt es un proceso de Markov con trayectorias continuas y que tiene funcin de probao bilidad de transicin q(t, x, y) dada por o q(t, x, y) = p(t, x, y) + p(t, x, y), para cualesquiera valores x, y 0, en donde p(t, x, y) es la correspondiente funcin de probabilidad de transicin del movimiento Browniano. Compruebe o o adems que a a) E(Xt ) = 2t/. b) Var(Xt ) = (1 2/)t.
x 157. Movimiento Browniano con absorcin en el origen. Sea Bt un movimiento o Browniano estndar que inicia en x > 0. Dena el tiempo = a nf{t 0 : x Bt = 0} y el proceso
Xt =
x Bt 0
si 0 t , si t > ,
el cual representa un movimiento Browniano que inicia en x con la caracter stica de que una vez que llega al cero permanece en ese estado el resto del tiempo.
226
8.6. Recurrencia y transitoriedad a) Demuestre que Xt es un proceso de Markov con trayectorias continuas. b) Observe que la variable Xt es mixta, es decir, no es discreta ni continua. Demuestre que la funcin de probabilidad de transicin del proceso Xt o o es, en su parte continua, q(t, x, y) = p(t, 0, y x) p(t, 0, y + x), para x, y > 0, en donde p(t, x, y) es la correspondiente funcin para Bt , un o movimiento Browniano que inicia en cero. Demuestre adems que, para a la parte discreta, q(t, x, 0) = 2(1 F (x)), en donde F (x) es la funcin o de distribucin de Bt . o c) Calcule E(Xt ) y Var(Xt ).
158. La martingala exponencial. El proceso que se obtiene al tomar la exponencial de un movimiento Browniano no es, en general, una martingala, sin embargo, a adiendo un trmino extra este nuevo proceso puede convertirse en una n e martingala y se le llama martingala exponencial. Ms espec a camente, sea Bt un movimiento Browniano estndar y sea c una constante. Dena el proceso a Xt = exp ( cBt c2 t/2 ). Compruebe que Xt es efectivamente una martingala respecto de la ltracin natural del movimiento Browniano y verique adems o a 2 que E(Xt ) = 1 y Var(Xt ) = ec t 1. 159. El puente Browniano en (0, 1). Sea Bt un movimiento Browniano unidimensional estndar. Demuestre que la distribucin condicional de la variable Bt , a o con t (0, 1), dado que B0 = 0 y B1 = 0, es f (x) = 1 2 t(1 t) ex
2
/2t(1t)
para < x < , es decir, Bt tiene distribucin condicional N(0, t(1 t)). o A este proceso condicionado se le conoce con el nombre de puente Browniano en el intervalo unitario (0, 1). El siguiente ejercicio generaliza este resultado. 160. Sea Bt un movimiento Browniano unidimensional estndar, y sean t1 y t2 dos a tiempos jos tales que 0 t1 < t2 . Demuestre que la distribucin condicional o de la variable Bt , con t (t1 , t2 ), dado que Bt1 = a y Bt2 = b, es N(, 2 ) con = 2 = a+ t t1 (b a), t2 t1 (t2 t)(t t1 ) . t2 t1
227

161. Sea B(t) = (B1 (t), . . . , Bn (t)) un movimiento Browniano estndar en Rn , y a sea r > 0. Sea ||x|| = (x2 + +x2 )1/2 la norma Euclideana en Rn . Demuestre 1 n que la funcin de densidad de ||B(t)|| es, para x > 0, o f (x) = 1 (n/2) 1 2
n/2
x2 t
n/21
2x x2 /2t e . t
En particular, demuestre que para n = 2, P ( ||B(t)|| x ) = 1 ex

2
/2t
162. Demuestre que el operator Laplaciano en R2 , f (x, y) = 2 f /x2 + 2 f /y 2 adquiere la siguiente expresin en coordenadas polares o f (r, ) = 2 1 1 2 f+ f + 2 2 f. 2 r r r r
Compruebe que cuando f depende de x y de y unicamente a travs de r = e x2 + y 2 , el Laplaciano se reduce a la expresin o f (r, ) = d2 1 d f+ f. 2 dr r dr
Este resultado fue usado en la demostracin de la propiedad de recurrencia o por vecindades del movimiento Browniano en R2 . 163. Demuestre que el operator Laplaciano en R3 , f (x, y, z) = 2 f /x2 + 2 f /y 2 + 2 f /z 2 adquiere la siguiente expresin en coordenadas esfricas o e f (r, , ) = 1 1 2 1 2 (r )f + 2 (sen )f + 2 f. r2 r r r sen r sen2 2
Compruebe que cuando f depende de x, y y z unicamente a travs de r = e x2 + y 2 + z 2 , el Laplaciano se reduce a la expresin o f (r, ) = d2 2 d f+ f. 2 dr r dr
Este resultado fue usado en la demostracin de la propiedad de transitoriedad o del movimiento Browniano en R3 .
Cap tulo 9
Clculo estocstico a a
En este ultimo cap tulo se presenta una peque a introduccin al clculo estocstico n o a a de It. Vamos a denir la integral de It de un proceso estocstico respecto del o o a movimiento Browniano. Mostraremos adems el uso y aplicacin de la frmula de a o o It, y resolveremos algunos modelos sencillos de ecuaciones estocsticas. o a
9.1.
Integracin estocstica o a
El objetivo de esta seccin es presentar la denicin de la integral de It de un o o o proceso Xt respecto del movimiento Browniano, es decir, una integral de la forma
T
Xt dBt .
0
(9.1)
Este tipo de integrales no pueden denirse trayectoria por trayectoria, es decir, como si fuera una integral de Riemann-Stieltjes de una funcin respecto de otra o funcin, pues en este caso la funcin integradora es una trayectoria del movimiento o o Browniano que, como hemos visto antes, no tiene variacin nita. La justicacin o o para desear denir este tipo de integrales ser evidente ms adelante cuando estua a diemos ecuaciones estocsticas basadas en este tipo de integrales. Denir la integral a de It a un nivel elemental nos conducir necesariamente a dejar sin demostracin o a o algunos resultados tcnicos. Daremos la denicin de integral estocstica en varios e o a pasos, primero para procesos simples y despus, por aproximacin, para procesos e o ms generales. a 229
230
9.1. Integracin estocstica o a
Hiptesis iniciales. Consideraremos como elementos iniciales un espacio de proo babilidad (, F , P ), y un movimiento Browniano estndar unidimensional Bt , juna to con su ltracin natural Ft . Consideraremos procesos con espacio parametral o el intervalo [0, T ], con T > 0 jo, y supondremos que el proceso Xt , visto como funcin X : [0, T ] R, es FT B[0, T ]-medible, en donde el trmino o e FT B[0, T ] corresponde a la m nima -lgebra generada por el espacio producto a FT B[0, T ]. Supondremos adems que el proceso es adaptado, es decir, para cada a t en el intervalo [0, T ], la variable aleatoria Xt es medible respecto de Ft . El espacio L2 (P ) de variables aleatorias. Denotaremos por L2 (P ) al espacio vectorial de variables aleatorias X que son cuadrado integrables, es decir, que cumplen la condicin o ||X||L2 (P ) = (E |X|2 )1/2 < .
La funcin || ||L2 (P ) dene una norma en L2 (P ), es decir, es una funcin real o o denida sobre este espacio lineal que cumple las siguientes cuatro condiciones: a) ||X|| 0. b) ||X|| = 0 X = 0 c.s. c) ||X + Y || ||X|| + ||Y ||. d) ||X|| = || ||X||, constante. Se puede vericar que el espacio lineal L2 (P ) es completo respecto de esta norma, es decir, es un espacio de Banach. Esto quiere decir que toda sucesin de Cauchy o en este espacio tiene l mite en l. A la convergencia usando esta norma se le llama e convergencia en L2 (P ), o tambin convergencia en media cuadrtica, por ejemplo, e a la variable aleatoria Bt del movimiento Browniano pertenece a este espacio pues ||Bt ||L2 (P ) = (E |Bt |2 )1/2 = t < .
El espacio L2 (P dt) de procesos estocsticos. Denotaremos tambin por a e L2 (P dt) al espacio de todos los procesos X = {Xt : 0 t T }, que cumplen la condicin o
T
||X||L2 (P dt) = (E
|Xt |2 dt)1/2 < .
Puede demostrarse que la funcin || ||L2 (P dt) es efectivamente una norma y que o este espacio es completo respecto de esta norma, es decir, es un espacio de Banach.
Cap tulo 9. Calculo estocastico
231
Por ejemplo, el movimiento Browniano B = {Bt : 0 t T } pertenece a este espacio pues

T
||B||L2 (P dt)
= (E
0 T
|Bt |2 dt )1/2
= (
0 T
E |Bt |2 dt )1/2 t dt )1/2
= (
0
T < . 2
2 El espacio H0 de procesos simples. Deniremos primero la integral de It para o procesos que tienen la forma indicada a continuacin. o
Denicin. Sea 0 = t0 < t1 < < tn = T una particin nita del intervalo o o [0, T ]. Un proceso estocstico simple es un proceso de la forma a
n1
Xt =
k=0
X tk 1[tk ,tk+1 ) (t),
(9.2)
en donde X t0 , . . . , X tn1 es una coleccin de variables aleatorias adaptadas a o la ltracin {Ftk }n1 , y que son cuadrado integrables. o k=0 La expresin 1[a,b) (t) denota a la funcin indicadora del intervalo [a, b). Un proo o ceso simple es entonces un proceso constante por pedazos con trayectorias c`dl`g a a (continuas por la derecha, con l mite por la izquierda), y las condiciones solicitadas garantizan que el proceso es adaptado y tiene trayectorias cuadrado integrables. Una trayectoria de este tipo de procesos se muestra en la Figura 9.1. Denotaremos 2 por H0 al espacio vectorial de todos los procesos simples. Ejercicio. Demuestre que dos procesos simples pueden siempre expresarse en trmie nos de una particin com n. Con ayuda de este resultado demuestre ahora que el o u espacio de procesos simples es un espacio vectorial. Integral para procesos simples. Esta es la denicin intuitiva de integral y estao blece simplemente que si el integrando es constante en alguna parte del intervalo de
232
Xt () X t1 X t0
X tn1
t t1 t2 tn1 tn
Figura 9.1: tiempo, entonces la integral debe ser esa constante multiplicada por el incremento del movimiento Browniano en dicho intervalo. Denicin. (Integral para procesos simples.) La integral estocstica de It de o a o un proceso simple X de la forma (9.2), respecto del movimiento Browniano, denotada por I(X), se dene como la variable aleatoria
T n1
I(X) =
0
Xs dBs =
k=0
X tk (Btk+1 Btk ).
Observe que esta integral es una variable aleatoria integrable pues siendo X tk y (Btk+1 Btk ) independientes, cada sumando tiene esperanza cero, y por lo tanto T E( 0 Xs dBs ) = 0. Ms a n, la variable I(X) es cuadrado integrable y de hecho a u se cumple la siguiente igualdad fundamental. Proposicin. (Isometr de It para procesos simples). Para cualquier proceso o a o simple X se cumple ||I(X)||L2 (P ) = ||X||L2 (P dt) . (9.3)
Demostracin. Denotemos nuevamente por Bk a la diferencia Btk+1 Btk , y sea o
233
tk = tk+1 tk . Usaremos el hecho de que Xtk es Ftk -medible, y recordando que el movimiento Browniano tiene incrementos independientes, las variables Xk y Bk resultan ser independientes. Tenemos entonces que
n1
||I(X)||2 2 (P ) L
= E( |
n1
k=0
X tk (Btk+1 Btk )|2 )
=
j,k=0 n1
E( X tj X tk Bj Bk ) E( (X tk )2 (Bk )2 )
k=0 n1
= =
k=0
E(X tk )2 tk |Xt |2 dt) 0 ||X||2 2 (P dt) . L

T
= E( =
Esta identidad establece que tanto el proceso simple X como la variable aleatoria I(X) tienen la misma norma en sus respectivos espacios. Como se ver ms adea a lante, esta igualdad juega un papel primordial en la denicin general de integral o 2 estocstica. La integral estocstica asigna entonces a cada elemento del espacio H0 a a 2 una variable aleatoria dentro del espacio L (P ). De esta forma se tiene la trans2 formacin lineal I : H0 L2 (P ), que resulta ser continua por la isometr de o a It. o
2 Ejercicio. Demuestre que la integral estocstica para procesos simples I : H0 a 2 L (P ) es lineal y continua.
Observe que se puede tomar como ejemplo de proceso simple el movimiento Browniano discretizado, es decir, se puede tomar como proceso simple X tk = Btk , y de esta forma tener la integral estocstica discreta del movimiento Browniano respecto a de s mismo,
n1
k=0
Btk (Btk+1 Btk ).
234
Extensin por aproximacin. Ahora extenderemos la integral estocstica a proo o a cesos un poco ms generales. Sea H2 el espacio de todos los procesos Xt medibles a y adaptados, tales que
T
E
0
|Xt |2 dt < .
El espacio H2 resulta ser un subespacio lineal cerrado de L2 (P dt). Observe que la unica diferencia entre estos dos espacios es que a los elementos de H2 se les pide adems que sean medibles y adaptados. En particular, todo proceso simple es un a 2 elemento de H2 . Tenemos entonces la contencin de espacios H0 H2 L2 (P dt), o 2 2 en donde puede probarse que H0 es denso en H respecto de la norma en L2 (P dt). Esto signica que para cualquier proceso X en H2 existe un sucesin de procesos o 2 X k en H0 tales que l ||X X k ||L2 (P dt) = 0. m (9.4)
k
Este procedimiento de aproximacin puede llevarse a cabo de la siguiente forma: o Mediante la tcnica de truncacin todo proceso en H2 puede ser aproximado por un e o proceso acotado. A su vez todo proceso en H2 que es acotado se puede aproximar por procesos acotados y continuos. Y stos a su vez se aproximan por procesos e simples de la forma (9.2). Los detalles completos de esta sucesin de aproximaciones o pueden encontrarse en [26]. Usando la isometr de It es sencillo comprobar que a o la sucesin I(X k ) es una sucesin de Cauchy en el espacio L2 (P ), en efecto, o o ||I(X k ) I(X l )||L2 (P ) = ||I(X k X l )||L2 (P )
= ||X k X l ||L2 (P dt)
||X X k ||L2 (P dt) + ||X X l ||L2 (P dt) .
Debido a (9.4) la ultima expresin puede hacerse tan peque a como se desee, to o n mando ndices k y l sucientemente grandes. Denicin. Sea X un proceso en H2 , y sea X k una sucesin de procesos en o o 2 H0 aproximante a X. Se dene la integral estocstica de X como a I(X) = l I(X k ), m
k
en donde el l mite debe entenderse dentro del espacio L2 (P ), es decir, se trata de la convergencia en media cuadrtica de una sucesin de variables aleatorias. a o
235
Esto signica que la variable aleatoria I(X) es un elemento de L2 (P ) y es tal que l n ||I(X) I(X k )||L2 (P ) = 0. No es dif vericar que tal denicin m cil o es correcta en el sentido de que el l mite no depende de la sucesin aproximante. o En este punto empieza a perderse nuestra concepcin tradicional de integral pues o ahora sta se encuentra denida a travs de una sucesin aproximante del proceso e e o a integrar. De manera grca esta extensin se ilustra en la Figura 9.2. a o
H2 0 H2 L2 (P dt)
L2 (P )
Figura 9.2: La isometr de It se cumple tambin para procesos en H2 como se muestra a a o e continuacin. o Proposicin. (Isometr de It). Para cualquier proceso X en H2 se cumple o a o ||I(X)||L2 (P ) = ||X||L2 (P dt) . (9.5)
2 Demostracin. Sea X en H2 y sea Xn en H0 tal que ||X Xn ||L2 (P dt) 0. Esta o convergencia y la desigualdad | ||a|| ||b|| | ||a b|| implican que ||Xn ||L2 (P dt) ||X||L2 (P dt) . Anlogamente, como ||I(X)I(Xn )||L2 (P ) 0 se tiene que ||I(Xn )||L2 (P ) a ||I(X)||L2 (P ) . El resultado buscado se obtiene al tomar el l mite en la isometr de a It como se muestra en el siguiente diagrama: o
||I(Xn )||L2 (P )
||I(X)||L2 (P )
= ||Xn ||L2 (P dt) ||X||L2 (P dt) .
236
La propiedad de esperanza nula se cumple tambin para procesos en H2 , pues e usando probabilidad elemental, o por la desigualdad de Jensen, 0 E 2 ( I(X) I(X k ) ) E( I(X) I(X k ) )2 0. De donde se obtiene E( I(X) I(X k ) ) 0, es decir, E(I(X)) = l E(I(X k )) = 0. m
k
De esta forma se tiene ahora la transformacin lineal y continua I : H2 L2 (P ). o Observe nuevamente que el movimiento Browniano Bt es un ejemplo de un proceso en el espacio H2 , y es posible demostrar que tal proceso puede ser aproximado en el sentido de la norma del espacio L2 (P dt) por el proceso simple
n1
Xt =
k=0
Btk 1[tk ,tk+1 ) (t),
en donde 0 = t0 < t1 < < tn = T es una particin de [0, T ]. Se tiene entonces la o siguiente integral estocstica particular, y su aproximacin como l a o mite en media cuadrtica a
T n1 k=0
Bt dBt = l m
0
Btk (Btk+1 Btk ),
en donde el l mite debe entenderse en el sentido de que la distancia mxima entre a dos puntos sucesivos de la particin tiende a cero. Ms adelante calcularemos esta o a integral estocstica de dos maneras, primero usando esta representacin como l a o mite en el espacio L2 (P ), y despus usando la frmula de It. e o o La integral como un proceso. Haremos ahora una peque a extensin. Para cada n o t en [0, T ] y para cualquier X en H2 se dene el proceso
T t
It (X) =
0
Xs 1[0,t] (s) dBs =

0
Xs dBs .
Este peque o articio permite ver a la integral estocstica no como una variable n a aleatoria sino como un proceso. Es claro que tal proceso no es necesariamente continuo, sin embargo puede demostrarse que existe una versin continua de l, y o e que esa versin es una martingala respecto de la ltracin natural del movimiento o o Browniano. Denotaremos por el mismo s mbolo a tal martingala continua.
237
Extensin por localizacin. Mediante un procedimiento llamado de localizacin o o o es posible extender la denicin de integral de It a procesos medibles y adaptados o o que cumplen la condicin menos restrictiva o
T
P(
0
|Xt |2 dt < ) = 1.
(9.6)
Denotaremos por L2 el espacio de todos estos procesos. Este nuevo espacio conloc tiene a H2 y es tal que para cada proceso X en L2 existe una sucesin creciente o loc de tiempos de paro 0 1 2 tales que n T cuando n , y para cada n 1 el proceso Xt 1(n t) pertenece al espacio H2 . Se dene entonces la integral estocstica como el siguiente l a mite en el espacio L2 (P ),
t T
Xs dBs = l m
0
Xs 1(n t) () 1[0,t] (s) dBs .
Nuevamente es posible demostrar que tal l mite existe, que existe una versin cono tinua de l, y que es independiente de la sucesin de tiempos de paro localizante. e o En este caso la integral ya no es una martingala sino una martingala local, esto quiere decir que el proceso detenido Itn (X) es una martingala para cada natural n. En general, la isometr de It ya no se cumple cuando la integral estocstica a o a tiene como dominio de denicin el espacio L2 . o loc Ejemplo. Para el movimiento Browniano unidimensional Bt y para cualquier funcin continua f , el proceso f (Bt ) tiene trayectorias continuas y acotadas, por lo o tanto se cumplen las condiciones de adaptabilidad y medibilidad y se cumple tambin (9.6), por lo tanto este proceso es un elemento de L2 , y tiene sentido la e loc expresin o
t
f (Bs ) dBs .
0
Se puede demostrar que esta integral puede ser calculada mediante el siguiente l mite en el espacio L2 (P ), aunque tambin se verica la convergencia en probabie lidad:
t n1 k=0
f (Bs ) dBs = l m
0
f (Btk ) (Btk+1 Btk ),
(9.7)
en donde 0 = t0 < t1 < . . . < tn = t es una particin de [0, t], y nuevamente el o l mite debe entenderse en el sentido de que la distancia mxima entre dos puntos a sucesivos de la particin tiende a cero. o
238
Con esto concluimos la serie de ideas generales bajo las cuales puede construirse la integral de It. Las demostraciones de algunos detalles tcnicos que hemos o e simplemente mencionado se pueden encontrar en [35]. El esquema simplicado del procedimiento seguido para denir la integral estocstica se ilustra la Figura 9.3. a
H2 0
Denicin o
H2
Aproximacin o
L2 loc
Localizacin o
L2 (P )
Figura 9.3: Ejemplo. Con la ayuda de (9.7) calcularemos la integral estocstica a

t
Bs dBs .
0
Sea 0 = t0 < t1 < < tn = t una particin uniforme de [0, t], es decir ti+1 ti = o 1/n. Usando la identidad a(b a) = se obtiene
t n1
1 2 1 (b a2 ) (a b)2 2 2
Bs dBs
0
l m
j=0 n1
Btk (Btk+1 Btk )
= =
l m
1 2 1 2 [ (Btk+1 Btk ) (Btk+1 Btk )2 ] 2 2 j=0
1 2 1 B t. 2 t 2
La primera suma es telescpica mientras que la segunda suma corresponde a la o variacin cuadrtica del movimiento Browniano. Los l o a mites indicados son vlidos a
239
2 en el sentido de media cuadrtica. Observe que aparece el trmino 1 Bt como si a e 2 1 se siguieran las reglas de integracin usual, pero aparece tambin el trmino 2 t, o e e conocido como la correccin de It. o o
Ahora veamos el cambio en la solucin cuando se modica ligeramente la forma o de calcular la integral. El cambio consiste en evaluar el integrando en el extremo derecho de cada subintervalo. Observe que en este caso el proceso a integrar ya no es adaptado y por lo tanto queda fuera de la teor desarrollada antes. Usando la a identidad 1 1 b(b a) = (b2 a2 ) + (a b)2 2 2 se obtiene, nuevamente en el sentido de media cuadrtica, a
t n1
Bs dBs
0
l m
j=0 n1
Btk+1 (Btk+1 Btk )
= =
l m
1 2 1 2 [ (Btk+1 Btk ) + (Btk+1 Btk )2 ] 2 2 j=0
1 2 1 B + t. 2 t 2
El signo del segundo trmino cambi de negativo a positivo. Esto muestra que, a e o diferencia de la integral de Riemann, la integral estocstica es sensible al punto a donde se eval a el integrando. Al considerar el promedio de las dos evaluaciones u en los extremos se obtiene la as llamada integral de Stratonovich, denotada de la forma siguiente t 1 2 Bs dBs = Bt . 2 0 Observe que el trmino adicional de la integral de It ha desaparecido. La intee o gral de Stratonovich tiene algunas ventajas operacionales pues sigue algunas reglas usuales del clculo integral, pero vista como proceso deja de ser una martingala. a Ejemplo. calcularemos ahora la esperanza y varianza del proceso
t
Bs dBs .
0
La esperanza es cero pues la integral estocstica en este caso es una martingala. a
240
Para la varianza se tiene que

t t
Var(
0
Bs dBs )
= E(
0 t
Bs dBs )2
2 Bs ds)
= E(
0 t
=
0 t
2 E(Bs ) ds
=
0
s ds 1 2 t . 2
=
t
2 Alternativamente, como 0 Bs dBs = 1 Bt 1 t, las cantidades anteriores pueden 2 2 1 2 calcularse usando el lado derecho de esta igualdad. Claramente E( 2 Bt 1 t) = 0. 2 Adems a
1 2 1 Var( Bt t) 2 2
= = = =
1 2 Var(Bt ) 4 1 4 2 (E(Bt ) E 2 (Bt )) 4 1 2 (3t t2 ) 4 1 2 t . 2
Ejemplo. Sean Xt y Yt dos procesos en H2 . Entonces

t t t
E(
0
Xs dBs
0
Ys dBs ) =
0
E(Xs Ys ) ds.
Esta frmula es fcil de comprobar usando la isometr de It y la igualdad ab = o a a o

1 2 (a
241
+ b)2 1 (a2 + b2 ). En efecto, 2

t t
E(
0
Xs dBs
0
Ys dBs )
t t t 1 1 (Xs + Ys ) dBs |2 ) (E| Xs dBs |2 + E| Ys dBs |2 ) = E( | 2 0 2 0 0 t t 1 t 1 = E|Xs + Ys |2 ds ( E|Xs |2 ds + E|Ys |2 ds) 2 0 2 0 0 t
=
0
E(Xs Ys ) ds.
Propiedades de la integral. La integral estocstica de It cumple varias propiea o dades aunque slo mencionaremos algunas de ellas aqu a manera de resumen de o , las caracter sticas se aladas antes. n a) La integral It : L2 L2 (P ) es lineal, es decir, para c constante y para loc cualesquiera procesos Xs y Ys en L2 , se cumple que loc
t t t
(cXs + Ys ) dBs = c
0 0
Xs dBs +
0
Ys dBs ,
c.s.
b) Tiene esperanza es cero, es decir, para cualquier proceso Xs en L2 , loc

t
E(
0
Xs dBs ) = 0,
c.s.
c) Cuando la integral se restringe al espacio H2 , se cumple la isometra de It, o es decir,

t
E|
Xs dBs |2 = E
|Xs |2 ds.
d) Nuevamente restringida al espacio H2 , la integral es una martingala, es decir, es integrable, adaptada y para 0 s t, se cumple
t s
E(
0
Xu dBu | Fs ) =
Xu dBu .
0
En general, para procesos en L2 , la integral ya no es una martingala sino loc una martingala local.
242
9.2. Formula de Ito
e) Existe una versin continua de la integral estocstica. o a
9.2.
Frmula de It o o
Usualmente una integral de Riemann no se calcula a partir la denicin, en lugar de o ello existen frmulas bien conocidas para calcular integrales. La misma situacin se o o presenta para integrales estocsticas: en muy raros casos se calculan stas a travs a e e de su denicin. La famosa frmula de It es la herramienta fundamental para este o o o tipo de integrales. Se enuncia a continuacin este resultado en una versin simple o o y se ejemplica su uso. Ms adelante se presenta una versin un poco ms general. a o a En lo sucesivo haremos referencia a las siguientes espacios de funciones. Una funcin o real de variable real es de clase C 1 , cuando es diferenciable y su derivada es continua. Anlogamente, una funcin es de clase C 2 , si es dos veces diferenciable a o y su segunda derivada es una funcin continua. o Teorema. (Frmula de It I). Sea f (x) es un funcin de clase C 2 . Entonces o o o
t
f (Bt ) f (B0 ) =
f (Bs ) dBs +
1 2
t 0
f (Bs ) ds.
Explicaremos una forma de obtener este resultado usando el teorema de Taylor pero sin dar una justicacin rigurosa de la prueba. Para una funcin f (x) suo o cientemente suave, se tiene que f (x) = f (x0 ) + f (x0 )(x x0 ) + R(x), en donde el residuo R(x) puede escribirse como sigue
x
R(x) =
x0 1
f (t)(x t) dt
=
0
(1 )f (x0 + (x x0 ))(x x0 )2 d.
La segunda igualdad se obtiene despus de un evidente cambio de variable. Por lo e
Cap tulo 9. Calculo estocastico tanto, si 0 = t0 < t1 < < tn = t es una particin de [0, t], entonces o
n
243
f (Bt ) f (B0 )
=
k=1 n
[ f (Btk ) f (Btk1 ) ] f (Btk1 )Bk
=
k=1
+
0
(1 )
f (Btk1 + Bk )(Bk )2 d.
k=1
Puede comprobarse que al tomar el l mite cuando n las sumas convergen casi seguramente y entonces se obtiene la igualdad
t
f (Bt ) f (B0 ) = =
f (Bs ) dBs +
0
0 t 0
(1 )
t 0
f (Bs ) ds d
f (Bs ) dBs +
1 2
f (Bs ) ds.
Esta frmula es una versin estocstica de la regla de la cadena del clculo difeo o a a rencial usual, y es com n escribirla en su forma diferencial del siguiente modo u 1 df (Bt ) = f (Bt ) dBt + f (Bt ) dt. 2 Esta expresin debe entenderse en el sentido de su forma integral arriba enunciado. o Ilustraremos su uso mediante algunos ejemplos. Ejemplo. Sea f (x) = 1 x2 . Entonces la frmula de It establece que o o 2 1 2 1 2 B B0 = 2 t 2 Es decir,
0 t t
Bs dBs +
0
1 2
1 ds.
0
Bs dBs =
1 2 1 B t. 2 t 2
Este resultado hab sido encontrado antes, ahora lo hemos obtenido de manera a inmediata de la frmula de It. De manera anloga, para la funcin f (x) = 1 x3 se o o a o 3 obtiene t t 1 3 2 Bs dBs = Bt Bs ds. 3 0 0
244
9.3. Ecuaciones diferenciales estocsticas a

1 n+1 n+1 x
Ms generalmente, para f (x) = a

t 0 n Bs dBs =
se obtiene
t 0 n1 nBs ds.
1 1 B n+1 n+1 t 2
Ejemplo. Usaremos la frmula de It para encontrar una expresin de los momentos o o o pares de una distribucin normal centrada. Demostraremos que o
2n E(Bt ) =
(2n)! n t . 2n n!
Los momentos impares de dicha distribucin se anulan pues en tal caso el integrando o 1 resulta ser una funcin impar. Consideremos entonces la funcin f (x) = 2n x2n , o o para cualquier entero natural n. De la frmula de It se sigue que o o 1 2n 1 2n Bt B = 2n 2n 0
t 0 2n1 Bs dBs +
1 2
t 0
2n2 (2n 1)Bs ds.
Tomando esperanza y resolviendo de manera iterada se obtiene

2n E(Bt ) =
= . . . =
2n(2n 1) t 2n2 E(Bs ) ds 2 0 2n(2n 1) (2n 2)(2n 3) 2 2 (2n)! 2n

t 0 0 t1 tn1
t 0 0
t1
2n4 E(Bs ) ds dt1
1 ds dtn1 dt1 .
No es dif vericar que los resultados sucesivos de estas integrales son: tn1 , cil t2 /2!, t3 /3!, . . ., tn /n! De esta forma se obtiene la frmula enunciada. o n2 n3
9.3.
Ecuaciones diferenciales estocsticas a
Sea (, F , P ) un espacio de probabilidad, y sea Bt un movimiento Browniano unidimensional adaptado a la ltracin Ft . o
245
Denicin. (Proceso de It). Sean b(t, x) y (t, x) dos funciones de [0, T ] R o o en R. Una ecuacin estocstica es una ecuacin de la forma o a o dXt = b(t, Xt ) dt + (t, Xt ) dBt , (9.8)
denida para valores de t en el intervalo [0, T ], y con condicin inicial la variable o aleatoria X0 que se presupone F0 -medible e independiente del movimiento Browniano. La ecuacin (9.8) se interpreta como la ecuacin integral o o
t t
Xt = X0 +
0
b(s, Xs ) ds +
0
(s, Xs ) dBs ,
(9.9)
en donde la primera es una integral de Riemann, mientras que la segunda es una integral estocstica de It. Al proceso Xt se le llama proceso de It. a o o Los elementos conocidos de esta ecuacin son los coecientes b(t, x) y (t, x), y la o variable aleatoria inicial X0 . La incgnita es el proceso Xt . A la funcin b(t, x) se le o o conoce como coeciente de tendencia (drift en ingls o tambin deriva en espa ol). e e n A la funcin (t, x) se le llama coeciente de difusin. El proceso solucin puede o o o interpretarse como el estado de un sistema que evoluciona de manera determinista gobernado por la parte no aleatoria de la ecuacin (la tendencia), pero alterado o por un ruido aditivo dado por la integral estocstica (la difusin). a o Para que una ecuacin estocstica tenga solucin se deben imponer condiciones en o a o los coecientes. De manera anloga al caso de ecuaciones diferenciales determinisa tas, existen teoremas bsicos de existencia y unicidad para ecuaciones estocsticas a a que establecen condiciones de regularidad para los coecientes b(t, x) y (t, x), bajo las cuales la ecuacin (9.8) tiene solucin unica. El siguiente es uno de tales o o resultados.
246
Teorema de existencia y unicidad. Si los coecientes b(t, x) y (t, x) de la ecuacin (9.8) satisfacen la condicin de Lipschitz en la variable x, o o |b(t, x) b(t, y)|2 + |(t, x) (t, y)|2 K|x y|2 , y la condicin de crecimiento en x, o |b(t, x)|2 + |(t, x)|2 K(1 + |x|2 ), para alguna constante K > 0, entonces existe un proceso estocstico Xt solua cin de (9.8) que es o a) adaptado. b) continuo.
2 c) uniformemente acotado en L2 (P ), es decir, sup0tT E(Xt ) < , y es adems a
d) unico en el sentido de indistinguibilidad. En este caso a tal solucin se le llama solucin fuerte de la ecuacin estocstica. No o o o a presentaremos la demostracin de este resultado, simplemente comentaremos alguo nos aspectos de los que consta la prueba completa. La demostracin es semejante o al caso determinista, y hace uso del mtodo de iteraciones de Picard. Mediante este e mtodo se dene la sucesin de procesos e o Xt Xt
(0)
= =
X0 ,
t
(n+1)
X0 +
0
(n) b(s, Xs ) ds +
t 0
(n) (s, Xs ) dBs .
Para que estas iteraciones tengan sentido es necesario vericar que los integrandos involucrados son efectivamente susceptibles de ser integrados respecto de la diferencial respectiva. Para comprobar que tal sucesin de procesos es convergente o se demuestra que, con probabilidad uno, esta sucesin constituye una sucesin de o o Cauchy en el espacio de funciones continuas C[0, T ], respecto de la norma uniforme ||X|| = sup0tT |Xt |. Dado lo anterior, existe entonces un proceso continuo X, tal que con probabilidad uno, Xt converge a Xt de manera uniforme en el intervalo [0, T ]. Adicionalmente puede demostrarse que el proceso l mite es L2 -acotado (n) en [0, T ], y que la convergencia Xt Xt tambin es vlida en L2 (P ). Tambin e a e debe demostrarse que el proceso l mite es efectivamente solucin de la ecuacin o o
(n)
247
estocstica. Para ello se toma el l a mite en la ecuacin que dene las iteraciones, o y se verica la convergencia uniforme en [0, T ] con probabilidad uno, trmino a e trmino. Los detalles de esta demostracin pueden encontrarse por ejemplo en [35]. e o El teorema anterior no establece la forma de encontrar la solucin a una ecuacin o o estocstica dada. La siguiente versin de la frmula de It es el resultado bastante a o o o util para realizar algunos de estos clculos, y generaliza la versin anteriormente a o enunciada. Teorema.(Frmula de It II). Si Xt es un proceso de It dado por (9.8) y o o o f (t, x) es un funcin de clase C 1 en t y de clase C 2 en x, entonces el proceso o Yt = f (t, Xt ) es tambin un proceso de It y satisface la ecuacin estocstica e o o a 1 dYt = ft (t, Xt )dt + fx (t, Xt )dXt + fxx (t, Xt )(dXt )2 . 2 (9.10)
Los sub ndices indican derivada y (9.8) se substituye en (9.10) usando la siguiente tabla de multiplicacin de McKean: o dt dBt dt 0 0 dBt 0 dt
Observe que como las derivadas involucradas son funciones continuas, las integrales estocsticas resultantes estn bien denidas. La demostracin de este resultado a a o sigue las mismas l neas que la versin ms simple. Ilustraremos a continuacin el o a o uso de esta frmula con varios ejemplos. o
t t
Ejemplo. Demostraremos que

0
s dBs = tBt
Bs ds.
0
Para vericar esta frmula puede tomarse el proceso Xt = Bt y la funcin f (t, x) = o o tx. Entonces d(f (t, Bt )) d(tBt ) 1 = ft (t, Bt ) dt + fx (t, Bt ) dBt + fxx (t, Bt ) (dBt )2 2 = Bt dt + t dBt .
Esta es la forma diferencial de la frmula enunciada. o
248
Ejemplo. Considere la funcin f (x) = ex . Por la frmula de It, o o o eBt eB0 =

t 0
eBs dBs +
1 2
t 0
eBs ds,
es decir, el proceso Xt = eBt satisface la ecuacin diferencial o 1 dXt = Xt dBt + Xt dt, 2 con condicin inicial X0 = 1. A este proceso se le llama movimiento Browniano o geomtrico. e Ejemplo. Demostraremos que el proceso Xt = Bt /(1 + t) es solucin de la ecuacin o o estocstica a Xt 1 dXt = dt + dBt , 1+t 1+t con condicin inicial X0 = 0. Sea f (t, x) = x/(1 + t). El proceso Xt = f (t, Bt ) o cumple la condicin inicial y por la frmula de It satisface la ecuacin o o o o dXt 1 = ft (t, Bt )dt + fx (t, Bt ) dBt + fxx (t, Bt ) dt 2 Bt 1 = dt + dBt (1 + t)2 1+t Xt 1 = dt + dBt . 1+t 1+t
Ejemplo. Usando el mtodo de igualacin de coecientes resolveremos la ecuacin e o o dXt = Xt dt + et dBt , con condicin inicial X0 = 0. Se busca un funcin f (t, x) tal que el proceso solucin o o o pueda escribirse como Xt = f (t, Bt ). Igualando los coecientes de esta ecuacin con o los de la frmula de It o o 1 dXt = ft (t, Bt )dt + fx (t, Bt ) dBt + fxx (t, Bt ) dt, 2
Cap tulo 9. Calculo estocastico se obtiene el sistema de ecuaciones fx (t, x) 1 ft (t, x) + fxx (t, x) 2 = = et f (t, x).
249
De la primera ecuacin se obtiene f (t, x) = et x+c(t). Substituyendo en la segunda o ecuacin y simplicando se obtiene c (t) = c(t), cuya solucin es c(t) = cet , en o o donde c es una constante. Por lo tanto f (t, x) = et (x + c). Para que el proceso Xt = f (t, Bt ) = et (Bt + c) cumpla la condicin inicial X0 = 0 forzosamente la o constante c debe ser cero. De esta forma la funcin buscada es f (t, x) = et x. En o tal caso la frmula de It asegura que efectivamente o o dXt = = et Bt dt + et dBt Xt dt + et dBt .
9.4.
Simulacin o
Una ecuacin estocstica ha resultado muy util para modelar sistemas que preseno a tan alg n tipo de ruido o perturbacin aleatoria. Aplicaciones de tales modelos se u o estudian en ingenier nanzas y f a, sica entre muchas otras reas del conocimiento. a Debido a la imposibilidad de encontrar soluciones expl citas a ciertas ecuaciones de inters, los mtodos numricos del caso determinista se han extendido al caso e e e estocstico. En las siguientes secciones presentaremos algunos modelos particulares a de ecuaciones estocsticas, y explicaremos un mecanismo para simular las trayeca torias del proceso solucin. o Una trayectoria de un proceso Xt que sigue la ley de movimiento de una ecuacin o estocstica de la forma a dXt X0 = b(t, Xt ) dt + (t, Xt ) dBt , = x0 ,
puede obtenerse mediante el mtodo de discretizacin de Euler-Maruyama. En este e o procedimiento se divide el intervalo [0, t] de manera uniforme en n subintervalos de
250
9.5. Algunos modelos particulares
idntica longitud t = t/n, y se dene tj = jt para j = 0, 1, 2, . . . , N . Suponiendo e que Yj es un valor al azar de la distribucin normal estndar, se denen los valores o a sucesivos de la trayectoria solucin de la ecuacin estocstica como sigue o o a X0 Xtj+1 = x0 , = Xtj + b(tj , Xtj )t + (tj , Xtj ) t Yj .
Ms adelante se presentar una implementacin de este procedimiento en MATLAB a a o para simular trayectorias de soluciones de ecuaciones particulares.
9.5.
Algunos modelos particulares
Movimiento Browniano geomtrico. Este modelo es de amplio uso en nanzas e y sirve para representar el precio de algunos bienes que uct an siguiendo los u vaivenes de los mercados nancieros Denicin. Sean y > 0 dos constantes, y x0 > 0. El movimiento Browo niano geomtrico es el proceso solucin de la ecuacin estocstica e o o a dXt X0 = = Xt dt + Xt dBt , x0 . (9.11)
Esta ecuacin puede interpretarse de la siguiente forma. En ausencia del trmino o e estocstico, la ecuacin se reduce a dXt = Xt dt, cuya solucin es Xt = x0 et . Esta a o o funcin representa el comportamiento en el tiempo de un capital inicial positivo o x0 que crece de manera continua y determinista a una tasa efectiva del 100 %, suponiendo > 0. Por otro lado la parte estocstica corresponde a la volatilidad a de una inversin con riesgo sujeta a las uctuaciones de los mercados nancieros. o El modelo supone que dicha variabilidad es proporcional al valor de la inversin. o Observe que los coecientes de esta ecuacin satisfacen las condiciones para la o existencia y unicidad de la solucin. Resolveremos esta ecuacin usando el mtodo o o e de igualacin de coecientes. o
251
Proposicin. La solucin a la ecuacin (9.11) es o o o 1 Xt = x0 exp [ ( 2 )t + Bt ]. 2 (9.12)
Demostracin. Encontraremos una funcin f (t, x) tal que al aplicar la frmula de o o o It al proceso Xt = f (t, Bt ) se obtenga la ecuacin (9.11). Comparando entonces o o los coecientes de la frmula general o 1 dXt = ft (t, Xt ) dt + fx (t, Xt ) dBt + fxx (t, Xt ) dt 2 con los de (9.11), se obtienen las igualdades f (t, x) = f (t, x) = 1 ft (t, x) + fxx (t, x), 2 fx (t, x).
De la segunda ecuacin se obtiene que f (t, x) = exp [x+g(t)], para alguna funcin o o g(t). Substituyendo en la primera ecuacin se obtiene g (t) = 1 2 , cuya solucin o o 2 es g(t) = ( 1 2 )t. De donde Xt = f (t, Bt ) adquiere la expresin indicada. o 2 A este proceso se le llama tambin se le conoce con el nombre de movimiento e Browniano exponencial. En la Figura 9.4 puede apreciarse una trayectoria de este proceso con una inversin inicial x0 de una unidad monetaria, y con parmetros o a = 1, y = 1/3. La curva creciente corresponde al crecimiento determinista de la inversin cuando no hay aleatoriedad, es decir, cuando el coeciente de difusin o o es cero. El valor de en la simulacin es peque o y por esa razn la trayectoria o n o aleatoria mostrada se mantiene cerca de la trayectoria determinista. Cuando se incrementa el valor de las trayectorias pueden diferir considerablemente. En el programa de computadora de la Figura 9.5 se muestra una manera de simular trayectorias de este proceso. El cdigo es una traduccin a MATLAB de la o o discretizacin de la ecuacin estocstica, y es una adaptacin del cdigo que apao o a o o rece en [15]. Este programa puede ser encontrado en la pgina web de Desmond a J. Higham, junto con la implementacin de otros modelos y otras tcnicas de diso e cretizacin. La funcin randn produce un valor al azar de la distribucin normal o o o estndar. a
252
Xt () E(Xt )
x0 t
1 Figura 9.4:
randn(state,100) T=2; N=300; dt=T/N; xcero=1; mu=1; sigma=1/3; -1 dW=zeros(1,N); MBG=zeros(1,N); dW(1)=sqrt(dt)*randn; MBG(1)=xcero+mu*dt+sigma*xcero*dW(1); -2 for j=2:N dW(j)=sqrt(dt)*randn MBG(j)=MBG(j-1)+mu*MBG(j-1)*dt+sigma*MBG(j-1)*dW(j) -3 end 0 1 2 3 4 5 6 7 8 9 plot([0:dt:T],[xcero,MBG],r-)
10
Figura 9.5: Demostraremos ahora algunas caracter sticas numricas de este proceso. e Proposicin. Para el movimiento Browniano geomtrico se cumple lo siguiente. o e 1. E(Xt ) = x0 et . 2. Var(Xt ) = x2 e2t (e t 1). 0 3. Cov(Xt , Xs ) = x2 e(s+t) (e 0
2 2
1), para 0 s t.
Demostracin. Usaremos el hecho de que la funcin generadora de momentos de o o
Cap tulo 9. Calculo estocastico la distribucin N(, 2 ) es M (s) = exp(s + 1 2 s2 ). o 2 1. Para la esperanza se tiene que E(Xt ) 1 = E(x0 exp[( 2 )t + Bt ]) 2 1 2 = x0 exp[( )t] E(exp[Bt ]) 2 1 1 = x0 exp[( 2 )t] exp[ t 2 ] 2 2 = x0 et .
253
2. Ahora calcularemos la varianza. Var(Xt ) = = = = = 1 Var(x0 exp[( 2 )t + Bt ]) 2 1 2 2 x0 exp[2( )t] Var(exp[Bt ]) 2 1 2 x0 exp[2( 2 )t] (E(exp[2Bt ]) E 2 (exp[Bt ])) 2 1 2 1 1 2 x0 exp[2( )t] (exp[ t(2)2 ] exp[2( t 2 )]) 2 2 2 2 x2 e2t (e t 1). 0
3. Calcularemos primero E(Xt Xs ). Observe que Bt + Bs se puede escribir como 2Bs + (Bt Bs ), siendo estos sumandos independientes. Entonces E(Xt Xs ) 1 = E(x2 exp[( 2 )(t + s) + (Bt + Bs )]) 0 2 1 2 2 = x0 exp[( )(t + s) E(exp[(Bt + Bs )]) 2 1 2 = x0 exp[( 2 )(t + s) E(e2Bs ) E(e(Bt Bs ) ) 2 2 2 1 1 2 = x0 exp[( 2 )(t + s)e2s e 2 (ts) 2 = x2 exp[(t + s) + s 2 ]. 0
Por lo tanto, Cov(Xt , Xs ) = x2 e(t+s)+s x2 e(t+s) 0 0 = x2 e(t+s) (es 1) 0

2
= E(Xt Xs ) E(Xt )E(Xs )

2
254
Proceso de Ornstein-Uhlenbeck. Este modelo fue propuesto por Ornstein y Uhlenbeck para modelar la velocidad del movimiento difuso de una part cula en intervalos de tiempo peque os. n Denicin. Sean y dos constantes positivas. El proceso de Ornsteino Uhlenbeck es aquel proceso Xt solucin de la ecuacin estocstica o o a dXt X0 = = Xt dt + dBt , x0 . (9.13)
La variable Xt se interpreta como la velocidad de la part cula al tiempo t. La parte determinista Xt corresponde a la fuerza de friccin, y el sumando dBt es un o ruido aleatorio. Encontraremos la solucin de esta ecuacin. o o Proposicin. La solucin a la ecuacin (9.13) est dada por o o o a Xt = x0 et +
0 t
e(ts) dBs .
(9.14)
Demostracin. Considere una solucin de la forma o o

t
Xt = a(t) [x0 +
0
b(s) dBs ],
(9.15)
en donde a(t) y b(t) son funciones diferenciables. Derivando (9.15) y usando la frmula de It (9.10) se obtiene o o dXt = = a (t) [x0 +
0 t
b(s) dBs ] dt + a(t) b(t) dBt
a (t) Xt dt + a(t) b(t) dBt . a(t)
255
Comparando con (9.13), las funciones a(t) y b(t) deben cumplir las ecuaciones a (t) = , a(t) a(t) b(t) = .
Suponiendo a(0) = 1 se obtiene a(t) = exp(t), y b(t) = exp(t). Substituyendo en (9.15) se obtiene (9.14). En la Figura 9.6 se muestra la simulacin de una trayectoria de este proceso y se o compara con E(Xt ). El proceso muestra un decaimiento conforme el tiempo avanza y ello es debido al factor de friccin del modelo. Calcularemos a continuacin la o o esperanza y varianza de este proceso.
Xt ()
4 3 2 1 1
x0 = 3 =1 =1
E(Xt ) t
Figura 9.6: Proposicin. Para el proceso de Ornstein-Uhlenbeck se cumple lo siguiente. o 1. E(Xt ) = x0 et . 2. Var(Xt ) = 2 (1 e2t ). 2 2 n{s,t} (1 e2 m ). 2
3. Cov(Xt , Xs ) =
Demostracin. o 1. Este resultado se obtiene al tomar esperanza en (9.14), y observar que la integral
256
estocstica es una martingala que inicia en cero. a 2. El clculo de la varianza de Xt es una aplicacin de la isometr de It, a o a o Var(Xt ) = = = = = 2 Var(
0 t
e(ts) dBs )
2 E( 2 (
0 0 t
e(ts) dBs )2
e2(ts) ds) 1 2s e 2
t 0
2 e2t
2 (1 e2t ). 2
2. Nuevamente usaremos la isometr de It. Para 0 s t, a o Cov(Xt , Xs ) = = E(Xt Xs ) E(Xt )E(Xs ) E[(x0 et +
0 t
e(ts) dBs ) e(su) dBu )] x2 e(t+s) 0

s 0
(x0 es +
0
2 E(
0
e(ts) dBs
e(su) dBu ).
La primera integral puede descomponerse en la suma de dos integrales, una sobre el intervalo [0, s] y otra sobre (s, t]. Dada la propiedad de incrementos independientes del movimiento Browniano, el segundo sumando desaparece. De modo que, por la isometr de It, a o Cov(Xt , Xs ) = = = 2 E(
s 0 s
e(su) dBu )2
2 0
e2(su) du
2 (1 e2s ). 2
257
Puente Browniano. El puente Browniano sobre el intervalo unitario [0, 1] es un movimiento Browniano con espacio parametral dicho intervalo y es tal que en los extremos de este intervalo el proceso se hace cero. Una trayectoria de tal proceso se muestra en la Figura 9.7. Existen varias formas equivalentes de denir a este proceso.
Xt ()
Figura 9.7: Denicin. El puente Browniano en el intervalo [0, 1] es aquel proceso Xt o solucin de la ecuacin estocstica o o a dXt X0 = = 0. Xt dt + dBt , 1t t [0, 1), (9.16)
Proposicin. La solucin a la ecuacin (9.16) es o o o

t
Xt = (1 t)
1 dBs . 1s
(9.17)
Demostracin. Puede resolverse (9.16) proponiendo nuevamente una solucin de o o la forma

t
Xt = a(t) [x0 +
0
b(s) dBs ],
(9.18)
258
en donde a(t) y b(t) son dos funciones diferenciables, y x0 = 0. Derivando se obtiene nuevamente dXt = = a (t) [x0 +
0 t
b(s) dBs ] dt + a(t) b(t) dBt
a (t) Xt dt + a(t) b(t) dBt . a(t)
Igualando coecientes se obtienen las ecuaciones a (t)/a(t) = 1/(1t), y a(t)b(t) = 1. Suponiendo a(0) = 1 se obtiene a(t) = 1 t, y por lo tanto b(t) = 1/(1 t). Substituyendo en (9.18) se obtiene (9.17). Ejercicio. Sea Xt un puente Browniano en [0, 1]. Demuestre que efectivamente l Xt = 0. m
t1
Vamos a calcular a continuacin la esperanza, varianza y covarianza de este proceso. o Proposicin. Para el puente Browniano (9.17) se cumple o 1. E(Xt ) = 0. 2. Var(Xt ) = t(1 t). 3. Cov(Xt , Xs ) = s(1 t), para 0 s t.
Demostracin. o 1. La integral es una martingala continua que inicia en cero, por lo tanto E(Xt ) = 0.
Cap tulo 9. Calculo estocastico 2. Por la isometr de It, a o Var(Xt ) 1 dBs ) 1s 0 t 1 = (1 t)2 E( dBs )2 1s 0 t 1 2 ) ds = (1 t)2 E ( 0 1s = (1 t)2 Var( = (1 t)2 = t(1 t). 3. Para 0 s t, Cov(Xs , Xt ) = = E(Xs Xt )
s t
259
1 1s
(1 s)(1 t)E(
1 dBu 1u
t 0
1 dBu ). 1u
Nuevamente la segunda integral puede descomponerse en la suma de dos integrales, una sobre el intervalo [0, s] y otra sobre (s, t]. Dada la propiedad de incrementos independientes del movimiento Browniano, el segundo sumando desaparece. De modo que, por la isometr de It, a o Cov(Xs , Xt ) = = = = 1 dBu )2 1u 0 s 1 2 (1 s)(1 t) ( ) du 0 1u s 1 (1 s)(1 t) 1u 0 s(1 t). (1 s)(1 t)E(
s
Como era de esperarse, la varianza se anula en los extremos del intervalo pues all el proceso es cero con probabilidad uno. Observe adems que la varianza se a hace mxima exactamente en la mitad de dicho intervalo. El puente Browniano en a [0, 1] puede representarse de varias formas como se muestra en el siguiente resultado.
260
Ejercicio. Demuestre que los siguientes procesos son puentes Brownianos. a) Xt = Bt tB1 , para t [0, 1]. para t [0, 1].
b) Xt = B1t (1 t)B1 ,
Notas y referencias
Para el desarrollo de la denicin de integral estocstica respecto del movimiento o a Browniano hemos seguido el lineamiento general presentado en el texto de Steele [35]. All pueden encontrarse las demostraciones completas de varios de los resul tados que hemos solamente enunciado. Otros trabajos en donde pueden encontrarse exposiciones elementales sobre integracin estocstica son ksendal [26], Kuo [22], o a o Klebaner [20]. Para una exposicin ms completa y general puede consultarse o a por ejemplo Protter [27], o Revuz y Yor [29]. En los trabajos de D. J Higham como [15] pueden encontrarse algunas primeras lecturas sobre los mtodos para e simular ecuaciones estocsticas. En el texto de Kloeden y Platen [21] se expone a la teor general, varios mtodos numricos, y diversas aplicaciones de ecuaciones a e e estocsticas. a
261
Kiyosi It (Japn 1915) o o

Fuente: Archivo MacTutor, Universidad de St. Andrews.
262
Ejercicios
Integral de It o
164. A partir de la denicin de integral estocstica demuestre que o a
t t
a)
0 t
s dBs = tBt
2 Bs dBs =
Bs ds.
0 t
b)
0
1 3 B 3 t
Bs ds.
0
Para el segundo inciso use la identidad x2 (y x) + x(y x)2 = 1 3 (y x3 (y x)3 ). 3
Frmula de It o o
165. Use la frmula de It para demostrar que el proceso Xt es una solucin de la o o o ecuacin estocstica indicada. o a
2 a) Xt = Bt , dXt = dt + 2Bt dBt . 3 b) Xt = Bt , dXt = 3Xt dt + 3Xt Xt dt + t dBt . c) Xt = tBt , dXt = t 1/3 2/3
dBt .
166. Use la frmula de It para demostrar que o o

t 0 2 Bs ds =
1 3 B 3 t
Bs ds.
0
Apndice A e
Conceptos y resultados varios
Igualdad de procesos. Se dice que dos procesos {Xt : t 0} y {Yt : t 0} son equivalentes, o tambin se dice que uno es una versin o modicacin del otro, e o o si para cada valor de t 0 jo se cumple que P (Xt = Yt ) = 1, es decir, si las variables Xt y Yt son iguales c.s. Un tipo de igualdad ms fuerte establece a que los procesos son indistinguibles si P (Xt = Yt para cada t 0) = 1. Esto signica que con probabilidad uno las trayectorias de los dos procesos son idnticas. e Claramente la indistinguibilidad es ms fuerte que la equivalencia. Sin embargo, a puede demostrarse que cuando los procesos son continuos, es decir, cuando sus trayectorias son funciones continuas del parmetro, ambas nociones de igualdad a coinciden. Cuando el parmetro es discreto, nuevamente los dos tipos de igualdad a son equivalentes. Distribuciones nito dimensionales. Las distribuciones nito dimensionales de un proceso {Xt : t 0} es la coleccin de todas las funciones de distribucin o o conjuntas FXt1 ,...,Xtn (x1 , . . . , xn ), para cualesquiera tiempos 0 t1 < < tn , y cualquier n natural. Independencia de procesos. Se dice que una variable aleatoria X es independiente de un proceso {Xt : t 0} si para cualesquiera tiempos 0 t1 < t2 < < tn , n N, la distribucin conjunta de la variable X y el vector (Xt1 , . . . , Xtn ) es o el producto de las distribuciones marginales, es decir, FX,Xt1 ,...,Xtn (x, x1 , . . . , xn ) = FX (x) FXt1 ,...,Xtn (x1 , . . . , xn ),
263
264
o en trminos de conjuntos de Borel A, A1 , . . . , An , e P (X A, Xt1 A1 , . . . , Xtn An ) = P (X A) P (Xt1 A1 , . . . , Xtn An ).
Ms generalmente, dos procesos estocsticos {Xt : t 0} y {Yt : t 0} son a a independientes si para cualesquiera dos enteros naturales n y m, y tiempos 0 t1 < t2 < < tn y 0 s1 < s2 < < sm , se cumple que FXt1 ,...,Xtn ,Ys1 ,...,Ysm (x1 , . . . , xn , y1 , . . . , ym ) = FXt1 ,...,Xtn (x1 , . . . , xn ) FYs1 ,...,Ysm (y1 , . . . , ym ). En palabras, esta condicin signica que las distribuciones nito dimensionales cono juntas son el producto de las distribuciones nito dimensionales marginales.
Lema de Abel a. Si la serie

k=0
ak es convergente, entonces l t1 m
k=0
k=0
a k tk =
k=0
k=0
ak .
k=0
b. Inversamente, si ak 0 y l t1 m
ak tk , entonces
ak = l t1 m
a k tk .
En Karlin y Taylor [19] puede encontrarse una demostracin de estos resultados. o
Lema de Fatou a. Sea {anm : n, m N} una coleccin de n meros reales. Entonces o u

m
l inf anm l inf m m

n n m
anm .
m
b. Adems, si anm bm con a l sup m

n
bm < , entonces anm l sup anm . m

m n
Teorema de convergencia montona. Sea X1 , X2 , . . . una sucesin de variables o o aleatorias tales que 0 X1 X2 y l Xn = X casi seguramente. Entonces m
n n
l E(Xn ) = E( l Xn ). m m
n
Apndice A. Conceptos y resultados varios e Teorema de convergencia dominada
265
a. Sea X1 , X2 , . . . una sucesin de variables aleatorias tales que l Xn = X o m

n
casi seguramente, y para cada valor de n, |Xn | Y , para alguna variable Y con E|Y | < . Entonces l E(Xn ) = E( l Xn ). m m
n n
b. Sea {anm : n, m N} una coleccin de n meros reales tales que l n anm o u m existe para cada m, |anm | bm , independiente de n, y m=0 bm < . Entonces
n
l m
m=0
anm =
m=0
l anm . m
Ecuacin de Wald. Sea X1 , X2 , . . . una sucesin de variables aleatorias indepeno o dientes con la misma distribucin que X y con esperanza nita. Sea N una variable o aleatoria con valores en el conjunto {1, 2, . . .}, con esperanza nita e independiente de la sucesin. Entonces o
N
E(
k=1
Xk ) = E(X) E(N ).
Distribucin tipo reticular. Se dice que una variable aleatoria discreta X, o o su distribucin de probabilidad, es de tipo reticular o que es de tipo lattice si o P (X = c + nd) > 0, en donde c y d > 0 son constantes reales y n = 1, 2, . . . Notacin o peque a. Sean f (t) y g(t) dos funciones que se encuentran denidas o n y son positivas para valores de t sucientemente grandes. Se dice que f (t) es de orden ms pequeo que g(t) cuando t , y se escribe f (t) = o(g(t)) cuando a n t , si se cumple f (t) = 0. l m t g(t) En particular, se escribe f (t) = o(1) cuando f (t) converge a cero cuando t . Se usa la misma notacin cuando t tiende a alg n valor nito particular y las funciones o u se encuentran denidas y son positivas en una vecindad no trivial alrededor de ese valor. En este texto se usa la notacin o peque a para establecer el comportamiento o n de probabilidades dependientes del tiempo p(t), cuando t se aproxima a cero a travs e de valores positivos.
266
Esperanza condicional. Sea (, F , P ) un espacio de probabilidad. Sea X una variable aleatoria con esperanza nita, y sea G una sub -lgebra de F . La espea ranza condicional de X dado G , es una variable aleatoria denotada por E(X | G ), que cumple las siguientes tres propiedades: a) Es G -medible. b) Tiene esperanza nita. c) Para cualquier evento G en G , E( X | G ) dP = X dP.
G
(A.1)
Es importante enfatizar que la esperanza condicional es una variable aleatoria. Usando el teorema de Radon-Nikodym (vase por ejemplo [9]), puede demostrarse e que esta variable aleatoria existe y es unica casi seguramente. Esto signica que si existe otra variable aleatoria con las tres propiedades anteriores, entonces con probabilidad uno coincide con E(X | G ). Cuando la -lgebra G es generada por una a variable aleatoria Y , es decir, cuando G = (Y ), la esperanza condicional se escribe simplemente como E(X | Y ). Mencionaremos a continuacin algunas propiedades o de esta variable aleatoria, en estas expresiones se postula de manera impl cita que la variable aleatoria a la que se le aplica la esperanza condicional es integrable. 1. Si c es constante, entonces E( c | G ) = c. 2. E(X | {, } ) = E(X). 3. Si A es un evento, entonces E(1A | {, } ) = P (A). 4. Si A y B son eventos con 0 < P (B) < 1, entonces E(1A | {, B, B c , } ) = P (A | B) 1B + P (A | B c ) 1B c . 5. Si A es un evento y B1 , . . . , Bn es una particin de tal que P (Bi ) > 0 para o i = 1, . . . , n, entonces
n
E(1A | {B1 , . . . , Bn }) =
i=1
P (A | Bi ) 1Bi .
Apndice A. Conceptos y resultados varios e 6. Si Y es una variable aleatoria discreta con valores 0, 1, . . ., entonces E(X | Y ) = 7. E(E(X | G )) = E(X).
n=0
267
E(X | Y = n) 1(Y =n) .
8. | E(X | G ) | E( |X| | G ). Este es un caso particular de la desigualdad de Jensen que se enunciar ms adelante. En particular, tomando esperanza se a a tiene el siguiente resultado. 9. E |E(X | G )| E(|X|). 10. Si c es constante, entonces E(c X + Y | G ) = c E(X | G ) + E(Y | G ). 11. Si X es G -medible, entonces E(X | G ) = X c.s. 12. Si X 0, entonces E(X | G ) 0. 13. Si X Y , entonces E(X | G ) E(Y | G ). 14. Si G1 G2 , entonces E(E(X | G1 ) | G2 ) = E(E(X | G2 ) | G1 ) = E(X | G1 ). 15. Si X es independiente de G , entonces E(X | G ) = E(X). 16. Si G1 y G2 son independientes, entonces E(X | (G1 G2 )) = E(X | G1 ) + E(X | G2 ) E(X). 17. Si X es independiente de G2 , entonces E(X | (G1 G2 )) = E(X | G1 ). 18. Si Xn X, entonces E(Xn | G ) E(X | G ). 19. Teorema de convergencia montona. Si Xn 0 y Xn X c.s., entonces o E(Xn | G ) E(X | G ) c.s. 20. Si XY es integrable y X es G -medible, entonces E(XY | G ) = X E(Y | G ). 21. X es independiente de G si, y slo si, E(f (X) | G ) = E(f (X)) para cualquier o funcin Lebesgue medible f tal que f (X) es integrable. o
m m
268
22. Desigualdad de Jensen. Si u es convexa y u(X) es integrable, entonces u(E(X | G )) E(u(X) | G ). Funciones directamente Riemann integrables. Sea H : [0, ) [0, ) una funcin Borel medible. Sea h > 0, y para cada n natural dena las funciones o n (h) = { H(t) : (n 1)h t < nh }, nf n (h) = sup { H(t) : (n 1)h t < nh }. Suponga que las siguientes funciones son absolutamente convergentes (h) (h) = h = h
n=1 n=1
n (h), n (h),
y que adems l h0 (h) = l h0 (h). Entonces se dice que la funcin H es dia m m o rectamente Riemann integrable. Esta condicin de integrabilidad es ms fuerte que o a la integrabilidad usual de Riemann, es decir, toda funcin directamente Riemann o integrable es Riemann integrable. por ejemplo, a) H(t) = 1[0,a] (t) es d. R. integrable. b) H : [0, ) [0, ) no creciente y tal que
0
H(t) dt < , es d. R. integrable.
Apndice B e
Solucin a algunos ejercicios o
Caminatas aleatorias 1. 2. Observe que P (Xn+1 = x) = P (Xn+1 = x, Xn = x 1) + P (Xn+1 = x, Xn = x + 1). 3. 5/24 . 4. 1/24 . 5. Dena uk = P (n < | X0 = k). Usando anlsis del primer paso demuestre a que uk = puk+1 +quk1 , en donde un = 1. Resuelva este sistema de ecuaciones y encuentre el resultado.
El problema de la ruina del jugador 6. uk = P (X = 0 | X0 = k) = P (X = 0, X1 = k + 1 | X0 = k) + P (X = 0, X1 = k 1 | X0 = k) = P (X = 0 | X1 = k +1, X0 = k)P (X1 = k +1 | X0 = k) + P (X = 0 | X1 = k 1, X0 = k)P (X1 = k 1 | X0 = k) = puk+1 + quk1 . 7. Siga las sugerencias. 269
270
8. mk = E( | X0 = k) = x=1 xP ( = x|X0 = k) = x=1 xP ( = x, X1 {k 1, k + 1}|X0 = k) = p x=1 xP ( = x|X1 = k + 1, X0 = k) + q x=1 xP ( = x|X1 = k 1, X0 = k). Ahora hay que observar que P ( = x|X1 = k + 1, X0 = k) = P ( = x 1|X0 = k + 1), con una identidad similar para la otra probabilidad. Entonces mk = p x=1 xP ( = x 1|X0 = k + 1) + q x=1 xP ( = x 1|X0 = k 1) = p y=0 (y + 1)P ( = y|X0 = k + 1) + q y=0 (y + 1)P ( = y|X0 = k 1) = p + p y=0 yP ( = y|X0 = k + 1) + q + q y=0 yP ( = y|X0 = k 1) = 1 + pmk+1 + qmk1 . 9. La ecuacin en diferencias en este caso es uk = p uk+1 + q uk1 + r uk , la o cual puede resolverse de manera anloga al caso mostrado en el texto. a

Cadenas de Markov
Propiedad de Markov 10.
Matrices estocsticas a 11. Para el primer inciso simplemente intercambie el orden de las sumas. El segundo inciso es consecuencia del primero.
1 12. Tome n = 2 y sea P = 1 0 . Entonces P 2 = I es estocstica, sin embargo a 1 P no lo es. Ser vlido el resultado si se restringen las entradas a valores no a a negativos?
13. Use la propiedad (AB)t = B t At . El super ndice t indica transpuesta. 14.

i
pij =
pji = 1.
15. Como el determinante permanece invariante bajo operaciones elementales sobre las columnas y bajo la operacin de tomar transpuesta, cada elemento o de la diagonal de (P I)t puede hacerse igual a cero. El determinante por tanto es cero, y el n mero 1 es siempre un valor propio. Intente describir la u situacin cuando la dimensin es tres. o o
Apndice B. Solucion a algunos ejercicios e Probabilidades de transicin o
271
16. P (X1 = 0) = 0.32, P (X1 = 1) = 0.68, P (X2 = 0) = 0.404 y P (X2 = 1) = 0.596. 17. P (X1 = 0) = 13/24, P (X1 = 1) = 11/24, P (X5 = 1 | X4 = 0) = 2/3, P (X3 = 0 | X1 = 0) = 11/18, P (X100 = 0 | X98 = 0) = 11/18, P (X1 = 0 | X2 = 0) = , P (X1 = 1 | X2 = 1, X3 = 1) = , P (X3 = 0, X2 = 0 | X1 = 0) = (1/3)2 . 18. La demostracin es anloga al caso homogneo. La propiedad de Markov es o a e el elemento clave. 19. a) Cierto. Es consecuencia de la ecuacin de Chapman-Kolmogorov. o b) Falso. Puede suceder que i j, pero j Cadenas de Markov 20. Condicionando sobre el estado del sistema en el momento anterior, P (Xn = 0) = P (Xn = 0 | Xn1 = 0) P (Xn1 = 0) i.
= (1 a b)P (Xn1 = 0) + b. Repitiendo este procedimiento se obtiene
+P (Xn = 0 | Xn1 = 1) P (Xn1 = 1) = (1 a)P (Xn1 = 0) + b(1 P (Xn1 = 0))
n1
P (Xn = 0) = (1 a b)n P (X0 = 0) + b
j=0
(1 a b)j .
Efectuando la suma geomtrica en el caso a + b > 0 se llega a e P (Xn = 0) = Anlogamente a P (Xn = 1) = a a + (p1 ) (1 a b)n . a+b a+b b b + (p0 ) (1 a b)n . a+b a+b
272
0 1/2 21. P = 0 1/2
1/2 0 1/2 0
0 1/2 0 1/2
22. pi0 = 1/6, pi,i+1 = 5/6. 23.
1/2 0 1/2 0
24. Simplemente debe escribirse la denicin de probabilidad condicional y usar o la propiedad de Markov. 25. Para cualquier n 0, por la propiedad de Markov y por la hiptesis del o ejercicio, E(Xn+1 | X0 = i0 , . . . , Xn1 = in1 ) = j j P (Xn+1 = j | Xn1 = in1 ) = j j Pin1 ,j = in1 . A partir de la ecuacin j j p0j = 0, se obtiene o p01 = p02 = = p0N = 0 y p00 = 1, esto indica que 0 es un estado absorbente. Para el estado N se considera la ecuacin N = o j j pN j N pN N . Por lo tanto pN N = 1, es decir, N es absorbente. 26. La propiedad de Markov proviene del hecho de que Ak+1 depende unicamente del valor de Ak y de la variable X activa al tiempo k + 1. Las probabilidades de transicin son P (Ak+1 = i + 1 | Ak = i) = P (X i + 2 | X i + 1) = o P (X i + 2)/X i + 1), y P (Ak+1 = 0 | Ak = i) = P (X = i + 1 | X i + 1) = P (X = i + 1)/P (X i + 1). 27. El espacio de estados es {2, 1, 0, 1, 2, 3, 4} y la matriz es 0 0 0 1/4 1/4 1/4 1/4 P =
0 0 0 0 0 0 0 0 0 1/4 0 0 0 0 0 1/4 1/4 0 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 0 1/4 1/4 1/4 1/4 1/4 0 0 1/4
28. El espacio de estados es {(0, 0), (0, 1), (1, 0), (1, 1)}. La propiedad de Markov para Yn se sigue de la misma propiedad para Xn . La matriz para Yn es
p00
00
En el caso general el espacio de estados es {0, 1, , . . .} {0, 1, , . . .}. El proceso Yn hereda la propiedad de Markov del proceso Xn . De un estado cualquiera
0 P = p
0
p01 0 p01 0
0 p10 0 p10
0 p11 0 p11
Apndice B. Solucion a algunos ejercicios e
273
(i, j) slo se puede ir a otro estado de la forma (j, k), y ello sucede con o probabilidad pjk . 29. El proceso es una cadena de Markov pues la variable Xn+1 se puede escribir en trminos del valor de Xn . Las probabilidades de transicin son: p01 = 1, e o pN,N 1 = 1, y para 0 < i < N , 2 2 si j = i + 1, (N i) /N 2(i/N )(N i)/N si j = i, P (Xn+1 = j | Xn = i) = 2 si j = i 1, (i/N )
0 otro caso.
30. 31.
Comunicacin o 32. a) C(0) = {0, 1}, C(2) = {2}. C(0) = {0, 1, 2, 3}. b) C(0) = {0, 1, 2}, C(2) = {2}. c)
33. Para alg n entero m, pij (m) = pi,i1 pi1 ,i2 pim1 ,j > 0, en donde la suma u se efect a sobre todos los posibles valores de los estados i1 , . . . , im1 . Enu tonces necesariamente alg n sumando es positivo y la sucesin de estados u o intermedios i1 , i2 , . . . , im1 puede recortarse al aparecer repeticiones, y tambin cuando aparezcan los estados i o j. A lo sumo entonces aparecen los e n 2 estados distintos de i y j, y esto corresponde a efectuar un mximo de a n 1 pasos. Clases cerradas 34. 35. a) La condicin pij (n) = 0 se cumple para cualquier i C , j C , y n 1, o / si, y slo si fij = 0 para cualquier i C y j C , pero esta es la denicin o / o de que C sea cerrada. b) Si pij = 0 para cualquier i C y j C , entonces pij (2) = k pik pkj / = kC pik pkj = 0. Anlogamente, pij (n) = 0 para cualquier i C , j C , a /
274
y n 1. Por el inciso anterior C es cerrada. Rec procamente, si C es cerrada, entonces pij = 0 para cualquier i C y j C . / 36. a) Sea C una clase de comunicacin recurrente. Sea i C , y sea j cualquier o otro estado tal que i j. Entonces j i, pues de lo contrario i no ser a recurrente. Por lo tanto j C , es decir, C es cerrada. b) y c) Estos incisos se demuestran de manera anloga al anterior. a
Periodo 37. a) Hay dos clases de comunicacin: C(0) = {0, 1} y C(2) = {2}. Ambas de o periodo uno. b) Hay tres clases de comunicacin: C(0) = {0, 2} de periodo o 1, C(1) = {1} de periodo 1, y C(3) = {3} de periodo 0. c) Hay dos clases de comunicacin: C(0) = {0, 2, 3} y C(1) = {1}. ambas de periodo uno. o 38. Considere la matriz identidad de dos por dos. Otros ejemplos menos triviales pueden encontrarse.
Tiempo y probabilidad de primera visita 39. Suponga i j. Entonces existe n 1 tal que pij (n) > 0. Por (3.2), pij (n) = n k=1 fij (k)pjj (n k) > 0. Por lo tanto existe k {1, . . . , n} tal que fij (k) > 0. Por lo tanto k=1 fij (k) > 0. Inversamente, si k=1 fij (k) > 0, entonces existe alg n k 1 tal que fij (k) > 0. Pero pij (k) fij (k) > 0. Por lo tanto u i j. 40. Como j es absorbente, pjj (n k) = 1. Por lo tanto pij (n)=
n k=1
fij (k) pjj (n k) =
n k=1
fij (k)= P (ij n).
Tiempo medio de absorcin o 41. a) 2. b) 4. c) 10.
Apndice B. Solucion a algunos ejercicios e Recurrencia y transitoriedad 42.
275
43. Sea i un estado absorbente. Entonces P (i = 1 | X0 = i) = P (X1 = i | X0 = i) = 1. Por lo tanto fii = P (i < | X0 = i) = 1. 44. Demuestre que f00 < 1. 45. Demuestre que f00 = 1. Observe que la cadena es irreducible.
Tiempo medio de recurrencia 46. 1/pq.
Recurrencia positiva y nula 47.
Distribuciones estacionarias 48. a) (0 , 1 , 2 ) = (0, 1/2, 1/2). b) (0 , 1 , 2 , 3 ) = (0, 1/2, 1/2, 0). 49. El sistema de ecuaciones = P tiene una unica solucin (0 , 1 , 2 , 3 ) o 1 dada por 1+p2 ((1 p)2 , p, p(1 p), p2 ). 50. Resolviendo el sistema = P se obtienen soluciones de la forma (, 1 2, , 1 2) para cada valor de en el intervalo [0, 1/2]. 51. Los vectores de la forma (1 , 0, . . . , 0, ), con 0 1, son todos distribuciones estacionarias para esta cadena. Observe que el soporte de esta distribucin es el conjunto de estados absorbentes de la cadena. o 52. El planteamiento del sistema de ecuaciones = P arroja de inmediato la solucin j = aj , para j = 0, 1, . . . o
276
53. Como la cadena es nita e irreducible, tiene una unica distribucin estacio o naria. Es inmediato vericar que esta distribucin es la uniforme a partir de o la doble estocasticidad. 54. Si la cadena consta de N estados y es un vector invariante dado por = N 1 (1/N, . . . , 1/N ), entonces la ecuacin j = o i=0 i pij se reduce a 1 = N 1 i=0 pij . 55. Claramente j 0. Adems a 1) = j .
i
i pij =
l n pki (n)pij = l n pkj (n+ m m
Distribuciones l mite 56. 57. Este problema puede resolverse de varias formas. Una de ellas es denir la variable Xn como el n mero de coches que la persona tiene disponibles al u momento de iniciar el n-simo viaje. Para el primer inciso el espacio de ese tados es el conjunto {0, 1}, mientras que en el caso general es {0, 1, . . . , r}. El conjunto de variables Xn resulta ser una cadena de Markov con matriz de probabilidades de transicin P nita, irreducible y aperidica. La distribuo o cin l o mite existe y puede ser encontrada a travs del sistema de ecuaciones e = P . La solucin para 0 es la proporcin de viajes en los cuales la pero o sona no cuenta con coche, y se mojar si en ese viaje llueve. La respuesta es a entonces a) 0 p = b) 0 p =
(1p)p 2p . (1p)p 1p+r .
Cadenas regulares 58. 59. 60.
Apndice B. Solucion a algunos ejercicios e Cadenas reversibles
277
61. La ecuacin de balance detallado (3.10) se reduce a a0 = b1 . Como 0 +1 = o b a 1 se obtiene la solucin (0 , 1 ) = ( a+b , a+b ), cuando a + b > 0. Por lo tanto o esta es la distribucin estacionaria y la cadena es reversible. o
Proceso de Poisson
Proceso de Poisson 62. 63. 64. 65. 66. 67. 68. 69. 70. a) P (Xs = 0, Xt = 1)= P (Xt = 1 | Xs = 0) P (Xs = 0) = e(ts) (ts)es = (t s)et . b) P (Xs = Xt ) = P (Xt Xs = 0)= P (Xts = 0) = e(ts) .
2 71. Sin prdida de generalidad suponga s t y escriba Xt Xs = (Xt Xs )Xs +Xs . e Utilice ahora la propiedad de que el proceso de Poisson tiene incrementos independientes.
72. 73.
278
74. a) Para 0 < w1 < w2 , FW1 ,W2 (w1 , w2 ) = P (W1 w1 , W2 w2 ) = P (W2 w2 ) P (W1 > w1 , W2 w2 ), en donde P (W1 > w1 , W2 w2 ) es la probabilidad de que no ocurra ning n evento en [0, w1 ] multiplicada por la prou babilidad de que por lo menos dos eventos ocurran en (w1 , w2 ]. Entonces FW1 ,W2 (w1 , w2 ) = FW2 (w2 )ew1 [1e(w2 w1 ) e(w2 w1 ) (w2 w1 )] = FW2 (w2 ) [ew1 ew2 ew2 (w2 w1 )]. Ahora derive respecto de ambas variables. b) Como W2 se distribuye gama(2, ), para w2 > 0 se tiene que fW2 (w2 )= 2 w2 ew2 . Tambin se puede obtener esta expresin calculando la densidad e o marginal de W2 del inciso anterior: Para w1 (0, w2 ), fW1 | W2 (w1 | w2 ) = fW1 ,W2 (w1 , w2 )/fW2 (w2 ) = 1/w2 . c) Como W1 se distribuye exp(), para w2 (w1 , ) se tiene que fW2 | W2 (w2 | w1 )= fW2 ,W1 (w2 , w1 )/fW1 (w1 ) = e(w2 w1 ) . 75. Condicione sobre el valor de T y use la hiptesis de independencia. P (XT = o n) = 0 P (Xt = n | T = t)fT (t)dt = 0 P (Xt = n)fT (t)dt. Substituya estas cantidades y resuelva la integral. 76. 77. 78. a) Sean T1 , T2 , . . . los tiempos de interarribo del proceso de Poisson y sea T el tiempo de vida util del aparato. Entonces P (T > t) = P (T1 > a, . . . , TNt > a). Condicionando sobre el valor de Nt esta probabilidad es et + n=1 P (T1 > a, . . . , Tn > a | Nt = n)P (Nt = n). El primer sumando corresponde al caso cuando Nt = 0, la probabilidad de sobrevivir t es uno y se multiplica por P (Nt = 0) = et . Por la independencia de los tiempos de interarribo, la ex presin se reduce a et + n=1 (P (T > a))n P (Nt = n). Al substituir estas o probabilidades y simplicar se llega a P (T > t) = exp(t(ea 1)). b) Sea N el n mero de reparaciones antes de realizar el reemplazo. Entonu ces N toma los valores 0, 1, . . . con probabilidades P (N = n) = P (T1 > a, . . . , Tn > a, Tn+1 a) = (P (T > a))n (1 P (T > a)). Esta es la distribucin geomtrica de parmetro (1 P (T > a)). o e a
79. El tiempo de vida del circuito es la suma de k variables aleatorias independientes con distribucin exp(), por lo tanto tiene distribucin gama(k, ). o o 80. Sean T1 , . . . , T1 los tiempos que transcurren para que en cada uno de los procesos ocurra el primer evento, respectivamente. Estas variables son
(1) (n)
Apndice B. Solucion a algunos ejercicios e independientes y cada una de ellas tiene distribucin exp(). Entonces o
279
b) La variable T = m n{T1 , . . . , T1 } es el momento en el que ocurre el primer evento en cualquiera de los procesos. Por lo tanto, para t > 0, P (T > (1) (n) (1) (n) t) = P (m n{T1 , . . . , T1 } > t) = P (T1 > t) P (T1 > t) = ent , es decir, T tiene distribucin exp(n). o 81.
a) La variable T = mx{T1 , . . . , T1 } es el primer momento en el que en a todos los procesos ha ocurrido por lo menos un evento. Por lo tanto, para (1) (n) (1) (n) t > 0, P (T t) = P (mx{T1 , . . . , T1 } t) = P (T1 t) P (T1 a t n t) = (1 e ) .
(1) (n)
(1)
(n)
82. Usaremos la denicin (III). Es claro que Xat inicia en cero. La propiedad o de tener incrementos independientes es la misma que para Xt . Finalmente Xa(t+s) Xas tiene distribucin Poisson(at). o 83. Sea el instante en el que el proceso tiene el salto en el intervalo [s, s + t]. Entonces, para u [s, s + t], P ( u | Xt+s Xs = 1) = P (Xu Xs = 1, Xt+s Xu = 0)/P (Xt+s Xs = 1). Desarrollando esta expresin se llega o al resultado.
Distribuciones asociadas al proceso de Poisson 84. Para cualquier t en [0, t0 ], P (T1 t | Xt0 = 1) = P (T1 t, Xt0 = 1)/P (Xt0 = 1) = et te(t0 t) /et0 t0 = t/t0 . 85. Dado que (Xt = n), X(s,t] = n Xs . La distribucin condicional de Xs es o bin(n, s/t). En consecuencia la distribucin condicional de X(s,t] es bin(n, 1 o s/t).
Proceso de Poisson no homogneo e 86. a) P (T1 > t) = P (Nt = 0) = e(t) . Entonces FT1 (t)= 1 e(t) . Ahora derive. b) Para cualesquiera s, t > 0, FT2 |T1 (t|s)= P (T2 t | T1 = s) = 1 P (T2 > t+s t | T1 = s) = 1 P (Xt+s = 1 | T1 = s) = 1 e s (u)du = 1 e(t+s)+(s) .
280
Ahora derive respecto de t. c) Usando los dos incisos anteriores, fT2 (t)= 0 fT2 | T1 (t | s)fT1 (s)ds = s)e(s) (s)ds = 0 e(t+s) (t + s)(s)ds.
(t+s)+(s) (t+ 0 e
d) Para t > 0, FWn (t) = P (Wn t)= 1 P (Wn > t) = 1 P (Xt n 1)= n1 1 k=0 e(t) [(t)]k /k!. Al tomar la derivada la suma se vuelve telescpica o y se obtiene el resultado. e) Para s, t > 0, 1 FTk | Wk1 (t | s) = P (Tk > t | Wk1 = s)= P (Xt+s = s+t k 1 | Wk1 = s) = e s (u)du = e(t+s)+(s) . f) Por los dos incisos anteriores, FTk (t) =
k2 (t+s)+(s) ] [e(s) [(s)] (s)]ds (k2)! 0 [1 e k2 k2 = 0 [e(s) [(s)] (s)]ds 0 e(t+s) [(s)] (s)]ds. (k2)! (k2)!
0 FTk | Wk1 (t | s)fWk1 (s)ds
La primera inte-
gral es uno pues el integrando es la densidad de Wk1 .
Proceso de Poisson compuesto 87.
Cadenas de Markov a tiempo continuo

Ecuaciones de Kolmogorov 88.
Procesos de nacimiento y muerte 89. Demostraremos el inciso a), el inciso b) se obtiene tomando complemento. Los incisos c) y d) se obtienen de manera anloga. Las ecuaciones de Kola mogorov hacia atrs para p00 (t) y p10 (t) son: p00 (t) = p00 (t) + p10 (t) y a p10 (t) = p00 (t) p10 (t). Restando estas dos ecuaciones se obtiene (p00 (t) p10 (t)) = ( + )(p00 (t) p10 (t)), cuya solucin es p00 (t) p10 (t) = o e(+)t . Por lo tanto la ecuacin diferencial para p00 (t) se puede escribir o
281
como p00 (t) = (p00 (t) p10 (t)) = e(+)t . Resolviendo esta ecuacin o 1 se obtiene p00 (t) = + ( + e(+)t ). 90.
Procesos de nacimiento puro 91. La variable Xt X0 tiene distribucin bin. neg.(r, p), con r = k y p = et . o La media de esta distribucin es r(1 p)/p, y la varianza es r(1 p)/p2 . De o estas expresiones se encuentra la esperanza y varianza de Xt .
Procesos de renovacin o
Procesos de renovacin o 92. (X1 + + Xn t) (X1 + + Xm t), para n m. 93. 94. 95. 96. 97. 98. Substituya (t) por t y compruebe que la igualdad se cumple. 99. 100. 101.
282
Conabilidad 102. (m n{T1 , . . . , Tn } > t) = (T1 > t, . . . , Tn > t). 103. (mx{T1 , . . . , Tn } t) = (T1 t, . . . , Tn t). a
Martingalas
Filtraciones 104. Como Xs Ft para cualquier s [0, t], (Xs ) Ft . Por lo tanto Ft . Entonces Gt = ( 0st (Xs )) Ft . Tiempos de paro 105. La equivalencia se sigue de las siguientes dos identidades: ( = n) = ( n) ( n 1), y ( n) = ( = 1) ( = n). 106. 107. Para cualquier n mero natural k, ( n = k) = ( = k) cuando k n, y u ( n = k) = cuando k > n. En ambos casos ( n = k) Fk . Por otro lado, ( n = k) = cuando k < n, ( n = k) = ( k) cuando k = n y ( n = k) = ( = k) cuando k > n. Nuevamente en cualquier caso ( n = k) Fk . 108. Suponga el caso a tiempo continuo. Entonces (1 2 t) = (1 t) (2 t) Ft . Anlogamente, (1 2 t) = (1 t) (2 t) Ft . a 109. Suponga el caso a tiempo continuo. Demuestre y use la igualdad (1 + 2 > t) = st (1 > s) (2 > t s). 110. Proceda como en los dos ejemplos presentados en el texto sobre la primera y segunda entrada de un proceso a un conjunto de Borel A. Este ejercicio es un caso particular. Las desigualdades no son estrictas pues se contempla el caso en el que alguno de estos tiempos es innito, es decir, que nunca se cumpla la condicin. o
0st
(Xs )
Apndice B. Solucion a algunos ejercicios e 111. (c t) = ( t/c) Ft/c Ft , cuando c 1.
283
112. (supn n k) = n=1 (n k) Fk . Anlogamente, ( n n k) = a nf (n k) Fk . n=1 Martingalas 113. Una de las implicaciones es evidente. Para la otra implicacin se puede reduo cir el sub ndice m tantas veces como sea necesario de la siguiente forma: Para m > n, como Fn Fm1 se tiene que E(Xm | Fn ) = E(E(Xm | Fm1 ) | Fn ) = E(Xm1 | Fn ) = = E(Xn+1 | Fn ) = Xn . Los casos submartingala y supermartingala se resuelven de manera anloga. a 114. La igualdad se verica si, y slo si, ambas desigualdades se cumplen. o 115. Tome esperanza en la condicin correspondiente. o 116. Observe que Xt es integrable y Ft -medible. Para 0 s t, E(Xt | Fs ) = E(E(X | Ft ) | Fs ) = E(X | Fs ) = Xs . 117. El proceso es integrable y adaptado. Para el caso martingala, E(Xn+1 1A | Fn ) = E(Xn+1 | Fn )1A = Xn 1A . Anlogamente para el caso submara tingala o supermartingala. 118. a) E(Xn+1 M | Fn ) E(Xn+1 | Fn ) Xn . Anlogamente E(Xn+1 a M | Fn ) E(M | Fn ) = M . Por lo tanto E(Xn+1 M | Fn ) Xn M . El inciso b) se resuelve de manera similar. 119. El nuevo proceso es adaptado e integrable. Use ahora la propiedad de linealidad de la esperanza condicional.
120. El proceso Xn es adaptado y es integrable pues E(|Xn |) E(|X1 |) + + E(|Xn |) < . Adems como Xn Xn+1 , se tiene que Xn = E(Xn | Fn ) a E(Xn+1 | Fn ).
121. La adaptabilidad se sigue del hecho de que el mximo de dos variables aleatoa rias es variable aleatoria. Para la integrabilidad se tiene que E(|Xn Yn |) E(|Xn |) + E(|Yn |) < . Finalmente, para 0 s < t, E(Xt Yt | Fs ) E(Xt | Fs ) = Xs , suponiendo el caso martingala. Anlogamente E(Xt a Yt | Fs ) Ys . Por lo tanto E(Xt Yt | Fs ) Xs Ys . Observe que las estimaciones funcionan tanto en el caso martingala como submartingala.
284
122. Adaptabilidad: (Xt Yt x) = (Xt x) (Yt x) Ft . Integrabilidad: E(|Xt Yt |) E(|Xt |) + E(|Yt |) < . Propiedad de supermartingala: Para 0 s < t, E(Xt Yt | Fs ) E(Xt | Fs ) = Xs , suponiendo el caso martingala. Anlogamente E(Xt Yt | Fs ) Ys . Por lo tanto E(Xt Yt | Fs ) Xs Ys . a Las estimaciones son vlidas tanto en el caso martingala como submartingala. a 123. La variable Yn tiene esperanza nita pues slo toma un n mero nito de o u valores. Para la propiedad de martingala se tiene que E(Yn+1 | X1 , . . . , Xn ) = (q/p)Xn E((q/p)n+1 | X1 , . . . , Xn ) = (q/p)Xn E((q/p)n+1 ) = (q/p)Xn = Yn . 124. El proceso es integrable por hiptesis, y por denicin es adaptado a la ltrao o cin natural. Sea (Gt )t0 la ltracin natural, es decir, Gt = {Xs : 0 s o o t}. Entonces Gt Ft , y para 0 s t, E(Xt | Gs ) = E(E(Xt | Fs ) | Gs ) = E(Xs | Gs ) = Xs .
2 125. La variable Xn n es integrable por hiptesis y es Fn -medible por denicin. o o 2 Para la propiedad de martingala se tiene que E(Xn+1 (n + 1) | Fn ) = 2 2 E((Xn + n+1 )2 | Fn ) (n + 1) = Xn + 2Xn E(n+1 ) + E(n+1 ) (n + 1) = 2 2 2 2 Xn + E(n+1 ) (n + 1), lo cual es igual a Xn n si, y slo si, E(n+1 ) = 1. o
= E((q/p)Xn +n+1 | X1 , . . . , Xn )
126. El proceso es integrable pues por independencia E|1 n | = E|1 | E|n |< . Adems E(Xn+1 | Fn ) = E(Xn n+1 | Fn ) = Xn E(n+1 | Fn ) = Xn E(n+1 ) a = Xn . 127. La integrabilidad y adaptabilidad son evidentes. Use la desigualdad de Jensen para obtener la propiedad de submartingala en cada inciso. 128.
2 129. Por hiptesis Xt es integrable y es Ft -medible. Para la propiedad de subo martingala use la desigualdad de Jensen para esperanza condicional.
130. Para 0 s < t, por Jensen, E(|Xt |p | Fs ) |E(Xt | Fs )|p = |Xs |p . 131. Como toda funcin convexa es continua, g(Xn ) es medible respecto de Fn . En o ambos casos use la desigualdad de Jensen. Para 0 s < t, E(g(Xt ) | Fs ) g(E(Xt | Fs )) = g(Xs ). Para el segundo inciso las condiciones garantizan que la ultima igualdad puede reemplazarse por una desigualdad.
285
132. La adaptabilidad es evidente. La integrabilidad se sigue de la hiptesis de o que las variables tienen segundo momento nito. Para la propiedad de 2 2 martingala se tiene que Xn+1 = ( n (k k ) + (n+1 n+1 ))2 n+1 k k=1 k=1 n 2 2 = Xn +2(n+1 n+1 ) k=1 (k k )+(n+1 n+1 )2 k . Ahora tome esperanza condicional respecto de Fn y justique que unicamente sobrevive el primer sumando. 133. La adaptabilidad e integrabilidad se cumplen por hiptesis. La propiedad o n+1 de martingala es tambin inmediata pues E(Xn+1 | Fn ) = e k=1 E((k E(k | Fk1 )) | Fn ) = Xn + E((n+1 E(n+1 | Fn )) | Fn ) = Xn . 134. 135. El procedimiento es idntico al presentado en el texto para el caso del proceso e de Poisson centrado. 136. 137. 138. 139. 140. 141.
Teorema de paro opcional 142.
Integrabilidad uniforme 143. () Sea > 0 cualquiera y sea M > 0 tal que (|X|>M) |X| dP < . Entonces X es integrable pues E(|X|) = |X| dP = (|X|>M) |X| dP + (|X|M) |X| dP < + M P (|X| M ) + M < . () Suponga que X es integrable. Entonces la sucesin de variables aleao torias integrables |X| 1(|X|>M) , con M = 1, 2, . . . es montona decreciente o
286
y su l mite es 0 sobre el conjunto (|X| < ). Este conjunto tiene probabilidad uno pues X es integrable. Por el teorema de convergencia montona, o E( |X| 1(|X|>M) ) = 0, cuando M . Es decir, para cualquier > 0 existe M > 0 suciente grande tal que (|X|>M) |X| dP < .
Movimiento Browniano
Movimiento Browniano unidimensional
144. Las cuatro propiedades de la denicin son inmediatas de vericar. o 145. En cada caso se cumple que la variable Wt Ws tiene distribucin N(0, 2 |t o s|). El resto de las propiedades es fcil de vericar. a 146. 147. 148. Sea Wt = Bt0 Bt0 t . Es claro que este proceso empieza en cero y tiene trayectorias continuas. Para 0 s < t t0 , Wt Ws = (Bt0 Bt0 t ) (Bt0 Bs0 s ) = Bt0 s Bt0 t cuya distribucin es N(0, ts). Esto demuestra o tambin que intervalos de tiempo ajenos para Bt se transforman en intervalos e de tiempo ajenos para Wt , y con ello se demuestra que el proceso Wt tiene incrementos independientes. 149. El resultado se sigue del hecho de que Bt Bs tiene distribucin N(0, |ts| 2 ). o 150. Simplemente derive como indica la ecuacin diferencial. o 151. Complete el cuadrado en u y construya una densidad normal en el integrando. 152. Para los incisos (a) y (b) use el hecho de que la variable Bt Bs tiene distribucin N(0, |t s|). Para el inciso (c) suponga que s t. Entonces o 2 2 2 E(Bt Bs ) = E((Bt Bs )Bs + Bs ) = E(Bt Bs )E(Bs )+ E(Bs ) = E(Bs ) = s. Para el inciso (d) considere nuevamente que 0 s < t. Entonces (Bt , Bs ) = m n{s, t}/ st = s/t. 153. El proceso Bt es integrable y adaptado a su ltracin natural. Para 0 s < t, o E(Bt | Fs ) = E((Bt Bs ) + Bs | Fs ) = E(Bt Bs ) + Bs = Bs .
287
2 154. El proceso Bt t es integrable y adaptado a la ltracin natural del movio 2 miento Browniano. Para 0 s < t, E(Bt t | Fs ) = E((Bt Bs )2 + 2Bt Bs 2 2 2 2 Bs t | Fs ) = E((Bt Bs )2 )+2Bs E(Bt | Fs )Bs t = (ts)+2Bs Bs t = 2 Bs s.
155. 156. 157. 158. El proceso es integrable y adaptado a su ltracin natural. Adems pao a 2 2 ra tiempos 0 s < t, E(ecBt c t/2 | Fs ) = E(ec(Bt Bs )+cBs c t/2 | Fs ) 2 = E(ec(Bt Bs ) ) ecBs c t/2 . Calcule ahora esta esperanza usando la funcin o generadora de momentos de la distribucin normal y simplique. La esperano za y varianza se calculan usando tambin la funcin generadora de momentos. e o 159. fBt |(B0 ,B1 ) (x|(0, 0)) = fB0 ,Bt ,B1 (0, x, 0)/fB0 ,B1 (0, 0) = p(t, 0, x)p(1t, x, 0)/p(1, 0, 0). Substituya la probabilidad de transicin p(t, x, y), simplique y encuentre la o densidad N(0, t(1 t)). 160. fBt |(Bt1 ,Bt2 ) (x|(a, b)) = fBt1 ,Bt ,Bt2 (a, x, b)/fBt1 ,Bt2 (a, b) = p(t1 , 0, a)p(t t1 , a, x)p(t2 t, x, b)/p(t1 , 0, a)p(t2 t1 , a, b). Substituya la probabilidad de transicin p(t, x, y), simplique y encuentre la densidad N(, 2 ), con y 2 o los especicados.

161. Use el hecho de que si X tiene distribucin N(0, 1), entonces X 2 tiene diso tribucin 2 (1). Adems la suma de n variables independientes con distribuo a cin 2 (1) tiene distribucin 2 (n). La funcin de densidad de la distribucin o o o o 2 (n) es, para x > 0, f (x) = 162. 163. 1 (n/2) 1 2
n/2
xn/21 ex/2 .
288
Clculo estocstico a a
Integral de It o 164.
Frmula de It o o 165. Use la frmula de It para el movimiento Browniano y la funcin o o o a) f (x) = x2 . b) f (x) = x3 . c) f (t, x) = tx. 166. Tome f (x) = x3 y el movimiento Browniano en la frmula de It. o o
Bibliograf a
[1] Basu A. K. Introduction to stochastic processes. Alpha Science International Ltd., 2003. [2] Bingham N. H. Doob: a half century on. Journal of Applied Probability, Vol. 42, 257266, 2005. [3] Brown R. A brief account of Microscopical Observations made in the Months of June, July, and August, 1827, on the Particles contained in the Pollen of Plants; and on the general Existence of active Molecules in Organic and Inorganic Bodies, Philosophical Magazine N. S. 4, 161-173, 1828. [4] Brzeniak Z. y Zastawniak T. Basic stochastic processes. Springer, 1999. z [5] Burkholder D. y Protter P. Joseph Leo Doob, 1910-2004. Stochastic Processes and their Applications, Vol. 115, 1061-1072, 2005. [6] Caballero M. E. et al. Cadenas de Markov: Un enfoque elemental. Aportaciones Matemticas, Serie Textos, 29. SMM, 2004. a [7] Chung K. L. Markov chains with stationary transition probabilities (Die Grundlehren der mathematischen Wissenschaften in Einzeldarstellungen Band 104). Springer, 1960. [8] Chung K. L. y Williams R. J. Introduction to stochastic integration. Birkhuser, 1983. a [9] Cohn D. L. Measure theory. Birkhuser, 1980. a [10] Einstein A. Investigations on the theory of the Brownian movement. Dover, 1956. 289
290
Bibliograf a
[11] Feller W. Introduccin a la teora de probabilidades y sus aplicaciones. Limusa, o 1973. [12] Gard T. C. Introduction to stochastic dierential equations. Marcel Dekker, 1988. [13] Grimmett G. R. y Stirzaker D. R. Probability and random processes. Clarendon Press, Oxford, 1982. [14] Gut A. Probability: a graduate course. Springer, 2005. [15] Higham D. J. (2001) An algorithmic introduction to numerical simulation of stochastic dierential equations. SIAM Review Vol. 43, No. 3, pp. 525-546. [16] Hoel P. G., Port S. C. y Stone C. J. Introduction to stochastic processes. Hougthon Miin Company, 1972. [17] Jones P. W. y Smith P. Stochastic processes: an introduction. Arnold, 2001. [18] Jordan D. W. y Smith P. Mathematical techniques. Oxford University Press, 1997. [19] Karlin S. y Taylor H. M. A rst course in stochastic processes. Academic Press, 1975. [20] Klebaner F. C. Introduction to stochastic calculus with applications. Imperial College Press, 1998. [21] Kloeden P. E. y Platen E. Numerical solution of stochastic dierential equations. SpringerVerlag, 1999. [22] Kuo H. Introduction to stochastic integration. Springer, 2006. [23] Lawler G. F. Introduction to stochastic processes. Chapman & Hall / CRC, 2006. [24] Nelson E. Dynamical theories of Brownian motion. Princeton University Press, 1967. [25] Norris J. Markov chains. Cambridge University Press, 1997. [26] ksendal B. Stochastic dierential equations: an introduction with applications. SpringerVerlag, 1992. [27] Protter P. H. Stochastic integration and dierential equations. Springer, 1990.
Bibliograf a [28] Resnick S. Adventures in stochastic processes. Birkhuser, 1992. a
291
[29] Revuz D. y Yor M. Continuous martingales and Brownian motion. SpringerVerlag, 1991. [30] Rincn L. Sobre el problema del mono que escribe caracteres al azar. Miso celnea Matemtica 42, SMM, 7990, 2006. a a [31] Ross S. A rst course in probability - 4th ed. Macmillan Publishing Company, 1994. [32] Snell J. L. A Conversation with Joe Doob. Statistical Science, Vol. 12, No. 4, 301311, 1997. [33] Snell J. L. Obituary: Joseph Leonard Doob. Journal of Applied Probability, Vol. 42, 247256, 2005. [34] Spitzer F. Principles of random walk. 2nd. ed. Springer, 2001. [35] Steele J. M. Stochastic calculus and nancial applications. SpringerVerlag, 2001. [36] Stirzaker D. Stochastic processes and models. Oxford University Press, 2005. [37] Taylor H. M. y Karlin S. An introduction to stochastic modeling. Academic Press, 1994. [38] Tudor C. Procesos estocsticos. Aportaciones Matemticas, Serie Textos 2, a a Sociedad Matemtica Mexicana, 1994. a
Indice
Abel lema, 256 Cadena de Markov, 23 a tiempo continuo, 120 comunicacin de edos, 38 o de dos estados, 28 de Ehrenfest, 31 de inventarios, 34 de la caminata aleatoria, 30 de la la de espera, 33 de rachas de xitos, 29 e de ramicacin, 32 o de v.a.s independientes, 28 del jugador, 31 distribucin inicial, 26 o ergdica, 40 o estacionaria, 24 existencia, 26 nita, 24 irreducible, 40 recurrente, 50 regular, 77 reversible, 80 transitoria, 50 cadena de Markov accesibilidad de edos, 38 Caminata aleatoria, 5 asimtrica, 7 e del jugador, 14
simtrica, 7 e Chapman-Kolmogorov, 35, 195 Clase aperidica, 43 o peridica, 43 o Clases de comunicacin, 39 o Clases cerradas, 41 Coeciente de difusin, 237 o de tendencia, 237 Comunicacin, 38 o Conabilidad, 149 Correccin de It, 231 o o Coseno hiperblico, 113 o Delta de Kronecker, 27 Deriva, 237 Desigualdad de Jensen, 260 Distribucin o estacionaria, 66 invariante, 66 reticulada, 257 tipo lattice, 257 Distribuciones nito dimensionales, 255 Doob, J. L., 182 Downcrossing, 174 Drift, 237 Ecuacin o 292
Indice de balance detallado, 81 de calor, 195 de Chapman-Kolmogorov, 35, 195 de difusin, 195 o de renovacin, 140, 141 o de Wald, 257 estocstica, 237 a solucin fuerte, 238 o Ecuaciones de Kolmogorov, 126, 129 hacia atrs, 126 a Espacio C 1 , 234 C 2 , 234 L2 (P ), 222 L2 (P dt), 222 H2 , 226 2 H0 , 223 2 Lloc , 229 de estados, 1 parametral, 1 Esperanza condicional, 258 Estado absorbente, 40 aperidico, 42 o peridico, 42 o recurrente, 47 recurrente nulo, 61 recurrente positivo, 61 transitorio, 47 Estrategia de juego, 165 Euler-Maruyama, 241 Fatou lema, 256 Filtracin, 158 o cannica, 158 o continua por la derecha, 159 estndar, 159 a
293
natural, 158 Funcin o de conabilidad, 149 de intensidad, 110 de renovacin, 140 o de supervivencia, 149 de tasa de falla, 149 de valor medio, 110 delta de Kronecker, 27 hazard, 149 variacin cuadrtica de una, 198 o a variacin de una, 198 o Funciones dir. Riemann integrables, 260 Igualdad de procesos, 255 Independencia de procesos, 255 Integrabilidad uniforme, 177 Integral estocstica, 221 a como un proceso, 228 de It, 224, 226, 228, 229 o de Stratonovich, 231 extensin por aproximacin, 226 o o extensin por localizacin, 229 o o para procesos simples, 223 propiedades, 233 It o correcin, 231 o frmula de, 234, 239 o integral, 224, 226, 228, 229 isometr de, 224, 227 a proceso de, 237 Kronecker, 27 Lema de Abel, 256 de Fatou, 256
294
Mtodo de discretizacin, 241 e o Martingala, 4, 161 de de Moivre, 186 detenida, 166 estrategia de juego, 165, 167 exponencial, 219 producto, 186 Martingalas teorema de convergencia, 175 teorema de representacin, 180 o Matriz de prob. de transicin, 24 o doblemente estocstica, 26 a estocstica, 26 a regular, 77 McKean Tabla de multiplicacin, 239 o Movimiento Browniano, 189 estndar, 191, 194 a exponencial, 243 geomtrico, 242 e martingala, 196 multidimensional, 202 probabilidad de transicin, 193 o radial, 204 recurrencia por vecindades, 213 puntual, 210 unidimensional, 191 variacin, 200 o variacin cuadrtica, 199 o a N mero de cruces, 173 u Notacin o peque a, 257 o n Parmetros innitesimales, 125 a Periodo, 42 Probabilidades de transicin, 24, 27 o de transicin en n pasos, 27 o
Indice de transicin en un paso, 24 o innitesimales, 126 Problema de la ruina del jugador, 14 Proceso, 1 a tiempo continuo, 1 a tiempo discreto, 1 adaptado, 159 con incrementos estacionarios, 4 con incrementos indep, 3 de Bessel, 204 de Cox, 110 de ensayos independientes, 3 de It, 237 o de L`vy, 4 e de Markov, 3 de muerte, 132 de nacimiento puro, 130 de nacimiento y muerte, 127 de Ornstein-Uhlenbeck, 246 de Poisson, 98, 105, 106 compuesto, 111 generalizado, 112 homogneo, 98 e no homogneo, 108 e simulaciones, 103 de renovacin, 138 o de saltos, 118 de Wiener, 191 de Yule, 132 detenido, 165 distribuciones n. dim., 255 equivalencia de s, 255 espacio de estados, 1 espacio parametral, 1 estacionario, 3 ltracin de un, 158 o Gausiano, 4 historia de un , 158 igualdad de s, 255
Indice independencia, 255 indistinguibilidad, 255 modicacin de un , 255 o predecible, 159 realizacin de un , 2 o simple, 223 trayectoria de un , 2 versin de un , 255 o Propiedad de Markov, 3 de prdida de memoria, 99 e de semigrupo, 123 Propiedad de prdida de memoria, 143 e Puente Browniano, 219, 249 densidad, 219 Racha de xitos, 29 e Recurrencia, 47 nula, 61 positiva, 61 Renovacin o ecuacin de, 141 o funcin de, 140 o Seno hiperblico, 113 o Stratonovich, 231 Submartingala, 161 Supermartingala, 161 Tcnica de acople, 75 e Tabla de multiplicacin de McKean, 239 o Teorema de conv. de martingalas de Doob, 175 de convergencia dominada, 257 de convergencia montona, 256, 259 o de paro opcional, 169 de representacin de martingalas, 180 o teorema ergdico para cadenas, 59 o Tiempo s de estancia, 98, 118 s de interarribo, 98 de paro, 159 de primera visita, 45, 52, 60 de vida restante, 142 medio de recurrencia, 53, 61 Tiempo de paro, 160, 161 Transitoriedad, 47 Variacin, 198 o cuadrtica, 198 a Wald ecuacin de, 257 o
295

Procesos

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Procesos

Caricato da

Copyright:

Formati disponibili

Introduccin a los o PROCESOS ESTOCASTICOS

269 269 270 277 280 281 282 286 288

Cap tulo 1. Introduccion

2.1. Caminatas aleatorias

cualquier n 0, y para cualesquiera enteros i y j. p si j = i + 1, = j | Xn = i) = q si j = i 1, 0 otro caso.

Cap tulo 2. Caminatas aleatorias

2.1. Caminatas aleatorias

1 (n + x)) 2 p 2 (n+x) q 2 (nx) .

Cap tulo 2. Caminatas aleatorias

2.1. Caminatas aleatorias

Cap tulo 2. Caminatas aleatorias

Multiplicando (2.3) por tn , sumando y cambiando el orden de las sumas se obtiene

k=0 n=k f k tk k=0

2.1. Caminatas aleatorias

n=0 n=0 n=0

1/2 (4pqt2 )n n (2.8)

fn = l G(t) = 1 (1 4pq)1/2 = 1 |p q|. m

Cap tulo 2. Caminatas aleatorias

2.2. El problema del jugador

El problema del jugador

= (q/p)2 (u1 1) . . . = (q/p)k1 (u1 1).

2.2. El problema del jugador

si p = 1/2, si p = 1/2. (2.13)

uk 1 p = 0.01 p = 0.2 p = 0.35 p = 0.5

p = 0.65 p = 0.8 p = 0.99 10 20 30 40 50

Cap tulo 2. Caminatas aleatorias

2.2. El problema del jugador

Ahora se hace uso de la condicin mN = 0, y se obtiene o m1 = Substituyendo en (2.15), mk = Sk1 1 SN 1 p

Substituyendo en (2.16) y simplicando, despus de algunos clculos se llega a la e a respuesta enunciada.

2.2. El problema del jugador

Cap tulo 2. Caminatas aleatorias

3.1. Propiedad de Markov

p00 p10 p20 . . .

p01 p11 p21 . . .

p02 p12 p22 . . .

Cap tulo 3. Cadenas de Markov

3.1. Propiedad de Markov

Cap tulo 3. Cadenas de Markov X1 y X2 conjuntamente. P =

c) El proceso Xn = 1 + + n es una cadena de Markov con matriz

Cap tulo 3. Cadenas de Markov

Cap tulo 3. Cadenas de Markov

3.3. Ecuacion de Chapman-Kolmogorov

pik (r) pkj (n r).

Cap tulo 3. Cadenas de Markov

P (Xn = j, Xr = k, X0 = i)/P (X0 = i) P (Xn = j | Xr = k) P (Xr = k | X0 = i) pkj (n r) pik (r).

3.3. Ecuacion de Chapman-Kolmogorov

la matriz resultante de multiplicar P consigo misma n veces. pij (n) =

pi,i1 (1) pi1 ,j (n 1) pi,i1 (1) pi1 ,i2 (1) pi2 ,j (n 2)

pi,i1 (1) pi1 ,i2 (1) pin1 ,j (1)

p01 (n) p11 (n) . . .

Cap tulo 3. Cadenas de Markov

Q Dn Q1 1 1 1 a+b a b b b a a 1 0 0 (1 a b)n + (1 a b)n a+b b 1 a 1 . 1 a+b

Particin de un espacio de estados o en clases de comunicacin o

Cap tulo 3. Cadenas de Markov

C(0) 1 1/2 P = 0 1/2 0 0 1/2 0 0 1/2 1/2 1/2 0 0 0 0 0 1

3.5. Clases cerradas

Cap tulo 3. Cadenas de Markov

Demostracin. Si pii (n) = 0 para cada n 1, entonces d(i) = 0 y por lo tanto la o

Cap tulo 3. Cadenas de Markov

3.7. Primeras visitas

a) P (01 = n) = (1 a)n1 a, para n = 1, 2, . . .

pik (1) pkj (1). pik (1) P (kj = n),

Cap tulo 3. Cadenas de Markov