Universidad del Bio-Bio

Facultad de Ciencias
Departamento de Estadstica
Ingeniera Estadstica
Trabajo Procesos Estoc
asticos
Resumen: Cadena de Markov a tiempo continuo- Proceso de Poisson.
Virginia Luengo Ortega-Alumna Ingeniera Estadstica

1.

Introducci
on

En el curso de procesos estocasticos trabajamos con diversos metodos y procesos que sirven
en cuando a la formacion profesional en este trabajo presentaremos dos temas de relevancia los
cuales haremos mencion a continuacion:
Cadena de Markov a tiempo continuo:
En la teora de la probabilidad, se conoce como cadena de Markov o modelo de Markov a un
tipo especial de proceso estocastico discreto en el que la probabilidad de que ocurra un evento
depende solamente del evento inmediatamente anterior.
Esta caracterstica de falta de memoria recibe el nombre de propiedad de Markov. Si en
lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el conjunto de
los n
umeros naturales, se consideran las variables aleatorias Xt con t que vara en un intervalo
continuo del conjunto de n
umeros reales, tendremos una cadena en tiempo continuo.
Proceso de Poisson:
En estadstica y simulacion, un proceso de Poisson, tambien conocido como ley de los sucesos
raros, es un proceso estocastico de tiempo continuo que consiste en contar eventos raros que
ocurren a lo largo del tiempo.
El tiempo entre cada par de eventos consecutivos tiene una distribucion exponencial con el
parametro alpha , y cada uno de estos tiempos entre llegadas se supone que es independiente
de otros tiempos entre llegadas. Es llamado as por el matematico Simeon Denis Poisson 1781
1840.

2.
2.1.

Conceptos Previos:
Procesos estoc
asticos

En estadstica, y especficamente en la teora de la probabilidad, un proceso estocastico

es un concepto matematico que sirve para caracterizar una sucesion de variables aleatorias
(estocasticas) que evolucionan en funcion de otra variable, generalmente el tiempo.
Cada una de las variables aleatorias del proceso tiene su propia funcion de distribucion de
probabilidad y, entre ellas, pueden estar correlacionadas o no.

2.2.

Proceso estacionario:

Un proceso es estacionario en sentido estricto si la funcion de distribucion conjunta de

cualquier subconjunto de variables es constante respecto a un desplazamiento en el tiempo. Se
dice que un proceso es estacionario en sentido amplio (o debilmente estacionario) cuando se
verifica que: La media teorica es independiente del tiempo; y Las autocovarianzas de orden solo
vienen afectadas por el lapso de tiempo transcurrido entre los dos periodos y no dependen del
tiempo

2.3.

Procesos de markov:

es un fenomeno aleatorio dependiente del tiempo para el cual se cumple una propiedad
especfica: la propiedad de Markov. En una descripcion com
un, un proceso estocastico con la
propiedad de Markov, o sin memoria, es uno para el cual la probabilidad condicional sobre el
estado presente, futuro y pasado del sistema son independientes.

2.4.

Poisson:

En teora de probabilidad y estadstica, la distribucion de Poisson es una distribucion de probabilidad discreta que expresa, a partir de una frecuencia de ocurrencia media, la probabilidad
de que ocurra un determinado n
umero de eventos durante cierto perodo de tiempo.
Concretamente, se especializa en la probabilidad de ocurrencia de sucesos con probabilidades
muy peque
nas, o sucesos RAROS.
El n
umero de resultados que ocurren en un intervalo o region especifica es independiente
del n
umero que ocurre en cualquier otro intervalo o region del espacio disjunto. De esta forma
vemos que el proceso de Poisson no tiene memoria.
La probabilidad de que ocurra un solo resultado durante un intervalo muy corto o en una
region pequena es proporcional a la longitud del intervalo o al tamano de la region y no depende
del n
umero de resultados que ocurren fuera de este intervalo o region.
La probabilidad de que ocurra mas de un resultado en tal intervalo corto o que caiga en tal
region pequena es insignificante. El n
umero X de resultados que ocurren durante un experimento
de Poisson se llama variable aleatoria de Poisson y su distribucion de probabilidad se llama
distribucion de Poisson.
El n
umero medio de resultados se calcula de u igual lambda t, donde t es el tiempo o region
especifico de interes.
Como sus probabilidades dependen de, la tasa de ocurrencia de los resultados, las denotaremos con el smbolo P(x lambda t). La derivacion de la formula para p(x lambda t).
La distribucion de probabilidad de la variable aleatoria de Poisson X, que representa el
n
umero de resultados que ocurren en un intervalo dado o region especfica.

2.5.

Momentos

El valor medio (o media) de una variable aleatoria esta definido como:

Z
E(X) =
xfX (x)dx

(1)

Y en general para cualquier funcion, se puede decir que:

Z
E [g(x)] =
g(x)fX (x)

(2)

Ademas, se define el momento de orden p:



mP = E x

xP fX (x)

(3)

De manera que m0 = 1, m1 = E(X) = mX y m2 = E(X 2 ).

Por otro lado, se define el momento centrado P :
h
i Z
P
P = E (x E(X)) =
(x mX )P fX (x)

(4)

2
De manera que 0 = 1, 1 = 0 y 2 = X
(varianza de X).
2
.
Propiedad: E(X 2 ) = m2X + X
Donde se puede equiparar la ecuacion a los circuitos electricos y considerar E(x2 ) como la
2
potencia total, m2X como la potencia de corriente continua y X
como la potencia de corriente
alterna.
Demostraci
on:


2
X
= E (X mX )2
(5)
 2

2
= E X 2XmX + mX
(6)
 2
 2
= E X E [2XmX ] + E mX
(7)
 2
2
= E X E [2X] mX + mX
(8)
 2
2
= E X 2mX mX + mX
(9)
 2
2
2
X = E X mX
(10)

3.

Procesos Estoc
asticos

3.1.

Concepto de proceso estoc

astico

Un proceso estocastico es una secuencia de experimentos aleatorios. Generalmente esta secuencia es en el tiempo pero no necesariamente.
Para visualizar este concepto:
X(t, ) constituye una familia de funciones, un proceso estocastico, donde t es un instante
de realizacion y es el parametro de la senal.
X(t, 8 ) es una funcion de t.
X(t0 , ) es una variable aleatoria.
X(t0 , 8 ) es un resultado experimental, un n
umero real.
Por ejemplo, se puede tener un proceso en que cual P (0 ) = P (1 ) = 1/2 y X(t, 0 ) = 8t+1,
mientras que X(t, 1 ) = cos(21000t).
Uno de los problemas importantes a resolver es como representar este proceso, ya que cada
una de las realizaciones es una seNal aleatoria que tiene asociada una forma de onda a lo largo
del tiempo.
Lo que se puede hacer es dejar fija una de las dimensiones y caracterizar las otras. Por
ejemplo, si se deja fija la realizacion (es decir, se elige una realizacion en particular), pueden
calcularse los momentos correspondientes:
Z
1
x(t, )dt
(11)
mX () = lm
T T T
Z
1
RXX (, ) = lm
x(t, )x(t + , )dt
(12)
T T T
PX () = RXX (0, )
(13)
Si, en cambio, se deja fijo el instante del tiempo t0 , se pueden obtener otros momentos:
Z
X (t) =
xf (x; t)dx
(14)

Z
2
(x X (t))2 f (x; t)dx
(15)
X (t) =

3.2.
3.2.1.

Clasificaci
on: tiempo continuo
Orden 1

FX (x, t) = P [X(t) x]
dF (x, t)
fX (x, t) =
dx

(16)
(17)

Al comparar las realizaciones de un mismo proceso en distintos instantes de tiempo, se

obtienen las funciones de densidad f (x1 , x2 ; t1 , t2 ).
La autocorrelacion entre dos instantes t1 y t2 sera:
RX (t1 , t2 ) = E [X(t1 )X(t2 )]
Z Z
=
x1 x2 f (x1 , x2 ; t1 , t2 )dx1 dx2

(18)
(19)

Y la probabilidad estara dada por:

fX1 X2 (x1 , x2 ; t1 , t2 ) = P [X(t1 ) x, X(t2 ) x]

(20)

3.3.

Procesos estacionarios

Un proceso estacionario es aquel que es invariante ante una traslacion en el origen de tiempos.
3.3.1.

Proceso estacionario de orden 1

Debe cumplirse que para todo <, sus funciones de probabilidad y de distribucion no
dependan del tiempo, sino solo de x:
FX (x, t) = FX (x, t + )
fX (x, t) = fX (x, t + )

(21)
(22)

Es decir que la probabilidad no cambia ante una traslacion en el origen de tiempos. Por esto
mismo, el valor medio y la varianza seran constantes para todo t: mX (t) = mX y X (t) = X .
3.3.2.

Proceso estacionario de orden 2

Debe cumplirse que para todo <:

FX1 X2 (x1 , x2 , t1 , t2 ) = FX1 X2 (x1 , x2 , t1 + , t2 + )

(23)

Por lo que se puede decir que FX1 X2 (x1 , x2 , t1 , t2 ) = FX1 X2 (x1 , x2 , t2 t1 ), ya que solamente
depende de la diferencia de tiempos entre t1 y t2 .
Que un proceso sea estacionario de orden 2 implica que es estacionario de orden 1, es decir
que su funcion de densidad de probabilidad es independiente del tiempo y que el valor medio
y la varianza son constantes en el tiempo.
Como puede verse en la ecuacion (19, en un proceso estacionario de orden 2 es claro que la
autocorrelacion solo depende de la diferencia de tiempos: RX (t1, t2) = RX (t2 t1) = RX ( ).
Y de la misma manera con CX ( )

Parte I

Procesos de markov a tiempo continuo.

4.

Proceso de markov

Los procesos son u

tiles para estudiar la evolucion de sistemas a lo largo de ensayos repetidos, que a menudo, son perodos sucesivos donde el estado del sistema, en cualquier perodo
particular, no puede determinarse con certeza son llamados tambien markovianos. Es u
til para
describir la probabilidad de que una maquina siga funcionando o se estropeara en el siguiente
periodo y tambien de que un consumidor que compra la marca A en un periodo compre la
marca B en el siguiente perodo.
EN EL MERCADO:
ANALISIS DE PARTICIPACION
Suponga que estamos interesados en analizar la participacion en el mercado y lealtad del
cliente de los dos u
nicos supermercados en un poblado pequeNo. Nos enfocamos en la secuencia
de los viajes de compras de un cliente y suponemos que hace un viaje de compras cada semana,
a uno u otro almacen, pero no a ambos.
ENSAYOS DE PROCESOS:
Eventos que descadenan las transiciones del sistema de un estado a otro, es decir se refiere
a los periodos semanales o viajes de compras.
ESTADO DEL SISTEMA:
Condicion del sistema de cualquier ensayo o periodo particular, es decir tienda particular
seleccionada en una semana.
DE UN ESTADO A OTRO:
PROBABILIDADES DE TRANSICION
Primero para determinar las probabilidades de los diversos estados que ocurren en ensayos
sucesivos, necesitamos informacion sobre la probabilidad de que un cliente permanezca con la
misma tienda o cambie a la tienda competidora conforme continoa el proceso de una semana a
otra y segundo debido a que las probabilidades indican que un cliente puede moverse o hacer
una transicion de un estado en un periodo dado, a otro estado en el siguiente perodo, estas
probabilidades se llaman probabilidades de transicion.

En la teora de la probabilidad y en estadstica, un proceso de Markov, llamado as por el

matemAtico
ruso Andrei Markov, es un fenomeno aleatorio dependiente del tiempo para el
cual se cumple una propiedad especfica: la propiedad de Markov. En una descripcion com
un,
un proceso estocastico con la propiedad de Markov, o sin memoria, es uno para el cual la probabilidad condicional sobre el estado presente, futuro y pasado del sistema son independientes.1
Los procesos de Markov surgen en probabilidad y en estadstica en una de dos maneras:
i) Un proceso estocastico, que se define a traves de un argumento separado, puede demostrarse (matematicamente) que tiene la propiedad de Markov y como consecuencia tiene las
propiedades que se pueden deducir de esta para todos los procesos de Markov.
ii) De mas importancia practica es el uso de la suposicion que la propiedad de Markov es
valida para un proceso aleatorio con el fin de construir un modelo estocastico para este proceso.
En terminos de modelado, suponer que la propiedad de Markov es valida es una de un limitado
n
umero de formas sencillas de introducir dependencia estadstica en un modelo para un proceso
estocastico, de tal manera que permita que la fuerza de la dependencia en los diferentes retardos
decline a medida que el retardo aumenta.
Frecuentemente el termino cadena de Markov se usa para dar a entender que un proceso de
Markov tiene un espacio de estados discreto (infinito o numerable). Usualmente una cadena de
Markov sera definida para un conjunto discreto de tiempos (es decir, una cadena de Markov
de tiempo discreto),2 aunque algunos autores usan la misma terminologa donde tiempo puede
tomar valores continuos.

Se considera una determinada eventualidad que se produce en un soporte continuo (tiempo, lnea, area, espacio,. . . ), de forma independiente y con una cierta estabilidad para una
unidad de soporte prefijada. Como ejemplos se pueden considerar el n
umero de coches que
pasan por un semaforo en un periodo de tiempo, el n
umero de defectos por metro cuadrado de
una pieza de tela, el n
umero de hormigas de una cierta especie en un metro c
ubico de tierra,
etc.
Las tres condiciones en negrita caracterizan al denominado proceso de Poisson, y su v.a.
esta definida por el n
umero de eventos que se producen en una region de tamano fijo.

10

4.1.

Aplicaciones cadenas de markov

Fsica
Las cadenas de Markov son usadas en muchos problemas de la termodinamica y la fsica
estadstica. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo
de difusion de Laplace.
Meteorologa
Si consideramos el clima de una region a traves de distintos das, es claro que el estado
actual solo depende del u
ltimo estado y no de toda la historia en s, de modo que se pueden
usar cadenas de Markov para formular modelos climatolagicos basicos. Por ejemplo se han
desarrollado modelos de recurrencia de las lluvias basados en cadenas de Markov.3
Modelos epidemiologicos
Una importante aplicacion de las cadenas de Markov se encuentra en el proceso GaltonWatson. este es un proceso de ramificacion que se puede usar, entre otras cosas, para modelar
el desarrollo de una epidemia
Internet
El pagerank de una pagina web se define a traves de una cadena de Markov, donde la
posicion que tendra una pagina en el buscador sera determinada por su peso en la distribucion
estacionaria de la cadena.
Simulacion
Las cadenas de Markov son utilizadas para proveer una solucion analtica a ciertos problemas
de simulacion, por ejemplo en teora de colas el Modelo M/M/14 es de hecho un modelo de
cadenas de Markov.
Juegos de azar
Son muchos los juegos de azar que se pueden modelar a traves de una cadena de Markov. El
modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta
en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las cadenas de
Markov en este rubro.
Economa y finanzas
Las cadenas de Markov se pueden utilizar en modelos simples de valuacion de opciones para

determinar cuAndo
existe oportunidad de arbitraje, as como en el modelo de colapsos de una
bolsa de valores o para determinar la volatilidad de los precios. En los negocios, las cadenas de

MArkov
se han utilizado para analizar los patrones de compra de los deudores morosos, para
planear las necesidades de personal y para analizar el reemplazo de equipo.
Genetica
Se emplean cadenas de Markov en teora de genetica de poblaciones, para describir el cambio
de frecuencias genicas en una poblacion pequena con generaciones discretas, sometida a deriva
genetica.
Ha sido empleada en la construccion del modelo de difusion de Moto Kimura.
M
usica
Diversos algoritmos de composicion musical usan cadenas de Markov, por ejemplo el software
Csound o Max
Operaciones
Se emplean cadenas de Markov en inventarios, mantenimiento, flujo de proceso
Redes Neuronales
Se utilizan en las maquinas de Boltzmann (redes neuronales)

11

Parte II

Proceso de poisson
4.2.

Distribuci
on de Poisson

La distribucion de Poisson se obtiene como lmite de la binomial cuando el n

umero de veces
que se realiza el experimento, n, tiende a infinito, la probabilidad de exito, p, tiende a cero y
el n
umero medio de exitos, np, se estabiliza alrededor de un n
umero, , que sera la media y el
valor que caracterizara a la distribucion. Calculando dicho lmite se obtiene:
k
e
k = 0, 1, 2, . . .
k!
La distribucion, que se denota P (), aparece, historicamente, al considerar el n
umero de
llamadas telefonicas realizadas por unidad de tiempo a un mismo telefono, siendo el n
umero
medio de llamadas. Ademas, se puede observar que en la distribucion Poisson la mayor parte de
la masa de probabilidad queda repartida entre un n
umero relativamente pequeNo de valores,
siendo posible que tome otros valores pero con una probabilidad bastante pequeNa. Por ello, a
la distribucion Poisson se le llama distribucion de los sucesos raros.
Sus principales caractersticas son:
P (X = k) =

E[X] = ,

V [X] = ,

MX (t) = e(1e ) .

Todo lo anterior esta referido a una unidad de soporte de tamaNo 1, si se quiere generalizar a
cualquier region de tamaNo t la funcion de cuanta es:
Pt (X = k) = e

k
t (t)

k!

ejemplo: El n
umero medio de vehculos por minuto que llegan a una gasolinera es igual a 2.
Cual es la probabilidad de que en un minuto lleguen 5 vehculos, y la de que en 5 minutos no
lleque ninguno.
Se trata de una distribucion de Poisson, para la que se conoce el n
umero medio, que es igual
al parametro , por lo tanto X P (2) (figura ??). La primera probabilidad pedida es:
P (X = 5) =

25 2
e = 00 036.
5!

Para calcular la otra probabilidad, hay que hacer un cambio de parAmetro

pues la longitud
del intervalo cambia.
Si en un minuto el n
umero medio de vehculos es 2, en cinco minutos sera 10. Por lo tanto
se tiene Y P (10).
100 10
P (Y = 0) =
e
= 00 000045.
0!

12

Comportamiento proceso poisson

../lindos/POPOO.png

Distribucion de Poisson

13

5.

Aplicaciones

Se pueden modelar muchos fenomenos como un proceso de Poisson. El n

umero de sucesos
en un intervalo de tiempo dado es una variable aleatoria de distribucion de Poisson donde el
parametro es la media de n
umeros de sucesos en este intervalo.
El tiempo hasta que ocurre el suceso n
umero k en un proceso de Poisson de intensidad es
una variable aleatoria con distribucion gamma o (lo mismo) con distribucion de Erlang
El ejemplo clasico de fenomenos muy bien descritos matematicamente a traves de un proceso
Poisson fue el de los fallecimientos a causa de la patada de un caballo en el ejercito de Prusia,
seg
un lo demostrado por Ladislaus Bortkiewicz en 1898.
Este economista y estadstico polaco tambien analizo los datos de los suicidios infantiles
conforme a este modelo.
El proceso de Poisson tambien se ha aplicado para los siguientes ejemplos:
N
umero de accidentes de transito (o heridos/fallecidos) en una zona especfica. Goles anotados en un partido de futbol. Solicitudes individuales de documentos en un servidor de Internet.
Emision de partculas debido a decaimiento radiactivo de una sustancia inestable; en este caso
el proceso de Poisson es no homogeneo de una manera predecible; la tasa de emision declina

conforme las partAculas

se emiten.
Potenciales de accion emitidos por una neurona. L. F. Richardson demostro que el estallido
de la guerra se presento como un proceso de Poisson entre 1820 y 1850. El conteo de fotones
que llegan a un fotodiodo, en particular en ambientes con baja luminosidad; este fenomeno
esta relacionado con el llamado ruido de disparo. Las oportunidades para que las empresas
ajusten los precios de nomina.
La llegada de innovaciones en investigacion y desarrollo. La solicitud de llamadas telefonicas
en conmutadores.
En la teora de colas), el n
umero de llamadas entrantes en una central telefonica puede
calcularse como un proceso de Poisson. La cantidad de clientes que entran a una tienda. El
n
umero de coches que pasan por una autopista. La llegada de personas a una fila de espera. La
evolucion de Internet en general (los cambios en las paginas)

5.1.

Ejemplo Proceso Poisson

../popoooo.png
Existen varias definiciones equivalentes de procesos de Poisson. Adoptamos la que nos parece
mas sencilla y generalizable.
Definicion (Proceso de Poisson).
Un proceso puntual Sn : n mayor 0 sobre la semi-recta positiva es un proceso de Poisson
de intensidad lamdda 0 si satisface las siguientes condiciones El proceso tiene incrementos
independientes: para cada coleccion finita de tiempos
los incrementos i = 1, . . . , n son independientes.
Los incrementos individuales N (s, t) igual N(t) N(s) tienen la distribucion Poisson
Nota Bene. La condicion de la Definicion anterior se puede descomponer en dos partes. (a)
Los incrementos son temporalmente homogeneos la distribucion de los incrementos depende
solamente de la longitud del intervalo de tiempo pero no de su posicion) y la Elegimos la Definicion porque tiene la virtud de que se puede extender a sin ninguna dificultad un subconjunto
aleatorio (numerable) de R
se llama un proceso de Poisson de intensidad

14

LAMBDA si, para todo n B(R), las variables aleatorias N(A) satisfacen (a) N(A) tiene la
distribucion Poisson de parametro I)) son conjuntos disjuntos, entonces N(A1), N(A2), . . .
N(An) son variables aleatorias independientes.

15

Conclusi
on Como hemos visto el el informe anterior tratamos sobre dos tematicas importantes para la estadstica y el desarrollo de este curso de procesos estocasticos. los cuales se
refiere a las cadena de markov en tiempo continuo y a proceso de poisson.
en primer lugar analizaremos el proceso de poisson el cual se dedica y su utilidad es analizar
y estudiar los eventos atpicos y sucesos raros para poder modelarlos de mejor manera a lo largo
del tiempo exclusivamente a largo plazo
y las cadenas de markov a tiempo continuo en si podemos concluir que tiene la misma
finalidad que ya hemos visto en el curso las cadenas de markov a tiempo discreto pero ente caso
a lo largo del tiempo.
herramientas que son utiless en areas de investigacion y todas las mencionadas anteiorimente
es la utilidad que podemos encontrar en estos dos item analizados.

16

6.

Bibliografa Y lincografa
Teora elemental de la probabilidad y de los procesos estocasticos-Kai Lai Chung
Probabilidad y estadstica-Michael J. Evans, Jeffrey S. Rosentha
Procesos estocasticos con aplicaciones-Rodrigo Barbosa Correa, Humberto Llins Solano
http://www.slideshare.net/yoratzigl/cadenas-de-markovblogunexpo
http://www.dia.fi.upm.es/ arminda/

17