Processos Estocasticos

Luis Henrique Assumpcao Lolis

26 de maio de 2014

Luis Henrique Assumpcao Lolis Processos Estocasticos 1

Conteudo

1 Introducao

2 Definicao

3 Especificando um processo aleatorio

4 Processos no domnio do tempo discreto

5 Processos de Poisson

6 Processo Gaussiano e Wiener

7 Processos Aleatorios Estacionarios

Luis Henrique Assumpcao Lolis Processos Estocasticos 2

Sumario

1 Introducao

2 Definicao

3 Especificando um processo aleatorio

4 Processos no domnio do tempo discreto

5 Processos de Poisson

6 Processo Gaussiano e Wiener

7 Processos Aleatorios Estacionarios

Luis Henrique Assumpcao Lolis Processos Estocasticos 3

Introducao

O resultado de um experimento para a ser uma funcao no

tempo ou no espaco.
Em sistemas de comunicacao a informacao que e um sinal em
funcao do tempo e um processo estocastico.
Processos estocasticos e processos aleatorios sao sinonimos.
Ex:
Intensidade luminosa de um filme.
Musica.
Sequencia de dados.
Alguns processos caminham juntos no tempo:
A temperatura em uma determinada cidade.
A demanda de energia eletrica nessa cidade.

Luis Henrique Assumpcao Lolis Processos Estocasticos 4

Conceitos a serem abordados

Processos Aleatorios - Famlia Indexada de V.A.s

Probabilidade conjunta dentro de uma famlia (Ex: a
temperatura em dois instantes de tempo).
Distribuicoes conjuntas
Media e covariancia
Processo estacionario - regime permanente.
Medias no tempo e estimacao de parametros.
Representacao por series de Fourier.

Luis Henrique Assumpcao Lolis Processos Estocasticos 5

Sumario

1 Introducao

2 Definicao

3 Especificando um processo aleatorio

4 Processos no domnio do tempo discreto

5 Processos de Poisson

6 Processo Gaussiano e Wiener

7 Processos Aleatorios Estacionarios

Luis Henrique Assumpcao Lolis Processos Estocasticos 6

Definicao

Os resultados possveis de um experimento sao denotados por

dentro de um espaco de amostras S. O processo aleatorio e
um resultado que e uma funcao no tempo:
X(t, ), t I
A funcao no tempo e chamada de realizacao, amostra do
caminho, amostra da funcao.
Fixando um instante tk no tempo (como tirar uma foto da
funcao), para todas as amostras, representa uma variavel
aleatoria X(tk , ).
A famlia de V.A.s indexadas por t, {X(t, , t I}) e o que
chamamos de processo aleatorio ou processo estocastico

Luis Henrique Assumpcao Lolis Processos Estocasticos 7

0123456

25 29 28 27 2
0123496

25 29 28 27 2
0123486

25 2
29 28 27

 
!"#$% &
Luis Henrique Assumpcao Lolis Processos Estocasticos 8
Exemplos

Sequencia Binaria Aleatoria.

Senos Aleatorios.
34678 34679
34
67


012
34 346

0 2

!"#$%&'()!%$**+,'"%-./!"#$%&'()!%$*
+(#-0
Luis Henrique Assumpcao Lolis Processos Estocasticos 9
Sumario

1 Introducao

2 Definicao

3 Especificando um processo aleatorio

4 Processos no domnio do tempo discreto

5 Processos de Poisson

6 Processo Gaussiano e Wiener

7 Processos Aleatorios Estacionarios

Luis Henrique Assumpcao Lolis Processos Estocasticos 10

Introducao

Necessidade de especificar intervalos e tempos distintos.

P [x1 < X(t1 ) x2 , x1 < X(t2 ) x2 ]
Probabilidade condicional do processo (EX: predicao para
compressao de fala)
P [a < X(tk+1 ) b|X(t1 ) = x1 , X(t2 ) = x2 , . . . , X(tk ) = xk ]

Luis Henrique Assumpcao Lolis Processos Estocasticos 11

Distribuicoes conjuntas de amostras no tempo

X1 , X2 , . . . , Xk , V.A.s do processo X(t, ) amostradas em

t1 , t2 , . . . , tk
X1 = X(t1 , ), X2 = X(t2 , ), . . . , Xk = X(tk , )
A f.d.a. conjunta do processo nos instantes tk e a f.d.a
conjunta do vetor aleatorio X1 , X2 , . . . , Xk de ordem k
Fx1 ,x2 ,...,xk (X1 , X2 , . . . , Xk ) = P [X(t1 ) x1 , X(t2 )
x2 , . . . , X(tk ) xk ]
A f.d.p conjunta do processo contnuo como sendo a derivada
da f.d.a conjunta
px1 ,x2 ,...,xk (X1 , X2 , . . . , Xk )dX1 . . . dXn = P {x1 < X(t1 )
x1 + dx1 , . . . , xk < X(tk ) xk + dxk ]

Luis Henrique Assumpcao Lolis Processos Estocasticos 12

Exemplos

Processo Gaussiano i.i.d. Considere Xn sendo uma sequencia

de de variaveis aleatorias i.i.d. com distribuicao gaussiana. de
media zero e variancia X 2 .

px1 ,x2 ,...,xk (X1 , X2 , . . . , Xk ) =

1 2 2 2 2

2 k/2
e(x1 +x2 ++xk )/(2 )
(2 )
Sinal ruidoso filtrado:
Xj = + Nj , para j = 0, 1, . . .
Media das amostras: Sn = (X1 + X2 + + Xn )/n, para
n = 0, 1, . . .
Var[Sn ] = 2 /n e E[Sn ] =

Luis Henrique Assumpcao Lolis Processos Estocasticos 13

Exemplos

Processo Gaussiano filtrado.

Temos Xj como uma sequencia de V.A. i.i.d. de um sinal de
tensao corrompida por um sinal de rudo com media zero e
variancia 2 : Xj = + nj para j = 0, 1, . . ..
Agora considere que esse sinal passa por um filtro que tira a
media do rudo:
Sn = (X1 + X2 + + Xn )/n para n = 0, 1, . . .
Sn e a media das amostras da sequencia i.i.d. e

Luis Henrique Assumpcao Lolis Processos Estocasticos 14

Media, Autocorrelacao e Autocovariancia

Media do processo para o instante t:

Z
mx (t) = E[X(t)] = xpx(t) (X)dX

Variancia do processo para o instante t:
Z
Var[X(t)] = (x mx (t))2 px(t) (X)dX

Autocorrelacao do processo para os instantes t1 , t2 :
Z ZR
x (t1 , t2 ) = E[X(t1 )X(t2 )] =

x1 x2 px(t1 ),x(t2 ) (X1 , X2 )dX1 dX2

Autocovariancia do processo para os instantes t1 , t2 :
Cx (t1 , t2 ) = E[{X(t1 ) mx (t1 )}{X(t2 ) mx (t2 )}]
Cx (t1 , t2 ) = Rx (t1 , t2 ) mx (t1 )mx (t2 )
Var[X(t)] = E[(X(t) mx (t))2 ] = Cx (t, t)

Luis Henrique Assumpcao Lolis Processos Estocasticos 15

Coeficiente de Autocorrelacao

Coeficiente de Autocorrelacao do processo para os

instantes t1 , t2 :
Cx (t1 , t2 )
x (t1 , t2 ) = p p
Cx (t1 , t1 ) Cx (t2 , t2 )
Se o processo passa para o domnio do tempo discreto, o sinal
deixa de ser uma funcao contnua do tempo t e passa a ser
uma amostra de numero n.
Exemplos: Calcular a media a autocorrelacao e
autocovariancia dos processos: x(t) = A cos(2t) e
y(t) = cos(2t + )

Luis Henrique Assumpcao Lolis Processos Estocasticos 16

Variaveis aleatorias multiplas

As vezes precisamos comparar dois processos em dois

instantes diferentes.
Ex: Uma sequencia aleatoria enviada e sequencia recebida.
Exemplo de representacao da f.d.p conjunta de duas V.A.s
em dois instantes de tempo:
px(t1 ),y(t2 ) (X, Y ) =
P x < X(t1 ) x + dx, y < Y (t2 ) y + dy
X e Y (sao vetores em t) podem ser independentes se:
Fx,y (X, Y ) = Fx (X)Fy (Y )
Correlacao cruzada de X em t1 e Y em t2 :
Rx,y (t1 , t2 ) = E[X(t1 )Y (t2 )]
Sinais ortogonais: Rx,y (t1 , t2 ) = 0, t1 , t2

Luis Henrique Assumpcao Lolis Processos Estocasticos 17

Ex: Sinal com rudo

Y (t) = X(t) + N (t)

Vamos assumir X(t) e N (t) independentes.
Calculando a correlacao cruzada entre X e Y .
Rx,y (t1 , t2 ) = E[X(t1 )Y (t2 )] = E[X(t1 ){X(t2 ) + N (t2 )}]
Rx (t1 , t2 ) + E[X(t1 )N (t2 )]
com X e N independentes:
= Rx (t1 , t2 ) + mX (t1 )mN (t2 )

Luis Henrique Assumpcao Lolis Processos Estocasticos 18

Sumario

1 Introducao

2 Definicao

3 Especificando um processo aleatorio

4 Processos no domnio do tempo discreto

5 Processos de Poisson

6 Processo Gaussiano e Wiener

7 Processos Aleatorios Estacionarios

Luis Henrique Assumpcao Lolis Processos Estocasticos 19

Passos Aleatorios

+1 se In = 1
Dn =
1 se In = 0
E[Dn ] = 2p 1
VAR[Dn ] = 4p(1 p)

Luis Henrique Assumpcao Lolis Processos Estocasticos 20

V.A.s i.i.d.

Uma sequencia de variaveis aleatorios independentes

identicamente distribudas.
Cada V.A. com f.d.a Fx (X), media m e variancia 2 . Xn e
um processo aleatorio i.i.d.
Autocovariancia
Media P/ n1 6= n2 Cx (n1 , n2 ) = Autocorrelacao
mx (n) = E[(Xn1 m)]E[(Xn2 ) m] = 0 Rx (n1 , n2 ) =
E[Xn ] = m P/ n1 = n2 Cx (n1 , n2 ) + m2
Cx (n1 , n2 ) = E[(Xn1 m)2 ] = 2

Luis Henrique Assumpcao Lolis Processos Estocasticos 21

Processos de soma
 
n
Contagem binomial: P [Sn = k] = pj (1 p)nj , para
j
todo 0 j n
Andar aleatorio (o andar do bebado), sendo a probabilidade
da soma a posicao final e p a probabilidade de um
deslocamento (Ex:+1) e (1 p) a probabilidade de outro
deslocamento (Ex:-1)
p = 3/4 para o deslocamento +1 e quatro
p = 1/2 e quatro realizacoes temporais.
realizacoes temporais.
93 933
73
833
53
733
3
53 633
73 533
93 433
33 433 533 633 733 833 933
33 33 33 4333 33 433 533 633 733 833 933
33 33 33 4333
012 012
Luis Henrique Assumpcao Lolis Processos Estocasticos 22
Ex: Andar aleatorio de uma dimensao

E[Sn ] = nE[X] = nm
VAR[Sn ] = n VAR[X] = n 2

Luis Henrique Assumpcao Lolis Processos Estocasticos 23

Sumario

1 Introducao

2 Definicao

3 Especificando um processo aleatorio

4 Processos no domnio do tempo discreto

5 Processos de Poisson

6 Processo Gaussiano e Wiener

7 Processos Aleatorios Estacionarios

Luis Henrique Assumpcao Lolis Processos Estocasticos 24

Processos de Poisson

O numero de ocorrencias em um intervalo t, N (t). Sendo que

a taxa media de ocorrencias e ocorrencias por segundo. No
intervalo [0, t] fica t. O tempo entre eventos segue uma dist.
exponencial.
(t)k t
P [N (t) = k] = e , para k = 0, 1, . . .
k!
E[N (t) = k] = t e VAR[N (t)] = t
f.m.p. conjunta do processo de poisson: P [n(t1 ) = i, N (t2 ) =
j] = P [N (t1 ) = i]P [N (t2 ) N (t1 ) = j i]
Autocovariancia:
CN (t1 , t2 ) = E[(N (t1 ) t1 )(N (t2 ) t2 )] =
= E[(N (t1 )
t1 ) {N (t2 ) N (t1 ) t2 + t1 + (N (t1 t1 ))}]
= VAR[N (t1 )] = t1

Luis Henrique Assumpcao Lolis Processos Estocasticos 25

Ex:Processos de Poisson

Pedidos chegam em uma secretaria eletronica de acordo com

um processo de poisson de 15 pedidos por minuto. Encontre a
probabilidade de que em 1 minuto, cheguem 3 pedidos e nos
primeiros 10 segundos e que se cheguem 2 pedidos nos
ultimos 15 segundos.

Luis Henrique Assumpcao Lolis Processos Estocasticos 26

Sumario

1 Introducao

2 Definicao

3 Especificando um processo aleatorio

4 Processos no domnio do tempo discreto

5 Processos de Poisson

6 Processo Gaussiano e Wiener

7 Processos Aleatorios Estacionarios

Luis Henrique Assumpcao Lolis Processos Estocasticos 27

Processo Gaussiano

X1 = X(t1 ), X2 = X(t2 ), X3 = X(t3 ), . . . , Xk = X(tk )

T 1
e1/2(xm) K (xm)
fX1 ,X2 ,...,Xk (x1 , x2 , . . . , xk ) =
(2)k2/ |K|1/2

CX (t1 , t1 ) CX (t1 , t2 ) CX (t1 , tk )
mX (t1 )
..
CX (t2 , t1 ) CX (t2 , t2 ) CX (t2 , tk )
m= K =

. .. .. ..
. . .
mX (tk )
CX (tk , t1 ) CX (tk , tk )

Luis Henrique Assumpcao Lolis Processos Estocasticos 28

Ex: Processo Gaussiano Contnuo

Suponha X(t) um processo gaussiano com media e

covariancia definidos por:
mX (t) = 3t e CX (t1 , t2 ) = 9e2|t1 t2 |
Calcular P [X(3) < 3] e P [X(1) + X(2) > 2]

Luis Henrique Assumpcao Lolis Processos Estocasticos 29

Wiener

Wiener e um processo gaussiano cuja variancia aumenta com

o tempo.
Se considerar um passo h de probabilidade p = 1/2 a cada
segundos.
E[hSn ] = 0, Var[hSn ] = h2 n
Agora reduzindo o intervalo tendendo a zeroe o passo
tendendo a zero 0 e h 0 e com h = a

Var[X(t)] = ( )2 (t/) = t
Como o teorema do limite central direciona a soma de V.A.s
i.i.d. para uma gaussiana gaussiano, entao:
1 x2
fX(t) (x) = e 2t
2t

Luis Henrique Assumpcao Lolis Processos Estocasticos 30

Wiener

4
316
3
216
2
016
0
016
2
216
30 012 013 014 015 016 017 018 019 01
2
Luis Henrique Assumpcao Lolis Processos Estocasticos 31
Sumario

1 Introducao

2 Definicao

3 Especificando um processo aleatorio

4 Processos no domnio do tempo discreto

5 Processos de Poisson

6 Processo Gaussiano e Wiener

7 Processos Aleatorios Estacionarios

Luis Henrique Assumpcao Lolis Processos Estocasticos 32

Estacionariedade

A aleatoriedade do processo nao muda no tempo. Ex: media e

variancia constantes.
Regime permanente.
As propriedades conjuntas em (t0 , t1 ) e (t0 + , t1 + ) ficam
as mesmas.

Processo estacionario
A probabilidade conjunta independe do instante inicial de
observacao:

FX(t1 ),...,X(tk ) (x1 , . . . , xk ) = FX(t1 + ),...,X(tk + ) (x1 , . . . , xk )

para qualquer , todo k e todos t1 , . . . , tk

Luis Henrique Assumpcao Lolis Processos Estocasticos 33

Estacionariedade de primeira ordem

FX(t) (x) = FX(t+ ) (x) = FX (x), para todo t.

Media e variancia constantes para todo t
mX(t) = E[X(t)] = m, para todo t
Var[X(t)] = E[(X(t) m)2 ] = 2 , para todo t

Luis Henrique Assumpcao Lolis Processos Estocasticos 34

Estacionariedade de segunda ordem

FX(t1 ),X(t2 ) (x1 , x2 ) = FX(0),X(t2 t1 ) (x1 , x2 ) = FX (x1 , x2 ),

para todo t1 , t2 .
Autocorrelacao e Autocovariancia constantes pata todo t2 t1
RX(t) (t1 , t2 ) = RX (t2 t1 ), para todo t1 , t2 .
CX(t) (t1 , t2 ) = CX (t2 t1 ), para todo t1 , t2 .

Luis Henrique Assumpcao Lolis Processos Estocasticos 35