PROBABILIDADE & PROCESSOS

ESTOCSTICOS

H. Magalhes de Oliveira, docteur

Programa de ps-graduao em Engenharia Eltrica

DINTER UEA-UFPE
E-mail hmo@ufpe.br URL http://www2.ee.ufpe.br/codec/deOliveira.html


SUMRIO DA PARTE I

Conceitos de Probabilidade

lim sup e lim inf, classes monotnicas

lgebra e -lgebra

Continuidade

Independncia e probabilidade condicional


Funes mensurveis e variveis aleatrias

Bernoulli, Binomial, geomtrica, Poisson, uniforme,
exponencial, gama, beta, normal, chi
2
, Weilbull...

Variveis conjuntas

Transformao de variveis aleatrias
.................................. Vetores aleatrios: Jacobiano

Desigualdades:
.................................. Jensen, Minkowski, Liapunov, Cr

Funo caracterstica e suas propriedades
.................................. Geradora de momentos


Cotas sobre probabilidades
.................................. Chebyshev
.................................. Markov
.................................. Chernoff

Seqncias de variveis aleatrias

Critrios de convergncia
.................................. em mdia quadrtica
.................................. em probabilidade
.................................. com probabilidade 1
.................................. em distribuio




Lei dos grandes nmeros
.................................. Teorema de Bernoulli
.................................. Teorema da Kolmogorov
.................................. Teorema de Borel

Teorema central do limite
.................................. (Lindenberg-Lvy, Lyapunov, etc.)

[Mdias estatsticas e momentos
.................................. Correlaes, propriedades...]

Estimao e predio: Amostragem




SUMRIO DA PARTE II

Processos Estocsticos (contnuos e discretos)

Definies e classificao

Estacionaridade (sentido amplo e restrito)

Passeio aleatrio

Processo de Wiener-Lvy (movimento Browniano)

Onda telegrfica aleatria


Martingales

Densidade espectral, teorema de Wiener-Kinchine

Ergodicidade

Processos estocsticos atravs de Sistemas Lineares
.................................. Anlise espectral

Preditores lineares: Filtragem tima de Wiener

Cadeias de Markov
.................................. Equaes de Chapman-Kolmogorov
.................................. Classificao de estados
.................................. Probabilidades limites

Processo de Poisson
.................................. Processo de contagem
.................................. Tempo entre chegadas
.................................. Tempo de espera
.................................. Processo filtrado


Teoria das filas
.................................. M/G/1, G/M/1, M/M/k ...

Processos Estocsticos Gaussianos
.................................. Normal e log-normal
.................................. Vetores gaussianos
.................................. Processo banda-estreita



REFERNCIAS RECOMENDADAS

Probabilidade, Variveis Aleatrias e Processos
Estocsticos, J. Albuquerque, J.P. Fortes, W.
Finamore, Interciencia, Rio de Janeiro, 2008.

Probabilidade e Variveis Aleatrias, Marcos N.
Magalhes, edUSP, So Paulo, 2 ed., 2006.

Probability, Random Variables and Stochastic
Processes, A. Papoulis, McGraw-Hill, 1965.



Introduction to Probability Models, 9
th
ed. S.M. Ross,
Academic Press, 2007.

A First Course in Stochastic Processes, S. Karlin & H.
Taylor, Academic Press, 1975.

Random Processes: An Introduction for Applied
Scientists and Engineers, Davenport Jr, W.B.,
McGraw-Hill, 1970.

Sistemas Probabilsticos, F.M. Campello de Souza,
Vade Mecum, Recife, 2006.



An introduction to the Theory of Random Signals and
Noise, Davenport Jr, W.B. and Root, W.L, McGraw-
Hill, 1958.

An Introduction to Probability Theory and its
Applications, Feller, W., vol.1, 3
a
ed, New York: Wiley,
1966.

Probability Theory, M. Love, Van Nostrand, 1963.







<<Incerteza a marca indelvel do universo.>>

Dennis Poisson.
Assim um evento ter, pela sua prpria natureza, uma chance, maior ou menor,
conhecida ou desconhecida, e sua probabilidade ser relativa aos nossos
conhecimentos naquilo que lhe diz respeito. Poisson, 1837. (Sceaux, Frana)
Probabilitas


PROBABILIDADES ALEATRIAS

Modelam o acaso em fenmenos empricos

PROBABILIDADES ESPISTMICAS

Descrevem graus de crena parcial lgicos de pessoa/sistema
intencional

Matemtica determinismo
Aleatrio: Taboo

Teorema de Gdel e o fim da certeza matemtica...



AXIOMAS 2 (lgica) = Resultados (Proposies)




Mundo real

Explicar resposta ao POR QU?
TELEOLGICA (finalista)
ESTATSTICA (probabilstica)
GENTICA (histrica)
NOMOLGICA (dedudiva) ** cientfica
Deus ex-machina, anjos,...
???? Qual a finalidade? Tudo tem uma razo. Qual a utilidade? Por que fazer?
Viso pessoal: (interrogaes postas no inicio das questes, discordante).

BREVE HISTRICO
1654 Pascal-Fermat (Paris-Toulouse)


1812 Laplace - escola deterministica (o demnio laplaciano)

Russos : Markov, Chebyshev, Liapunov, Kinchine, Kolmogoroff..





TEORIAS

i) Definio a priori como razo entre casos favorveis para
total de casos possveis.

ii) Freqncia relativa (Von Mises)

iii) Axiomtica

iv) Medida de crena

TRATAMENTO AXIOMTICO






URL: http://www2.ufpe.br/codec/deOliveira.html



Exerccio.
Se A e B so eventos certos, i.e., P(A)=P(B)=1, avaliar, usando
apenas os axiomas de Kolmogorov:
P(AB) e P(AB).

Dicas: problemas 5 e 6.

UNIES FINITAS DISJUNTAS
Dados eventos A
1
, A
2
, A
3
..., A
n
todos disjuntos par-a-par, ento:

= =
=
n
k
k
n
k
k
A P A P
1 1
) ( ) (
U
.
Por induo finita:
P
2
. P(A
1
A
2
)=P(A
1
)+P(A
2
) (verdade via AX4)
P
n
. Admita verdadeira P
n
.

= =
=
n
k
k
n
k
k
A P A P
1 1
) ( ) (
U
.
Mostrar que P
n
P
n+1


) ( ) (
1
1
1
1
+
=
+
=
=
n
n
k
k
n
k
k
A A P A P
U U
T2
) ( ) ( ) (
1
1
1
1
+
=
+
=
+ =
n
n
k
k
n
k
k
A P A P A P
U U


(via P
n
)

+
=
+
=
=
1
1
1
1
) ( ) (
n
k
k
n
k
k
A P A P
U
i.e. P
n+1
verdadeira! Q.E.D.


O problema dos aniversrios

Proposto por Feller, avalia a seguinte probabilidade para um
grupo de r pessoas:

Qual a probabilidade de pelo menos duas delas tenha exatamente a
mesma data de aniversrio?
.
365
1
1 ....
365
2
1 .
365
1
1 . 1 ) pessoas de grupo em aniv 2 (
|

\
|

\
|

|

\
|
=
r
r P

r=20 P(2 aniv)41%
r=30 P(2 aniv)70%
r=40 P(2 aniv)90%

APLICAES RECENTES DA TEORIA

Inteligncia artificial
Mecnica Quntica
Algoritmos probabilsticos (e algoritmos genticos)
Lgica nebulosa
Teoria de informao
Controle estocstico
Redes neuronais
Teoria da evoluo e seleo natural
Gentica
Otimizao
Predio, teoria da deciso, teoria dos jogos
etc. etc. e tal.

TEORIA DOS CONJUNTOS
Coleo arbitrria de elementos

Conjunto vazio por abuso, aquele que no contm elementos.

CLASSE: conjuntos cujos elementos so conjuntos.

CONJUNTO DE INDICES = T
{A
t
, t T}.



Conjunto das partes ( uma classe)
A={w
1
, w
2
}
(A)={ {w
1
}, {w
2
}, A, }
2
n

Conjunto finito=
tem um nmero finito de elementos.
Conjunto enumervel =
se finito ou
pode ser posto em correspondncia biunvoca com .


CARDINALIDADE
|| ||= || ||=
0

cardinalidade 2
c
(do continuum)
||A||=2
c
se e s se f:A biunvoca.

1,2,3,...,
0
(?) 2
c

Paul Cohen (1934-2007), Medalha Fields
No pode ser deduzido da teoria de conjuntos. ?=sim ou no.

Considere uma rede com diferentes caminhos entre os ns 1,2,3,4.
Os caminhos so indicados por letras. Escreva o evento K
13
, h
uma ligao (caminho fechado) entre o n 1 e 3, em termos dos
caminhos A, B, C, D, E.

Aplique leis distributivas para mostrar que
K
13
={A [B C (CE)]} {D [E (B C)]}.

DEFINIO. Dada uma classe {A
t
}
tT


U
T t
t t
A A
T t

=

sup

I
T t
t t
A A
T t

=

inf




LEIS DE DE MORGAN

=
|
|

\
|

c
T t
t
A
U
|
|

\
|

I
T t
c
t
A

=
|
|

\
|

c
T t
t
A
I
|
|

\
|

U
T t
c
t
A


Conseqncia

=
|
|

\
|

c
t
A
T t
sup
c
t
A
T t
inf

=
|
|

\
|

c
t
A
T t
inf
c
t
A
T t
sup




CAMPO (ALGEBRA)
uma classe fechada quando efetuamos um nmero finito
(arbitrrio) de operaes entre seus elementos.

i) A,B AB
ii) A,B AB
iii) A A
c


A,B A
c
,B
c
A
c
B
c
[A
c
B
c
]
c
AB

Exerccio.
Determinar uma lgebra em contendo A,B .
Use apenas e (.)
c


Mostremos que

={,A, B, A
c
, B
c
, AB, (AB)
c
, AB, (AB)
c
, (B-A), (B-A)
c
,
(A-B), (A-B)
c
, AB, (AB)
c
}

DEF. LIMITE INFERIOR

O conjunto de pontos que pertencem a quase todos os elementos A
k

de uma classe (exceto possivelment em um nmero finito delas)
chamado de LIMITE INFERIOR de {A
t
}
tT
UI

=
=
1
: inf lim
n n k
k k
A A

montar tais unies e interpretar...


DEF. LIMITE SUPERIOR

O conjunto de pontos que pertencem a um nmero infinito de
elementos A
k
de uma classe chamado de LIMITE SUPERIOR de
{A
t
}
tT
IU

=
=
1
: sup lim
n n k
k k
A A

montar as unies e interpretar...


Obs-

k
A inf lim

k
A sup lim


Exemplo (trivia).
Seja wA
k
se k mpar
wA
k
se k par.

w k
A inf lim
e w k
A sup lim


CONVERGNCIA EM CLASSES

Seja {A
k
}
k=1
uma classe de cardinalidade enumervel.
Dizemos que {A
k
} uma seqncia convergente e que existe um
limite na classe quando
k
A inf lim A A
k
= = sup lim

Escreve-se
A A
k
= lim
.



CLASSES MONOTNICAS

Classe no-decrescente: A
1
A
2
A
3
A
4
...
notao A
n


Classe no-crescente: A
1
A
2
A
3
A
4
...
notao A
n

Classes monotnicas so convergentes! Vejamos.


A
n

U

=
= =
1
sup lim lim
n
n k n
A A A


A
n

I

=
= =
1
inf lim lim
n
n k n
A A A






Se
{ }
n
B
uma seqncia qualquer, ento:
I

=

=
n k
k
k
B
n k
B
inf
faa diagramas de Venn...

k
n k
k
B
n k
B

==

=
sup
U
faa diagramas de Venn...



Verificao:
I

+ =
+
=
1
1
n k
k n
B D
,
I 1 +
=
n n n
D B D

1 +

n n
D D


U

+ =
+
=
1
1
n k
k n
B E
,
U 1 +
=
n n n
E B E

1 +

n n
E E
.




Examinar o tipo e a convergncia nas seguintes classes: =[0,1]

)
`

<
+
= 1
1
1
| : x
n
x A
n
e
)
`

< < =
n
x x B
n
1
0 | :






-lgebra lgebra de Borel

Uma -lgebra uma classe no vazia fechada sobre todas as
operaes enumerveis com conjuntos.

Obs- toda -lgebra uma lgebra, mas o inverso no vlido.
Obs- o conjunto das partes () sempre uma -lgebra.


Seja C uma classe. Para que ela seja uma -lgebra necessrio e
suficiente que

n
A
C,
1)

c
n
A
C
2)

=
U
1 n
n
A
C

Paralelo com o fechamento a.b e a+b

EXEMPLOS TRIVIAIS
:= { [0,0.5], (0.5,1), , [0,1]} lgebra e -lgebra.

:= { [ ], [ ), ( ], ( ), , [0,1]} no -lgebra.

lgebra de BOREAL na reta real

a lgebra que contm uma determinada classe de intervalos na
reta real: os intervalos abertos.

Notas:
1) Por causa da regra de dualidade, fechamento sob
complementao e interseces finitas (enumerveis)
implica em fechamento sob unies finitas (enumerveis).
Podemos ento trocar tambm, nestas propriedades,
interseces e unies.

2) A maior -lgebra para uma dada classe o conjunto das
partes desta classe.

PROPOSIO.
A menor -lgebra passvel de construo {,}.
PROVA.
Se G uma -lgebra e A G, ento F definio de -lgebra,
,A
c
e G e, portanto, F G. Mas F uma -lgebra, pois se
tomamos complementos ou unies de conjuntos de F,
invariavelmente obtemos elementos de F. Segue-se que F uma
-lgebra que est contida em qualquer outra -lgebra G que
contenha A, da o resultado.

Classes monotnicas.


1) E
j

E
j
E
j+1
e
U

=
=
1
lim
j
j n
E E


2) E
j

E
j
E
j+1
e

j
j
n
E E
I

=
=
1
lim


-lgebra mnima
Est contida em qualquer -lgebra definida sobre a class.
nica. Fmin=F.
TEOREMA.
Toda -lgebra uma lgebra monotnica e vice-versa.

TEOREMA.
A -lgebra mnima sobre uma classe e a classe monotnica
mnima sobre a mesma classe coincidem.

-lgebra de BOREAL

a -lgebra mnima que contm uma determinada classe de
intervalos na reta real: os intervalos abertos.

FUNES DE CONJUNTO
Seja C uma classe. Considere uma aplicao de C em .
: C
) (A A a
.


1. Funes de conjunto aditivas
Se C ={A
j
} uma classe disjunta e

= =
=
|
|

\
|
n
j
j
n
j
j
A A
1 1
) (
U
, a funo
dita ser uma funo de conjunto aditiva.

Notao: AB=A+B se AB=
Generalizando, tem-se

= =
=
n
j
j
n
j
j
A A
1 1
U
, se {A
j
} disjunta.


2. Funes de conjunto -aditivas

Se C ={A
j
} uma classe disjunta e

=
=
|
|

\
|
1 1
) (
j
j
j
j
A A
U
, a funo
dita ser uma funo de conjunto -aditiva.

Se j, |(A
j
)|<+ , ento a funo de conjunto dita -finita.



Nota. Toda funo aditiva (ou -aditiva) exige que ()=0.
Prova. A=A+ (A)= (A)+ (), da o resultado.

TEOREMA.
Seja uma funo de conjunto -aditiva tal que
+ <

=
U
1
) (
j
j
A
.
Ento

j
j
A ) (
converge absolutamente.



Nota.
+ <

j
j
A ) (
(~)
+ <

j
j
A ) (

+ <

j
j
A ) (
()
+ <

j
j
A ) (
.

Separando:
=
+
j
A
A
j
ou , se
0 ) (
j
A

=

j
A
A
j
ou , se
0 ) (
j
A
.


+
+ = ) ( ) ( ) (
j j
j
j
A A A

O primeiro termo converge por hiptese:

+
) (
j
A

O segundo termo exclui -.






Sub- -aditividade.

TEOREMA
Seja uma funo de conjunto no-negativa, 0, e aditiva.
Ento:
i) A | (A)<+ (-finita), se AB (B) (A)<+
(monotonicidade)
ii)

= =

|
|

\
|
n
j
j
n
j
j
A A
1 1
) (
U
(sub--aditividade).

Prova.
i AB
A=B+(A-B) e B(A-B)=. (i.e. B(B
c
A)).
Pela hiptese de aditividade, (A)= (B)+ (A-B). Mas como a
funo no-negativa, (A-B)0, e a monotonicidade segue.
ii
U

=
+ + + =
1
1 2 3 1 2 1
... ) ( ) (
j
j
A A A A A A A

ou seja,
U

=
+ + + =
1
3 2 1 2 1 1
... ) ( ) (
j
c c c
j
A A A A A A A


Mas
j j
c
i
A A A
e pela monotonicidade (item i), segue-se:
U

=
+ + +
1
3 2 1
... ) ( ) ( ) ( ) (
j
j
A A A A
, provando assim a sub--
aditividade.


CONTINUIDADE DE FUNES DE CONJUNTO

contnua por baixo se e s se A
n

) ( lim lim
n n
A
n
A
n

=
|
|

\
|



contnua por cima se e s se A
n

) ( lim lim
n n
A
n
A
n

=
|
|

\
|



DEFINIO. contnua se e s se ela contnua por baixo e
contnua por cima.

Um exemplo. Seja A=[0,1].
dx e A
x

=
1
0
2 /
2
2
1
) (

(integral de Riemman)
Medida A
n
A .
Considere A
n
no decrescente A
1
A
2
A
3
A
4
...

=
)
`

+

+
=
1
1
1
1
1
1
| :
n
n
n
x
n
R x A


A
n
A
dx e A
n
n
x
n

+

=
1
1
1
1
1
2 /
2
2
1
) (

Se contnua, ento
) ( ) ( lim ) (lim A A A
n n
= =
.
Mas i)
) ( ) (lim A A
n
=

ii)
) (
2
1
2
1
lim ) ( lim
1
0
2 /
1
1
1
1
1
2 /
2 2
A e e A
x
n
n
x
n


= = =


+

parece ser contnua (de fato, ela o ). Porm, verificar
continuidade pela definio, j era!

Mostraremos a continuidade da funo Probabilidade.

Probabilidade (Kolmogorov) uma funo de conjunto -aditiva
definida na classe de eventos de um espao amostral. (rigor, escola
formal).

-aditividade Continuidade.



Nota histrica.


Axiomas: Kolmogorov usou continuidade, ao invs de A5 (d no
mesmo, so equivalentes). Hoje, usa-se formalmente a -
aditividade.


TEOREMA DA CONTINUIDADE DA MEDIDA DE
PROBABILIDADE (siga tambm Davenport Jr)

Prop(i) Toda funo de conjunto -aditiva aditiva e contnua.
Prop(ii) Se uma funo de conjunto aditiva, contnua por baixo,
finita e contnua em , ento ela -aditiva.

Nota. Nem preciso continuidade (por baixo e por cima), porm
leia-se em termos prticos:

i) -aditiva aditiva e contnua
ii) aditiva e contnua -aditiva.

PROVA.
()
Seja A
n
uma seqncia no-decrescente (arbitrria).
U

=
=
1
lim
n
n n
A A

... ) ( ) ( lim
2 3 1 2 1
+ + + = A A A A A A
n

=
1
1
) ( lim
n
n n n
A A A
se A
0
:=.

=
n
k
k k n
A A
n
A
1
1
) (
lim
lim

Aplicado a funo de conjunto aos dois membros,
) ) (
lim
( ) (lim
1
1
=

=
n
k
k k n
A A
n
A
. Pela -aditividade,

=
n
k
k k n
A A
n
A
1
1
) (
lim
) (lim
.
Mas
) ( ) ( ) ( .. ) ( ) ( ) ( ) ( ) (
) (
1 2 3 1 2 1
1
1
n n n
n
k
k k
A A A A A A A A
A A

= + + + +
=

=


Ento
) (
lim
) (lim
n n
A
n
A

=
contnua por baixo.


Seja A
n
uma seqncia no-crescente (arbitrria).
I

=
=
1
lim
n
n n
A A

Construa uma seqncia (A
n0
-A
n
) nn
0
, (no-decrescente),
com
+ < ) (
0 n
A
. Aplicando a parte anterior da demonstrao,
vem:
( ) ) ( lim ) lim(
0 0 n n n n
A A A A =

Ou seja,
( ) ) ( lim ) ( lim
0 0 n n n n
A A A A =
e finalmente,
( ) ) ( lim ) ( (lim )
0 0 n n n n
A A A A =


donde a continuidade por cima.
Se contnua por baixo e por cima, ento ela contnua.

()
Parte A

=

+ =

=
|

\
|
+ =
|
|

\
|
n
k n k
k k
n
n
A A A
1 1 1
) (
U
.
Mas quando n+,
0 ) ( lim
1
= = |

\
|

+ =

n k
k
A
(use hiptese)

( claro que assumimos a classse {A
n
} disjunta, pois queremos
provar a -aditividade).
Assim,

=
=
|
|

\
|
1 1
) (
k
k
n
n
A A
U


Outra demonstrao.
|

\
|
= |

\
|
=
|
|

\
|

=

=
n
k
k
k
k
n
n
A A A
1 1 1
lim
U
. Pela continuidade por baixo, se
B
n
ento
) ( lim ) (lim
n n
B B =


A seqncia construda

=
=
n
k
k n
A B
1
:
e segue-se
) ( lim ) (lim
1 1

= =
=
n
k
n
n
k
n
A A
e, portanto,


= =

=
= =
1 1 1
) ( ) ( lim ) (
k
n
n
k
n
k
n
A A A
Q.E.D.

TEOREMA (compacticidade).
Se contnua, ento C, D tais que
sup ) ( = C
e
inf ) ( = D
.
Prova. Tomemos <.
{A
n
} com A
n
A.
Cada A
n
escrito como unies disjuntas de
I
n
k
k
A
1
'
=
, sendo k k
A A =
'
ou
k k
A A A =
'
.


So 2
n
subconjuntos. Caso n=2
A
1
A
2

(A-A
1
)A
2

A
1
(A-A
2
)
(A-A
1
)(A-A
2
)

Exemplo. Caso n=2 reescrever A
2
A
2
=(A
1
A
2
)+A
2
(A-A
1
) = Azul + Cinza

Exemplo. Caso n=3 reescrever A
3

A
3
=
A
1
A
2
A
3
+(A-A
1
)A
2
A
3
+(A-A
1
)(A-A
2
)A
3
+A
1
(A-A
2
)A
3
.
Vermelho + Cinza + Verde + Azul



Seja
U nm n
A B = :
, B
n
= quando
0 ) ( <
nm
A

Observao:
m n m n
A A
, ' '

para n>n.

|
|

\
|
=

=
+ + U
n k
k n n n n n n
B B B B B B A ) ... ( ) ( ) (
' 2 1

contnua.


Defina
U

=
=
n k
k
B C lim :

n+,
) ( sup C
, mas
) ( sup C
(seno no seria sup).
Assim
). ( sup C =

Prova nas mesmas linhas para a existncia do inf.

Q.E.D.

Resolvendo a questo 11.

k
A inf lim
k
A sup lim

{A
n
} com conjuntos disjuntos para a par, A
i
A
j
=.
Calcularemos o lim sup A
k
.
IU

=
=
1
sup lim
n n k
k k
A A

... sup lim
4 3 2 1
U U U U

=
=
k
k
k
k
k
k
k
k k
A A A A A

ou seja,

... ) ( ) ( sup lim
3 2 1
1
2 1
1
1
1 1
(

+ +
(

+
(

=
A A A A A A A A A A A
k
k
k
k
k
k
k
k k U U U U

Escrevendo em termos de eventos complementares:

... ) ( ) (
sup lim
3 2 1
1
2 1
1
1
1 1
(

+ +
(

+
(

=


=

=
c
k
k
c
k
k
c
k
k
k
k
k
A A A A A A A A A A
A

Usando de Morgan,

... ) ( ) (
sup lim
3 2 1
1
2 1
1
1
1 1
(

=


=

=
c c c
k
k
c c
k
k
c
k
k
k
k
k
A A A A A A A A A A
A

ou seja,

=
(

=
(

=


=

=
c
k
k
k
k
k
c
k
k
k k
A A A A A
1 1 1 1
sup lim
I
.
Como

k
A inf lim
k
A sup lim
, ento
=
k
A inf lim
.
De lim inf A
k
=lim sup A
k
, segue-se que o limite existe e vale .

PROBABILIDADE CONDICIONAL

Dados A,B, com P(A)>0, define-se
) (
) (
: ) | (
A P
B A P
A B P

=
.
Implicaes
Se AB= P(AB)=0 P(B|A)=0.
Se AB AB=A P(B|A)=1
Se AB AB=B P(B|A)= P(B)/P(A)P(B).

Caso limite
P(B|A) com P(A)=0.
Como definir? Abordagem menos comum nos textos bsicos.
Tome uma seqncia monotnica A
n
que converge para A.
Defina ento
) (
) (
lim
: ) | (
n
n
A P
A B P
n
A B P

=

caso o limite exista e independa da escolha da seqncia A
n
.

Probabilidade Total (lei das probabilidades totais)

Seja {B
j
} uma partio de .

=
=
n
j
j
B A P A P
1
) ( ) (


REGRA DE BAYES

Seja {B
j
} uma partio de , P(B
j
)>0 (j).
A , P(A)>0.

=
=
n
k
k k
j j
j
B A P B P
B A P B P
A B P
1
) | ( ) (
) | ( ) (
) | (



INDEPENDNCIA ENTRE EVENTOS

P(B|A) = P(B)

P(A|B) = P(A)

P(AB)=P(A).P(B)

Equivalentes!


Nota. A e B mutuamente exclusivos so dependentes.
AB= P(AB)=0
P(B|A)=0 P(B) no so independentes.

Independncia estatstica entre eventos
{ }
n
k
A
1 estatisticamente independentes se e s se para qualquer
subcoleo arbitrria:
I
j
i
j
i
k k
i i
A P A P
1 1
) ( ) (
= =

=
.

PROVAS DE IGUALDADE ENTRE CONJUNTOS

A guia estabelecer que
i) Se xA xB. ii) Se xB xA.

A funo indicadora de conjunto. Para um conjunto A,
A w
A w
w I
A

=
0
1
) (
.


lgebra de funes indicadoras- operaes.

B A B A
I I I + =
+ se AB=.
B A B A
I I I . =

2 mod ) (
B A B A
I I I + =


Uma seqncia {A
n
} converge para A
lim A
n
=A
A A
I I
n

.




Funes mensurveis e medidas


Considerando a reta real .

Classe: conjunto das partes de , ( ).


Gera-se uma lgebra A na reta que consiste em todos os intervalos
abertos IA, I . Os intervalos so do tipo I=(a,b) ou combinaes
(finitas) deles.

A MEDIDA DE RIEMMAN (integral de Riemman)


A medida m de conjuntos na lgebra A naturalmente (uma funo de
conjunto) expressa pelo comprimento do intervalo, i.e.,

m(I):=l(I)=b-a.

(quantos centmetros h em uma rgua, no intervalo entre as marcaes 4 cm e
7 cm? Naturalmente l(I)=7-4=3 cm. Sabemos medir outros conjuntos?).



A extenso natural passar de uma lgebra A para uma -lgebra
B( ).

A -lgebra de Borel na reta real aquela que contm todos os
intervalos abertos na reta (B uma extenso de A, i.e. B A).

Como estender a medida m para os conjuntos em B? uma medida de
extenso (medida externa) foi utilizada.


A medida de Lebesgue: a caminho de variveis aleatrias.

Dado um conjunto A , define-se a medida

=
) (
inf
: ) (
n
n
I l
I A
A
.

Note que esta medida funciona como uma extenso: o caso particular de
conjuntos do tipo intervalos, A=I, e a medida usada no requer uma cobertura
U
n
n
I
e a medida vale l(I)=b-a, coincidindo com a medida de Riemman.


NOTA-A medida de Lebesgue no uma medida de probabilidade, pois
( )1 e, portanto, no obedece AX3 (normalizao).

VARIVEIS ALEATRIAS

Considere os mapeamentos X (denominados variveis aleatrias)

) (
:
w X w
R X
a



A cada ponto do espao amostral, atribui-se um nmero na reta real. Isto
corresponde a transformar o objeto de estudo de um plano abstrato

(espao amostral) em valores numricos. Agora saberemos fazer
contas.

Conjuntos sero mapeados em intervalos (que so mensurveis usando
as medidas Riemman ou Lebesgue).


A varivel aleatria uma funo (mapeamento): X(w)=x.




As transformaes so entre dois sistemas espaos de probabilidade triplas

(,A,P) ( ,B,P)
Lembre o exemplo trivial: lanamento de um dado

No espao amostral, h face do dado caiu exibindo 1, face do dado
caiu exibindo 2,..., face do dado caiu exibindo 6. Estes eventos so
mapeados via v.a. nos nmeros reais 1, 2, 3, 4, 5 e 6.




Vejamos a medida de probabilidade: uma funo de conjunto

P:A AA A [0,1]


Para cada subconjunto B na lgebra B

BB P(B):=P(X
-1
(B)) se X
-1
(B)A.

Os conjuntos da -lgebra de Borel podem ser mensurveis.

Funes mensurveis

Dada f funo real, contnua

Qualquer conjunto do tipo {x | f(x)>} mensurvel.


Veja que conjuntos {x | f(x)} so mensurveis:
)
`

> =
+
=
U
1
1
) ( | { } ) ( |
n
n
x f x x f x




Se {x | f(x) } mensurvel, seu complemento tambm o :

{x | f(x) }
c
= -{x | f(x) } = {x | f(x)<}.


Se {x | f(x)<} mensurvel, {x | f(x)} tambm o , pois
)
`

+ < =
+
=
U
1
1
) ( | { } ) ( |
n
n
x f x x f x

Assim, basta considerar conjuntos de um dos tipos:


Seja a seleo {x | f(x) }.



No contexto de variveis aleatrias, consideram-se:

w x
X f
{w | X(w)}:=F
X
().

ISTO a funo distribuio da varivel aleatria X!

Conhecido F
X
(.), tem-se informao para calcular a probabilidade de eventos
que representem quaisquer eventos que so meapados em conjuntos da lgebra
de Borel.



NOTAO

P(B):=P{w | wX
-1
(B)A}
F
X
():={w | X(w)}

Usaremos simplificadamente F
X
(x)= Pr(X<x)
F contnua esquerda.

(observao: definindo-se F(x):=Pr(Xx), F contnua direita).



EXEMPLOS (ilustrao do comportamento de F
X
)
Varivel discreta
Varivel contnua

NOTAS (DE RODAP) SIMPLES

F
X
(x
1
)=P(w | X(w)<x
1
)
F
X
(x
2
)=P(w | X(w)<x
2
)
Se x
1
<x
2
F(x
1
) F(x
2
).

F(-)=P(w | X(w)<-)=P()=0.

F(+)=P(w | X(w)<+)=P()=1.



Funo densidade de Probabilidade

f(x) associada com a funo distribuio de probabilidades F(x).

=
x
d f x F ) ( ) (
.
Como F(x) no decrescente (monotonicidade),
0
) (
) ( =
dx
x dF
x f
.

Distribuies contnuas e diferenciveis. Para os demais casos (discretas e
mistas), usam-se impulsos de Dirac.

Interpretando: x suficientemente pequeno
x x f x x X x P + ). ( ) (
ou
x
x x X x P
x
x f

+

=
) (
0
lim
) (

Discretas

Assumindo valores x
1
, x
2
, x
3
,... com probabilidade P(x
i
)
) ( ) ( ) (

= =
i
i i
x x u x X P x F

Derivando aparecem impulsos. No caso de distribuies mistas:

= + =
i
i i
x X x X P
dx
x dC
x f ) ( ) (
) (
) (
.

EXPERIMENTOS DE BERNOULLI
(ensaios de Bernoulli)

Um dos experimentos largamente usados quando ao invs de lidar com
resultados de UM NICO experimento, considera-se o caso e realizao
repetida de um mesmo experimento.
Em particular, interessa a probabilidade de o evento ocorrer k vezes nas n
(n>k) realizaes do mesmo.

(este essencialmente o problema de obter k caras em n lanamentos de uma
moeda. O nmero de repeties do evento jogar a moeda n.)


Se p denota a probabilidade de ocorrer o evento, 1-p a probabilidade dele no
ocorrer (conseqncia imediata dos axiomas).

A probabilidade de ocorrncia de k caras em n jogadas (experimentos
independentes)

P(A
1
A
2
A
3
...A
n
)=P(A
1
).P(A
2
).P(A
3
)...P(A
n
)
p.p.p...p.(1-p).(1-p)....(1-p)
k vezes n-k vezes (total n)


Como os eventos da ocorrncia de k caras em n lanamentos so mutuamente
exclusivos e ocorrem em nmero |
|

\
|
k
n
, via AX4 tem-se:

P(k ocorrncias em n eventos repetidos)=
k n k
p p
k
n

|
|

\
|
) 1 (


Note que s podem ocorrer k=0, k=1, k=2, k=3, ou... k=n ocorrncias.
MUTUAMENTE EXCLUSIVAS
P()=
k n k
n
k
p p
k
n

|
|

\
|

) 1 (
0
=[p+(1-p)]
n
=1 (vale AX3).


A probabilidade de haver a ocorrncia entre k
1
e k
2
vezes o evento nos n
ensaios dada por:
k n k
k
k k
p p
k
n

|
|

\
|

) 1 (
2
1
.
HIPTESES: Varivel aleatria binria, n eventos, independencia entre eles.

TEOREMAS ASSINTTICOS.

D um trabalho calcular estas expresses quando n grande!


TEOREMA DE DE MOIVRE-LAPLACE

Assumindo que n grande e tambm de modo que n.p.(1-p)>>1, ento
Vale uma aproximao Gaussiana para a Binomial:
) 1 ( 2
) (
2
) 1 ( 2
1
) 1 (
p np
np k
k k
e
p np
p p
k
n

|
|

\
|

Assim, o clculo da probabilidade da ocorrncia entre k
1
e k
2
vezes o evento
nos n ensaios pode ser estimado por:
dx e
p np
p p
k
n k
k
p np
np x
k k
k
k k

=


|
|

\
|
2
1
2
2
1
) 1 ( 2
) (
) 1 ( 2
1
) 1 (

Integral Gaussiana Tabelada. Funo Q(.) ou erfc(.).
|
|

\
|

|
|

\
|

|
|

\
|

=

) 1 .( . ) 1 .( .
) 1 (
1 2
2
1
p p n
np k
erf
p p n
np k
erf p p
k
n
k n k
k
k k

(tirar pirulito de criana!) Procure conhecer sobre a aproximao de continuidade.

Aproximao II. n

A aproximao proposta por De Moivre requer n.p>>1.
Nos casos em que n.p1, isto no vlido. Considera-se agora:


TEOREMA DE POISSON n

!
) (
) 1 (
k
np
e p p
k
n
k
np k n k

|
|

\
|


Se n e p0, mas com a relao n.pa, tem-se
!
) (
) 1 (
k
a
e p p
k
n
k
a k n k

|
|

\
|
.

Isto definir a varivel aleatria de Poisson e o processo de Poisson.


APLICAO

Uma companhia area estima que 5,5% dos clientes que reservam vos
terminam em no shown. Um Airbus 319 tem capacidade de transporte de
144 passageiros, com velocidade de cruzeiro 850 km/h. Ela estabelece a
poltica de venda de 150 bilhetes em cada vo com esta aeronave.

1. Avalie a probabilidade de haver overbooking.

2. Qual a probabilidade que haja vaga no vo para todos os passageiros que
comparecerem ao check in?

Overbooking N bilhetes vendidos, N>144,
p=probabilidade que um cliente perca o vo
k N k
N
k
g overbookin
p p
k
N
P

=

|
|

\
|
=

) 1 (
145

k k
k
k

|
|

\
|
150
150
145
055 . 0 945 . 0
150
(use tambm o teorema de De Moivre-Laplace).
N Prob(overbooking)
145 0,03% (0.00027)
146 0,25% (0.00246)
147 1% (0.01123)
148 3,5% (0.03487)
149 8,5% (0.08297)
150 16% (0.1618)


VARIVEIS ALEATRIAS USUAIS

Discretas Bernoulli, Binomial, Poisson
Contnuas Gaussiana, exponencial, Cauchy, Laplace,
Uniforme, beta,
2

Mistas

GAUSSIANA UNIFORME
2
2
2
) (
2
2
1
) (

m x
X
e x f

=

contrrio caso
0
1
) (
b x a
a b
x f
X
< <

=


EXPONENCIAL chi
2

) ( . ) ( T u e a T f
aT
T

=

) (
) 2 / ( 2
2
) (
2 2
2 / 1
2 /
x u e x
n
x f
x n
n n
X

=

BETA
Funo fatorial generalizado (funo gama de Euler)

= =
0
! : ) ( x d e x
x



Funo beta
) (
) ( ). (
: ) , (
b a
b a
b a B
+

=

1 1
) 1 .( ) , ( ) (
+ +
=

x x B x f
X

phibeta t , , ( )
M , ( )
T , ( )
+ 1
t a , ( ) ( )
1
b , ( ) t ( )
1

:=



Limitada direita e a esquerda. Pode ser simtrica ou assimtrica. A
simetria controlada pelos parmetros.

MAXWELL
) (
2 1
) (
2 2
2 / 2
2
x u e x x f
x
X

=


Weibul
) ( ) , ; (
) / ( 1
x u e x x f
x
X

=
,>0
F-Senedecor
) ( .
1
. ). , ( ) (
2 / ) (
2 / ) 2 (
2 /
x u
x
n
m
x
n
m
m n B x f
m n
m
m
X
+

\
|
+
|

\
|
=

Log-Normal
) (
2
1
) (
2
2
2
) (ln
2
x u e
x
x f
m x
X

=



Gama
) (
) (
) , ; (
1
x u e x x f
x
X

=

Logstica
( )
2
1
) (
x
x
X
e
e
x f

+
=

Pareto
) ( ) , ; (
1
c x u
x
c
c
c x f
X

|

\
|
=
+

,c>0

VETORES ALEATRIOS

O conceito de varivel aleatria pode ser estendido para mapeamento no
espao euclidiano n-dimensional.
X:
n

exemplo: mapeamento em
3
.

Um vetor aleatrio um mapeamento vetorial tal que
1) x
n
, o conjunto no espao amostral X:={w |Xx} corresponde
a um evento.
O vetor de x:=(x
1
,x
2
,x
3
,...,x
n
) e
Xx (X
1
(w) x
1
, X
2
(w) x
2
, X
3
(w) x
3
,, X
n
(w) x
n
)

2) P(X
1
(w) x
1
, X
2
(w) x
2
, ,X
i
(w)=,, X
n
(w) x
n
)=0 (i)

3) P(X
1
(w) x
1
, X
2
(w) x
2
, ,X
i
(w)=-,, X
n
(w) x
n
)=0 (i).


FUNO DISTRIBUIO DE UM VETOR ALEATRIO

A funo distribuio de um vetor aleatrio descrita por
F
X
:
n

x F
X
(x).
Lembrete: o resultado sempre um nmero real.

F
X
(x)=P(Xx)=P(X
1
(w) x
1
, X
2
(w) x
2
, X
3
(w) x
3
,, X
n
(w) x
n
)
A notao mais usual :
) ,..., , (
2 1 ,..., ,
2 1
n Xn X X
x x x F
.

PROPRIEDADES DA FUNO DISTRIBUIO DE UM VETOR
ALEATRIO

i)
0 ) ,... ,..., , (
2 1 ,..., ,
2 1
=
n Xn X X
x x x F

ii)
1 ) ,..., ,..., , (
,..., ,
2 1
=
Xn X X
F
(normalizao AX3)
iii) F montona no-decrescente em cada argumento.
iv) F contnua pela direita em cada argumento.
v) i
) ( ) ,..., ,..., , (
,..., ,..., ,
2 1
i X i Xn X X X
x F x F
i i
=
.


O caso usual de (v) a reobteno das distribuies marginais em cada
dimenso:
Partindo de
) , (
,
y x F
Y X
:
) ( ) , (
,
x F x F
X Y X
=

) ( ) , (
,
y F y F
Y Y X
=
.
A funo densidade de um vetor aleatrio tambm pode ser definida por
extenso:
) ,..., , (
...
: ) (
2 1 ,..., ,
2 1
2 1
n X X X
n
n
X
x x x F
x x x
x f
n

=
.

PROPRIEDADES DAS DENSIDADES DE VETORES


=
1 2
2 1 2 1
... ) ,... , ( ... ) ,..., , (
2 1 2 1 ... 2 1 ...
x x x
n n X X X n X X X
n
n n
d d d f x x x F

1) Normalizao:
1 ... ) ,... , ( ...
2 1 2 1 ...
2 1
=

+

+

+

n n X X X
d d d f
n



2) No-negatividade:
0 ) ,..., , (
2 1 ,..., ,
2 1

n X X X
x x x f
n



3) Distribuio Marginal:

+

+

+

=
n n X X X
x
i X
d d d f x F
n
i
i
... ) ,... , ( ... ... ) (
2 1 2 1 ...
2 1

4) Densidade Marginal (caso usual):

+

= dy y x f x f
XY X
) , ( ) (
e
+

= dx y x f y f
XY Y
) , ( ) (


H que se estudar e ler detalhadamente definio e propriedades de
densidades de probabilidade condicionadas.


Relao entre densidades e INDEPENDNCIA ESTATSTICA

Independncia entre duas v.a.s X e Y. (desacoplamento)
X e Y Independentes
) ( ). ( ) , ( y F x F y x F
Y X XY
=

De modo equivalente:

Independncia entre duas v.a.s X e Y. (desacoplamento)
X e Y independentes
) ( ). ( ) , ( y f x f y x f
Y X XY
=
.



Do ponto de vista de densidades condicionais, a independncia implica
em:
) ( ) (
|
x f x f
X y Y X
=
=
e
) ( ) (
|
y f y f
Y x X Y
=
=
.

Def. VETORES ALEATRIOS INDEPENDENTES.

No caso mais geral de vetores aleatrios, a independncia definida
quando

=
=
n
i
i X n X X X
x F x x x F
i n
1
2 1 ...
) ( ) ,..., , (
2 1

Independncia simplifica substancialmente as coisas! ...

VALOR ESPERADO E MOMENTOS

Uma varivel assume valore REAIS. Assim, possvel realizar clculos,
mdias, modas, desvios...

O valor esperado de uma varivel aleatria X definido por

i
n
k
i
x x X P X E ) ( : ) (
1

=
= =
CASO DISCRETO

+

= dx x xf X E
X
) ( : ) (
CASO CONTINUO


Interprete como mdias ponderadas pela probabilidade de ocorrncia.

Isto permite definir uma srie de mdias (MOMENTOS) de uma v.a.
E(X), E(X
2
), E(X
3
),..., E(X
n
)
E os respectivos momentos centrais, relativos mdia m=E(X)
(funcionam com o clculo do centro de massa, momentos de inrcia
etc.)
E(X-m), E((X-m)
2
), E((X-m)
3
),..., E((X-m)
n
).


Os momentos relevantes so sempre os primeiros, de ordem mais baixa:

E(X), mdia (m) E(X
2
), 2 momento
E(X-m)=0 (sem uso), E((X-m)
2
), varincia (
2
)

Primeiro (medida do comportamento mdio)
Segundo (medida de espalhamento e variao, da o nome)

O desvio padro tambm largamente usado, expressando idia similar
varincia, mas com interpretao fsica atrativa
} ) {( :
2 2
m X E = =


Momentos de ordem mais elevada so menos usados.
Entre estes:

LIGADO AO 3 MOMENTO
Coeficiente de assimetria da distribuio
[ ]
3
3
3
) (
:

=
X E

LIGADO AO 4 MOMENTO CENTRAL
Coeficiente de curtose da distribuio
[ ]
4
4
4
) (
:

=
X E
.

CASO DE DUAS VARIVEIS
X, Y
E(X
n
Y
m
)
E{(X-m
X
)
n
(Y-m
Y
)
m
}.

Se n ou m so nulos, os momentos so marginais, no cruzados. Para
momentos cruzados, requer-se n,m0. Os momentos de menor ordem
deste tipo so
CORRELAO E(XY):= corr(X,Y)=R
X,Y
ou
COVARINCIA E{(X-m
X
)(Y-m
Y
)}:=cov(X,Y)=K
X,Y
.

Observe o nome co-varincia (varincia, 2 momento, co=entre variveis).
Significado como medida de dependncia.
(relao linear => correlao)
Proposio. Variveis aleatrias
{ }
n
i
i
X
1 =


< = =
+ = |

\
|
j i
j i
n
i
i
n
i
i
X X X X ) , cov( 2 ) var( var
1 1
.
Corolrio. Variveis aleatrias
{ }
n
i
i
X
1 =
independentes

= =
= |

\
|
n
i
i
n
i
i
X X
1 1
) var( var
.


INDEPENDNCIA E MOMENTOS
X e Y independentes (usando o desacoplamento entre densidades)
E(X
n
Y
m
)=E(X
n
).E(Y
m
) n,m

Existem os dois tipos de momentos (cruzados) de 2 ordem
E(XY)
E{(X-m
X
).(Y-m
Y
)}=E(XY)-m
X
m
Y
.
Cov e corr so relacionados.

Teste preliminar:

Se E(XY)=E(X)E(Y), ento h um desacoplamento parcial, de 2
ordem.
Neste caso, cov(X,Y)=corr(X,Y)-E(X).E(Y)=0

ISTO REFERIDO (por abuso) como correlao nula.
O coeficiente dito coeficiente de correlao normalizado (deveria ser de
covarincia!)
Y X
XY
XY
K

= :

Mostra-se que -1 +1.


O caso =0 definido na literatura como correlao nula.

(no covariacionados, termos mais correto, soa estranho e nunca usado!)

TRANSFORMAES DE VARIVEIS ALEATRIAS

Se existe uma funo determinista em cuja entrada aplicada uma
varivel aleatria, a sada TAMBM ser uma varivel aleatria.


Exemplo.
X v.a.
Uma funo quadrtica y=x
2
. (funo)
A varivel Y=X
2
aleatria. => transformao da v.a. X

Como determinar a distribuio de probabilidades da nova varivel
(transformada) Y em termos da distribuio da entrada X, conhecida?

Vejamos. Y=g(X), (em termos de f.D.p)
F
X
(x)=P(Xx)
F
Y
(y)=P(Yy)=P(g(X) y).



[Yy] => [Xx
1
ou x
2
Xx
3
ou x
4
Xx
5
] disjuntos (P aditiva)

F
Y
(y)=P(Xx
1
)+P(x
2
Xx
3
)+P(x
4
Xx
5
).


Escrevendo agora em termos de integrais:
dx x f y F
X
x
x
x
x
x
Y
) ( ) (
5
4
3
2
1
|

\
|
+ + =


Ora,
) (
1
1
y g x
i

=
(imagem inversa)

EXEMPLO
) ( ) ( x u e x f
x
X

=
. Seja a transformao Y=X
2
, quem f
Y
? y>0:


y
y
x
y
X Y
e dx e dx x f y F

= = =

1 ) ( ) (
0 0

u(y) e y F
y
Y

=1 ) (
. (deriva-se e obtm-se a densidade).



GENERALIZAO

dx x f y F
X
x
x x
x
x
x
Y
n
) ( ... ) (
5
4
3
2
1
|

\
|
+ + + + =

+

Para a determinao da densidade de probabilidade, usa-se a REGRA
DE LEIBNITZ

( ) ( )

+ =
) (
) (
) (
) (
) , (
) (
), (
) (
), ( ) , (

a
b
a
b
dx x f
d
db
b f
d
da
a f dx x f
d
d




Aplicando-a na expresso de F
Y

dy
dx
x f
dy
dx
x f
dy
dx
x f
dy
dx
x f
dy
dx
x f
dy
dx
x f
y
y F
y f
n
n X X X X X X
Y
Y
) ( ... ) ( ) ( ) ( ) ( ) (
) (
) (
4
4
5
5
2
2
3
3
1
1
+ + =

=


dy
dx
x f y f
i
i X
i
Y
) ( ) (

=

) (
1
1
)) ( (
y g
i
i X
i
i
dy
dx
y g f

.


JACOBIANO da transformao
No caso de vetores aleatrios,
) (
1 1
1
|| || )) ( ( ) (
y g
i X
i
Y
i
J y g f y f

=

Funes biunvocas e diferenciveis:
Y=g(X), Y=(g
1
(X), g
2
(X),..., g
n
(X)).
|
|
|
|
|
|
|
|

\
|

=
n
n
n
n
n
n
n
n
x
g
x
g
x
g
x
g
x
g
x
g
x
g
x
g
x
g
X J
K
M M K M
K
K
2
2
2
1
2
1
2
1
1
1
) (
use |det(J(X))|.

Exemplo resolvido.
A transformao de um vetor bidimensional gaussiano em coordenadas
polares, X e Y independentes.
(X,Y) (r,).
Qual a distribuio conjunta da amplitude e da fase, f
r
( r,)?
Sejam
2 2
y x r + =
;
|

\
|
=

x
y
tg
1

O jacobiano da transformao
2 2 2 2
2 2 2 2
y x
x
y x
y
y x
y
y x
x
y x
y
r
x
r
J
+ +

+ +

=


r
y x
J J
1 1
det | |
2 2
=
+
= =
.
Assim,
2
2
2
2 2
2
2
2
2
2 2 | |
) , (
) , (

r y x
XY
r
e
r
e
r
J
y x f
r f

= = =

Como no aparece em f
r
, f

() deve ser constante (v.a. uniforme).

Como a varivel fase distribuida entre (0,2):
) ( ). ( .
2
1
) , (
2
2
2
2

f r f e
r
r f
r
r
r
= =


As variveis transformadas so indendentes:
amplitude Rayleigh e fase uniforme.

DESIGUALDADES CLSSICAS

Jensen CONVEXIDADE
A desigualdade de Jensen estabelece que

|
|

\
|
d g f gd f ) ( o

f convexa em (a,b) e gL
1
(),
ag(x)b e ()=1.
g Lebesgue-integrvel, i.e.,
+

gd


Observao: Se
+
|
|

\
|

p
p
d g
/ 1
| |
diz-se que gL
p
().

DEFINIO (convexidade)
) , ( : b a f
dita ser uma funo convexa se

x<y
[ ] ) ( ) ( ) 1 ( ) 1 ( y f x f y x f + +
01.

Ilustrao:


Observao.
b u t s a < < < <

t u
t f u f
s t
s f t f

) ( ) ( ) ( ) (
uma condio equivalente.



A derivada, se existir, monotonicamente no-decrescente.
A 2 derivada, se existir, sempre positiva (concavidade)

( ) b a x , ,
ento
) ).( ( ' ) ( ) ( + > x f f x f


TEOREMA.
Se f convexa em (a,b), ento f contnua em (a,b).

Exemplo de funo convexa: f(x)=e
x
.



TEOREMA DE JENSEN
Seja uma medida em uma lgebra A definida no espao tal que
()=1. Se g uma funo real em L
1
(), com a<g(x)<b para todo x em
, e se f uma funo convexa em (a,b), ento:

|
|

\
|
d g f gd f ) ( o
.

Observao.
Este teorema no exclui os casos limites a=-, b=+.


PROVA.
Seja

= gd t :
a<t<b.
Tome agora
s t
s f t f

=
) ( ) (
sup :
(
s t
s f t f

) ( ) (

, pois o sup).
Conclumos que
) ( ) ( ) ( t s t f s f +
(a<s<b), em particular, s=g(x),
obtemos
0 ) ( ) ( )) ( ( + t x g t f x g f
.
Integrando agora a expresso anterior, chega-se a:
( ) ( ) 0 +


d t gd d gd f d g f o
.

Da
( ) ( ) 0 +


t t d gd f d g f o
donde

( ) ( ) 0


d gd f d g f o
, concluindo a demonstrao.

CONSEQUNCIAS

1) Se g(x)=x, obtemos a desigualdade:
{ } ( ) { } ) (x f E X E f



2) Se f(x)=e
x

{ }


d e gd
g
exp
.

Suponha agora que ={p
1
,p
2
,...,p
n
} e que (p
i
)=1/n (equiprovveis) e
tome g(p
i
)=x
i
. Ento:
( ) ( )
n
x x x x
n
e e e e
n
x x x
n
+ + +
)
`

+ + + ...
1
...
1
exp
3 2 1
2 1

Fazendo y
i
=exp(x
i
), obtm-se
( ) ( )
n
n
n
y y y
n
y y y + + + ...
1
.... .
2 1
/ 1
2 1
importante!
mdia geomtrica mdia aritmtica.

3)
{ }


hd hd log exp
(tomando g=log h)
mdia geomtrica mdia aritmtica

Se
0 : ) ( > =
i i
p
,

=
i
i
1
(distribuio discreta arbitrria)
Chega-se a
n n n
y y y y y y
n


+ + + ... .... .
2 2 1 1 2 1
2 1

Generalizao da relao entre mdias harmnica & geomtrica.



3) Sejam p e q expoentes conjugados, i.e,
1
1 1
= +
q p
; 1<p<+
(ou seja, p+q=p.q)

TEOREMA- DESIGUALDADES BSICAS

Sejam p, q expoentes conjugados, 1<p<+. Seja X um espao de
medida, com medida . Sejam f e g funes mensurveis em X, com
valores na faixa [0, +]. Ento:

(i) Desigualdade de Hlder Otto Hlder
{ } { }

X
q
X
q
p
X
p
d g d f gd f
/ 1 / 1
. .


(ii) Desigualdade de Minkowsky Hermann Minkowski
{ } { } { }
p
X
p
p
X
p
p
X
p
d g d f d g f
/ 1 / 1 / 1
) (

+ +
.

Hlder (PROVA)

{ } { }

X
q
X
q
p
X
p
d g d f gd f
/ 1 / 1
. .

:=A :=B
(p e q so expoentes conjugados, f0, g0 mensurveis)

Sejam
A
f
F = :
e
B
g
G = :
funes
(casos A=0 ou B=0; A=+ ou B=+ Triviais)


Vejamos que
{ } 1 =

X
p
d F
e
{ } 1 =

X
q
d G
.

{substituindo,
1
1
= =
)
`

X
p
X
p
X
p
p
X
p
p
d f
d f
d f
A
d
A
f

;
1
1
= =
)
`

X
q
X
q
X
q
q
X
q
q
d g
d g
d g
B
d
B
g

}.


Dado x, s, t |
p s
e x F
/
) ( =
e
q t
e x G
/
) ( =
.
t s q t p s
e q e p e
1 1 / / +
+

{e
g
convexa,
q
t
p
s
+
=p
-1
s+q
-1
t uma combinao convexa}
t s
e q e p x G x F
1 1
) ( ) (

+

Da segue-se:
) ( ) ( ) ( ) (
1 1
x G q x F p x G x F
t s
+
,

pois
s p
e x F = ) (
e
t q
e x G = ) (
.


Integrando ambos os membros, deduz-se a desigualdade



+
X
q
X
p
X
d G q d F p d x G x F
1 1
) ( ) (


Pela normalizao, o 2 membro torna-se p
-1
+q
-1
. Como os expoentes
so conjugados (por escolha inicial), chega-se a

1 ) ( ) (

X
d x G x F
.


Substituindo as expresses de F e G em termos de f e g,
1
) ( ) (

X
d
B
x g
A
x f

B A d x g x f
X
. ) ( ). (

e a demonstrao concluda! Q.E.D.

Para p=q=2, a desigualdade reduz-se conhecida

DESIGUALDADE DE SCHWARTZ (Hlder p=q=2)

.
{ } { }{ }

+
X X X
d g d f d g f
2 2
2
2
. ) (

Aplicao direta para variveis aleatrias:

HLDER PARA V.A.s

Sejam f:=|X| e g:=|Y|

{ } { } { }
q q p p
Y E X E XY E | | . | | | |
/ 1 / 1

.

Minkowsky (PROVA)

{ } { } { }
p
X
p
p
X
p
p
X
p
d g d f d g f
/ 1 / 1 / 1
) (

+ +


Pode ser reescrita de modo compacto como p p p
g f g f || || || || || || + +


Partindo de
(f+g)
p
=f(f+g)
p-1
+g(f+g)
p-1
[**]




Aplicando Hlder a cada das funes do 2 membro:

{ } { }
q
X
q p
p
X
p
X
p
d g f d f d g f f
/ 1
) 1 (
/ 1
1
) ( . ) (


+ +
(1 funo)
{ } { }
q
X
q p
p
X
p
X
p
d g f d g d g f g
/ 1
) 1 (
/ 1
1
) ( . ) (


+ +
(2 funo)

Somando agora as desigualdades membro a membro, usando [**] no
1 membro, tem-se
[ ] [ ] { }
q
q pq
X
p
X
p
p
X
p
X
p
d g f d g d f d g f
/ 1
/ 1 / 1
) ( . ) ( |

\
|
+ + +



.


Dividindo adequadamente, chega-se a

[ ] [ ] { }
p
X
p
p
X
p
q
p
X
X
p
d g d f
d g f
d g f
/ 1 / 1
/ 1
) (
) (

+
|

\
|
+
+

e a prova conclui. Q.E.D.

Casos particulares da desigualdade de Minkowsky:
{ } { } { }
2 / 1
2
2 / 1
2
2 / 1
2
) (

+ +
X X X
d g d f d g f




DESIGUALDADE C
r


Estabelece que
{ } { } { }
r
r
r
r
r
Y E C X E C Y X E | | | | | | + +

em que

1
1
1
2
:
1
r
r
C
r
r




Prova.
Considere f()=
r
+(1-)
r
.
Um esboo de f


Segue a cota:
1
1
1
2
) (
1

r
r
se
se
f
r

.
Concluso:
1 ) ( f C
r , r. (1)

Tome agora
| | | |
| |
Y X
X
+
=
e da
| | | |
| |
1
Y X
Y
+
=


Substituindo em (1), obtemos:
( ) ( )
1
| | | |
| |
| | | |
| |

+
+
+
r
r
r
r
r
r
Y X
Y
C
Y X
X
C
.



( )
r
r
r
r
r
Y X Y C X C | | | | | | | | + +
.

Tomando o valor esperado:
{ } { } ( )
r
r
r
r
r
Y X E Y E C X E C | | | | | | | | + +


Usando finalmente a desigualdade triangular, chega-se a:
{ } { } ( )
r r
r
r
r
Y X E Y E C X E C | | | | | | + +
,
Completando a prova. Q.E.D.

DESIGUALDADE DE LYAPUNOV (Liapunov grafia nossa)

Teorema. Vale a desigualdade
{ } { }
r r s s
X E X E | | | |
/ 1 / 1

para r s>0.
Isto significa que L
r
L
s
.

PROVA.
Defina a funo
{ }
t
U E t f | | log : ) ( =
, t0, funo convexa.

Seja
2
| | :
h t
U X
+
=
e
2
| | :
h t
U Y

=
, (h).


Da desigualdade de Cauchy-Schwartz, tem-se:
{ }
2 2 2
| | . | | | | Y E X E XY E


Substituindo as variveis X e Y em termos de U,

{ }
h t h t t
U E U E U E
+
| | . | | | |
2


Tomando log(.) em ambos os membros, chega-se a


) (
2
1
) (
2
1
) ( h t f h t f t f + +
h.
Observao. Se f contnua e a desigualdade anterior se verifica, ento f
convexa.


f(0)=0
t
t f ) (
declividade, montona crescente. (antilog=exp)
De
t
t f ) (
, antilog
t
t f ) (
=antilog
{ }
{ }
t t
t
U E
t
U E
| |
| | log
/ 1
=


Da relao
{ }
t t
U E | |
/ 1
segue a prova. Q.E.D.




SIMULAO MONTE CARLO


Estimativa de algibeira para o nmero de simulaes necessrias
para estimar a freqncia relativa de evento de probabilidade p
(p desconhecida).


Suponha que voc deseja simular um sistema e avaliar uma taxa de erros
ou taxa de acertos (e.g. de peas em uma linha de montagem, de uma
transmisso digital, taxa de coliso de partculas etc.).


A cada simulao, efetuam-se n repeties do evento e obtendo um
resultado diferente cada vez que a simulao for realizada. O valor
mdio um estimador da probabilidade p (vide anexo).


Embora p<<1 seja desconhecida (tpico), deve simular de modo a
garantir um espalhamento pequeno em trono da mdia, digamos 10%
(ou 1%).
=0,1 (critrio 10%)


EXEMPLO. Ao estimar em computador a probabilidade de um evento
que voc desconfia em uma estimativa grosseira ter probabilidade da
ordem de 10
-4
, (querendo simular para encontrar uma estimativa
probabilisticamente confivel), use:



N.B. Se o valor da estimativa for , por exemplo, bem inferior
a sua estimativa inicial, refaa as contas sobre n e refaa a simulao...


O mtodo clssico de simulao, chamado MONTE CARLO,
certamente no indicado para avaliar a taxa de eventos com
probabilidades muito pequenas, e.g., 10
-9
. (see importance sampling)

ANEXO. Para um experimento de Bernoulli, k sendo o nmero de sucessos e n o nmero de repeties do
experimento, k uma varivel aleatria com distribuio binomial.

E(k)=np e var(k)=
2
(k)=np(1-p).

Seja a estimativa de freqncia relativa para a probabilidade p do evento estudado (e repetido): . Como
k uma varivel aleatria, tambm o .
1. , o estimador no enviezado.
(o valor mdio das diversas simulaes tende a fornecer o valor de p)
2. de modo que o espalhamento relativo mdia vale .
(p pequeno)


Integrao Monte Carlo
Hit or miss technique
0g(x)c em axb. Deseja-se avaliar

=
b
a
dx x g S ) ( :


Seja o espao amostral
} 0 , ) , {( : c y b x a y x =

E uma distribuio 2D-uniforme
contrrio
y x
caso
se
a b c
y x f
Y X

=
) , (
0
) (
1
: ) , (
,


) (
:

=
area
S
p
N realizaes aleatria.
estimador de freqncia relativa
N
n
p
hits
= :

Convergncias
p p = plim
e
p p = l.i.m.
(ver-se- aps).

ALGORITMO.

1. Gere 2N nmeros aleatrias uniformes {U
j
}
2. Arrange-os em N pares (U
1
,U
1
), ..., (U
N
,U
N
)
3. Calcule
) ( a b U a X
i i
+ =
e
) (
i
X g
i=1,2,...,N.
4. Conte o nmero de casos n hits para os quais g(X
i
)>cU
i

5. Estime a integral por
N
a b c p p
z p a b c
) ( ) 1 .(
) (





J. Von Neumann (EUA, imigrante Hngaro)

Aplicaes

Otimizao global (programao matemtica)
Sistemas de equaes lineares
Integrais mltiplas
Cadeias de Markov

A Funo Caracterstica de uma varivel aleatria


Def. Dada uma v.a. de distribuio F
X
(.), define-se:


+

+

= = dx x f e x dF e j M
X
x j
X
x j
X
) ( ) ( : ) (

.

Notaes usuais: M
X
(.) ou
(.)
X

Isto corresponde a transformada inversa de Fourier da densidade de
probabilidade da varivel aleatria:
) ( ) ( x f j M
X X

.


Nota: M
X
poderia ter sido mais naturalmente definida como a TF da
densidade de probabilidade f
X
da v.a. X

Exemplo.

1) Varivel uniforme X~ U UU U(a,b).

[ ]
a j b j
b
a
x j
X
x j
X
e e
a b j
dx
a b
e dx x f e j M

= =

+

) (
1 1
) ( ) (
.
A funo caracterstica
[ ]
a j b j
X
e e
a b j
j M

=
) (
1
) (



2) Varivel exponencial . X~E EE E( ),

+

= =
0
) ( ) ( dx e e dx x f e j M
x j x
X
x j
X


.

j
j M
X

= ) (
.
Exemplo: O caso Gaussiano.

1) Para uma v.a. de distribuio Gaussiana normalizada, X~N NN N(0,1)

2 /
2
2
1
) (
x
X
e x f

=

. Tem-se imediatamente
2 /
2
) (

= e j M
X
.


2) Uma varivel gaussiana sob transformao afim,
2 2
2 / ) (
2
1
) (



=
x
X
e x f
resulta em
2 /
2 2
) (

= e e j M
j
X .

3) varivel de Poisson

= dx i x
i
e
e j M
i
i
x j
X
0
) (
!
) (

( )

=
0
!
i
i
j
i
e
e

) 1 (
) (

j
e
X
e j M

=
.



Propriedades da funo caracterstica. (10 propriedades)

i) Para todo


) 0 ( 1 | ) ( |
X X
M j M =
.
Claro que

+

= ) ( ) 0 ( x dF M
X X e

+

+

= = 1 ) ( | | | ) ( | | ) ( | dx x f e x dF e j M
X
x j
X
x j
X

.

ii)
= ) ( j M
X
) (
*
j M
X
bvio.

iii) M
X
uniformemente contnua em .

+

+

+
= + ) ( ) ( ) ( ) ( |
) (
x dF e x dF e j M h j M
X
x j
X
x h j
X X




Mas
[ ]

+

+
+

+

+
= ) ( ) ( ) (
) ( ) (
x dF e e x dF e x dF e
X
x j x h j
X
x j
X
x h j

e
[ ] [ ]

+

+

= + ) ( 1 ) ( 1 ) ( ) ( | x dF e e x dF e e j M h j M
X
jhx x j
X
jhx x j
X X



de onde:
0 ) ( 1 ) ( 1 | | | ) ( ) ( | = +

+

+

x dF e x dF e e j M h j M
X
jhx
X
jhx x j
X X

se h0.

Assim,
+ | ) ( ) ( | j M h j M
X X
h<

{ } | | . | | ) ( | | ) ( ) ( 1 1 X E h x dF x h x dF hx x dF jhx
X X X
= = = + =

+

+

+

{ } | |
| |
X E

<
.

iv) Transformao afim

=

) ( j M
X
) (
*
j M
X
e
=
+
) ( j M
b aX
b j
X
e ja M

). (


v) Geradora de momentos:
{ }
0
) ( ) (
=

j M j X E
X
n
n
n n




vi) Frmula de inverso:

d j M e x f
X
x j
X
) (
2
1
) (


vii) De
) ( ) ( ) Pr(
+
= = x F x F x X
X X
,

= =
n
n
X
x j
d j M e
n
x X

) (
2
1
0
lim
) Pr(
.

viii) M
X
(.) semidefinida positiva:

[ ]

S v u
X
u h v h u v j M
,
0 ) ( * ) ( ) (
,
S
, finito, h: qualquer.

ix)
{ }
i
X
v.a.s independentes, e

=
i
i
X Y :
e a varivel soma, ento

=
i
X Y
j M j M
i
) ( ) (
.


x) Sequncias de funes (Gnedenko 1962):
Se
{ }

=1
) (
n
X
j M
n

uma sequncia de funes caractersticas, ento:

= 1 | 0
n n

n
X n
j M
n
) ( .
tambm uma funo caracterstica.



Teorema da unicidade. Se duas funes distribuio de probabilidade tm
a mesma funo caracterstica, ento elas so iguais. {decorre de Fourier}

(as funes caractersticas so especialmente teis nos teoremas limites).

Teorema (convergncia de seqncias de distribuies).
(a) Seja
{ }
n
F
uma sequncia de funes distribuio com funes
caractersticas respectivas
{ }
n
M
. Se F
n
F, ento M
n
M, sendo a
convergncia uniforme com respeito a x em qualquer intervalo finito
a<x<b.

(b) Suponhamos que

i) M
n
converge em e define a funo limite M;

ii) M contnua na origem. Ento:
F
n
F, em que F uma funo distribuio de probabilidade
M a funo caracterstica da varivel de distribuio F.






Srie de Taylor para a funo caracterstica de uma v.a.

Suponha que a expanso em srie de Taylor da funo caracterstica existe
em algum intervalo que contenha a origem. Ento

[ ]

+
=
=
0
!
) (
) (
k
k
k
X
k
j
X E j M

.

A funo caracterstica fornece TODOS os momentos da varivel aleatria.
Assim, conhecer momentos conhecer distribuio.


Calcular os momentos (no-centrais) de uma distribuio gaussiana de mdia
nula e varincia
2
.
X~ N NN N(0,
2
).
Fazendo
...
! 2
1
) 1 ( ...
8
1
2
1
1 ) (
2 2 4 4 2 2 2 /
2 2
+ + + + = =
l l
l
l
X
l
e j M


Chega-se a
{ }
par
mpar
n
n
n
n
X E
n
n

=
)! 2 / ( 2
!
0
2 /
.
avaliar:
dx e x
x 4 / 10
2

+

, use
2
=2 n=10.


EXERCCIO (seguradoras)
Algumas companhias de seguro aplicam o chamado princpio exponencial
para atribuir um custo de um seguro. Seja X a varivel aleatria que descreve
o valor a ser pago ao segurado nas diversas possveis ocorrncias em que ele
pode acionar o seguro. A distribuio adimitida como exponencial de
parmetro , e a quantia mdia para pela seguradora E(X)=.
O valor V estabelecido para a aplice segue a regra:
( )
aX
e
a
V ln
1
=
, em que a=
uma constante positiva, sendo 0< <1
( ajustado de acordo com o perfil do segurado).


Determinando o valor cobrado pela aplice:
X~E EE E(), cuja funo geradora de momentos vale
s
s M
X

) (
, s<.
Deseja-se avaliar M
X
(a).
Note que a=<, pois 0<<1.

Assim,
( )

1 1 ln
ln
1
=
|

\
|

=
a a
V




No caso de funes caractersticas conjuntas, seja o caso simples de apenas
duas variveis X
1
, X
2
, com distribuio F
X1,X2
.

Mostra-se que
[ ]
0 , 0
2 1 ,
2 1
2 1
2 1
2 1
) , ( ) (
= =
+
+

=



j j M j X X E
X X
m n
m n
m n m n


generaliza-se facilmente ...




Funo caracterstica de vetor aleatrio

X vetor n-dimensional:
[ ]
X j
X
T
e E j M
r
r
r
r

= : ) (


As propriedades so semelhantes, e.g.,
B X A Y + =
r r
.
, A e B matrizes:
) ( . ) (
T
X
b j
Y
jA M e j M
T
r
r
r
=
.

Aplicao. Seja X um vetor aleatrio bidimensional com funo caracterstica:

( )
2 1
2
2
2
1
. 2 2
2 1
)) , ( ( ) (


+ +
= = e j M j M
X X
r r
r
.


Deseja-se o vetor mdia m
X
e a matriz de covarincia K
X
.

1)
{ }
) 0 , 0 (
1
1
=

r
X
M
j X E
... calculando-se:
{ } [ ] 0 4 ) (
) 0 , 0 (
2 1 1
= =
=
r
r
j M j X E
X .
Idem para E{X
2
}.
Resultado: |
|

\
|
=
0
0
X
m
r
.

2)
{ } [ ] 1 1 ) 4 ).( 4 ( ). ( ) (
1 2 2 1
) 0 , 0 (
2 1
2
2
2 1
= + + =

=
=

r
r
r
j M
M
j X X E
X
X


e
{ } { } 1
2 1 1 2
= = X X E X X E
.

{ } 4 ) (
) 0 , 0 (
2
1
2
2 2
1
=

=
=
r
X
M
j X E
e
{ } { } 4
2
1
2
2
= = X E X E
,

Resultando em
|
|

\
|
=
4 1
1 4
X
K
.







A VARIVEL SOMA

Considere uma v.a. X definida pela soma de N variveis aleatrias
independentes,
{ }
N
n
n
X
1 =
.

=
=
N
n
n
X X
1
:
.
A funo caracterstica para X
(

\
|
=

=
N
n
n X
X j E j M
1
exp ) (
.
Logo,
( )
(

=

=
n
N
n
X
X j E j M exp ) (
1
. Desde que as v.a.s so
independentes, o clculo da esperana desacoplado:


( ) [ ]

= =
= =
N
n
X
N
n
n X
j M X j E j M
n
1 1
) ( exp ) (
.

=
=
N
n
X X
j M j M
n
1
) ( ) (


A funo caracterstica da varivel aleatria soma de
variveis independentes o produto das funes
caractersticas das variveis individuais.



TRIVIA:

Z:=X+Y X e Y independentes.

) ( ). ( ) ( j M j M j M
Y X Z
=
e usando a transformada de Fourier:
) ( * ) ( ) ( z f z f z f
Y X Z
=
.
Convoluo!

Caso particular Soma de duas v.a.s i.i.d. uniformes:

Z:=X+Y
) ( * ) ( ) ( z f z f z f
Y X Z
=
=

= ) ( * ) ( z z
) (z
.


VARIVEL aleatria CAUCHY

) 1 (
1 1
) (
2
x
x f
X
+
=

e
| |
) (

= e j M
X

Sejam
{ }
N
n
n
X
1 = i.i.d. Cauchy, e

=
=
N
n
n
X X
1
:
.

Qual a funo caracterstica de X? Calcule e mostre que tb Cauchy.

N.B. Depois, ser observado que E{X}=+ e a validade do teorema central
comprometida.

VARIVEL chi-quadrada (qui-quadrada)

) (
) 2 / ( 2
) (
2 /
2 / 2 / ) 2 (
x u
n
e x
x f
n
x n
X

=

e
2 /
) 2 1 (
1
) (
n
X
j
j M

=


Sejam
{ }
N
n
n
X
1 = i.i.d. Cauchy, e

=
=
N
n
n
X X
1
:
.

Qual a funo caracterstica de X?




COTAS SOBRE PROBABILIDADES

Desigualdade de Chebyshev (Pafnutti Tchebyscheff).
N.B. H diversas grafias na maioria dos nomes de outra nacionalidade:
Chebyshev, Chebyschev, Tchebyshev, Tchevyscheff...)

Dado >0 (arbitrariamente pequeno), X varivel aleatria de

Mdia m
X

Varincia
X
2

{ }
2
2
| | Pr

X
m X >
.

Teorema. Se fa>0 em I , ento
{ }
{ }
a
X f E
I X
) (
Pr
.





Vejamos:
{ } ) ( ) ( ) ( x dF x f X f E
X

+

=
.
{ } ) ( ) ( ) ( ) ( ) ( x dF x f x dF x f X f E
X
I
X
I
C

+ =

{ } ) ( ) ( ) ( x dF x f X f E
X
I

0
Enfraquecendo a desigualdade:
{ } } Pr{ ) ( ) ( I X a x dF a X f E
X
I
=

Q.E.D.
Aplicao. v.a. X, com mdia nula E{X}=0 e E{X
2
}=
2

Seja
2
2
: ) (
|
|

\
|
+ =
a
x x f

.
Para xa>0, (intervalo I),
0 ) (
2
2
2
2

|
|

\
|
+
|
|

\
|
+ =
a
a
a
x x f

.

Esboo:

{ }
{ }
2
2
2
) (
Pr
|
|

\
|
+

a
a
x f E
a X
ou seja,
{ }
{ }
2
2
2
2 4 2 2
/ / } { 2
Pr
|
|

\
|
+
+ +

a
a
a a X E X E
a X

Logo
{ }
2 2
2
2
2
2
2 4 2
/
Pr

|
|

\
|
+
+

a
a
a
a
a X
ou
{ }
2 2
2
Pr

+

a
a X
. (cota).

COTA INFERIOR E SUPERIOR

Teorema. X uma varivel aleatria e g0, g Borel mensurvel
(toda imagem inversa um conjunto na -lgebra de Borel)
Se g par e no-decrescente em [0,).
Ento a0, tem-se

{ }
{ }
{ }
) (
) (
| | Pr
) ( sup . .
) ( ) (
a g
X g E
a X
x g s a
a g X g E

Calculando E{g(X)}:
{ }

+ =
A
X
A
X
A
X
x dF x g x dF x g x dF x g X g E
c
) ( ) ( ) ( ) ( ) ( ) ( ) (
,
pois o 2 termo positivo.

{ } { } a X a g x dF a g x dF x g X g E
A
X
A
X
=

| | Pr ) ( ) ( ) ( ) ( ) ( ) (
.

Por outro lado,
) ( ) ( sup x g x g
ou
) ( ) ( sup . . x g x g s a
a.e.

{ } a X x g x dF x g x dF x g
A
X
A
X
=

| | Pr ). ( sup ) ( ) ( sup ) ( ) (
(I)

{ } ) ( | | Pr ). ( ) ( ) ( ) ( ) ( a g a X a g x dF a g x dF x g
c c
A
X
A
X
=

(II)

Somando termo a termo,
{ } ) ( | | Pr ). ( sup ) ( ) ( a g a X x g x dF x g
X
+

+


E finalmente

{ } { } a X x g a g X g E | | Pr ). ( sup ) ( ) (
Q.E.D.

Corolrio.
Desigualdade Generalizada de Chebyshev. Dado >0 arbitrrio, to
pequeno quanto se queira, g0,par no-decrescente em [0,).

{ }
{ }
) (
) (
| | Pr

g
X g E
X
.
Com g(x)=x
2

{ }
{ }
2
2
| | Pr

X E
X
.

Para X-m
x
X Varivel aleatria central

{ }
{ }
2
var
| | Pr

X
m X
X

desigualdade de Chebyshev

DESIGUALDADE DE MARKOV

Tomemos g(x)=|x|
r


{ }
{ }
r
r
X E
X

| | Pr
.
Observao.

Convergncia em r-sima mdia X
n
X se e s se
{ } . 0
r
n
X X E



X X
sima r
n

{ } . 0
r
n
X X E


Exemplo.
Uma visita verso fraca da LEI DOS GRANDES NMEROS
Uma sequncia infinita de variveis aleatrias
{ }

=1 n
i
Y
, estatisticamente
independentes (e possivelmente identicamente distribuidas)

Definamos
( )

=
=
n
i
i i n
Y E Y
n
X
1
) (
1
:
n=1,2,3,...

Essa nova seqncia de v.a.s tem
E{X
n
}=0
Var(X
n
)=
n
i
Y
n
2
2

=


Um esboo da verso fraca da Lei dos grandes nmeros:
{ }
{ }
2
var
| | Pr

X
m X
X



{ }
2
2
| | Pr

n
X
n

0 quando n.
{ } 0 | | Pr
0
lim
=

n
X
n


O estimador de frequncia relativa um estimador consistente (quando ele
converge em Probabilidade). Os conceitos de convergncia de sequncias de
variveis aleatrias so requeridos.


COTA (EXPONENCIAL) DE CHERNOFF

Uma cota apertada (tigth upper bound).

Usando a funo caracterstica.

+

= ). ( : ) ( x dF e j M
X
x j
X

Passando ao plano real:
j s


Seja

+

= ) ( ) ( x dF e s M
X
sx
X , s Real.
(chamemo-la funo geradora de momentos, sentido estrito)


{ }
sX
X
e E s M = ) (


Seja
{ }
sX
X
e E s M s ln ) ( ln : ) ( = =
.

+

= ) ( ln : ) ( x dF e s
X
sx

pela desigualdade de Jensen

{ } X E s e x dF e s
x xdF s
X
sx
X
. ln ) ( ln : ) (
) (
=

=
+

.


Dado >0, Avaliemos agora
{ } X Pr
:

{ } { }

+
= = =

) ( ) , [ ) , [ ) ( Pr x dF I I E x dF X
X X


{ } { } { }

s
s
s
s
X
e E
e
I e E
e
x dF I X
1
) , [ .
1
) ( ) , [ Pr = =


Em termos de (s), s0
{ }

s s s
s
e e
e
X

=
) ( ) (
1
Pr
.


Resolvendo agora o problema de programao matemtica (minimizao)

s s
s
t s
Min

) (
0
. .

[ ] 0 ) ( =

s s
s
ou seja,

s
s) (
o que atingido em um
s=s
0
particular.


A cota (exponencial) desejada
{ }

0 0
) (
Pr
s s
e X






Vejamos agora um caso de interesse.
Seja

=
=
N
i
i
X X
1
:
, com X
i
i.i.d. e avaliemos
{ } N X Pr
.
Isto equivale a considerar
)
`

N
i
i
X
N
1
1
Pr
.

Da cota de Chernoff bsica,

0 0
) (
1
1
Pr
Ns s
N
i
i
X
e X
N

)
`

.
Mas
{ } ( ) ( ) ( ) ) ( ln ) ( ln ) ( ln ln ln ln ) (
1 1
1
s M N s M e E e E e E e E s
Xi
N
Xi
N
i
sx
N
i
sx
x s
sx
X
i i
N
i
i
= =
|
|

\
|
= =
|
|
|

\
|

= =

= =
=

A cota de Chernoff no caso de varivel soma i.i.d. torna-se:
( ) ) ( ) (
1
0 0 0 0
1
Pr
s s N Ns s N
N
i
i
i
X
i
X
e e X
N

=
=
)
`

.


A cota (exponencial) de CHERNOFF desejada
( )

,
1
0
1
Pr
s NE
N
i
i
e X
N

)
`

Esta cota decresce exponencialmente com N, enquanto que a lei fraca dos
grandes nmeros (com base na cota de Chebyshev) decresce apenas com
1/N.

UMA COTA EXPONENCIALMENTE APERTADA!

Pode ser demonstrado que o expoente E(s
0
,) o maior possvel, i.e., inexiste
uma cota exponencial da forma
'
1
1
Pr
NE
N
i
i
e X
N

)
`

Com E independente de N e tal que E> E(s
0
,).

Por esta razo a cota de Chernoff dita ser exponencialmente apertada
(tight bound).




APLICAO
Cota para uma varivel Gaussiana.
2 /
2
2
1
) (
x
X
e x f

=

2 /
2
) (

= e j M
X
.
2 / 2 / ) / (
2 2
) (
s j s
X
e e s M = =


2
) (
2
s
s =
.
impondo

s
s) (
, tem-se
=
0
s
.
Assim, Pr{X} pode ser exponencialmente cotada por
{ }
2 /
2
2
2
2
Pr

= e e X



EXEMPLO DOIS.ZERO. (h carro 2.0!)
A cota para a varivel

=
N
i
i
X
N
1
1
com X
i
variveis de Bernoulli.
p - 1 prob. com
p prob. com
0
1

=
i
X


) 1 ( ) ( p pe s M
s
X
i
+ =

( ) ) 1 ( ln ) ( p pe s
s
+ =
.

De

=
+
=

s
s
e p
p pe s
s
. .
) 1 (
1 ) (
obtm-se |
|

\
|

=
p
p
s
). 1 (
) 1 .(
ln
0

( )
) 1 ln( ) 1 ( ln . ) 1 ln( ) 1 ( ln . ) ( . .
0 0
+ = p p s s
i
X


Definindo:

) 1 ln( ) 1 ( ln : ) ( p p T
p
=
e
) 1 ln( ) 1 ( ln : ) ( = H


Mostra-se que:
( ) ) ( ) (
1
1
Pr

H T N
N
i
i
p
e X
N

=

)
`

,
1 < p
.
Ou
( ) ) ( ) (
1
1
Pr

H T N
N
i
i
p
e X
N

=

)
`

,
p < 0
.
Herman Chernoff (EUA, imigrante russo)

CONVERGNCIA DE SEQUNCIAS DE VARIVEIS ALEATRIAS

Sequncias de nmeros reais:
{ }

=1 n
n
r
r
n
r (r
n
converge para r)
se e somente se >0 N

| r
n
- r |< n> N

Varivel aleatria X: Funo real de varivel real.
Conjunto de funes de valores reais:
{ }

=1 n
n
f
f
n
f (f
n
converge para f ponto a ponto)
se e somente se >0 N
,x
| f
n
(x)- f(x) |< n> N
,x
x.


{ }
n
f
f
) ( ) ( x f x f
n

x.
Seq. de nmeros reais.

Convergncia uniforme (j estudada em MMAT):

Usar N

em lugar de

N
,x




Exemplo 1.
] 1 , 0 [ x

nx
n
xe n x f

=
2
: ) (
claro que
0 ) ( lim =

x f
n
n
.
0 = f f
n . A convergncia uniforme?

Critrio.

F
n
converge uniformemente
0 ) ( ) (
] 1 , 0 [
sup lim =

x f x f
x n
n
.




Temos:
nx
n
xe n
x
x f x f
x

2
] 1 , 0 [
sup ) ( ) (
] 1 , 0 [
sup
.

Verificando o mximo:
0
2 3 2
= + =
nx nx nx
e n xe n xe n
dx
d

[1-n.x]=0 i.e., o ponto de mximo ocorre em
n
x
1
=
.
e
n
xe n
x
nx
=

2
] 1 , 0 [
sup


+ =

nx
xe n
x n
2
] 1 , 0 [
sup lim
e a convergncia no uniforme.

Graficamente:


Ver Animao.

Exemplo 2.

X
n
() X()=0 (mas no uniformemente).
Dado
0
N n>N 2/n<
0

+ =

=

n
n
X
n
n
lim | ) ( |
] 1 , 0 [
sup lim

.

Exemplo 3.
n
n
e X
/
: ) (

=
, com
]. 1 , 0 [

X
n
() X()=1 (converge uniformemente).

? ) ( ) (
] 1 , 0 [
sup lim =

X X
n
n

n n
e e
/ /
1
] 1 , 0 [
sup
1
] 1 , 0 [
sup

. Mas em
] 1 , 0 [
,
1
/ / 1

n n
e e

e
portanto,
0 | 1 |
lim ) ( ) (
] 1 , 0 [
sup lim
/ 1
=

=

n
n
e
n
X X
n

.

CONVERGNCIA COM PROBABILIDADE 1

Def.
{ }

=1 n
n
X
diz-se que X
n
X c.p.1 (p.s. = a.s.) se e s se
1
) ( ) ( lim
Pr =
|
|

\
|
)
`

X X
n
w
n
. Denota-se tambm
X X
s a
n
. .

.

Conseqencia.
0
) ( ) ( lim
Pr =
|
|

\
|
)
`

X X
n
w
n
.

So equivalentes as seguintes proposies.




X
n
X c.p.1 se e s se >0, >0 N
,


{ }

>
|
|

\
|
<
>
1 | ) ( ) ( | Pr
,
X X w
n
N n
I
(conjuntos bons)


{ }

= <
|
|

\
|

>
) 1 ( 1 | ) ( ) ( | Pr
,
X X w
n
N n
U
(conjuntos ruins)

>
|
|

\
|
)
`

<
>
1
| ) ( ) ( | sup
Pr
,
X X
N n
w
n
.



CONDIES
I) Necessria

Pr(B
n
)0 quando n

> >

|
|

\
|
N n
n
N n
n
B P B P 0 ) (
U

Obs. Suponha que n
n
B P
2
1
) ( =
. Pr(B
n
)0 quando n
mas |
|

\
|
>
U
N n
n
B P
pode no ser menor que um >0 arbitrrio
Exemplo- bolo francesa
. 1 =
|
|

\
|
>
U

N n
n
B P



II) Suficincia para convergncia cp 1

<
|
|

\
|
>
U
N n
n
B P
B
n
= bad sets
B
n
i.e.
{ }
n
B
seja sequncia monotnica no crescente


Neste caso,
U
n
N k
n k
B B

>
=

0 ) ( =
|
|

\
|
>
n
n
N k
k
B P B P
U

.

III) outra condio e suficincia com probabilidade 1 (conv. certa)

|
|

\
|
) (
n n
B P B P
U
e Pr(B
n
)0 quando n.
Suponha que

=1
) (
n
n
B P
seja convergente (cond.)

Ento

>
< >

N n
n
B P N n N ) (
e, portanto,

<
|
|

\
|

> > N n
n
N n
k
B P B P ) (
U
.


O Lema de Borel-Cantelli

Sejam {A
n
} eventos com probabilidades p
n
:=P(A
n
), n1. Ento:

i) Se

=
<
1 n
n
p

( ) 0 sup lim =
n
A P

ii) Se

=
+ =
1 n
n
p
, {A
n
} independentes
( ) 1 sup lim =
n
A P
.



Consequncia: O macaco digitador

Pondo-se um macaco para digitar aleatoriamente, razovel supor que haja
p no-nula (ainda que p<<<<<<1) que ele digite corretamente um livro de
Machado de Assis, sem nenhum erro.

Se o macaco repete independentemente vrios (infinitos) ensaios, sendo
contrrio. caso
digitao na sucesso tem macaco o se
0
1
:

=
n
A
, P(A
n
)=p>0 e pelo lema de Borel-
Cantelli ele ir digitar corretamente o livro com probabilidade 1. (o mesmo
se aplica considerando a OBRA inteira de Machado de Assis!!!).

Convergncia em mdia r-sima

Definio.
{ }
0
lim

r
n
X X E
n
r>0 .
O espao L
r
fechado em relao convergncia em mdia r-sima
Notao para r=2:
X X
n
m i l
n
=

. . .


Proposio:
se
X X
r
n

ento
{ } { }
r r
n
X E X E
n
=

lim


i) para 0<r1, usando a desigualdade-Cr
{ } { } { } { }
r r
n
r
n
r
n
X E X X E X X X E X E + + =


{ } { } { }
r
n
r
n
r
X E X X E X E +

Denominaremos por
{ } { } { }
r
n
r r
n
X X E X E X E z = :

{ } { } { }
r
n
r
n
r
X X E X E X E z =

{ } { } { } 0 | | 0 =
r
n
r r
n
X X E X E X E z
pois
X X
r
n



ii) r>1 Usar a desigualdade de Minkowsky

Convergncia em Probabilidade

Definio. Seja
{ }

=1 n
n
X
uma sequncia de variveis aleatrias. Diz-se que
X
n
converge para X em probabilidade se e s se

{ } ( ) 0 | ) ( ) ( | Pr lim =

w X w X w
n
n

Notamos por
X X
P
n

i.e., para convergncia em probabillidade exigimos
que
( )
n
B P
para todo n>N
,
.

ou seja,
( ) 0 Pr lim =

n
B
n


B
n
so conjuntos ruins:
{ } = | ) ( ) ( | : w X w X w B
n n .

Notao:
X X
n
p
n
=

lim






Proposio.
X X
r
n


X X
P
n


Prova. Pela cota de Markov,
( )
{ }
r
r
n
n
X X E
X X

Pr 0

Mas
X X
r
n


{ } 0
lim
=

r
n
X X E
n


( ) 0 Pr lim =

X X
n
n
e logo
X X
P
n

.

Claro que a inversa no verdadeira em geral. Mas, sob certas condies,
X X
P
n


X X
r
n

. Vejamos:

Proposio.
Se
0
1
lim
=

r
n
r
n
X X
X X
E
n
(implica
{ }
0
lim

r
n
X X E
n
), ento
X X
P
n


X X
r
n

.
Prova.
Seja X uma v.a. arbitrria e g em uma funo de Borel no-negativa. Se g
par e no-decrescente em [0,), vale a>0
{ }
{ }
{ }
) (
) (
| | Pr
) ( . .
) ( ) (
a g
X g E
a X
x Supg s a
a g X g E

Para este caso, tome
r
r
X
X
x g
| | 1
| |
) (
+
=
. Chega-se a (a.s. sup g(x)=1):

{ }
)
`

+
+

+

)
`

+
r
r
r
r
r
r
r
r
X
X
E
a
a
a X
a
a
X
X
E
| | 1
| | 1
| | Pr
1 | | 1
| |


Substitua X por X
n
-X; a por , logo
{ }
)
`

+
+

+

)
`

r
n
r
n
r
r
n
r
r
r
n
r
n
X X
X X
E X X
X X
X X
E
| | 1
| | 1
| | Pr
1 | | 1
| |

0
1
lim
=

r
n
r
n
X X
X X
E
n
bad sets de prob. Nula ou
X X
P
n

.



DISTNCIA entre variveis aleatrias

=
Y X
Y X
E Y X d
1
: ) , (
uma distncia, exceto que d(X,Y)=0 X=Y p.p.
Teremos um espao completo de classes equivalentesde variveis
aleatrias.

Proposio:
X X
s a
n
. .

c.p. 1
X X
P
n



(convergncia forte implica em convergncia fraca)


Prova.
Se h c.p.1 ento

|
|

\
|
>
U
,
N n
k
B P
.
,
N n >
,
U
,
N n
n n
B B
>

|
|

\
|

>
U
,
) (
N n
n n
B P B P
.
Conclui-se ento que
) (
n
B P
,
N n >

o que significa que
0 ) Pr( lim =

n
B
n

X X
P
n

Q.E.D.




Convergncia em Distribuio

Definio. Seja
{ }

=1 n
n
X
uma sequncia de variveis aleatrias. Diz-se que
X
n
converge para X em distribuio se e s se
) ( ) ( lim x F x F
n
X X
n
=

nos pontos de continuidade de F
X
.

Notamos isto por
X X
d
n

.

Teorema.
X X
P
n


X X
d
n

.


Prova.
(X<x)= (X
n
<x,X<x) ( X
n
x,X<x) (X
n
<x) ( X
n
x,X<x)
Disjuntos
P(X<x) P(X
n
<x) + P( X
n
x,X<x).

Consideremos x<x:
P( X
n
x,X<x) P(|X
n
-X|x-x) 0 qdo n , pois
X X
P
n

.

Assim,
) ' | Pr(| ) ( ) ' ( x x X X x F x F
n X X
n
+



donde
) ( inf lim ) ' ( x F x F
n
X X

, x<x.

Similarmente, mostra-se que
) ' ' ( ) ( sup lim x F x F
X X
n

, x>x.
Coletando os resultados, segue-se
) ' ' ( ) ( sup lim ) ( inf lim ) ' ( x F x F x F x F
X X X X
n n

para x<x<x

Portanto, se xContinua {F
X
}, ento fazendo xx e xx, tem-se
) ( ) ( lim x F x F
n
X X
n
=

Q.E.D.



LEIS DOS GRANDES NMEROS

Desejamos examinar a convergncia de uma soma de variveis aleatrias
quando a soma normalizada subtraindo-se o seu valor esperado e dividindo-
se o resultado pelo nmero de termos da soma.

Considere a sequncia
{ }

1
i
X
e defina

=
=
N
i
i N
X S
1
:
. Queremos examinar a
convergncia da sequencia de variveis
{ }

1
N
S
, aonde

[ ] } {
1
:
N N N
S E S
N
S =

.
Tem-se
[ ]

= = =

=
(

=
N
i
i i i
N
i
N
i
i N
X E X
N
X E X
N
S
1 1 1
} {
1
} {
1
:
.
Em particular, temos interesse nas condies exigidas que asseguram que
{ }

1
N
S
converge para zero de alguma maneira.

Se a sequncia de variveis aleatrias
{ }
i
X
, verificando E{X
i
}< para cada i,
tal que:

a)
0
. .s a
N
S

ento dizemos que a sequncia dos

{ }
i
X
obedece Lei
forte dos grandes nmeros.
b)
0
P
N
S

ento dizemos que a sequncia dos

{ }
i
X
obedece Lei
fraca dos grandes nmeros.
c)
0
r
N
S

ento dizemos que a sequncia dos

{ }
i
X
obedece Lei
mdia r-sima dos grandes nmeros.
Convergncias possveis para a mdia amostral.

Efeitos da normalizao.

Consider o caso em que os
{ }
i
X
so v.a.s i.i.d. com segundos momentos
finitos. Neste caso, definindo N N
S
N
S
1
:=

=
= =
N
i
i N
X E X E
N
S E
1
} { } {
1
} {
e
0
1
2
1
2
2
2
= =

=
N N
X
N
i
X
S i
N

VERSES FRACAS Weak law of large numbers
Teorema. Para que a sequncia de variveis aleatrias
{ }
i
X
, possivelmente
dependentes seja tal que
0
P
N
S

, necessrio e suficiente que

0
}] { [
}] { [
lim
1
2
1
=

=
=
r
N
i
i i
r
N
i
i i
X E X N
X E X
E
N
para algum r>0.
Prova.
Sabemos que
Y Y
P
N

se e somente se
0
1
lim
=

r
n
r
n
Y Y
Y Y
E
N
.

Ento substituindo
n N
Y S

e
Y 0
, vem
0
P
N
S

0
1
lim
=

r
N
r
N
S
S
E
N


( )
( )
0
} {
1
1
} {
1
lim
1
1
=

=
=
r
N
i
i i
r
N
i
i i
X E X
N
X E X
N
E
N
e o resultado segue.

Gostaramos de condies estipuladas em termos das variveis X
i
.


Teorema de Markov (condio de suficincia).
Se as variveis aleatrias
{ }
i
X
so tais que
0 var
1
lim
1
2
= |

\
|

N
i
X
N
N
, ento
0
P
N
S

.
Prova.
r
N
r
N
r
N
S
S
S

+ 1

{ }
r
N
r
N
r
N
S E
S
S
E

1
0
.

Ento
{ } 0

r
N
S E
(cond. Suf.?)
0
1

r
N
r
N
S
S
E
(cond. nec. e suf.?)
{ } ( )

= =

=
N
i
r
i i
r
r
N
i
i i
r
N
X E X E
N
X E X
N
E S E
1 1
} {
1
} {
1
a

Fazendo r=2, ...

N
i
i i
X E X E
N
1
2
2
} {
1

0
} {
1
lim
1
2
2
=

=
N
i
i i
X E X E
N
N

0
}) { }).( { (
1
lim
1 1
2
=

= =
j j
N
i
i i
N
j
X E X X E X E
N
N
, ou seja,
0 var
1
lim
1
2
= |

\
|

N
i
X
N
N Q.E.D.





Observaes: casos particulares de interesse.
1)
{ }
i
X
i.i.d.
0
1
lim
1
var
1
lim
2
1
2
2
1
2
=

= = |

\
|


X
N
X
N
i
N
N
N
X
N
N
i


(esta uma verso Chebyshev da Lei fraca dos grandes nmeros).





2) Caso srio
{ }
i
X
independentes com mdias finitas
0
} {
1
lim
1
1
1
=

=
+
+
N
i
i i
X E X E
N
N

0
P
N
S

Organizando o resultado para enunciado formal:





Teorema de Chebyshev (condio suficiente).
Se
{ }
i
X
uma sequncia de variveis aleatrias no-correlacionadas (ou
independentes) par-a-par, com varincias finitas
<
2
i
X

=

N
X
i
N
N
1
2
2
0
1
lim

, ento
0
P
N
S

.
Nota. A demonstrao um caso particular, mas pode ser feita mais
facilmente via a desigualdade de Chebyshev.
Pafnuty Chebyshev

CONVERGNCIA DA FREQUNCIA RELATIVA.

Teorema de Bernoulli. Seja K o nmero de ocorrncias de um evento em N
realizaes independentes de um experimento e seja p a probabilidade de
ocorrncia de A em cada realizao. Ento:
p
N
K
Z
P
N
= :
, i.e.,
{ } 0 | | Pr
lim
= >

p Z
N
N
>0.

Em notao simplificada:
p Z
N
p
N
=

lim


Teorema de Poisson. Se em uma sequncia de realizaes de um
experimento, a probabilidade de ocorrncia de um evento na i-sima
realizao p
i
, ento se
N
K
Z
N
= :
, >0,
1 |
1
| Pr
lim
1
=
)
`

<


=

N
i
i N
p
N
Z
N
.
(este um caso mais geral do que aquele do teorema de Bernoulli, que
corresponde ao caso particular p
i
=p)





Lei Forte dos Grandes Nmeros
(Strong Law of large numbers)

RESUMO.

FREQUNCIA RELATIVA.

Teorema de Borel. Seja K o nmero de vezes que um evento A ocorreu em N
realizaes independentes de um experimento de Bernoulli, sendo a
probabilidade de ocorrncia em cada realizao igual a p. Defina

realizao sima - i na ocorreu Se
realizao sima - i na ocorreu Se
0
1
C
i
A
A
X

=

Ento

=
=
N
i
i
X
N N
K
1
1
, e
( ) 0
1
:
1
. .

=
N
i
s a
i N
p X
N
S
.


[a demonstrao usa a desigualdade de Makov com r=4]

mile Borel
Teorema de Kolmogorov. Se a seqncia de variveis aleatrias
mutuamente independentes
{ }
i
X
satisfaz condio

<

N
X
N
N
i
1
2
lim

, ento
0
. .s a
N
S

.

RESUMO

{ }
i
X
~B(p), independentes
{ }
i
X
Independentes,
+ <
2
i
X

Leis Fracas Bernoulli
Chebyshev
Kinchine
{ }
i
X
i.i.d., E(X
i
)<+.
{ }
i
X
~B(p), independentes
{ }
i
X
independentes, E(X
i
)<+,
<

N
X
N
N
i
1
2
lim


Leis Fortes Borel
Kolmogorov (1)
Kolmogorov (2)
{ }
i
X
i.i.d. E(X
i
)<+.


ARGUMENTO DO TEOREMA CENTRAL DO LIMITE

Teorema. Para um conjunto de variveis aleatrias independentes e
identicamente distribuidas (i.i.d.) com os dois primeiros momentos finitos, a
mdia amostral
N
X
N
i
i
=
=
1
:
tende para uma distribuio gaussiana quando o
nmero de variveis cresce sem limite.

(imagine a estimativa do comportamento de grandes populaes- notas de
exames escolares, altura ou peso de indivduos, taxas bioqumicas, rudo
provindo de muitas pequenas fontes etc.) Livro=[Wilbur Davenport]

(elegante) Prova.
Vamos considerar a v.a. normalizada
) (
) (
:

E
Y
, com claramente
E(Y)=0 e
2
(Y)=1.

Tomando-se E(X
i
)=m<+ e
2
(X
i
)=
2
<+, tem-se:

m
N
Nm
N
X E
E
N
i
i
= = =

=1
) (
) (
(no enviezado)
N N
X
N
i
i 2
2
1
2
2
) (
) (

= =

=
(reduzindo a incerteza pelo aumento da populao)

2 / 1
1
/
1
N
m X
N
Y
N
i
i

=
, ou seja,
2 / 1
1
/
) (
1
N
m X
N
Y
N
i
i

=
|

\
|

=
N
i
i
m X
N
Y
1
2 / 1
1

.


Definimos uma nova varivel aleatria normalizada zeta

m X
i
i

= :
, com
0 ) ( =
i
E
;
1 ) (
2
=
i


Mdia amostral normalizada

=
=
N
i
i
N
Y
1
2 / 1
1

.


A funo caracterstica de Y
{ }

= =
=
2 / 1
1
) (
N
j
y j
Y
N
i
i
e E e E j M

ou

=

=
N
i
N
j
Y
i
e E j M
1
2 / 1
) (

.
Como os X
i
s so independentes, tambm o so os
i
s
N
N
j
N
N
i
N
j
Y
N
j M e E e E j M
i i
(

=
|
|

\
|
=
|
|

\
|
=

=
) ( ) (
2 / 1
1
2 / 1 2 / 1

.

Vamos expandir a funo caracterstica M(.) em srie de Taylor:

|

\
|
+ =
N
A
N N
j M

2
1 ) (
2
2 / 1
.
(lembrando das propriedades de gerao de momentos e que
0 ) ( = E
;
1 ) (
2
=
).

fcil verificar que
0 .
lim
2
= |

\
|
+
N
A
N
N

(em particular, quando fixo e N)

Tomando o logaritmo de M
Y
(j), tem-se:


(

\
|
+ =
N
A
N
N j M
Y

2
1 log ) ( log
.

Usando o fato que

) ( ) 1 log( z B z z + = +
em que

+
=
z
dt
t
t
z B
0
1
) (
.

***
Veja que tomando a derivada,
) ( ' 1
1
1
z B
z
+ =
+

) ( '
1
z B
z
z
=
+

, com B(0)=0.
***

|
|

\
|
|

\
|
+ + |

\
|
+ =
N
A
N
B N
N
A N j M
Y

2
. .
2
) ( log
2 2
.

Mas
0
2
1 ) (
0
=

z
tdt
z z
z B
z
quando
0 z
.

Lembrando que
0 . |

\
|
N
A N

quando N, ento no limite, o comportamento ditado por:
2
) ( log
lim
2

=

j M
N
Y

|
|

\
|
=
2
exp ) (
lim
2

j M
N
Y
.

Como
) ( j M
Y
contnua em =0, a transformada
) ( ) ( y f j M
Y Y

verifica
|
|

\
|
=
2
exp
2
1
) (
lim
2
y
y f
N
Y

Q.E.D. linda demonstrao .

Ela essencialmente devida a Liapunov. O termo Teorema Central do limite
foi introduzido por Plya em 1920.



VERSES DO TEOREMA CENTRAL DO LIMITE

Teorema de Lindenberg-Lvy
Teorema de Liapunov
Teorema de Berry-Esseen

Para detalhes, consultar livro do Feller.

TEOREMA CENTRAL DO LIMITE
Soma

=
=
n
i
i n
X S
1
:
e soma normalizada
( )
n
n n
n
S
S E S
S

} {
: *

=



Densidade, distribuio e funo caracterstica
) (
*
s p
n
S
,
) (
*
s P
n
S
,
) (
*
j M
n
S


(limite:
2 /
2
2
1
: ) (
s
S
e s p

=

=
s
S
d p s P ) ( ) (
)



ESTUDO

1 condies sobre as quais
S S
d
n

*
?
2 condies sobre as quais
) ( ) ( lim
*
s p s p
n
S
S
n
=


3 quais so os erros envolvidos? (aproximaes com n grande, porm finito)

Teorema de Lindenberg-Lvy: Se os termos em
{ }
i
X
so
i) identicamente distribuidos
ii) independentes
iii) tm mdia m finita e varincia
2
finita, no nula
Ento
S S
d
n

*
, i.e., a probabilidade do evento descrito abaixo,
( )
)
`

+ + +
= s
n
nm X X X
S
n
n

...
2 1 *
tende para
) (s P
S

Teorema de Liapunov. Se os termos em
{ }
i
X
so
i) no identicamente distribuidos
ii) independentes
iii) E{X
i
}=m
i
< e momentos centrais absolutamente finitos
{ } ) ( :
2
2
i i i
X m X E

+
+
=
para algum >0.
iv) Condio de Liapunov
0
) (
lim
2
1
2
=

+
=
+

n
S
n
i
i
X
n
para algum >0.

Ento
S S
d
n

*
, i.e.,
( )
)
`

+ + +
= s
n
nm X X X
S
n
n

...
2 1 *
tende para
) (s P
S
Teorema de Lindenberg: Se os termos em
{ }
i
X
so
i) no identicamente distribudas
ii) independentes
iii) m
i
< e
2
i
<
iv) se
0
) ( ) (
lim
2
1
| |
2
=

=
>
n
n
S i
i
S
n
i
m
X i
d p m
n


>0.

Ento
S S
d
n

*
.

Teorema do erro 1.
Se
) (
3
3
X E m =
existe e
v
X
j M ) (
, para algum v1 integrvel, ento
) (
*
s p
n
S existe para nv e alm disso
|

\
|
+ =
n
s p s s
n
m
s p s p
S S
S
n
1
) ( ) 3 (
6
) ( ) (
3
3
3
*

.



Teorema do erro 2.
Se
0
3
= m
e
) (
4
4
X E m =
existe e
v
X
j M ) (
, para algum v1 integrvel,
ento
) (
*
s p
n
S existe para nv e alm disso
|

\
|
+ +

=
n
s p s s
n
m
s p s p
S S
S
n
1
) ( ) 3 6 (
24
3
) ( ) (
2 4
4
4
4
*

.

Teorema de Berry-Esseen.

Se E{X}=0 e E{X
3
}:=
3
existe, ento
n
s P s P
s
S
n
3
3
4
33
) ( ) (
*

<
n,s

VISES MODERNAS

O TEOREMA CENTRAL DO LIMITE:
Uma abordagem via Teoria da Informao

Uma abordagem atipica, porm atrativa e interessante, considera o uso de
ferramentas da Teoria de Shannon para estabelecer teste de hipteses,
teorema central do limite etc.

Considere a breve reviso dos conceitos de
ENTROPIA e ENTROPIA DIFERENCIAL



ENTROPIA

Distribuio {p
k
}

=
k
k k
p p H
2
log : ) (p

Distribuio {p(x)}

+

= dx x p x p x p H ) ( log ) ( : )) ( (
2

Desigualdade de potncias-entropicas
Sejam X e Y independentes, contnuas e de varincia finita. Ento a entropia
diferencial diferencial satisfaz
) ( 2 ) ( 2 ) ( 2 Y H X H Y X H
e e e +
+
.
(prova p.287, R.Blahut, principles and practice of Information Theory, Addison-Wesley)

Digresso: Discriminante de Kulback

Dadas duas distribuies p
0
e p
1
, o discriminante de Kulback definido pela
relao:

=
=
1
1
0
0 1 0
ln : ) ; (
k
k p
k
k
p
p
p L p p
caso discreto

+

= dx
x p
x p
x p p p L
) (
) (
ln ) ( : ) ; (
1
0
0 1 0
caso contnuo

O discriminante invariante a troca de coordenadas, tais como mudanas de
escala ou rotao dos eixos.


Teorema. (gaussianidade).

Se p
1
*
tem distribuio gaussiana e p
0
arbitrria, ento L(p
0
; p
1
*
) atinge o
mnimo quando p
0
tambm gaussiana.

Teorema. (medida de distncia para distribuies de probabilidade).

O discriminante no-negativo, ou nulo somente quando seus argumentos
so idnticos.
Prova.
Segue da desigualdade fundamental da teoria da Informao
x
x
1
1 ln
.

0 1 1 ln : ) ; (
0 0 |
1
1
1
0
1
0
1
1
0
0 1 0

|
|

\
|
=

= = =
pk k
k
k
k
k p
k
k
k
k p
k
k
p
p
p
p
p
p
p L p p
.
Teorema (convexidade do discriminante).

O discriminante convexo em cada dos seus argumentos, i.e., dado um
escalar
] 1 , 0 [
, ento:

) ; ( ) 1 ( ) ; ( ) ; ) 1 ( (
1 0 1 0 1 0 0
p q p p p q p L L L + +


) ; ( ) 1 ( ) ; ( ) ; ) 1 ( ; (
1 1 1 0 1 1 0
q p p p q p p L L L + +
.


Definio: o discriminante binrio definido pela relao

+ =
1
1
ln ) 1 ( ln : ) , ( L
. (convexo e igual a zero sse =)

Discriminante: Define uma Distncia entre duas distribuies

Dada uma sequncia de variveis aleatrias i.i.d.
{ }

=1 l
l
X
, X
l
~(m,
2
), e a
varivel soma normalizada

=
=
n
l
l n
X
n
Y
1
1
:


{ }

=1 n
n
Y
no so identicamente distribuidas, mas sua densidade converge
para uma gaussiana: especificamente, se Z~ N(0,
2
), ento

0 ) ; ( Z Y L
n quando n.

Teorema central do limite (segue como corolrio).






Teorema
2
| ) ( ) ( |
log 2
1
) (
) (
ln ) (
(

+

+

dx x q x p
e
dx
x q
x p
x p
.
Prova.

Passo1
] 1 , 0 [ p
,
p q
, tem-se
2
) (
log 2
4
1
1
ln ) 1 ( ln q p
e q
p
p
q
p
p

+
.
Considere ento a def.
2
) (
log 2
4
1
1
ln ) 1 ( ln : ) , ( q p
e q
p
p
q
p
p q p f

+ =
com
f(p,q)=0 q=p.
A derivada
0 <

q
f

. p q <


Calculando:
0
log
1
) 1 (
) ( 4
) , (

e q q
q p
q p
q
q p f

. p q <
.

Portanto, f(p,q)0 para
1 0 p q
, completando a demonstrao.
Passo2.
Seja
)}. ( ) ( | { : x q x p x =

[ ]
2
) ( ) (
log 2
4
) (
) (
ln ) (
) (
) (
ln ) ( ) ; (

q p
e q
p
p
q
p
p q p L
C
C
C

em que

= dx x p p ) ( : ) (
,

= dx x q q ) ( : ) (
.
Agora notando que
dx x q x p dx x q x p q p
C
) ( ) ( ) ( ) ( ) ( ) ( = =


,

dx x q x p q p ) ( ) (
2
1
) ( ) ( =

+

, concluindo que
2
) ( ) (
log
2
) ; (
(

+

dx x q x p
e
q p L

Q.E.D.


Teorema (LIMITE CENTRAL).
A varivel aleatria soma padronizada

=
=
n
l
l n
X
n
Y
1
1
:
satisfaz
0 ) ; ( Z Y L
n quando n.
Esboo da prova.
Provaremos apenas que
) ; ( Z Y L
n e monotona, decrescendo a um limite.
A desigualdade de entropia para duas variveis X e Y independentes

) ( 2 ) ( 2 ) ( 2 Y H X H Y X H
e e e +
+
(igualdade iff X=Y=Z=gaussiana).

Sejam
X X

Y Y 1
.
De TI,
) ln( ) ( ) ( a X H aX H + =
.
Ento:
) ( 2 ) ( 2 ) ) 1 ( ( 2
). 1 ( .
Y H X H Y X H
e e e

+
+
.

Multiplicando por
|

\
|

+

dx x x ) ( ln ) ( 2 exp
, em que ~ N(0,
2
), e usando o fato que


+

+

= dx x x p dx x x ) ( ln ) ( ) ( ln ) (
quando p(x) tem a mesma varincia que
(x), a desigualdade torna-se:

) ; ( 2 ) ; ( 2 ) ; ) 1 ( ( 2
). 1 ( .
Z Y L Z X L Z Y X L
e e e
+
+



A cota pode ser enfraquecida via desigualdade de Jensen, resultando em
[ ] ) ; ( ) 1 ( ) ; ( 2
) ; ) 1 ( ( 2
Z Y L Z X L
Z Y X L
e e


+
+

ou finalmente,
) ; ( ) 1 ( ) ; ( ) ; ) 1 ( ( Z Y L Z X L Z Y X L + +
,
Com igualdade se e s se X e Y so gaussianas.

A concluso da demonstrao elaboraa: em linhas gerais
X Y
n


Y Y
m

'
m n
n
+
=
e chega-se a
( ) ( ) Z Y L Z Y L
r r
; ;
2 2
1

+
com igualdade se e s se
r
Y
2
gaussiana.
Isto permite mostrar que:
( ) Z Y L
r
;
2
e adicionalmente, sabe-se que
( ) . 0 ;
2
Z Y L
r

Nota final.

A concluso da demonstrao requer demonstrar que a sequencia
( ) { }

=1 2
;
r
Z Y L
r
no pode se estabilizar (travar, convergir) antes do zero e
continua decrescendo indefinidamente.

Processos Estocsticos: (processos aleatrios)
Coleo indexada de variveis aleatrias: uma verso dinmica.
T=conjunto de indices
{ } T t X
t
,

Teoria no Sculo XX, com base no gigante A. Kolmogorov.
Obs:

) (
1
janelas X
t a
( )
i t i
b X a
i
Pr

|
|

\
|
) ( Pr
i t i
i
b X a
i
U




CLASSIFICAO DE PROCESSOS
1. Processo estocstico de parmetro contnuo ||T||=2
c

2. Processo estocstico de parmetro discreto ||T||< ou ||T||=
0


Fixado w ,
X(w,t) so chamadas de funes amostrais ou trajetrias de um
processo estocstico

Fixado t
1
T,
X(w,t
1
) uma varivel aleatria.


Varivel aleatria

w X


x
( , ,P) ( , ,P)
Teorema de Kolmogorov MAPEAMENTO

w X
t




( , ,P) ( , ,P)

A
) ' (
1
A X A
t

=

P(A):=P(A), desde que A
A idia usar (
n
, ,) em lugar de ( , ,P)
uma restrio de P' a

EQUIVALENCIA DE P.E.s

Dois processos estocsticos
{ } T t X
t
,
e
{ } T t Y
t
,
so ditos equivalentes
se e s se X
t
(w)=Y
t
(w) c.p.1.

TOPOLOGIA
Intervalos abertos em (topos; do Grego, lugar)
Intervalos de Base em
n
a
j
<X(t
j
,w)<b
j
j=1,2,3,...,n.

Intervalo aberto


Unies, interseces e outras operaes finitas com intervalos abertos em
formam a lgebra . Tome como a menor -lgebra que contm todos os
intervalos abertos.


Funo amostral ou Realizao de um P.E. (trajetria)

uma generalizao do conceito de varivel aleatria (verso dinmica): a
cada instante, tem-se uma varivel aleatria diferente!

t fixo
X(w
1
,t)

t


X(w
2
,t)

Figura. Fixado um instante arbitrrio de tempo, o processo aleatrio torna-se uma simples
varivel aleatria.



X
t1
uma varivel aleatria,
logo tem sentido a distribuio
( )
1 1
1 1
Pr ) ( x X x F
t X
t
=

Distribuies marginais:

( )
1 1
1 1
Pr ) ( x X x F
t X
t
=

( )
2 2
2 2
Pr ) ( x X x F
t X
t
=

...
( )
n t n X
x X x F
n tn
= Pr ) (



Funes distribuio finito-dimensionais: n, t
1
,...,t
n
,

( )
n t n t t t n n X X X X
x X x X x X x X x x x x F
n n tn tn t t
=


, ,..., , Pr ) , ,..., , (
1 2 1 1 2 1 ...,
1 2 1 , 1 , 2 ,
1



Especificao de ordem m de um P.E.

Um P.E. est especificado at ordem m se todas as funes de distribuio
finito-dimensionais so conhecidas para n=1, 2, ..., m, para instantes de tempo
arbitrrios.


Especificao de um P.E.

Para todo n finito, suponha que conhecemos a funo distribuio de
probabilidades acima: o Processo Estocstico est especificado.

Condies de Kolmogorov. (sobre as distribuies finito-dimensionais)


1. Condio de simetria:
permutao j
1
,j
2
,...,j
k
dos ndices 1,2,..,k,
F(x
j1
x
j2
... x
jk
; t
j1
t
j2
... t
jk
)=F(x
1
,x
2
,...;t
1
,t
2
...t
k
).


2. Condio de compatibilidade m<k
F(x
1
,x
2
,..x
m
,+,...,+ ; t
1
,t
2
...t
m
,...,t
k
) = F(x
1
,x
2
,...x
m
;t
1
,t
2
...t
m
).

A especificao completa de um processo estocstico geral , na vasta e
quase totalidade dos casos, excessivamente complexa e frequentemente
impossvel.

Alguns processos aleatrios so mais estruturados, mais simples de
serem estudados e muito empregados para modelar situaes prticas.



PROCESSO ESTACIONRIO SENTIDO ESTRITO

Definio. Um processo aleatrio dito ser estacionrio no sentido estrito se
e somente se escolhidos quaisquer instantes finitos, as funes de distribuio
finito-dimensional so invariantes a um deslocamento na origem dos tempos.





t
1
t
2
t
3


Figura. Estacionaridade de funes de distribuio finito-dimensionais (N=3).
Adicionando-se o mesmo incremento aos instantes fixados t
1
, t
2
, t
3
, recai-se sobre os
instantes identificados por (). A distribuio conjunta permanece a mesma.


Etimologia - Estacionrio (de comportamento estacionado), simplificando
sobremaneira a especificao e o tratamento do processo.


, k,
F
x
t1
x
t2
... x
tk
(x
1
,x
2
,...,x
k
)= Fx
t1+
x
t2+
... x
tk+
(x
1
,x
2
,...,x
k
).

CONSEQENCIAS:
Para k=1

F
x
t1
(x
1
)=
F
x
t1+
(x
1
), i.e., mesma distribuio mantm-se durante todo o processo.

Por exemplo, para um processo estacionrio Gaussiano
Varivel Gaussiana, Gaussiana, Gaussiana, ....(indefinidamente...)
Em t
1
: E(X
t1
)

+

=
1 t
X
xdF
,
Em t
2
: E(X
t2
)

+

=
2 t
X
xdF
.

Logo E(X
t1
)= E(X
t2
)= ...= E(X
t
)=constante.

O processo estocstico (P.E.) estacionrio tem mdia nica, constante. De
modo geral, todos os momentos so constantes, invariantes origem dos
tempos.

Note que da anlise pela funo caracterstica uma forma alternativa
mais simples de especificar uma varivel aleatria atravs dos seus
momentos.

Ainda assim, o problema demasiadamente complicado...

Por este motivo, usual restringir-se a anlise at a 2 ordem, como ver-
se- na sequncia. Trabalhar com momentos como comer papa quente:
atacar pelas beiradas...

PROCESSO ESTACIONRIO SENTIDO AMPLO

Definio. Um P.E. dito ser estacionrio no sentido amplo se e somente se

1. E{X(t)}= constante.

2. E{X
2
(t)}<+ tT

3. t
1
, t
2
T R
X
(t
1
, t
2
)=R
X
(t
2
-t
1
)=R
X
().


A funo de autocorrelao do processo (ACF) independe
da origem dos tempos.


*Apenas a mdia e varincia permanecem constantes ao longo do tempo.

Estacionaridade: sentido estrito sentido amplo

Alm de ser mais simples de tratar, so mais gerais e com menor regularidade
que os processos estacionrios no sentido estrito. Vale tambm salientar que
tais processos possuem uma descrio espectral (no domnio frequencial).

EXEMPLOS DE Processos Aleatrios

X
t
=at+b a,b~N(0,1)

X
t
=2.cos(2(100+)t) ~U(-10,10)

Y
n
= X
n
X
n-1
X
n
Bernoulli

=
=
n
k
k n
X Y
1
X
n
Bernoulli

Processo das retas aleatrias
X
t
=at+b a,b~N(0,1) a e b independentes.

E{X
t
}= m
X
(t)=E(a)t+E(b)=0. mdia nula.
R
X
(t
1
,t
2
)=E{X
t1
X
t2
}=t
1
t
2
E(a
2
)+2E(ab)t
1
t
2
+E(b
2
).
R
X
(t
1
,t
2
)=t
1
t
2
+1 e K
X
(t
1
,t
2
)= t
1
t
2
+1.

Rudo discreto Processo estocstico de Bernoulli

{ }
1 n
n
X
X
n
i.i.d. binria com
p) (1 com
p com
0
1

=
ade probabilid
ade probabilid
X
n
.
Caso p=1/2.
2 / 1 } 0 { = =
n
X P
e
2 / 1 } 1 { = =
n
X P
.
trajetria tpica (realizao)


Anlise dos parmetros:
Mdia E{ X
n
}=1/2
Varincia var( X
n
)=1/4
Correlao R(X
n
,X
n+k
)=0,25
k,0

Seqncia estacionria no sentido amplo.

X
t
=at+b a,b~N(0,1)
Calculando a ACF, R
X
(t
1
,t
2
)=t
1
.t
2
+b
2

No estacionrio, nem no sentido amplo nem estrito...

PASSEIO ALEATRIO (passeio causual)

Considere uma seqncia de v.a.s i.i.d.
{ }
1 n
n
X
e suponha que
cada X
n
possa assumir apenas valores -1 e +1 (passo para tras e
passo para frente, respectivamente), com probabilidades
p X P
n
= + = } 1 {
e
p q X P
n
= = = 1 } 1 {
.
Seja a seqncia

=
=
n
k
k n
X Y
1



caso
p X P
n
= + = } 1 {
e
p q X P
n
= = = 1 } 0 {
.

Se E{ X
n
}=m e var( X
n
)=v ento fcil verificar que:

E{ Y
n
}=n.m e var( X
n
)=n.v o processo no estacionrio!

Exerccio. Demonstrar que a autocovarincia do processo dada
por:
Cov(X
n
,X
n+k
)=v.[Min(n,n+k)]

Notado tambm como Cov(X
n1
,X
n2
)=v.(n
1
^n
2
).

Processo de Wiener-Lvy (Movimento Browniano)
Botnico Robert Brow 1827

Modelo para o movimento catico exibido por uma partcula (e.g.
plem) imersa em um lquido, visto em microscpio.
Norbert Wiener (1864-1964) {filho de imigrantes russos}
Paul Pierre Lvy (1886-1971) {aluno Hadamard, orientador Mandelbrot}

O processo {X(t), t0} dito ser um processo de Wiener-Lvy se:
i) t>0, X(t)~ N(0,t)
ii) X(0):=0
iii) {X(t), t0} tem incrementos estacionrios e independentes.

Trajetria tpica


Incrementos independentes
Para qualquer escolha de instantes arbitrrios n
t t t < < < ...
1 0 ,
as variveis de incremento
) ( ) (
0 1
t X t X
,
) ( ) (
1 2
t X t X
,
) ( ) (
2 3
t X t X
,...,
) ( ) (
1

n n
t X t X
so:

1) independentes
2) estacionrias
) ( ) (
1 k j k j
t X t X
+ +

tem mesma distribuio
que
) ( ) (
1

j j
t X t X
k


A mdia do processo
m(t)=m
1
.

A covarincia de processos incrementos-independentes vale
K
X
(t
1
,t
2
)=var{min(t
1
,t
2
)}=var{X
t1^t2
}.
Prova.
Provemos inicialmente que t
1
t
2
, K
X
(t
1
,t
2
)= var{X
t1
}.
A ACF do processo R
X
(t
1
,t
2
)=E{X
t1
X
t2
}.


Truque: R
X
(t
1
,t
2
)= E{X
t1
(X
t2
- X
t1
)+X
2
t1
}
(via incrementos independentes)

R
X
(t
1
,t
2
)=m
1
(m
2
-m
1
)+E{ X
2
t1
}.

Mas K
X
(t
1
,t
2
)= R
X
(t
1
,t
2
)-m
1
m
2
=E{ X
2
t1
}-m
2
1
=var{X
t1
}.

Se t
1
=t
2
, o resultado imediato. Generalizando, chega-se a
K
X
(t
1
,t
2
)=var{X
t1^t2
}. Q.E.D.

O processo definido por i) a iii) Gaussiano:

(
(
(
(

(
(
(
(
(
(

=
(
(
(
(

) ( ) (
) ( ) (
) ( ) (
.
1 1 1 1
0
0 1 1 1
0 0 1 1
0 0 0 1
) (
) (
) (
1
1 2
0 1
2
1
n n n
t X t X
t X t X
t X t X
t X
t X
t X
M
L
L O M M
K
K
K
M
.
Como
{ }
n
k
k k
t X t X
1
1
) ( ) (
=

so variveis aleatrias independentes e

gaussianas, o vetor que define o processo corresponde a uma
transformao linear de variveis gaussianas com distribuio n-
variada.

ESTACIONARIDADE DE PROCESSOS ALEATRIOS

O processo {Z
t
, -<t<+} definido por
t Y t X Z
t
2 sin 2 cos : + =

sendo X e Y v.a.s binrias i.i.d. que assumem valores -1 e +2 com
probabilidades 2/3 e 1/3, respectivamente.

O processo estacionrio no sentido amplo? E no sentido estrito?
Sugesto considere E[Z
t
3
].


SOLUO.
a) E(Z
t
)=E(X)cos2t+E(Y)sen2t=m.cas(2t)
Mas m=-1.(2/3)+2.(1/3)=0 E(Z
t
)=0.

b) R
Z
(t,t+)=E(Z
t
. Z
t+
)=
=E{(Xcos2t+Ysen2t).(Xcos2(t+)+Ysen2(t+)}




Apenas os termos
E(X
2
)cos2t.cos2(t+) e E(Y
2
)sen2t.sen2(t+) so no
nulos, via a independncia das variveis X e Y. Por outro
lado,
E(X
2
)= E(Y
2
)=1.(2/3)+4.(1/3)=2 de modo que

R
Z
(t,t+)=2[cos2t.cos2(t+)+ sen2t.sen2(t+)]
R
Z
()=2cos(2), estacionrio.


c) Porm, examinando-se o terceiro momento:
EZt
3
=
( )
3
2 sin 2 cos t Y t X E +

Desenvolvendo o produto notvel e verficando que os termos
intermedirios so nulos, chega-se a
t EY t EX 2 sin 2 cos
3 3 3 3
+


Porm E(X
3
)=E(Y
3
)=-1.(2/3)+8.(1/3)=2, donde
EZt
3
=
( ) t t 2 sin 2 cos 2
3 3
+
e o momento de ordem 3 no
constante, independente do tempo. O P.E. no estacionrio no
sentido estrito, apesar de s-lo no sentido amplo...

ERGODICIDADE

Mdias no tempo para um Processo estocstico.
Considere as mdias atravs e ao longo do processo.
X(w
1
,t)
<X(w
1
,t)>
t ...

<X(w
3
,t)>


X(w
n
,t) <X(w
n
,t)>

...
E(X(w,t
1
)) E(X(w,t
2
)) ...

Estacionaridade vs Ergodicidade

E(X
t1
)=E(X
t2
)=E(X
t3
)=...=m mdia atravs do P.E. (estatstica)

<X
1
(t)>=<X
2
(t)>=<X
3
(t)>=...=m mdia ao longo do P.E. (temporal)

Todos os momentos e estatsticas permanecem estacionrios,
inclusive ao longo do tempo!!


Mdia e ACF

( )

+

=
X t t
dF x X E :

( )

+
=
t t X
X X E R : ) (

= > <
T
T
dt t x
T T
t X ' ) ' (
2
1
lim
: ) (

+

=
T
T
X
dt t x t x
T
T
) ( ) (
2
1
lim
: ) (

Teorema Ergdico de Birkoff

Em um P.E. estacionrio no sentido estrito, os limites <x(t)>
existem para quase toda funo amostral (existe quase certamente,
exceto para um conjunto de probabilidade nula).

Condies para ergodicidade: assunto no abordado. Ao invs,
apresenta-se uma abordagem simplificada sobre ergodicidade.


PROPOSIO (ERGODICIDADE)

Se x(t) uma realizao de um processo estocstico estacionrio
no sentido amplo (m
X
, R
X
()), e se

+

+ < d m R
X X
. ) (
2
, ento:
1. E[<x(t)>] = m
X
,
2. l.i.m. <x(t)> = m
X
,
3. plim <x(t)> = m
X
.


Prova.
Seja

=
T
T
X
dt t x
T
T A ) (
2
1
: ) (
, cuja mdia vale
( ) ( )


= = =
T
T
X X
T
T
X
m dt
T
m dt t x E
T
T A E
2
1
) (
2
1
) (
.
Agora, examine-se a varincia:
( ) ( ) ( ) ) ( ) ( ) (
2 2 2
t A E t A E T A
X X X
=
, ou
( ) . ' ) ' ( ) (
2
1
) (
2
2
2
|
|

\
|

=


T
T
T
T
X X
m dtdt t x t x
T
E T A

Ento a varincia vale:

( ) { }


=
T
T
T
T
X X X
dtdt m t t R
T
T A ' ) ' (
4
1
) (
2
2
2

Com a mudana de varivel =t-t,
( ) { }

=
T
T
T t
T t
X X X
dt d m R
T
T A
'
'
2
2
2
' ) (
4
1
) (

A integrao sobre a rea de um paralelograma:


( ) { }

+
=
T T
T
X X X
d dt m R
T
T A
2
0
2
2
2
' ) (
2
1
) (

.
Mas
{ }

+ < =
|

\
|

T
X X
T
X X
K d m R d m R
T
2
0
2
2
0
2
) ( ) (
2
2
1
, e assim

( )
0
lim
) (
lim
2
=

T
K
T
T A
T
X

concluindo a prova. Q.E.D.

Exemplo.
Um processo estocstico constante definido por funes
amostrais:
X(t)=a, sendo a uma varivel aleatria binria,
p
p
a

+
=
1 ade probabilid com
ade probabilid com
1
1
:
, 0<p<1.
Por inspeo:
E(X
t
)=1.p-1.(1-p)=2p-1
<X(t)>= +1 ou -1,
Logo E(X
t
) <X(t)> e o processo no ergdico. (veja a cond.)

TEOREMA DE WIENER-KINCHINE
ESPECTRO DE PROCESSOS ESTOCSTICOS

Processos estocsticos podem ser estudados no domnio da
freqncia? Qual o espectro de um P.E., se que existe algum?
Apesar de aleatrio, a distribuio de potncia pode estar definida
em cada faixa espectral.

A abordagem aqui ligeira e superficial, mas suficiente.

Funo amostral (espectro de uma delas)
x(t) X(w)

= dt e t x w X
jwt
) ( : ) (
. Se
+ =

+

dt t x ) (
, considere a funo
amostral truncada, definida por

\
|
=
T
t
t x t x
T
). ( ) (
.
Ento

+

< = =
2 /
2 /
) ( ) ( : ) (
T
T
jwt jwt
T T
dt e t x dt e t x w X
.

A densidade espectral de potncia: |X
T
(w)|
2
/T = energia/tempo.

Para definir a densidade espectral de potncia, usar a mdia sobre
todas as realizaes do P.E..

S
X
(w):=
T
w X
T
T
> <

| ) ( |
lim
.
Ora,
2 2
2 /
2 /
2 /
2 /
1 1
2
2 1
) ( ) ( ) ( ). ( ) ( dt e t x dt e t x w X w X w X
jwt
T
T
T
T
jwt
T T T

= =

Ento
2
2 /
2 /
1
) (
2 1
2 /
2 /
2
1 2
) ( ) ( ) ( dt dt e t x t x w X
T
T
t t jw
T
T
T

=
.


A densidade espectral

S
X
(w)=
2
2 /
2 /
1
) (
2 1
2 /
2 /
1 2
) ( ) (
1
lim
dt dt e t x t x
T
T
T
T
t t jw
T
T

> <

ou seja

S
X
(w)=



2 /
2 /
2 /
2 /
1
lim T
T
T
T
T T

R
X
(t
2
-t
1
)
2 1
) (
1 2
dt dt e
t t jw

Com uma mudana de variveis =t
2
-t
1
; t
2
=t
2
, chega-se a
S
X
(w)=

2 /
2 /
1
lim T
T
T T

R
X
()

( )

d T e
jw
| |

,

Que no limite resulta:
S
X
(w)=

2 /
2 /
lim T
T
T

R
X
()

d
T
e
jw
|

\
|

| |
1
=

R
X
()

d e
jw

Assim,

R
X
()

S
X
(w).

Se o processo ergdico, ento R
X
() =
a.s.
R
X
().


Para processo estacionrios no sentido amplo, define-se o espectro
do processo por

=

d e R w S
jw
X X
) ( : ) (


P.E. estacionrios no sentido amplo

P.E. que tem descrio espectral (densidade espectral de potncia)!



Relao de Wiener-Kinchine: R
X
() S
X
(w).

FOURIER para Processos estocsticos estacionrios...


MARTINGALES

{X
n
} um processo estocstico, se E{| X
n
|}<+, e se
[ ]
n n n
X X X X X X E =
+
,..., , , |
2 1 0 1

X
n
fortuna do jogador no ensimo estgio do jogo.

Etimologia:
Martingale estratgia francesa de apostar em dobro at ganhar.


Exemplo.
Y
0
:=0 {Y
n
} i.i.d. com E{|Y
n
|}<+ (n) e E{Y
n
}=0.
Def.
X
0
:=0 para n=0
X
n
:=Y
1
+Y
2
+Y
3
+...+Y
n
para n 1.

[ ] [ ] = + =
+ + n n n n n
Y Y Y Y Y X E Y Y Y Y X E ,..., , , | ,..., , , |
2 1 0 1 2 1 0 1

=
[ ]
n n
Y Y Y Y X E ,..., , , |
2 1 0 +
[ ]
n n
Y Y Y Y Y E ,..., , , |
2 1 0 1 +
=
[ ]
n
X
+
[ ]
1 + n
Y E
=
n
X
martingale!

Problema para lista. Doob martingale.
Y
0
:=0
{Y
n
} i.i.d. com (n) E{Y
n
}=0 e var{Y
n
}=
2
.
Seja
X
0
:=0 para n=0
X
n
:=
2
2
1
. n Y
n
k
k
|

\
|

=
para n 1.
E{|X
n
|}2n.
2
<+.
Mostrar que
[ ]
n n n
X Y Y Y Y X E =
+
,..., , , |
2 1 0 1
martingale!

PROCESSO ESTOCSTICO PADRO:
A onda telegrfica aleatria
Um exemplo bsico envolvendo a ACF o processo conhecido
como onda telegrfica, que assume valores 0 ou 1 com igual
probabilidade a cada instante e realiza transies independentes
entre os dois estados.


Usualmente formula-se a hiptese que a probabilidade de haver k
transies em um intervalo de tempo T expressa por uma
distribuio de Poisson,
) exp(
!
) (
) , ( t
k
T
T k p
k

=
.
A mdia do processo dada por:
m
X
=0.P(X=0)+1.P(X=1)=0,5.
Sejam x
1
=x
t
e x
2
=x
t+
duas variveis aleatrias discretas
(assumindo 0 ou 1). A ACF :


R
x
(t,t+)=0.0.P(x
1
=0,x
2
=0)+0.1.P(x
1
=0,x
2
=1)+1.0.P(x
1
=1,x
2
=0)+1.1.P(x
1
=1,x
2
=1)

R
x
(t,t+)=P(x
1
=1,x
2
=1).
Esta probabilidade aquela que x
1
=1 e que haja um nmero par de
transies de estado no intervalo (t,t+).

P(x
1
=1,x
2
=1)=P(x
1
=1, k par)= P(x
1
=1).P(k par).
Finalmente,
R
x
(t,t+)=0,5. P(k par em um intervalo ).


Usando a distribuio de Poisson para avaliar as transies em um
intervalo de tempo ,

=
=
par k
0
k
k!
) | | (
2
|) | exp(
) (
k
X
R

A srie pode ser avaliada como segue:

| | | |
0
k
0
k
par k
0
k
2
1
2
1
k!
) | | (-
k!
) | | (
2
1
k!
) | | (

=
+ =
|
|

\
|
+ =

e e
k k k


Ento a ACF da onda telegrfica vale:

[ ] | | 2 exp( 1
4
1
) ( + =
X
R


Limites:
2
1
) ( ) 0 (
2
= = X E R
X
e
2
4
1
) (
X X
m R = =


TRANSFORMAES LINEARES de Processos Estocsticos

Integral definida de um P.E.
Se X
t
um P.E., ento:

=
b
a
dt t x Z ) ( :
uma varivel aleatria.

Seja x(t) um P.E. estacionrio (sentido amplo), com m
X
e R
X
().

O que acontece ao passar atravs de uma rede linear? A sada
obviamente outro processo estocstico. Seria estacionrio? Se sim,
qual a ACF do processo de sada?

Cenrio:

1) mdia do processo de sada.
y(t) m
Y
=? tem-se:

+

= d t x h t y ) ( ) ( ) (
.
Da
( ) ( ) ( )

+

+

+

= = = d t x E h d t x h E d t x h E t y E ) ( ) ( ) ( ) ( ) ( ) ( ) (

Como
( ) ( )
X
m t x E t x E = = ) ( ) (
pela estacionaridade, ento:
( )
X Y
m H m t y E ). 0 ( ) ( = =
= constante.

2) ACF do processo
( ) { }

+

+

+ = + = + d t x h d t x h E t y t y E t t R
Y
) ( ) ( . ) ( ) ( ) ( ) ( ) , (

Assim,
{ } . ) ( ) ( ). ( ) ( ) , (

+

+

+ = + d d t x t x E h h t t R
Y
Como o processo x estacionrio, aparece a ACF:
( ) ) ( ) ). ( ) ( ) , (
Y X Y
R d d R h h t t R = + = +

+

+


A sada tambm estacionria no sentido amplo!
Ademais:
( ) 0 ) ). ( ) ( ) 0 ( )} ( {
2
= =

+

+

d d R h h R t y E
X Y .

Da relao de Wiener-Kinchine,
R
X
() S
X
(w)
R
Y
() S
Y
(w).

De
( )

+

+

+ = d d R h h R
X Y
). ( ) ( ) (
, usando o fato que

= df e f S R
f j
X X

2
) ( ) (

+
= + df e f S R
f j
X X
) ( 2
) ( ) (


,
Chega-se expresso
( )

+

+
+

+

=

d dfd h h e f S R
f j
X Y
). ( ) ( ) (
) ( 2


Separando-se as integrais:
( ) { }df d e h d e h e f S R
j f j f j
X Y

+

+

+

=

. ) ( ) ( ) (
2 2 2
.
(1)
( ) df e f H f S R
f j
X Y

+

=

2 2
. | ) ( | ) (

Lembrando que tambm vale:
(2)
( ) df e f S R
f j
Y Y

+

=

2
. ) (

E comparando (1) e (2) via unicidade da transformada de Fourier,
2
| ) ( | ). ( ) ( f H f S f S
X Y
=


Preditores lineares: Filtragem tima de Wiener

Sistemas lineares pretidores timos.
Smoothing filter (suavizador ou filtro de alisamento)
Predictor filter (filtro preditor)
Variveis de projeto
Propsito do sistema (preditor, suavizador...)
Natureza das entradas (determinsticas, aleatrias ...)
Critrio de desempenho (em probabilidade, EMQ ...)
Escolhas admissveis (realizabilidade, custos ...)

SUAVIZADOR TIMO (alisamento)

MODELO y(t)=s(t)+n(t)
s(t) sinal desejado
n(t) rudo aditivo (n de rudo)
y(t) sinal corrompido
a) se s(t) conhecido, o problema inexiste
b) se n(t) conhecido, trivial obter-se s(t)
c) casos de interesse: n(t) aleatrio e desconhecido.

Critrios de desempenho do preditor

1.
( ) t t t y S S
t t
< = ' ), ' ( |

Pr

2.
( ) >
t t
S S

Pr

3.
( )
t t
S S E

ou
|

\
|

2

t t
S S E

Predio e alisamento com:
ENTRADAS ESTACIONRIAS
PASSADO INFINITO


Wiener-Kolmogorov

s(t), n(t) estacionrios

projeto de h(t) (Filtros lineares):
a sada a melhor aproximao para s(t+), >0.




WIENER. Problema de otimizao via EMQ

h
funcional objetivo, dependente do projeto do filtro (resposta
ao impulso h).
)
`

+ =

+

2
) ( ) ( ) ( : d t y h t s E
h

| estado futuro predio (sada do filtro) |

+

+

+

+ + + = d d t y t y E h h d t y t s E h t s E
h
) ( ) ( ) ( ) ( ) ( ) ( ) ( 2 | ) ( |
2


Como tanto s quanto n so assumidos estacionrios ACF e CCF,

+

+

+

+ + = d d R h h d R h R
y sy s h
) ( ) ( ) ( ) ( ) ( . 2 ) 0 (

Determinado como h influencia no erro:

h deve ser projetado de forma a minimizar
h

Soluo: Mtodos das perturbaes
(bravo Wiener)


Se g(t) a resposta ao impulso de um filtro arbitrrio e h(t) a
resposta ao filtro de EMQ mnimo, ento

h(t)+.g(t) representa um filtro arbitrrio (perturbaes em torno
da soluo tima h).

Se h(.) timo, ento
h

h+g
ou seja,
:=
h+g
-
h
0.


Substituindo e desenvolvendo, chega-se a
=
{ }+ +

+

+

+

d R g d d R g h
sy y
) ( ) ( ) ( ) ( ) ( . 2


+

+

+ 0 ) ( ) ( ) (
2
d d R g g
y
.

Sob forma =2..I
1
+
2
I
2
0

(I
2
positiva)
Ora,
+

+

0
2

e, portanto, uma condio necessria para que a

desigualdade seja vlida >0
{ } 0 ) ( ) ( ) ( ) ( ) ( = +

+

+

+

d R g d d R g h
sy y
,

No caso realizvel, isto corresponde a impor
{ } { } 0 ) ( ) ( ) ( ) (
0 0
= +

+ +
d R d R h g
sy y
.
A inequao envolvendo o EMQ deve ser tambm verdadeira para
qualquer perturbao g(), seno h(.) no seria timo.

Da impe-se que
0 ) ( ) ( ) (
0
= +

+

sy y
R d R h

+
= +
0
) ( ) ( ) ( d R h R
y sy
0 EQUAO DE WIENER-HOPF


Demonstrou-se anteriormente que a Equao de Wiener-Hopf
uma CONDIO NECESSRIA para que h(.) resulte em um EMQ
mnimo.

Ela tambm SUFICIENTE!
Suficincia da equao de Wiener-Hopf:
Seja f(t) a resposta ao impuLso de outro filtro realizvel; mostrar-
se- que h(.) fornece menor EMQ que f(.).


Escolha-se um g(.) expresso por
g(t)=f(t)-h(t).
Foi demonstrado que :=
h+g
-
h
0, >0.
Ento =
h+(f-h)
-
h
0, que assumindo =1 resulta em:

f
-
h
0 Q.E.D.

A soluo da equao integral de W-H (projeto do filtro h)
conhecida as ACF e CCF R
y
e R
sy
no ser detalhada aqui: vide
material de apoio. Porm

A ttulo de ensaio

+

= + d R h R
y sy
) ( ) ( ) (

< <
.
Aplicando a transformada de Fourier (deslocamento e convoluo)

) ( ) ( ) ( w S w H w S e
y sy
jw
=

Por isto
jw
y
sy
e
w S
w S
w H
) (
) (
) ( =

(mera introduo sobre o projeto: h muitos detalhes ainda)

Se o sinal s e o rudo n so descorrelacionados (como de fato
muitas vezes o so), sendo um deles de mdia nula, ento

jw
n s
s
e
w S w S
w S
w H
) ( ) (
) (
) (
+
=
.

Interpretao: o melhor suavizador trata favoravelmente as faixas
espectrais de melhor relao sinal-rudo (SNR) e penaliza aquelas
em que a SNR baixa.

Cadeias de Markov
Processos Estocsticos Especficos
Probabilidade e Processos Estocsticos
(Programa de Ps-graduao)
UFPE
Definies e Notaes
Definio 1:
Um Processo de Markov {X
t
} um processo estocstico que, dado
o valor X
t
, os valores de X
s
para s>t no so influenciados pelos
valores de X
u
, u<t.
Uma Cadeia de Markov Discreta no Tempo um Processo de
Markov cujo espao de estados um conjunto finito ou contvel, e
cujo ndice temporal do conjunto T = 0,1,2,...
Em termos formais, a Propriedade de Markov :
Pr{X
n+1
=j | X
0
=i
0
, X
1
=i
1
,..., X
n-1
=i
n-1
, X
n
=i} = Pr{X
n+1
=j | X
n
=i}, (1)
para todos os pontos no tempo n e todos os estados i
0
,..., i
n-1
, i, j.
Veja os modelos:
Balano de uma empresa
Declarao de imposto de renda.
Aparentemente (erradamente), uma olhada superficial e pouco
rigorosa parece indicar que cadeias de Markov so atraentes para
modelar processos de memria curta. Na verdade, valem para
qualquer processo possuindo memria (a memria traduzida
no nmero de estados da cadeia, e no na propriedade que as
define...)
Notao:
O espao de estados da Cadeia de Markov indexado por inteiros
no negativos: {0,1,2,...};
X
n
est no estado i se X
n
=i.
Definio 2:
A probabilidade de X
n+1
estar no estado j dado que X
n
est no
estado i chamada probabilidade de transio de um passo e
denotada por P
ij
n,n+1
. Isto :
P
ij
n,n+1
= Pr{X
n+1
=j | X
n
=i}. (2)
Esta notao enfatiza que, em geral, as probabilidades de transio
so funes no somente dos estados inicial e final, mas tambm do
tempo de transio.
Quando as probabilidades de transio em um passo so
independentes da varivel do tempo n, dizemos que a Cadeia de
Markov tem probabilidades de transio estacionrias.
Ento P
ij
n,n+1
= P
ij
independente de n e P
ij
a probabilidade
condicional que o valor do estado transite de i a j em uma tentativa.
Pode-se visualizar as quantidades P
ij
de forma matricial, num
arranjo quadrtico infinito:
L
M M M M
L
L
L
i3 i2 i1 i0
23 22 21 20
13 12 11 10
03 02 01 00
P P P P
P P P P
P P P P
P P P P
E chamamos a matriz
P =
De Matriz de Markov ou Matriz de Probabilidades de Transio.
As probabilidades P
ij
satisfazem as condies:
P
ij
0, para i, j = 0,1,2,... (3)
= 1, para i = 0,1,2,... (4)
Proposio 1: Um Processo de Markov est completamente
definido quando sua matriz de probabilidades de transio e seu
estado inicial X
0
(ou, mais genericamente, a distribuio de
probabilidade de X
0
) esto especificados.

=0 j
ij
P
ij
P
Prova:
Seja Pr{X
0
=i}=p
i0
. suficiente mostrar como calcular as
quantidades
Pr{X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n
=i
n
}, (5)
uma vez que qualquer probabilidade envolvendo X
j1
,..., X
jk
, para
j
1
<...< j
k
, pode ser obtida, de acordo com a lei da probabilidade
total, somando os termos da forma (5).
Pela definio de probabilidade condicional, tem-se:
Pr{X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n
=i
n
} =
Pr{X
0
=i
0
,X
1
=i
1
,X
2
=i
2
,...,X
n-1
=i
n-1
}.Pr{X
n
=i
n
|X
0
=i
o
,X
1
=i
1
,X
2
=i
2
,...,X
n-1
=i
n-1
}.
(6)
Agora, pela definio de Processo de Markov:
Pr{X
n
=i
n
| X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n-1
=i
n-1
}= Pr{X
n
=i
n
| X
n-1
=i
n-1
} = P
in-1,in
. (7)
Substituindo (7) em (6), temos:
Pr{X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n
=i
n
} = Pr{X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n-1
=i
n-1
}. P
in-1,in
.
Ento, por induo, (5) torna-se:
Pr{X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n
=i
n
} = p
i0
P
i0,i1
... P
in-1,in-2
P
in-1,in
. (8)
Observa-se, ento, que todas as probabilidades de dimenso finita podem
ser obtidas a partir das probabilidades de transio e da distribuio
inicial. O processo , portanto, definido por essas quantidades.
A propriedade de Markov expressa em (1) equivalente a:
Pr{X
n+1
=j
1
,..., X
n+m
=j
m
| X
0
=i
0
,..., X
n
=i
n
} =
Pr{X
n+1
=j
1
,..., X
n+m
=j
m
| X
n
=i
n
}, (9)
para todos os pontos no tempo n, m e todos os estados possveis i
0
,...,
i
n
, j
1
,..., j
m
.
Em outras palavras, uma vez (9) estabelecido para o valor m=1,
tambm vlida para todos os m>1.
Matrizes de Probabilidades de Transio
de uma Cadeia de Markov
A anlise de uma Cadeia de Markov caracteriza-se principalmente
pelo clculo das probabilidades de transies em n passos.
Fundamentais, portanto, so as matrizes de probabilidades de
transio em n passos,
P
(n)
= ,
em que P
ij
(n)
denota a probabilidade que o processo v do estado i
para o estado j em n transies.
Formalmente,
P
ij
(n)
= Pr{X
m+n
=j | X
m
=i}. (10)
n) (
ij
P
Consideramos este processo homogneo, ou seja, dependente
apenas da diferena [m - (m+n)], e possuindo probabilidades de
transio estacionrias.
Teorema 1: As probabilidades de transio em n passos de uma
Cadeia de Markov satisfazem:
P
ij
(n)
= P
ik
P
kj
(n-1)
(11)
em que definimos P
ij
(0)
= .
Pela iterao desta frmula, obtemos:
P
(n)
= P P ... P = P
n
. (12)

=0 k

=
j i se , 0
j i se , 1
4 4 4 3 4 4 4 2 1
vezes n
Prova: O evento de ir do estado i para o estado j em n transies
pode ser realizado por caminhos mutuamente exclusivos, indo para
um estado intermedirio k (k= 0,1,...), na primeira transio, e ento
ir do estado k ao estado j nas (n-1) transies restantes. Por conta
da propriedade de Markov, a probabilidade da segunda transio
P
kj
(n-1)
(da primeira transio obviamente P
ik
). Usando a Lei da
Probabilidade Total:
P
ij
(n)
= Pr{X
n
=j | X
0
=i} = Pr{X
n
=j, X
1
=k | X
0
=i}
= Pr{X
1
=k | X
0
=i} . Pr{X
n
=j | X
0
=i, X
1
=k}
= P
ik
P
kj
(n-1)

=0 k

=0 k

=0 k
Se a probabilidade do processo estar inicialmente no estado j p
j
,
isto , a lei de distribuio de X
0
Pr{X
0
=j)=p
j
, ento a
probabilidade do processo estar no estado k no tempo n :
p
k
= p
j
P
jk
(n)
= Pr{X
n
=k} (13)
Q.E.D.
Equaes de Chapman-kolmogorov
Para o clculo das probabilidades de transio em n passos:
Para todo n,m 0 para todo estados i, j

=0 j
m
kj
k
n
ik
m n
ij
P P P

=
+
=
0
Alguns Modelos de Cadeias de Markov
Modelo de Inventrio
Uma mercadoria armazenada a fim de satisfazer uma
demanda continuada. A reposio do estoque se d ao final
de perodos n=0,1,2,... e a demanda durante um perodo n
uma varivel aleatria
n
cuja funo distribuio
independente do perodo de tempo:
Pr{
n
=k} = a
k
, para k = 0,1,2,... (14)
em que a
k
0 e a
k
= 1.
.
O nvel do estoque examinado ao final de cada perodo. A
poltica de reposio determinada especificando dois nmeros
crticos no negativos, s e S>s, cuja interpretao :
I) Se a quantidade do estoque no final do perodo no
maior que s, ento uma quantidade de mercadoria suficiente para
aumentar o estoque at o nvel S providenciada;
II) Se, entretanto, o estoque disponvel est em excesso de
s, ento nenhuma reposio de estoque realizada.

=0 k
Seja X
n
a quantidade disponvel ao final do perodo n antes da
rearmazenagem. Os estados do processo {X
n
} consistem dos
possveis valores da quantidade em estoque:
S, S-1,..., 1, 0, -1, -2,...
em que um valor negativo interpretado como uma demanda no
atendida que ser satisfeita imediatamente aps o re-estoque.
O nvel do estoque em dois perodos consecutivos esto
relacionados por:
X
n+1
= (15)
em que
n
a quantidade demandada no n-simo perodo,
determinada para seguir a lei das probabilidades (14).

<
+
+
s X se , - S
S X s se , - X
n 1 n
n 1 n n

Se for considerado que as sucessivas demandas

1
,
2
,... so
variveis aleatrias independentes, ento os valores do estoque X
0
,
X
1
, X
2
,... constituem-se numa Cadeia de Markov, cuja matriz de
probabilidades de transio pode ser calculada de acordo com a
relao (15):
P
ij
= Pr{X
n+1
=j | X
n
=i}
= .

=
< =
+
+
s i se , j} - S Pr{
S i s se , j} - i Pr{
1 n
1 n

Para um exemplo numrico, suponha que:

Pr{
n
=0} = 0,5; Pr{
n
=1} = 0,4; Pr{
n
=2} = 0,1.
s= 0; S=2; X
n
= 2, 1, 0, -1.
Para encontrar os elementos da matriz de probabilidades de
transio calcula-se, por exemplo:
P
10
=Pr{X
n+1
=0 | X
n
=1} = Pr{
n+1
=1} = 0,4;
P
00
=Pr{X
n+1
=0 | X
n
=0} = Pr{
n+1
=2} = 0,1.
Continuando, obtem-se a matriz de probabilidades de transio:
-1 0 1 2
P = -1
0
1
2
5 , 0 4 , 0 1 , 0 0
0 5 , 0 4 , 0 1 , 0
5 , 0 4 , 0 1 , 0 0
5 , 0 4 , 0 1 , 0 0
Cadeia de Markov de Enfileiramento Discreto
Clientes chegam para atendimento e tomam seu lugar em uma fila.
Durante cada perodo de tempo, um nico cliente atendido,
considerando que pelo menos um cliente est presente. Se nenhum
cliente aguarda atendimento, ento durante este perodo nenhum
atendimento realizado. Num perodo de atendimento novos
clientes podem chegar. Suponha que o nmero de clientes que
chega durante o ensimo perodo uma varivel aleatria
n
, cuja
distribuio independente do perodo e expressa por:
Pr{k clientes chegam em um perodo de atendimento} =
Pr {
n
=k} = a
k
, para k = 0,1,...
verificando a
k
0 e a
k
= 1.

=0 k
Tambm consideramos que
1
,
2
,... so variveis aleatrias
independentes. O estado do sistema no incio de cada perodo
definido pelo nmero de clientes esperando na fila por
atendimento. Se o estado atual i, ento, depois de um lapso de um
perodo, o estado :
j = (18)
em que o nmero de novos clientes que chegaram no perodo,
enquanto um nico cliente foi atendido.
Em termos de variveis aleatrias do processo, (18) pode ser
formalmente expressa como:
X
n+1
=(X
n
-1)
+
+
n,
Na qual Y
+
=max(Y,0).

=
+
0 i se ,
1 i se , 1 - i

A partir de (18), obtemos a matriz de probabilidades de transio:

P =
M M M M M
L
L
L
L
L
1 0
2 1 0
3 2 1 0
4 3 2 1 0
4 3 2 1 0
a a 0 0 0
a a a 0 0
a a a a 0
a a a a a
a a a a a
Algumas Cadeias de Markov Especiais
Cadeia de Markov de Dois Estados
Seja P = ; 0<a, b<1 (19)
a matriz de transio de uma Cadeia de Markov de dois estados.
Quando a=1-b, as linhas de P so iguais e os estados X
1
, X
2
,...
constituem variveis aleatrias independentes identicamente
distribudas, com Pr{X
n
=0}=b e Pr{X
n
=1}=a.
Quando a1-b, a distribuio de probabilidade de X
n
varia
dependendo da sada X
n-1
no estgio anterior.
b - 1 b
a a - 1
Neste caso, verificado por induo que a matriz de transio em n
passos dada por:
P
n
= (20)
Observemos que quando 0<a, b<1, e da
quando n e:
=
b b -
a - a
b) a (
b) - a - 1 (
a b
a b
b a
1
n
+
+
+
1 b - a - 1 < 0 b - a - 1
n

b a
a
b a
b
b a
a
b a
b
+ +
+ +
n
n
limP
Para um exemplo numrico, suponha que os itens produzidos por um
trabalhador estejam sendo separados em defeituosos ou no, e que, devido
qualidade da matria prima, um item est com defeito ou no depende
em parte de se ou no o item anterior estava defeituoso. Seja X
n
a
qualidade do ensimo item, com X
n
=0 significando bom e X
n
=1
significando defeituoso. Suponha que X
n
caracteriza uma Cadeia de
Markov cuja matriz de transio :
P = .
88 , 0 12 , 0
01 , 0 99 , 0
Observe que itens defeituosos tendem a aparecer em grupos na
sada deste sistema.
O que pode se estimar da probabilidade de falha na linha de
montagem?
Aps execuo longa, a probabilidade que um item produzido
por este sistema esteja defeituoso dado por =
0,077.
7,7%
b a
a
+
Modelo de canal de comunicao:
Canal de Gilbert-Elliot
No estado good, a probabilidade de erro p
No estado bad, a probabilidade de erro p>p
Modelo comum em comunicao binria: o canal BSC
Passeio Aleatrio Unidimensional
Um deslocamento aleatrio unidimensional uma Cadeia
de Markov cujo espao de estados um subconjunto finito ou
infinito a, a+1,...,b de inteiros, no qual a partcula, se est no estado
i, pode em uma nica transio permanecer em i ou mover-se para
um dos estados vizinhos i-1, i+1. Se o espao de estados tomado
como os inteiros no-negativos, a matriz de transio de um
deslocamento aleatrio tem a seguinte forma:
P =
M M M M M M M
L L
L M M M M M M M
L L
L L
L L
0 p r q 0 0 0
0 0 0 0 r q 0
0 0 0 0 p r q
0 0 0 0 0 p r
i i i
2 2
1 1 1
0 0
em que p
i
>0, q
i
>0, r
i
0 e p
i
+q
i
+r
i
=1, i= 1,2,... (i1),
p
0
0, r
0
0, p
0
+r
0
=1.
Especificamente, se X
n
=i, ento, para i1,
Pr{X
n+1
=i+1 | X
n
=i} = p
i
,
Pr{X
n+1
=i-1 | X
n
=i} = q
i
e
Pr{X
n+1
=i | X
n
=i} = r
i
,
com a modificaes bvias valendo para i=0.
Humor de Seo Lunga
Em um dia especfico, o humor de Seo Lunga est
em um dos trs estados:
Se hoje , estar amanh em (0.2) (0.4) (0.4)
Se hoje , estar amanh em (0.2) (0.5) (0.3)
Se hoje , estar amanh em (0.2) (0.1) (0.7)
Determine a matriz de transio e o diagrama de estados
do processo. Faa uma simulao e mostre uma realizao
deste processo.
Companhias de Seguro: bonus malus
Em companhias de seguros de automveis, o valor a pagar
pela aplice muitas vezes determinado no sistema bonus
malus.
Atribui-se a cada segurado um valor positivo i (estado inicial) e
o prmio anual funo do estado (alm de tipo de veculo,
nvel de seguro etc.).
O estado do segurado evolui ano-a-ano em funo do nmero
de vezes que o seguro foi acionado.
Estados de menor nmero correspondem a contratos anuais
menores, e o estado decresce se o seguro no for acionado,
e aumenta se o seguro foi acionado.
Em um sistema bonus malus, seja S
i
(k) o prximo estado
do segurado que estava no estado i no ano anterior e fez k
usos do seguro naquele ano.
Hiptese: o # de pedidos dos segurados uma v.a. com
distribuio Poisson de parmetro .
Normalmente h 20 ou mais estados, mas considere o exemplo simplificado
(4 estados).
ESTADO PRMIO ANUAL PRXIMO ESTADO se #pedidos
0 1 2 3
1 R$200 1 2 3 4
2 R$280 1 3 4 4
3 R$420 2 4 4 4
4 R$700 3 4 4 4
S
2
(0)=1
S
2
(k)=4, k2
Diagrama de estados da cadeia de Markov dos
seguros de automveis
Matriz de transio:
a
k
=Pr(segurado usar k vezes o seguro no ano)=
= k0
0 0
0 0
1 0 1 0
2 1 0 2 1 0
1 0 0
1 0 0
1 0
1
a a
a a
a a a a
a a a a a a
P

=
! k
e
k

Matrizes de Probabilidades de Transio Regulares;
Distribuio Limite;
Classificao dos Estados;
Teorema Bsico do Limite em cadeia de Markov
Distribuio Estacionria.
O Conceito de Convergncia em
Cadeias de Markov
Matrizes Regulares de
Probabilidades de Transio
Suponha que uma matriz de probabilidades de transio
P=||P
ij
|| em um nmero finito de estados chamados de 0, 1,
..., N, tem a propriedade que quando elevada a potncia k, a
matriz P
k
tem todos os seus elementos estritamente
positivos. Esta matriz (ou a correspondente Cadeia de
Markov) chamada de regular.
O fato mais importante relacionado a Cadeias de Markov
regulares que existe uma distribuio de probabilidades
limites =(
0
,
1
,...,
N
) em que
j
>0 para todo j=0,1,...,N e

j
=1 e que esta distribuio independe do estado inicial.
Formalmente, tem-se a convergncia:
Uma condio suficiente para determinar se uma matriz
de probabilidades de transio regular a seguinte:
1. Para cada par de estados i, j existe um caminho
k
1
,...,k
r
para o qual P
ik
1
P
k
1
k
2
...P
k
r
j
>0
2. Existe pelo menos um estado i para o qual P
ii
>0.
Teorema 1: Seja P uma matriz de probabilidades de
transio regular nos estados 0,1,...,N.
Ento, a distribuio limite de probabilidade
=(
0
,
1
,...,
N
) a nica soluo no-negativa das
equaes:

=
=
=
= =
N
k
k
N
k
kj k j
N j P
0
0
. 1
,..., 1 , 0 ,

Prova:
Visto que a cadeia de Markov regular ento existe uma
distribuio limite
j
>0 para todo j=0,1,...,N e
j

j
=1.
Escreva P
n
como o produto de matrizes P
n-1
P na forma:
Agora faamos n. Ento, tem-se:
P
ij
(n)

j
enquanto P
jk
(n-1)

k
e a equao se torna:

j
=
k
P
kj
como queramos.

= =
N
k
kj
n
ik
n
ij
N j P P P
0
) 1 ( ) (
,..., 1 , 0 ,
Resta-nos provar que a soluo nica.
Suponha que x
0
,x
1
,...,x
N
resolve, ento:
Temos que mostrar que x
j
=
j .
Multipliquemos a primeira
equao por P
jl
e somemos para todos os js ento:

=
=
=
= =
N
k
k
N
k
kj k j
x
N j P x x
0
0
. 1
,..., 1 , 0 ,

= = = =
= =
N
j
N
k
N
k
kl k jl kj k
N
j
jl j
P x P P x P x
0 0 0
) 2 (
0
Mas, sabemos que:
N ,..., , l para , P x x
P x x
N
k
) (
kl
k l
N
j
jl j l
1 0
: a leva nos anterior equao a ento
0
2
0
= =
=

=
=
Repetindo esse argumento n vezes, temos:
e passando ao limite em n e usando P
kl
(n)

l
, temos que:
Mas sabemos que
k
x
k
=1, ento x
l
=
l
como queramos.
N l para P x x
N
k
n
kl k l
,..., 1 , 0 ,
0
) (
= =

=
N l x x
N
k
l k l
,..., 1 , 0 para ,
0
= =

=

0
2
1
0,5
0,4
0,05
0,25
0,05
0,1
0,5
0,7
0,45
Exemplo 1
Seja a matriz de probabilidades de transio dada por:
1
45 0 25 0 1 0
5 0 7 0 5 0
05 0 05 0 4 0
: so limites ades probabilid das tes determinan
equaes as
45 0 5 0 05 0
25 0 7 0 05 0
1 0 5 0 4 0
2 1 0
2 1 0 2
2 1 0 1
2 1 0 0
= + +
+ + =
+ + =
+ + =
(
(
(

=




. . .
. . .
. . .
. . .
. . .
. . .
P
Observe que temos uma equao redundante, eliminando
uma delas chegaremos ao resultado:
104
31
8
5
65
5
2
1
0
=
=
=

Quais as probabilidades limites para o processo

humor de Seo Lunga? A fama de mal
humorado justificvel?
Matrizes Duplamente Estocsticas
Uma matriz de probabilidades de transio duplamente
estocstica se as colunas somam 1 assim como as linhas.
Se uma matriz duplamente estocstica regular ento a
nica distribuio limite a distribuio uniforme
=(1/N,...,1/N), em que N o nmero de estados da cadeia.
Prova:
Como sabemos que uma matriz regular tem uma nica
soluo, ento resta provar que a distribuio uniforme
satisfaz a:

=
=
= =
1
0
1
0
. 1
1 ,..., 1 , 0 ,
N
k
k
N
k
kj k j
N j P

Mas
e
pois a colunas (para este tipo particular de cadeia de
Markov) somam 1.

=
=
1
0
1
1
N
k
N

=
= =
1
0
1 1 1
N
k
kj
N
P
N N
Aplicao em Gentica de Populaes
Considere uma populao (fechada) de indivduos com um
par de genes de interesse, classificados com tipo A ou a
(dominante, recessivo).
Propores genticas presentes:
P(AA)=p, P(aa)=q, P(Aa)=r, p+q+r=1
Quando dois indivduos acasalam, cada contribui
aleatoriamente com um gene para a descendncia.
S. ROSS (Introduction to Probability Models, AP, 2007)
EXAME DA GENETICA NA PRXIMA GERAO
P(A)=p.P(A|AA)+q.P(A|aa)+r.P(A|Aa)=p+0+r/2
P(a) = p.P(a|AA)+q.P(a|aa) +r.P(a|Aa) =0+q+r/2
Assim,
P(AA)=P(A).P(A)=(p+r/2)
2
P(aa)=(q+r/2)
2
P(Aa)=P(A)P(a)+P(a)P(A)=2P(A)P(a)=2(p+r/2)(q+r/2)
Seja {X
n
} o P.E. denotando o estado gentico da
descendncia na n-sima gerao. A matriz de
probabilidades de transio da cadeia :
Montar a equao de distribuio limite.
A anlise da distribuio limite estabelece a Lei de Hardy-
Weinberg. A soluo limite (
AA
,
aa
,
Aa
) exatamente o
mesmo padro gentico da populao inicial. A estatstica
preservada quando h escolha genuinamente aleatria de
parceiros...
Interpretao da Distribuio Limite
Existem duas interpretaes para essa distribuio:
1) Aps o processo est sendo executado por um longo
perodo a probabilidade de encontrarmos a cadeia em um dado
estado j
j
.
2)
j
significa a frao mdia do tempo em que a cadeia se
encontra no estado j.
Aplicaes
Geralmente um fenmeno que no naturalmente um
processo de Markov pode ser modelado como um
incluindo parte da histria passada em cada estado.
Suponha, por exemplo, que o clima em qualquer dia
depende do clima nos dois dias anteriores.
Especificamente, suponha que se hoje e ontem o clima foi
ensolarado ento amanh o clima ser ensolarado com
probabilidade 0,8.
Se foi ensolarado hoje e chuvoso ontem, ento amanh
ser ensolarado com probabilidade 0,6. Se foi chuvoso
hoje mas ensolarado ontem, ento amanh ser ensolarado
com probabilidade 0,4. E se os dois ltimos dias foram
chuvosos, ento amanh ser ensolarado com
probabilidade 0,1. Ento, definiremos os estados assim:
0-Ensolarado nos ltimos dois dias.
1-Ensolarado ontem, mas chuvoso hoje.
2-Chuvoso ontem, mas ensolarado hoje.
3-Chuvoso nos dois ltimos dias.
Logo, a matriz de probabilidade de transio ser:
0 1 2 3
0
1
2
3
Resolvendo o sistema de equaes para a distribuio
limite obteremos:
(
(
(
(

=
9 . 0 1 . 0 0 0
0 0 4 . 0 6 . 0
6 . 0 4 . 0 0 0
0 0 2 . 0 8 . 0
P
11
6
e
11
1
,
11
1
,
11
3
3 2 1 0
= = = =
Ento a probabilidade de estarmos em um dia ensolarado
de:
0
+
2
, ou seja, de 4/11.
Uma previso real de tempo envolve o uso de um nmero de
estados incrivelmente grande, envolvendo parmetros ligados
ao tempo (umidade, temperatura, velocidade dos ventos...).

UMA APLICAO DE CADEIAS DE MARKOV:
REGISTRADORES A DESLOCAMENTO

Um caso especial de Cadeias de Markov aparece na descrio de
uma seqncia de estados de um registrador a deslocamento.

H1 registrador a deslocamento com L-estgios

(n)
:= estado = contedo do registrador no instante n
H2 seqncia aleatria de variveis (
n
) independentes i/p

n
{a
1
,a
2
,...,a
M
}, com
P(
(n)
=a
k
)=p
k
k

Registrador a deslocamento com entrada aleatria

(n)
= pode assumir M
L
valores (diferentes estados).
Notao:
i representa um estado, com i=(a
i1
,a
i2
,...,a
iL
)

A probabilidade de transio em um passo vale:

( ) ) ,..., , ( | ) ,..., , (
2 1
) 1 (
2 1
) (
iL i i
n
i jL j j
n
j ij
a a a a a a P p = = =

jL iL j i j i j ij
p p
, 1 3 , 2 2 , 1 1
= K
, sendo usado para o delta de Kronecker.

Exemplo. M=2 (binrio), L=3 (trs estgios)


Estados da cadeia:
(0 0 0) (0 0 1) (0 1 0) (0 1 1) (1 0 0) (1 0 1) (1 1 0) (1 1 1)
0 1 2 3 4 5 6 7

Diagrama de estados:



Matriz de Markov para o registador a deslocamento:
Entrada aleatria, trs retardos puros.

0 1 2 3 4 5 6 7
p p
p p
p p
p p
p p
p p
p p
p p
P

=
1 0 0 0 0 0 0
1 0 0 0 0 0 0
0 1 0 0 0 0 0
0 1 0 0 0 0 0
0 0 1 0 0 0 0
0 0 1 0 0 0 0
0 0 0 1 0 0 0
0 0 0 1 0 0 0



Considere agora a matriz de transio em m passos, P
m
.

Desde que o registrador possui apenas L estgios, o contedo do estado
no instante n+m (com m>L) independe do contedo em n
INDEPENDENCIA.
Conseqentemente:
P
L
=P
L+1
=... e P
L
tem linhas identicas.

Distribuio limite da cadeia: P

=P
L


No exemplo, a matriz em trs passos P
3
fornece a distribuio
estacionria desta cadeia de Markov:


[ ]
3 2 2 2 2 2 2 3
) 1 ( ) 1 ( ) 1 ( ) 1 ( ) 1 ( ) 1 ( ) 1 ( p p p p p p p p p p p p p p =



Classificao dos Estados
Nem todas as cadeias de Markov so regulares. Vamos
considerar alguns exemplos:
Como a cadeia de Markov permanece no estado inicial,
existe uma distribuio limite que depende obviamente do
estado inicial. No regular...
(

=
1 0
0 1
P
A cadeia de Markov cuja matriz de transio dada por:
oscila deterministicamente entre os dois estados.
Ento ela peridica e, portanto, no existe distribuio
limite pois no h convergncia de P
(n)
quando n.
(

=
0 1
1 0
P
A cadeia de Markov cuja matriz de transio dada por:
(

=

(
(
(

\
|

\
|
=
(

=

1 0
1 0
lim
: quando limite o e
1 0
2
1
1
2
1
: por dada ento ,
1 0
2 / 1 2 / 1
n
n
n n
n
n
P
n P
P P
Aqui o estado 0 transitrio, aps o processo iniciar no estado 0
existe uma probabilidade de nunca mais retornar a ele.
Cadeias de Markov Irredutveis
Um estado j dito ser acessvel a um estado i se
P
ij
(n)
>0 para algum n0.
Dois estados i e j so ditos comunicveis se cada
um deles for acessvel ao outro e escrevemos: ij.
Ento, se dois estados i e j no so comunicveis:
P
ij
(n)=
0 ou P
ji
(n)
=0 para todos n 0.
O conceito de comunicao uma relao de
equivalncia, ou seja, satisfaz s seguintes
propriedades:
1) ii (reflexividade);
2) Se ij, ento ji (simetria) e
3) Se ij e jk ento ik (transitividade).
possvel agora particionar a totalidade dos estados da
cadeia em classes de equivalncia.
Os estados em uma mesma classe de equivalncia so
aqueles que se comunicam entre si.
possvel comearmos em uma classe de equivalncia e
entrar em uma outra, contudo, no possvel retornar a classe
original, caso contrrio as duas classes seriam uma s.
Definimos como cadeia de Markov irredutvel aquela que tem
somente uma classe de equivalncia. Em outras palavras, uma
cadeia de Markov irredutvel se todos os seus estados se
comunicam entre si. Por exemplo, considere a seguinte matriz
probabilidades de transio:
(

=
(
(
(
(
(
(

=
2
1
0
0
0 1 0 0 0
2 / 1 0 2 / 1 0 0
0 1 0 0 0
0 0 0 4 / 3 4 / 1
0 0 0 2 / 1 2 / 1
P
P
P
Classificando:
cadeia irredutvel.
classes:
{1,2} {3} {4}
1 acessvel de 3
3 no-acessvel de 1
4 absorvente.
3 / 2 3 / 1 0
25 , 0 25 , 0 5 , 0
0 5 , 0 5 , 0
= P
1 0 0 0
25 , 0 25 , 0 25 , 0 25 , 0
0 0 5 , 0 5 , 0
0 0 5 , 0 5 , 0
= P
Periodicidade de uma Cadeia de Markov
Definimos o perodo de um estado i (d(i)) como sendo o
mximo divisor comum de todos os inteiros n1 para o
qual P
ij
(n)
>0. (Se P
ij
(n)
=0 para todo n1 defina d(i)=0).
Se um estado i tem P
ii
>0, ento este estado tem perodo
igual a 1. Uma cadeia de Markov com perodo 1
chamada de aperidica.
Vamos agora enunciar trs propriedades do perodo de um
estado:
1) Se ij, ento d(i)=d(j);
2) Se um estado i tem perodo d(i), ento existe
um inteiro N dependendo de i que para todos os
inteiros nN:
Isto assegura que um retorno para o estado i ocorre para
todo mltiplo do perodo d(i) suficientemente grande.
0
)) ( (
>
i nd
ii
P
grande. mente suficiente positivo) inteiro (um
todo para 0 ento , 0 Se 3)
)) ( ( ) (
n
P P
i nd m
ji
m
ji
> >
+
Estados Recorrentes e Transitrios
Definimos:
ou seja, f
ii
(n)
a probabilidade que comeando em um
estado i a primeira vez que a cadeia retorne para o estado i
ocorra apenas na ensima transio
Seja a probabilidade da cadeia iniciando em um estado i
retornar ao estado i em algum tempo f
ii
:
Definimos um estado como recorrente se f
ii
=1. Por outro
lado, se um estado no for recorrente ele dito ser
transitrio.

=

=
= =
N
n
n
ii
N
N
n
n
ii ii
f f f
0
) (
0
) (
lim
Classes {0, 1} {2, 3} {4}
0 1 2 3 4
0
1
2
3
4
Estados recorrentes {0,1} {2,3}
Estados transitrios {4}
5 , 0 0 0 25 , 0 25 , 0
0 5 , 0 5 , 0 0 0
0 5 , 0 5 , 0 0 0
0 0 0 5 , 0 5 , 0
0 0 0 5 , 0 5 , 0
= P
Considere ento um estado transitrio, ento a
probabilidade do processo retornar a este estado pelo
menos k vezes, pela propriedade do processo de Markov,
(f
ii
)
k
.
Seja Muma varivel aleatria que conta o nmero de vezes
que o processo retorna para o estado i. Ento M tem uma
distribuio geomtrica na qual:
.
1
]
e 1,2,... k para , ) ( } | Pr{
0
0
ii
ii
k
ii
f
f
i E[M|X
f i X k M

= =
= = =
Teorema 2: Um estado i dito ser recorrente se e
somente se:
Prova: Suponha que o estado i transitrio. Ento, por
definio, f
ii
<1 e seja M a v.a. que conta o nmero total de
retornos ao estado i. Podemos obviamente escrever M em
termos de v.a.s indicadoras sob a forma:

=
=
1
) (
n
n
ii
P
queramos. como
] | { 1 [ ] | [
: Logo
io. transitr i quando ] | [ vimos como Mas
. se 1
se 0
} { 1
onde }, { 1
1
) (
1
0 0
0
1

=
= = = = = >
< =

= =
= =
n
n
ii
n
n
n
n
n
n
n
P i X i X E i X M E
i X M E
i X
i X
i X
i X M
Corolrio 1: Se ij e se i recorrente, ento j
recorrente.
Prova:
Como ij ento existe m,n1 de modo que:
Seja v>0. Ento, tem-se:
0 e 0
) ( ) (
> >
m
ji
n
ij
P P

=
+ +

=
+ +
=
=
0
) (
0
) (
0
) ( ) ( ) (
0 0
) ( ) ( ) ( ) (
0 0
) ( ) ( ) ( ) ( ) ( ) ( ) (
diverge. tambm que temos diverge, Como
: Somando
v
v
jj
v
v
ii
v
v
ii
n
ij
m
ji
v v
n
ij
v
ii
m
ji
v m n
jj
l l
n
ij
v
ii
m
ji
n
il
v
il
m
jl
v n m
jj
P P
P P P P P P P
P P P P P P P
O Teorema Bsico do Limite para
Cadeias de Markov
Seja i um estado recorrente e defina-se ento a v.a.
R
i
=min{n1;X
n
=i}. A durao mdia entre visitas ao
estado i dada por:

=
= = =
1
) (
0
] | [
n
n
ii i i
nf i X R E m
Enunciando de modo mais formal o teorema, tem-se:
(a) Considere uma cadeia de Markov recorrente
irredutvel no-peridica.
Seja P
ii
(n)
a probabilidade de retornarmos ao estado i na n-
sima transio dado que o estado inicial i. Seja f
ii
(n)
a
probabilidade do primeiro retorno ao estado i na ensima
transio, em que f
ii
(0)
=0. Ento:
i
n
n
ii
n
ii
n
m
nf
P
1 1
lim
0
) (
) (
= =

=

(b) Sobre as mesmas condies de (a):
Obs.: Se estivermos trabalhando em uma classe recorrente
C, ento uma vez em C, no possvel sair de C. Este
teorema tambm vlido para a sub-matriz ||P
ij
||, i,jC de
qualquer classe recorrente no-peridica.
. estados os todos para lim lim
) ( ) (
j P P
n
ii
n
n
ji
n
=
Uma classe chamada de
1. Classe de recorrncia positiva ou classe
fortemente ergdica se m
i
< e
2. Classe de recorrncia nula ou classe
fracamente ergdica se m
i
= .
Um mtodo alternativo para determinarmos a distribuio limite
i
para uma classe recorrente no peridica.
Teorema 4: Em uma classe de recorrncia positiva
no-peridica com estados j=0,1,2,...
0,1,... j para e , 0 (*)
: equaes de conjunto pelo
os determinad unicamente so s ' esses e
1 e
1
lim
0 0 i
i
0 0
) (
= =
= = = =

=

i
ij i j i
i
i
j
i
ij i j
n
jj
n
P
m
P P

Qualquer conjunto (
i
)
i=0

satisfazendo (*) chamado de

uma distribuio estacionria da cadeia de Markov.
O termo estacionrio deriva da propriedade de que uma
cadeia de Markov iniciando de acordo com uma
distribuio estacionria vai seguir esta distribuio para
todos os demais pontos do tempo.
Formalmente, se Pr{X
0
=i}=
i
ento Pr{X
n
=i}=
i
para todo
n=1,2,3,...
Vamos checar isso para o caso n=1: o caso geral segue por
induo.
em que a ltima igualdade vlida porque uma
distribuio estacionria.
i
k
ki k
k
P
k X i X k X i X
= =
= = = = =

=
0
0
0 1 0 1
} | Pr{ } Pr{ } Pr{`
Quando o estado inicial selecionado de acordo com a
distribuio estacionria, a distribuio conjunta de
(X
n
,X
n+1
) dada por:
NOTA.
Quando uma distribuio limite existe, ela sempre uma
distribuio estacionria. Mas pode existir uma
distribuio estacionria que no seja distribuio limite.
.
} | Pr{ } Pr{ } , Pr{
1 1
ij i
n n n n n
P
i X j X i X j X i X
=
= = = = = =
+ +
Por exemplo seja a cadeia de Markov peridica (portanto,
sem distribuio limite) dada por:
). 2 / 1 , 2 / 1 (
0 1
1 0
) 2 / 1 , 2 / 1 (
: pois ia estacionr o distribui uma (1/2,1/2) mas
0 1
1 0
=
(

=
(

= P
Em guisa de concluso
A apresentao do assunto bastante limitada e tmida,
face a sua aplicabilidade e potencial.
A quantidade de aplicaes de Cadeias de Markov
admirvel e assombrosa. Particularmente, desempenham
papel importantssimo em teoria das filas.
Quase a totalidade dos modelos de processos envolvendo
alguma memria (e no so poucos), podem usar cadeias
de Markov como ferramenta.Use-a sempre em temas
envolvendo memria finita.
N.B. Vale estudar o modelo conhecido com Cadeias de Markov
escondidas (hidden Markov chains), no considerado aqui.
Dennis S. Poisson, Sceaux, France
Processos Estocsticos Especficos
O Processo de Poisson
Probabilidade e Processos Estocsticos
(Programa de Ps-graduao)
UFPE
1 - Introduo
2 - Processo de Poisson
3 - Tempos de Chegada
4 - Tempos entre Chegadas
5 - Tempos de Chegada No-ordenados
6 - Processo de Poisson Filtrado
Processo Aleatrio de Poisson
Processo de Contagem
Muitos fenmenos fsicos so probabilisticamente descritos pelo
mesmo processo de formao de uma fila. Os clientes chegam
aleatoriamente e independentemente um do outro a uma taxa
normalmente constante de clientes/segundo.
1
2
3
.
.
.
k
4
t
N
N(0)=0
P
1
=t
P
+ de 1 em t
= 0
t 0
Processo Aleatrio de Contagem {N
t
, 0 t< << <+ }
a. a varivel aleatria de contagem N
t
assume unicamente valores
inteiros no-negativos e
N
0
0
b. o processo aleatrio de contagem {N
t
, 0 t<+} tem estacionaridade
e incrementos independentes.
c. P N N t t
t t t
[ ] ( )
+
= +

1 0
d.
P N N t
t t t
[ ] ( )
+
>

1 0
em que uma constante positiva e 0(t) uma funo de
t a qual vai a zero mais rapidamente que t, i..,
0(t) uma funo tal que (BigO Landau)
lim
( )

t
t
t

=
0
0
0
Um processo aleatrio o qual satisfaz as hipteses (a) a
(d) chamado um Processo de Contagem de Poisson e,
como ser mostrado, o nmero de eventos que ocorre
em um dado intervalo de tempo segue uma Distribuio
de Probabilidade de Poisson.
(1)
Das propriedades c e d obtm-se que
P N N P N N
P N N P N N
t t t
t t
P N N t t
t t t t t t
t t t t t t
t t t
[ ] [ ]
( [ ] [ ])
( ( ) ( ))
( )
[ ] ( )
+ +
+ +
+
= = =
= + > =
+ + =
=
= = +

0 1 1
1 1 1
1 0 0
1 20
0 1 0

(2)
Determinar a distribuio de probabilidade da varivel
aleatria de contagem N
t
: Considere o intervalo (0,t+t] e
divida-o em dois, conforme a ilustrao abaixo:
0
t t+t
t
Introduz-se a notao
p t P N k
k t
( ) [ ] =
e
p t t t P N k N j
j k t t t ,
( , ) [ | ] + = =
+

O evento condicional [N
t+t
=k | N
t
=j] equivalente ao evento
[N
t+t
- N
t
= k-j] e ento suas probabilidades so iguais:
] [ ] | [ j k N N P j N k N P
t t t t t t
= = = =
+ +
Por hiptese, o processo de contagem tem incrementos
estacionrios e ento segue-se que
P N N k j P N N k j P N k j
t t t t t
[ ] [ ] [ ]
+
= = = = =
0
As probabilidades de transio p
j,k
(t,t+t) dessa forma dependem
unicamente do intervalo de tempo t, e escreve-se
p t p t t t P N k j
j k j k t , ,
( ) ( , ) [ ]

+ = = (3)
Considere a probabilidade de que nenhum evento ocorra no
intervalo (0,t+t]. Esta situao ocorre quando nenhum evento
ocorre no intervalo (0,t] e nem no (t,t+t].
Intervalos no sobrepostos => incrementos v.as independentes:
p t t p t p t
0 0 0 0
( ) ( ) ( )
,
+ =
Segue-se (2) e (3) que
p t t t
0 0
1 0
,
( ) ( ) = +
Usando este resultado em (4), subtraindo p
0
(t) de ambos os
lados e dividindo por t, tem-se
p t t p t
t
p t p t
t
t
0 0
0 0
0 ( ) ( )
( ) ( )
( ) +
= +

(4)
Passando o limite t 0, tem-se
d p t
d t
p t
0
0
( )
( ) =
como a equao diferencial para probabilidade de que nenhum
evento ocorra em um intervalo de durao t. Sua soluo ,
p t ce
t
0
( ) =

notando que
p c
0
0 1 1 ( ) = =
segue-se
P N p t e
t
t
[ ] ( ) = = =

0
0

Tendo obtido p
0
(t) vamos determinar p
k
(t) para k 1.
Comeando de N
0
=0, N
t+ t
pode tornar-se igual a um inteiro k de
diversas formas: pode ser que no acontea nenhum evento no
intervalo (0,t] e k eventos no (t,t+t]; pode acontecer um evento no
intervalo (0,t] e k-1 no (t,t+t]; etc. Dessa forma, pode-se escrever
p t t p t p t
k j j k
j
k
( ) ( ) ( )
,
+ =
=

0
pois so eventos mutuamente exclusivos.
(5)
Determinao de p
k
(t)
Passo A. Mostrar que
p t t
j k ,
( ) ( ) = 0
p t p t t t P N k N j P N N k j
P N k j
j k j k t t t t t t
t
, ,
( ) ( , ) [ | ] [ ]
[ ]

+ = = = = = =
=
+ +
se 0 j k-2, ento
k j k j > 2 1
Logo,
p t P N t
j k t ,
( ) [ ] ( )

= > = 1 0
0 j k-2,
Passo B. Mostrar que
dp t
dt
p t p t
k
k k
( )
( ) ( ) + =


1
Como visto em (5)
p t t p t p t
k j j k
j
k
( ) ( ) ( )
,
+ =
=

0
assim

=

+ + = +
2
0
, , 1 1 ,
) ( ) ( ) ( ) ( ) ( ) ( ) (
k
j
k k k k k k k j j k
t p t p t p t p t p t p t t p
Como mostrado no Passo A.
p t t
j k ,
( ) ( ) = 0 0 j k-2,
assim

=

+ + = +
2
0
, , 1 1
) ( ) ( ) ( ) ( ) ( ) ( 0 ) (
k
j
k k k k k k j k
t p t p t p t p t p t t t p
Lembrando que
p t P N k k t t
k k t ,
( ) [ ] ( )

= = = = + 0 1 0
e que
p t P N k k t t
k k t
= = + = = +
1
1 1 0
,
( ) [ ] ( )

tem-se que
) ( 0 ) ( ) ( ) (
) ( 0 ) ( ) ( ) ( ) ( 0 ) (
2
0
1 1
t t p t t p t p
t t p t t p t p t t t p
k k k
k
j
k k j k
+
+ + + = +

Subtraindo p
k
(t) em ambos os lados, dividindo por t e
tomando o limite,
lim
( ) ( )
lim
( ) ( )
( ) ( )
( )
( ) ( )
( ) ( )
( )

t
k k
t
k
j
j
k
k
k
k
k k
p t t p t
t
p t
t
t
t
p t p t
p t
t
t
p t
t
p t p t
t
t

=

+
=

+ + +
+ +

0 0
0
2
1
1
0
0 0

= +

dp t
dt
p t p t
k
k k
( )
( ) ( )
1
Passo C.
Para k=1:
dp
dt
p p
1
1 0
+ =
mas, como provado anteriormente p e
o
t
=

assim
dp
dt
p e
dp
dt
e e p
t t t 1
1
1
1
= + + =

[ ] [ ]
d
dt
p e d p e dt
t t
1 1

= =
p t te
t
1
( ) =

dp
dt
p p
2
2 1
+ =
mas, como visto,
assim
dp
dt
p te
dp
dt
e e p t
t t t 2
2
2 2
2
2
= + + =

[ ] [ ]
d
dt
p e t d p e tdt
t t
2
2
2
2
= =
k=2
p t te
t
1
( ) =

p t
t
e
t
2
2
2
( )
( )
=

dp
dt
p p
3
3 2
+ =
mas, como vimos
assim
dp
dt
p
t
e
dp
dt
e e p
t
t t t 3
3
2
3
3
3 2
2 2
= + + =

( )
[ ] [ ]
d
dt
p e
t
d p e
t
dt
t t
3
3 2
3
3 2
2 2


= =
k=3
p t
t
e
t
2
2
2
( )
( )
=

p t
t
e
t
3
3
3
( )
( )
!
=

(idntico)
Logo, por induo finita,
P N k
t
k
e
t
k
t
[ ]
( )
!
= =

Portanto, a varivel aleatria contnua N
t
tem uma distribuio de
probabilidade de Poisson.
Pode-se mostrar que
E[N
t
]=var[N
t
]= t
Exerccio
Uma medio controlada realizada para avaliar um enlace de comunicao
de servios constatou, aps duas horas de transmisso, que
9.508 pacotes foram recebidos sem erro
4.545 pacotes apresentavam um nico erro
1.250 pacotes tinham dois erros
220 deles apresentaram trs erros
22 pacotes com quatro erros
3 pacotes com cinco ou mais erros.
O nmero de erros em um pacote aleatrio e os valores representam uma
realizao de um processo estocstico discreto. Verifique se uma distribuio de
Poisson pode ser usada como modelo para o nmero de erros por pacote. Em caso
afirmativo, estime o parmetro (em erros/s). Use planilha EXCEL.
Resp. sim, 7.10
-5
erros/s
Sabe-se que o protocolo usa um cdigo CRC que tem
capacidade de corrigir at cinco erros por pacote.
Qual a probabilidade que ocorra neste ensaio pacotes
acima da capacidade de correo do protocolo? Qual a
probabilidade que, findo um dia, tenha ocorrido pacotes
acima da capacidade de correo do protocolo?
Resp. 1,45.10
-5
55%
Tempos de Chegada
Freqentemente necessrio se estudar o tempo requerido para que
um dado nmero de eventos k ocorra, assim como contar o nmero de
eventos que ocorrem em um dado intervalo de tempo t.
Chama-se ento o tempo de ocorrncia t
k
do k-simo evento de tempo
de chegada do k-simo. Denota-se a varivel aleatria que representa
a distribuio dos possveis valores dos tempos de chegada por T
k
.
1
2
3
.
.
.
k
4
t
N
t
1
t
2
t
k+1
t t
k
N(t)
Determinar a relao entre a funo distribuio de probabilidade do
tempo de chegada do k-simo evento, T
k
, e a varivel aleatria de
contagem N
t
:
Por definio F t P T t
T k
k
( ) [ ] =
O evento [T
k
t] equivalente a [N
t
> k-1], e dessa forma tm a
mesma probabilidade. Assim:
[ ] [ ]
[ ] [ ] [ ]
T t N k
P T t P N k P N k
k t
k t t
= >
= > =
1
1 1 1
Escrevendo o resultado acima em termos das correspondentes
funes distribuio de probabilidade, tem-se que
F F k
T N
k t
= 1 1 ( )
Vlido para qualquer processo de contagem, desde que N
0
=0.
(6)
Vamos aplicar o resultado anterior ao caso do processo de
contagem de Poisson. Como visto
P N j
e t
j
t
t j
[ ]
( )
!
= =

quando {N
t
,0 t<+ } um processo de contagem de Poisson.
Dessa forma, para k 1,
F k P N j
e t
j
N t
t j
j
k
j
k
t
( ) [ ]
( )
!
= = =

1
0
1
0
1

Usando o resultado (6), segue-se ento que

F t e
t
j
T
t
j
j
k
k
( )
( )
!
=

=

1
0
1

para t 0
para t<0
0
Tempos entre chegadas
Tendo considerado os tempos de chegada T
k
de um um processo
de contagem aleatrio {N
i
, 0 t<+ }, vamos agora estudar algumas
das propriedades estatsticas dos intervalos entre sucessivos
tempos de chegada.
As duraes destes intervalos Z
k
so referidas como intervalos entre
chegadas, em que
Z T
Z T T
k k k
1 1
1

,para k=2,3,4,...
t
0
t
1
t
2
t
k-1
t
k
z
1
z
2
z
k
A seqncia de intervalos entre chegadas forma dessa forma um
processo aleatrio de parmetro discreto com varivel aleatria
contnua {Z
k
, k=1,2,3,...}.
Vamos agora determinar a funo distribuio de probabilidade do
K-simo intervalo entre chegadas, Z
k
, em termos da distribuio de
probabilidade da varivel aleatria de contagem N
t
.
Para isto, primeiramente determina-se a probabilidade
) z ( F 1 ] z Z [ P 1 ] z Z [ P
k
Z k k
= = >
Segue-se, da definio de intervalo entre chegadas, que o evento
[Z
k
>z] e [T
k
- T
k-1
>z] so equivalentes
[ ] [ ] [ ] Z z T T z T T z
k k k k k
> = > = > +
1 1
Suponha que o valor observado de T
k-1
t
k-1
.
O evento [T
K
>T
k-1
+z|T
k-1
=t
k-1
] ocorre iff o processo de contagem
no incrementar durante o intervalo (t
k-1
,t
k-1
+ z]:
[ | ] [ ] T T z T t N N
k k k k t z t
k k
> + = = =
+

1 1 1
1 1
0
Desde que os eventos so equivalentes, eles tm probabilidades
iguais.Obtemos ento o resultado
P Z z T t P N N
k k k t z t
k k
[ | ] [ ] > = = =
+

1 1
1 1
0
Dessa forma, segue-se que
F z T t P N N
Z k k t z t
k k k
( | ] [ ]
+
= = =

1 1
1 1
0
(7)
Se o processo de contagem estacionrio, ento segue-se que
a probabilidade no lado direito da equao anterior uma funo
unicamente de z; em particular,
P N N P N
t z t z
k k
[ ] [ ]

+
= = =
1 1
0 0
pois, por hiptese, N
0
= 0.
A funo distribuio condicional no lado esquerdo de (7) dessa
forma independente do valor particular de k, e finalmente
F z P N
Z z
k
( ) [ ] = = 1 0
para todo k=1,2,3,...
Como este resultado independente do valor do ndice k, segue-se que
se o processo de contagem estacionrio, ento os vrios intervalos
entre chegadas tero todos a mesma distribuio de probabilidade.
1 Passo:
Suponha que exatamente k eventos de um processo de
Poisson ocorrem em um intervalo de durao t. Em outras
palavras N
t
=k, onde N
t
uma varivel aleatria de
Poisson. Se particionarmos (0,t] em M subintervalos
adjacentes para os instantes de tempo t
0
, t
1
, t
2
,..., t
M
,
considerando:
t t e t
M o
= = ' 0 '
M m para t t
m m m
,..., 2 , 1 ' '
1
= =

E definindo:
Tem-se a situao de partio representada a seguir:
Tempos de chegada no-ordenados
Pode-se escrever:
No h relao a priori entre os tempos em que os eventos
ocorrem (t
k
) e os instantes da partio t
m
.

=
=
M
m
m
t
1

1
'
m
t
o
t' 0 =
1
' t
m
t'
t t
M
= '
m

) (
m

L
2 Passo:
Nmero de eventos que ocorrem em um subintervalo:
M m onde t t
m m m
,..., 2 , 1 ] ' , ' ( ) (
1
= =


Segue que:
Exatamente k eventos ocorreram no intervalo (0,t].

=
=
M
m
m
k k
1
A probabilidade condicional conjunta de k
m
eventos
ocorrerem durante o intervalo (
m
), m=1,2,...,M,
considerando a hiptese de que k eventos ocorrem durante
o intervalo inteiro :
= = = = = ] | ,..., , [
2 1
2 1
k N k N k N k N P
t M
M

] [
] , ,..., , [
2 1
2 1
k N P
k N k N k N k N P
t
t M
M
=
= = = =
=

) 1 (
] [
] ,..., , [
2 1
2 1
k N P
k N k N k N P
t
M
M
=
= = =
=

Incrementos estacionrios e independentes, vem:
) 2 ( ] [ ] ,..., , [
1
2 1
2 1

=
= = = = =
M
m
m M
k N P k N k N k N P
m M

O nmero de eventos Distribuio de Poisson. Assim,
podemos reescrever (2) e o denominador de (1):
!
) (
] [
m
k
m
m
k
e
k N P
m m
m

= =
!
) (
] [
k
t e
k N P e
k t
t

= =
Levando os resultados acima em (1):
Obtm-se a probabilidade condicional conjunta:
= = = = = ] | ,..., , [
2 1
2 1
k N k N k N k N P
t M
M

!
) (
!
) (
1
k
t e
k
e
k t
M
m
m
k
m
m m

!
!
) (
1
... ) ... (
2 1 2 1
k
t
k
e
e
k
M
m
m
k
m
k
k k k
t
m
M M

=
+ + +

+ + +
=

=
=
M
m
m
k
m
k
k t
k
m
1
!
) ( !
3 Passo:
Particionamento suficientemente bom apenas um evento
ocorra em cada subintervalo. Nesse caso, cada um dos k
subintervalos ter apenas um evento ocorrendo em sua
durao, ou seja:
1 ! ) ( = =
m m
k
m
k e
m

No ocorrer nenhum evento em cada um dos M-k
subintervalos restantes:
1 ! 0 ! 1 ) (
0
= = = =
m m
k
m
k e
m

= = = = = ] | ,..., , [
2 1
2 1
k N k N k N k N P
t M
M

=
=
M
m
m
k
m
k
k t
k
m
1
!
) ( !
Os k subintervalos so reindexados de modo que o
subintervalo (
j
) contenha o j-simo evento a ocorrer.
O tempo de ocorrncia do j-simo evento o tempo de
chegada t
j
, resta apenas a probabilidade condicional
conjunta de ocorrncia dos eventos [t
j
(
j
)], j = 1, 2, ..., k:
] | ) ( ),..., ( ), ( [
2 2 1 1
k N t t t P
t k k
= ) 3 (
!
1

=
=
k
j
j
k
t
k

4 Passo:
k eventos ocorrem durante [0,t], o mesmo resultado pode
ser obtido assumindo que os tempos de chegada t
j
so as
estatsticas de ordem dos tempos de evento (ou tempos de
chegada no-ordenados).
Variveis aleatrias mutuamente independentes
Uniformemente distribuda em [0,t]
possvel indexar os objetos que causam eventos
particulares pelos inteiros 1, 2, ..., k e denotar como u
i
o
tempo de evento que o objeto i leva para que um evento de
interesse ocorra.
No garantia a priori que #i gere o i-simo evento a ocorrer
(em ordem) no garantia u
i
= t
i.
1
0 t
2
t
i
t
j
t
k
t t
2
u
k
u
1
u
i
u t
L L L
k i # # 2 # 1 # L
L
Objetos
Tempos
de Evento
Tempos
de Chegada
Tempos de chegada no-ordenados
5 Passo:
Seja U
j
a v.a. da distribuio dos valores dos u
i
empricos,
dizemos que as v.as T
i
so as estatsticas de ordem das
v.as U
j
. Em seguida assumimos:
Variveis aleatrias mutuamente independentes
Uniformemente distribudas em [0,t]
Estamos assumindo que dado N
t
=k, os U
j
so mutuamente
independentes e:
k i
contrrio caso
t u
t
k N u f
i
t i U
i
,..., 2 , 1 ,
, 0
0 ,
1
) | ( =

<
= =
Como os U
j
so v.as independentes:
k i
contrrio caso
t u
t
k N u u u f
i
k
t k U U U
k
,..., 2 , 1 ,
, 0
0 ,
1
) | ,..., , (
2 1 ,..., ,
2 1
=

<
= =
Existem k! diferentes conjuntos de tempos de eventos
[u
j
, i = 1, 2,..., k] que poderiam gerar um conjunto particular
de tempos de chegada. Da:
) 4 ( ,..., 2 , 1 ,
, 0
0 ,
!
) | ,..., , (
2 1 ,..., ,
2 1
k j
contrrio caso
t t
t
k
k N t t t f
j
k
t k T T T
k
=

<
= =
Retornando aos k subintervalos (
j
) da eq.(3), a
probabilidade de um T
1
cair em um subintervalo (
1
), de
durao
1
, que T
2
caia num subintervalo (
2
), de durao

2
, e assim sucessivamente dada pela distribuio
condicional conjunta escrita em (4), ou seja:
= = ] | ) ( ),..., ( ), ( [
2 2 1 1
k N T T T P
t k k

=
=
k
j
j
k
k
k
t
k
dt dt dt
t
k
K
1
2 1
) ( ) ( ) (
! !
1 2

L L
Esse resultado idntico ao obtido em (3), completando a
prova.
Q.E.D
Tempos de chegadas no-ordenados
Definio
Suponha que um operador linear excitado aleatoriamente
por um processo de Poisson. O processo aleatrio que
descreve o fenmeno, [X
t
, 0 t<+] pode ser escrito:
onde U t h X
t
N
j
j t
, ) (
1

=
=
u
j
gera h(t- u
j
) em um tempo t
N
t
descreve o n de eventos que ocorreram em(0,t]
U
j
= Tempo chegada no ordenados dos eventos em(0,t].
Tem-se o chamado Processo de Poisson Filtrado.
Processo de Poisson Filtrado
Valor Esperado de X
t
:
) 1 ( ] | [ ] [ ] [
0

=
= = =
k
t t t t
k N X E k N P X E
A mdia condicional E[X
t
| N
t
= k] obtida tomando a mdia
da soma:
com relao aos tempos de chegada no-ordenados
U
1
, U
2
, ..., U
k
.

k
j
j
U t h
1
) (
(

= =

=
k
j
j t t
U t h E k N X E
1
) ( ] | [

=
=
k
j
j
U t h E
1
)] ( [
Resultados anteriores fornecem:
k j
contrrio caso
t u
t
k N u f
t U
j
,..., 2 , 1 ,
, 0
0 ,
1
) | ( =

<
= =


= =
= = =
k
j
k
j
t
j j j t t
du u t h
t
U t h E k N X E
1 1
0
) (
1
)] ( [ ] | [
) 2 ( ) ( ] | [
0

= =
t
t t
du u h
t
k
k N X E
Ficando:
Fazendo u = t-u
j
:
Substituindo (2) em (1), chega-se esperana de X
t
:

=
= =
0
0
] [ ) (
1
] [
k
t
t
t
k k N P du u h
t
X E

=
t
du u h
0
) (
Q.E.D
Distribuio de X
t
:
(
(

= =

=
t
t
t
N
j
j
ivX
X
U t h iv E e E v
1
) ( exp ] [ ) (
Analogamente:
em que:
] | [ ] [ ) (
0
k N e E k N P v
t
ivX
k
t X
t
t
= = =

(
(

= =

=
k
j
j t
ivX
U t h iv E k N e E
t
1
) ( exp ] | [
Substituindo o resultado acima em:
(

= =

=

k
j
U t ivh
t
ivX
j
t
e E k N e E
1
) (
] | [
[ ]

=
k
j
U t ivh
j
e E
1
) (
k
t
u ivh
k
j
t
j
u t ivh
du e
t
du e
t
j
(

= =

0
) (
1
0
) (
1 1
] | [ ] [ ) (
0
k N e E k N P v
t
ivX
k
t X
t
t
= = =

Relembrando a expanso da funo exponencial em sries

de potncias:
k
t
u ivh
k
t
k
t
u ivh
k
k t
X
du e
k
e du e
t k
t e
v
t
(

=
(

0
) (
0
0
) (
0
!
1 1
!
) (
) (

t
u ivh t
X
du e e v
t
0
) (
exp ) (

[ ]
)
`

t
u ivh
du e
0
) (
1 exp
Q.E.D
Processo de Poisson Generalizado {N
t
, 0 t< << <+ }
a. a varivel aleatria de contagem N
t
assume unicamente valores
inteiros no-negativos e
N
0
0
b. o processo aleatrio de contagem {N
t
, 0 t<+} tem estacionaridade
e incrementos independentes.
c.
d.
P N N t
t t t
[ ] ( )
+
>

1 0
Funo valor mdio do processo no homogneo de
Poisson:
Exemplo:
e (t)=(t-9) para t>9.
H tantas variantes de processos derivados do processo de
contagem de Poisson !
Processo de Poisson Composto
Um P.E. {X(t), t0} dito ser um processo composto de
Poisson se representado por
Sendo {N(t), t0} um processo de contagem de Poisson e
{Y
i
, i1} uma famlia de v.a.s i.i.d. independente de N(t).

=
=
) (
1
: ) (
t N
i
i
Y t X
Teoria das Filas: introduo
Processos Estocsticos Especficos
Probabilidade e Processos Estocsticos
(Programa de Ps-graduao)
UFPE
Teoria das Filas
Vrios usurios
Demanda aleatria
Servidor(es)
Tempo de atendimento aleatrio
Servido(es) ocupados FILA
Critrio FIFO (First In First Out)
Representao de Kendall
At cinco elementos
A/B/m/K/M
A distribuio do tempo de chegada
B distribuio da durao do atendimento
m nmero de servidores
K mximo de usurios
M nmero de usurios
exemplos
M/M/1/4/50, M/M/2//20, M/D/1/50, ...
M/M/1
M/M/m
M/M/1/K
M distribuio exponencial
D valor Determinstico
G distribuio genrica
Representao esquemtica
NB. Ligao com o processo de nascimento e morte
Fila M/M/1
Infinitos usurios
Chegadas ~P()
Partidas (findo atendimento) ~P()
Diagrama de estados da fila M/M/1
Fila M/M/m
Infinitos usurios
Chegadas ~P()
Partidas (findo atendimento) ~P(
i
)
Diagrama de estados da fila M/M/m
O Processo Gaussiano
Processos Estocsticos Especficos
Probabilidade e Processos Estocsticos
(Programa de Ps-graduao)
UFPE
O Processo Gaussiano
1 - Introduo
2 - Vetores Randmicos Gaussianos
3 - O Processo Aleatrio Gaussiano
4 - Formas de Onda de Faixa Estreita
5 - O Processo Aleatrio de Faixa Estreita
6 - O Processo Aleatrio Gaussiano de Faixa Estreita
Processos Gaussianos
Efeitos das Transformaes Lineares em Vetores Randmicos
Gaussianos
Processo Randmico Gaussiano:
Definio e Propriedades Bsicas
Apresentao de um Caso Especial: Definio e Propriedades
de um Processo Randmico Gaussiano de Faixa Estreita.
Introduo
Funo Densidade de Probabilidade Gaussiana
O comportamento de uma
varivel aleatria caracterizado
por sua distribuio de
probabilidade.
Uma varivel aleatria
gaussiana somente se sua
densidade de probabilidade f
X
(x)
tem a forma:
( )
+ < <
(
(

= - ,
2
exp
. 2
1
) (
2
2
x
m x
x f
X

Funo Densidade de Distribuio de uma
Varivel Gaussiana com Mdia m e Varincia
x
f
x
(x)
Funo Distribuio de Probabilidade Gaussiana
Por definio:

=
=
x
X
X
dx x f
x X P x F
) (
) ( ) (
Funo Distribuio de uma Varivel Gaussiana com
Mdia m e Varincia
x
F
x
(x)
Embora uma distribuio de probabilidade constitua uma descrio
completa da varivel aleatria X, em geral interessante procurar um
conjunto de nmeros simples que ressaltem as caractersticas dominantes
da varivel aleatria. (Os momentos associados a X)
( ) [ ] [ ] dx ivx x f x f ivx exp E v
-
X X X
) ( exp ) ( ) ( ) (
1

= =
|
|

\
|
=
2
exp ) (
2 2

v
ivm v
X
A funo caracterstica de uma varivel aleatria X definida como
sendo a esperana de um nmero complexo, ou seja, como a
transformada inversa de Fourier da funo densidade de
probabilidade:
Funo Caracterstica Gaussiana
EXEMPLO: Calcular o ensimo momento associado funo:
g(X) = X
n
.
- Soluo atravs de f
X
(x):
Determinao dos Momentos
Atravs da funo caracterstica,
X
(x), possvel determinar, de
forma bem mais simples, os momentos de qualquer varivel
aleatria.

+

= dx x f X X E
X
n n
) ( ) (
- Soluo atravs de
X
(x): ) 0 ( ) (
) ( n
X
n n
i X E

=
Vetores Randmicos Gaussianos
( )
(

=
2
2
2
. 2
1
) (
k
k
k
X
m x
exp x f
k

Densidade de Probabilidade Conjunta Gaussiana
Seja X um vetor randmico de dimenso n cujas componentes X
1
, X
2
,
..., X
n
so variveis randmicas gaussianas mutuamente
independentes com mdias m
1
, m
2
, ..., m
n
e varincias
1
2
,
2
2
, ...,
n
2
,
respectivamente, a densidade de probabilidade para o k-simo
componente dada por:
Densidade de Probabilidade Conjunta Gaussiana
Visto que as componentes do vetor X foram definidas como sendo
variveis randmicas gaussianas mutuamente independentes, a
funo de probabilidade conjunta ser dada por:
( )

m x
2
1
- exp
1

m x
2
1
- exp
1

x f ... x f x f ) x ,..., x , (x f
n
k
k
k k
n
k
k
n
n
1 k
k
k k
k
n X X X n 2 1 X X X
n n
(
(

|
|

\
|

|
|

\
|
=
(
(

|
|

\
|

=
=

=
=
=
2
1
1
2
2
2 1 ,..., ,
2
. 2
) ( ) ( ) (
2 1 2 1

(
(
(
(
(

2
2
2
2
1
... 0 0
... ... ... ...
0 ... 0
0 ... 0
n

(
(
(
(

n
x
x
x
X
...
2
1
[ ]
(
(
(
(

=
n
x
m
m
m
X E m
...
2
1
Utilizando a notao matricial para a equao apresentada, x, m e
podem ser definidos como:
Matriz das Covarincias Matriz das Mdias
Densidade de Probabilidade Conjunta Gaussiana
Sabendo-se que
n 2 1
1
... =

=
n
k
k
e,
[ ]
2
2
2
2
2
2 2
2
1
2
1 1
2 2
1 1
2
2
2
2
1
2 2 1 1
1
1
) ( ...
1
) (
1
) (
...
1
0 0 0
... ... 0 0
0 ...
1
0
0 ... 0
1
... ) ( ) (
n
n n
n n
n
n n x
T
x
T
m x m x m x
m x
m x
m x
m x m x m x m X m X

+ + + =
(
(
(
(

(
(
(
(
(
(
(
(

=

Portanto, matricialmente, a funo densidade de probabilidade
conjunta de um vetor randmico X de dimenso n, cujas componentes
so variveis randmicas gaussianas mutuamente independentes,
dada por:
Pode-se dizer que,
e
2
1

1
=

=
n
k
k

|
|

\
|

=
n
k
k
k k
x
T
x
T
m x
m X m X
1
2
1
) ( ) (

=

) ( ) (
2
1
exp
) 2 (
1
(x)
1
2 1
2
x
T
x
T
n
X
m X m X - f

Funo Caracterstica Conjunta

Desde que os componentes X
1
, X
2
, ..., X
n
foram assumidos serem
mutuamente independentes, a funo caracterstica conjunta dada
pelo produto das funes caractersticas individuais:
|
|

\
|
=
|
|

\
|
=
= =

= =
=
n
k
k k
n
k
k k
n
k
k k
k k
n n X X X X
v
m v i
v
m iv
v v v v v v V
n
1
2 2
1
1
2 2
X 2 X 1 X 2 1 ,..., ,
2
exp
2
exp
) ( ... ) ( ) ( ) ,..., , ( ) (
n 2 1 2 1

(
(
(
(
(

2
2
2
2
1
... 0 0
... ... ... ...
0 ... 0
0 ... 0
n

(
(
(
(

n
v
v
v
V
...
2
1
[ ]
(
(
(
(

=
n
x
m
m
m
X E m
...
2
1
Utilizando a notao matricial para a equao apresentada, v, m e
podem ser definidos por:
Matriz das Covarincias Matriz das Mdias
[ ]
2 2 2
2
2
2
2
1
2
1
2
1
2
2
2
2
1
2 1
...
...
0 0 0
... ... 0 0
0 ... 0
0 ... 0
...
n n
n
n
n
T
v v v
v
v
v
v v v V V

+ + + =
(
(
(
(

(
(
(
(

=
Sabendo-se que
[ ]
n n 2 1
n
k 1
T
x
v m v m v m
v
v
v
m m m V m + + + =
(
(
(
(

= ...
...
...
2 1
2
1
2
e
|

\
|
= V V V im V
T T
x X
2
1
exp ) (

=
=
n
k
k k
T
x
m v V m
1

=
=
n
k
k k
T
v V V
1
2 2

Pode-se dizer que

e
Portanto, matricialmente, a funo caracterstica conjunta de um vetor
randmico X de dimenso n, cujas componentes so variveis
randmicas gaussianas mutuamente independentes, dada por:
|

\
|
= V V V im V
T T
x X
2
1
exp ) (
Um vetor randmico gaussiano X de dimenso n, cujas
componentes so variveis randmicas gaussianas
mutuamente independentes, tem como funo densidade
conjunta de probabilidade e funo caracterstica conjunta,
respectivamente:
(

=

) ( ) (
2
1
exp
) 2 (
1
(x)
1
2 1
2
x
T
x
T
n
X
m X m X - f

Transformao Linear
Seja Y um vetor randmico de dimenso m (m n) definido como
transformao linear do vetor randmico gaussiano X:
(
(
(
(

mn m m
n
n
g g g
g g g
g g g
g
...
... ... ... ...
...
...
2 1
2 22 21
1 12 11
n mn m2 m1 m
n 2n 22 21 2
n 1n 12 11 1
X g X g X g Y
X g X g X g Y
X g X g X g Y
+ + + =
+ + + =
+ + + =
...
...
...
...
2 1
2 1
2 1
gX Y =
em que g
jk
um nmero real arbitrrio
e g a matriz transformao:
Transformao Linear - Funo Caracterstica de Y
A funo caracterstica conjunta para o vetor Y dada por:
(
(

|
|

\
|
=

=
m
j
j j n Y Y Y
Y u i E u u u
n
1
2 1 ,..., ,
exp ) ,..., , (
2 1

Sendo Y = gX:
( ) [ ] gX iu E u
T
Y
exp ) ( =
Porm,
( ) [ ] Y iu E u
T
Y
exp ) ( =
Utilizando a notao matricial:
( ) [ ] ixV E V
X
exp ) ( =
Logo,
) ( ) ( u g u
T
X Y
=
Porm,
Y
(u) est expressa em funo da mdia (m
x
) e das varincias
(
x
2
) do vetor X.
necessrio, portanto, analisar os termos m
x
e gg
T
em funo de Y.
|

\
|
= u g g u u g im u
T T T T
x Y
2
1
exp ) (
ou seja,
Ento,
T T
x
T
Y
g m m =
Sabe-se que:
[ ] [ ] [ ]
x Y
gm X g.E g.X E Y m = = = E
T
mn m m
n
n
n
mn m m
n
n
T
g g g
g g g
g g g
g g g
g g g
g g g
g g
( (( (
( (( (
( (( (
( (( (

( (( (







( (( (
( (( (
( (( (
( (( (

( (( (










( (( (
( (( (
( (( (
( (( (

( (( (






= == =
...
... ... ... ...
...
...
... ... ... ...
...
... ... ... ...
...
...
2 2
2 22 21
1 12 11
2
2
2
2
1
2 2
2 22 21
1 12 11
0 0 0
0 0 0
0 0 0
T
g g =
Fazendo:
( )
k j jk
Y Y cov ,
(
(
(
(

mm m m
m
m



...
... ... ... ...
...
...

2 1
2 22 21
1 12 11
Porm, por definio, a matriz dada por::
em que
Portanto, a funo caracterstica conjunta para o vetor Y dada por:
|

\
|
= u u u im u
T T
Y Y
2
1
exp ) (
A funo caracterstica conjunta de um vetor randmico Y tem
exatamente a mesma forma da funo caracterstica conjunta do
vetor randmico X, quando Y definido como a transformao linear
de X e quando os componentes de X so variveis aleatrias
gaussianas mutuamente independentes.
|

\
|
= u u u im u
T T
Y Y
2
1
exp ) (
|

\
|
= V V V im V
T T
x X
2
1
exp ) (
|

\
|
= u u u im u
T T
Y Y
2
1
exp ) (
Ou,
A funo caracterstica conjunta para quaisquer vetores randmicos
gaussianos tm a mesma forma, sejam suas componentes variveis
randmicas gaussianas independentes ou no.
[ ] ( )
(

=

= = =
m
j
m
k
k j k j j
m
1 j
j n 2 1 Y Y Y
u u Y Y
2
1
- u Y E i exp ) u ,..., u , (u
n
1 1
,..., ,
, cov
2 1

Transformao Linear - Funo Densidade Prob. de Y

(

=

) ( ) (
) 2 (
)
1
2 1
2
x
T
x
T
n
X
m X m X
2
1
- exp
1
x ( f

Foi visto que:

De forma anloga (fazendo: Y = gX):
(

=

) ( ) (
) 2 (
1
2 1
2
Y
T
Y
T
n
Y
m Y m Y
2
1
- exp
1
(y) f

(
(

=

= =
n
j
n
k
k k j j
jk
n
x x x
m x m x f
n
1 1
2 1
2
n 2 1 ,..., ,
) )( (
2
1
- exp
) 2 (
1
) x ,..., x , (x
2 1

em que ||
jk
o cofator do elemento
jk
no determinante || da
matriz de covarincias.
Expandindo,
|

\
|
= V V V im V
T T
x X
2
1
exp ) (
1. Um vetor randmico gaussiano X de dimenso n, cujas
componentes so variveis randmicas gaussianas mutuamente
independentes, tem como funo densidade conjunta de probabilidade
e funo caracterstica conjunta, respectivamente (matricialmente):
(

=

) ( ) (
2
1
exp
) 2 (
1
(x)
1
2 1
2
x
T
x
T
n
X
m X m X - f

Concluses
2. A funo caracterstica conjunta de um vetor aleatrio Y tem
exatamente a mesma forma da funo caracterstica conjunta do
vetor randmico X, quando Y definido como a transformao
linear de X e quando os componentes de X so variveis randmicas
gaussianas mutuamente independentes.
|

\
|
= u u u im u
T T
Y Y
2
1
exp ) (
|

\
|
= V V V im V
T T
x X
2
1
exp ) (
3. A funo densidade conjunta de probabilidade e a funo
caracterstica conjunta para quaisquer vetores randmicos gaussianos
tem, individualmente, a mesma forma, sejam suas componentes
variveis randmicas gaussianas independentes ou no.
|

\
|
= u u u im u
T T
Y Y
2
1
exp ) (
(

=

) ( ) (
) 2 (
1
2 1
2
Y
T
Y
T
n
Y
m Y m Y
2
1
- exp
1
(y) f

Processo Aleatrio Gaussiano

Um processo aleatrio real um processo
gaussiano se para todo conjunto finito de instantes
de tempo
as correspondentes variveis aleatrias so
variveis aleatrias gaussianas conjuntas.
{ } T , t Y
t
t
Y
{ } T , t Y
t
n 1,2,..., j T =
j
t
As funes caractersticas do vetor aleatrio
tem a forma da matriz
Em que a matriz da mdia de a
matriz da covarincia de Y.
( )
|

\
|

=
V V V m i
y
T T
Y
e v
*
2
1
* *

e Y
y
m
Processo Gaussiano
Conseqncias:
Um processo gaussiano completamente
determinado (estatisticamente) atravs da
especificao da mdia e da funo
covarincia do processo.
Alm disso qualquer processo gaussiano que estacionrio
no sentido amplo tambm estacionrio no sentido
restrito.
[ ]
t
Y E
( ) ' , t t K
y
Suponha que o processo aleatrio um
processo gaussiano estacionrio de sentido amplo.
Ento:
para todo t, e para todo t
{ } + < < , t Y
t
( ) ( ) ' t t K ' t , t K
y y
- =
Ento segue que
ou
( )
[ ] ( )
(
(

=
= = =
n
1 j 1 1
i
t
2 1
,
2
1
Y E
2 1 , ... , ,
, ... , ,
n
j
n
k
k j k j y j
n
t t t
v v t t K v i
n Y Y Y
e v v v
( )
( )
(
(

=
= = =
n
1 j 1 1
2 1

2
1
*
2 1 ... , ,
, ... , ,
n
j
n
k
k j k j y j
t t
v v t t K v m i
n Y Y
e v v v
processo gaussiano randmico estacionrio
no sentido amplo. translao dos instantes de
tempo pela mesma quantidade
A funo caracterstica conjunta das novas variveis
{ }
t
Y
n
t t t ,..., ,
2 1
n j Y
i
t
,..., 2 , 1 , =
+
( )
( )
( )
( )
n Y Y Y
v v t t K v m i
v v t t K v m i
n Y Y Y
v v v
e
e v v v
n
t t t
n
j
n
k
k j k j y j
n
j
n
k
k j k j y j
n
t t t
, ... , ,

, ... , ,
2 1 , ... , ,

2
1
*
-
2
1
*
2 1 , ... , ,
2 1
n
1 j 1 1
n
1 j 1 1
2 1
=

=

=
(
(

(
(

+
= = =
= = =
+ + +


Processo Gaussiano
A funo caracterstica conjunta n-dimensional (e,
portanto, a densidade de probabilidade conjunta n
dimensional) no alterada pela translao da origem dos
tempos.
Se processo gaussiano estacionrio no sentido amplo,
ento ele tambm estacionrio no sentido restrito;
Estacionaridade no sentido estacionrio amplo e no
sentido estacionrio restrito so equivalentes no caso do
processo gaussiano!
Rudo branco: rudo cuja funo de densidade
espectral constante ao longo do espectro.
potncia infinita, pois:
rudo branco numa dada faixa de freqncia.
Qualquer que seja a freqncia, o sinal visto em um
osciloscpio sempre apresentar um comportamento
senoidal
( ) = =

+

df f S P
n
f

( ) ( ) ( ) [ ] t t w t v t x
o
+ = cos
Digresso:
A funo dada pode ser representada atravs de um
somatrio atravs de uma srie de Fourier.
em que, dado por:
Onde chamada de .
( ) ( ) ( ) ( ) ( )


=

=
+ = + =
1 1
cos ' 2 cos
n
n n f n
n
n n n
t w f S t w A t x
' 2S
' 2
2
'
2
S A
A
S
n
n
= |

\
|
=
( ) ( ) ( )
n n f n
t w f S + cos ' 2
( ) t x
n
em que
fixando t tem-se uma varivel aleatria, ou seja, fazendo
t= t* tem-se:
uma soma de variveis aleatrias, donde conclui-se atravs
do Teorema do Limite Central que uma varivel
aleatria gaussiana.
( ) ( )

= t x t x
n c
( ) ( )

=
=
1
* *
n
n c
t x t x
( ) t x
c
Logo:
observa-se que a freqncia w
n
foi deslocada de w
c
, a fim de
expressarmos em termos de seno e cosseno, ou seja,
( ) ( ) ( ) ( ) ( )
n c n f n n
t w w f S t x + * cos 2 *
( ) t x
n
( ) ( ) ( ) ( ) [ ]
( ) ( ) ( ) ( ) [ ]
n c n
n
f n s
n c n
n
f n c
t w w f S t x
t w w f S t x

+ =
+ =

=
sen ' 2
cos ' 2
1
1
Formas de Onda de faixa-estreita
Uma funo do tempo X(t) dita ser uma forma de onda de banda
estreita se a regio sobre a qual o espectro de frequncia.
diferente de zero est confinado em uma banda estreita de
freqncia com

= dt e t x f X
t f i * * * 2 *
* ) ( ) (

f
f f
o
>>
A forma de onda de faixa estreita vista em um osciloscpio
aparece mais ou menos como uma onda senoidal com uma
funo envoltria variando lentamente e uma funo de fase
tambm variando vagarosamente.
Pode-se escrever:
em que v(t) uma funo envoltria variando lentamente (sempre no
negativa), uma funo de fase variando lentamente, e
a frequncia aparente.
( ) ( ) ( ) [ ] t t t v t x
o
+ = cos *
( ) t

2
o
o
f =
Uma representao alternativa
a componente do cosseno de
chamada a componente do seno de .
( ) ( ) ( ) [ ] t t t v t x
o
+ = cos *
( ) ( ) ( ) ( ) t t x t t x t x
o s o c
sen * cos * ) ( =
( ) ( ) ( ) ( ) ( ) ( ) t t v t x t t v t x
s c
sen * e cos *
( ) t x
c
( ) t x
( ) t x
s ( ) t x
Envoltria e fase de uma forma de onda faixa estreita
resultando
( ) ( ) ( ) ( ) ( )
( )
( )
|
|

\
|
= + =

t x
t x
t x t x t v
c
s
s c
1 2 2
tan t e
Formas de Onda de faixa estreita
Decomposio:
1
1

. Processo Aleat
. Processo Aleat

rio de Faixa Estreita

rio de Faixa Estreita
2. Processo Gaussiano faixa estreita
Processo Faixa Estreita
Definio: Um sinal no tempo X(t) dito ter uma forma de onda
banda estreita se a regio em cima do espectro de freqncia (Fig 1)
no nulo e est limitado a uma faixa de freqncia estreita de
largura f centrada sobre uma freqncia, f
o
.
Sendo f
0
>> f
Estender o estudo de banda estreita para processos
aleatrios.
Suponha, {X
t
, -<t<+} um processo aleatrio banda
estreita; i..,
suponha que {X
t
} estacionrio na sua faixa larga com uma
densidade espectral S
x
a qual difere de zero apenas numa
estreita banda de freqncia sobre alguma dada freqncia,
chamada de f
0
.
Algumas vezes conveniente representar um processo faixa
estreita em termos de
1) um mdulo de processo
{V
t
, -<t<+ } e
2) um processo de fase
{
t
, -<t<+ },
usando a relao:
X
t
= V
t
Cos(w
o
t +
t
) com w
o
=2f
o
.
Alternativa:
em termos de seus componentes seno e cosseno
{X
ct
, -<t<+ },
{X
st
, -<t<+ }, respectivamente.
usando a relao:
X
t
= X
ct
Cos w
o
t - X
st
Sen w
o
t.
2 2
X X V
st ct t
+ =
ct
st
X
X
1
t
tan

=
Mdulo, fase, componente cosseno e componente seno so
fenmenos de baixa freqncia; i.., seus espectros so todos
essencialmente zero em valor para freqncias maiores em
magnitude que alguma frao pequena f
o
.
CASO PARTICULAR: processo gaussiano banda estreita.
processo {X
t
, -<t<+}.
Componentes seno e cosseno do processo, i.e.,
{X
ct
, -<t<+ } e {X
ct
, -<t<+}, respectivamente, so
alcanveis pela transformao linear de um determinado
processo banda estreita.
Estes processos so tambm gaussianos.
2. Processo Gaussiano de banda estreita
Componentes aleatrias, a saber, X
ct
X
st
.
para variveis gaussianas no-correlacionadas,
independncia!
X
ct
e X
st
mdia zero e varincia R
x
(0), a densidade de
probabilidade :
(

+
=
) 0 ( 2
exp
) 0 ( 2
1
) , (
2 2
,
x x
x x
R
y x
R
y x f
st ct

Densidade de probabilidade do mdulo e fase:

2 2
X X V
st ct t
+ =
ct
st
X
X
1
t
tan

=
Concluso: o mdulo e a fase das variveis so estatisticamente
independentes com densidade de probabilidade dada por:

=
Contrrio Caso 0
0 ,
) 0 ( 2
exp
) 0 (
) (
2
v para
R
v
R
v
v f
x x
v
t

=
Contrrio Caso 0
2 0 ,
2
1
) (

para
f
t
FECHO
Este curso procurou revisar e apresentar conceitos
fundamentais da Teoria de Probabilidade e de
Processos Estocsticos.
O assunto por demais extenso e no pretenso
imaginar que esta cobertura mnima
suficiente, entretanto...
O objetivo mostrar a POTNCIA e larga aplicabilidade
da ferramenta em quase todos os campos do saber.
Votos finais
Se foi possvel proporcionar alguma mudana
na forma de encarar os processos fsicos e
descortinar um pouco sobre a influncia da
aleatoriedade no mundo, ento o objetivo principal
foi atingido.
OBRIGADO por compartilha-lo!
Que tenha alguma valia nas atividade acadmico-cientficas e
na forma de ver o mundo...
Probabilidade e Processos Estocsticos
(Programa de Ps-graduao)
UFPE