1a Lista de Exerccios  Estatstica Multivariada

Mrcia Brando de Oliveira

PPGM-UFAM
21 de maio de 2014

, ):
Exerccio 1. Sejam X1 , X2 , . . . , Xn vetores aleatrios independentes, com Xi N p (
, 1n );
(i) x N p (

Demonstrao: Para demonstrao do resultado, utiliza-se o fato de que os vetores aleatrios

so independentes, todos com distribuio normal e um modo de se obter a distribuio de x
encontrar a sua funo caracterstica, que dada por:
h > i
x (t) = E eit x
i
h >1 n
= E eit n i=1 Xi
h i >
i
t X1 + ni t> X2 +...+ ni t> Xn
n
=E e
h i >
i
i >
i >
= E e n t X1 e n t X2 e n t Xn
 
 
 
t
t
t
X2
Xn
= X1
n
n
n
, ), utilizando expresso da funo caracterstica de Xi que da forma Xi (t) =
Como Xi N p (
> 1 t> t
it
2
e
, segue que
i >
i >
i >
t
12 t> t
t
12 t> t
t
12 t> t
2n
2n
2n
x (t) = e n
en
en
in >
n >
t 2 t t
2n
=en
1 >
>
= eit 2n t t
1 > 1
>
= eit 2 t ( n )t

, 1n )
Logo, x N p (

(ii) (n 1)S Wishart (, n 1).

, ) e a matriz de covarincias amostral dada pela forma
Demonstrao: Sendo Xi N p (
>
1
n
S = n1 i=1 (Xi x) (Xi x) , vamos utilizar as propriedades da distribuio de Wishart para
vericar o resultado. Primeiramente faamos Zi = (Xi x), ento podemos escrever a matriz
de covarincias da seguinte forma:
1 n
S=
Zi Z>

i
n 1 i=1
n

(n 1) S = Zi Z>
i
i=1

Observe que a distribuio de Zi N (0, ), pois:

E (Zi ) = E (Xi x)
= E (Xi ) E (x)
= xx = 0

e
COV (Zi ) = COV (Xi x)
n
o
>
= E [Xi x E (Xi x)] [Xi x E (Xi x)]
o
n
= E (Xi x) (Xi x)>
= COV (Xi )
=

Assim, pela denio (3.4.1), Mardia et.al, temos que se Z1 , Z2 , , Zn so vetores aleatrios
independentes, com Zi N (0, ), fazendo W = ni=1 Zi Z>
i , ento W Wishart (, n 1), pois
W = (n 1)S.
(iii) x e S so independentes.
Demonstrao: Utilizando o resultado obtido no item (i) e sabendo que por denio a matriz
>
1
de covarincias amostral S = n1
ni=1 (Xi x) (Xi x) . Ento, fazendo Y1 = x e Y2 = Xi x,
temos que a distribuio de Y2 N(0, ). Usando as propriedades da funo caracterstica
temos que a funo caracterstica conjunta de Y1 e Y2 dada por
i
h > >
Y1 Y2 (t1 , t2 ) = E eit1 x+it2 (Xi x)
h >
i
it2 Xi +i(t1 t2 )> x
=E e
" 
#
>

>
i t2 +

=E e
"

t1 t2
n

Xi +i

> #

t t
i t2 + 1 n 2 X i

=E e

t1 t2
n

"

nj6=i Xi

#

>
t t
i 1n 2
nj6=i Xi

E e

, ), para completar a demostrao preciso encontrar a distribuio de M =

Como Xi N p (
n
j6=i Xi , usando a funo caracterstica, tem-se que:
h
i
M (t) = E eitM
h
i
= E eit(X1 +X2 ++Xi1 +Xi+1 ++Xn )
i
h
itXi1 itXi+1
itXn
itX1 itX2
e
e
= E e e e
h
i h
i
h
i h
i
h
i
= E eitX1 E eitX2 E eitXi1 E eitXi+1 E eitXn
1 >
1 >
1 >
1 >
1 >
>
>
>
>
>
= eit 2 t t eit 2 t t eit 2 t t eit 2 t t eit 2 t t
1
>
>
= ei(n1)t 2 (n1)t t

, (n 1))
Logo, M = nj6=i Xi N((n 1)

Assim temos que





t1 t2
t1 t2
Xi ,M (t1 , t2 ) = Xi t2 +
M
n
n
(
>

 
)
t1 t2 >
1
t1 t2
t1 t2
t2 +
= exp i t2 +

t2 +
n
2
n
n


1 (n 1)
(n 1)
exp i
(t1 t2 )>
(t1 t2 )> (t1 t2 )
2
n
2 n

i >
i >
1 >
1 >
1
1 >
= exp it>
t1 t2 + t>
t t1
2 t2 + t1 t2 t2
2 t2
n
n
2
2n
2n
2n 2
i >
1
1 >
1
1 >
1
>
2 t>
t1 t2 + t>
t2 t1 2 t>
1 t1 +
2 t2 +
2 t2 + it1 t1
2
2
2n
2n
2n
2n
2n
n
i >
1 >
1 >
1 >
1 >
1 >
>
it2 + t2 t1 t1 + 2 t1 t1 + t1 t2 2 t1 t2 + t2 t1
n
2n
2n 
2n
2n
2n
1 >
1 >
1 >
2 t2 t1 t2 t2 + 2 t2 t2
2n
2n
2n


1 >
1 >
1 >
>
= exp it1 t2 t2 t1 t1 + t2 t2
2
2n
2n




1
1 >
1 >
>
1
t t2
= exp it1 t1 t1 +
2n
2
n 2


 


1 >
1
1 >
>
= exp it1 t1 t1 exp
1
t t2
2n
2
n 2
= Y1 (t1 )Y2 (t2 )
= x (t1 )Xi x (t2 )

Logo, x e Xi x so independentes. Portanto, como S funo de Xi x ento x e S so

independentes.
, ).
Exerccio 2. Faa a deduo dos estimadores de mxima verossimilhana para Xi N p (

A funo de verossimilhana dada por

n

, ; x) = fX (x; , )
L(
i=1

1
np
2

(2) ||

n
2

exp

1
(xi )> 1 (xi )

2 i=1

Como o logartimo uma funo montona crescente e portanto diferencivel, temos a funo de
log-verossimilhana que da forma
, ; x) =
l(

np
n
1 n
log(2) log || (xi )> 1 (xi )
2
2
2 i=1

Para encontrar os estimadores de mxima verossimilhana preciso encontrar as derivadas parciais

da funo de log-verossimilhana em relaco ao vetor de parmetros, igual-las a zero e aps resolver
o sistema de equaes
3

XEMV para
)
1 n
(xi )> 1 (xi )
2 i=1
(
"
#)
n
n
n

1 n > 1
1
> 1
> 1
=
xi xi x>
i xi +

2 i=1
i=1
i=1
i=1
(
"
#)
n
n
1 n

1
> 1
x>

x
+
> 1
=
i
i

2 i=1 i
i=1
i=1
)
(
n
n > 1
1 n > 1

> 1
=
xi xi xi +

2 i=1
2
i=1

, ; x)

l(
=

n
n

= 1 xi + (1 + (1 )> )
2
i=1
n

= 1 xi + n1
i=1

igualando a 0 temos:
n

1 xi n1 = 0
i=1

1 xi = n1
i=1
n

1 xi = n1
i=1
n

xi = n

i=1

xi
i=1 n

XEMV para
Pelo resultado 4.10 do livro do Johnson Wichern, dado uma matriz simtrica positiva denida
B e um escalar b > 0, segue que
1 tr(1 B)/2
1
e

(2b) pb ebp
b
||
|B|b

Para toda matriz (pp) positiva denida, a igualdade obtida se, somente se = (1/2b)B
Portanto,
( "
# )
n
1
, ; x) =
L(
tr 1 ( (xi )> (xi ) + n(x )(x )> ) /2
np
n exp
2
2
(2) ||
i=1
observe que quando = x, temos:
"
1

>

>

"
1

#
>

tr ( (xi ) (xi ) + n(x )(x ) ) = tr ( (xi ) (xi ))

i=1

i=1

Assim, fazendo b =

n
2

e B = ni=1 (xi )> (xi ), temos que:


b=

1
2 n2

(x j x)(x j x)>

i=1

1
(x j x)(x j x)>
n i=1

n
, ).
Exerccio 3. Verique que x e S = n1
so eststicas conjuntamente sucientes para = (

Pelo Teorema da fatorao de Neyman-Fisher uma estatstica T (X) suciente para se, e
somente se existem funes g(t| ) e h(x) de modo que, para todos pontos amostrais x e todos os
pontos de parmetros
f (x| ) = g(T (x)| )h(x).
A densidade conjunta de X dada por
, ) =
f (x|

1
np
2

(2) ||

n
2

> 1 (x
i

e 2 i=1 (xi )

observe que
"
1 n
1
(xi )> 1 (xi ) = tr 1
2 i=1
2

!#

(xi )(xi )> n(x )(x )>

i=1

ento,
, ) =
f (x|
=
=

1
np
2

n
2

np
2

n
2

np
2

n
2

(2) ||
1
(2) ||
1
(2) ||

1
n
1
>
>
e 2 tr[ (i=1 (xi )(xi ) n(x )(x ) )]

1 ( n (x
i=1 i

1 (n1)S

e 2 tr[
e 2 tr[

)(xi )> )] e 12 tr[n(x )> 1 (x )> ]

] e 12 tr[n(x )> 1 (x )> ]

Pelo Teorema da fatorao temos que

fX (x; , ) = h(x)g (T1 (X), T2 (X))

onde T1 (X) = x e T1 (X) = S. Assim, temos que

np

h(x) = (2) 2
g (x, S) =

1 21 tr[1 (n1)S] 21 tr[n(x )> 1 (x )> ]

e
n e
|| 2

Logo, x e S so conjuntamente suentes para .

Exerccio 4. Faa a deduo dos passos do algoritmo EM para estimao dos parmetros de uma

, , )
distribuio T (

Para deduo dos passos do EM primeiramente observe que a distribuio t de Student pode ser
reescrita hierrquicamente da seguinte forma
; z1
Yi |Zi = zi N(
i )
Zi = zi Gamma(/2, /2),

i = 1, . . . , n.

Neste processo vamos escrever y = (y1 , y2 , . . . , yn )> e z = (z1 , z2 , . . . , zn ). Sob a representao hierrquica acima, segue que a funo de verossimilhana associada a yc = (y> , z> ) da forma
f (yc ) = f (y, z) = f (y|z) f (z)
(
)
(
) "
/2 #n
v
n
n
1

1 n
1
=
zi (yi )> 1 (yi ) 2
zi2 exp zi
np
n exp

)
2
(
2 i=1
2
2
(2) ||
2
i=1
i=1

A funo de log-verossimilhana dada por

lc ( ; y, z) =

n
np
n

v
n
log(2) log |z1
|
+
n
log
2

n
log
(
)
+
(

1)
z

i 2
i
2
2
2
2
2
i=1
i=1

1 n
zi(yi )>1(yi )
2 i=1

No Passso E do Algoritmo EM tomada a esperana condicional da log-verossimulhana dado o vetor

de dados observados,
Q( | (k) ) = E (k) {lc ( ; y, z)|y}
n
1 n (k)
= c log |(k) | zi (yi (k) )> 1(k) (yi (k) )
2
2 i=1

onde zbi (k) = E[Zi |y, b(k) ] e c uma constante que no depende de parmetros desconhecidos.
Sabemos que Yi |Zi = zi N p (, ) e Zi Gamma(/2, /2). Assim possvel obter a distribuio
de Zi |Yi = yi calculando
fZi |Yi =yi (zi ) =

fyi ,zi (yi ,zi )

fY |Z =z (yi ) fZi (zi )
= i i i
fyi (yi )
fyi (yi )

Se olharmos a funo acima apenas como funo de zi e yi como constante, temos que
fZi |Yi =yi (zi ) fYi |Zi =zi (yi ) fZi (zi )
n z
o
n z o
1

1
i
i
zi2 exp (yi )> 1 (yi ) zi2 exp
2
2
n z h
io

1+ 12
i
zi2
exp (yi )> 1 (yi ) +
2
n z
o
1

i
zi2 2 exp [di + ]
2
n z
o
+1
1
i
zi 2
exp [di + ] ,
2

logo, Zi |Yi = yi Gamma

Portanto

+1 +di
2 , 2


, onde di = (yi )> 1 (yi ).
+1

(k)

zi = E[Zi |y, b(k) ] =

(k)

+ di

(k) , (k)

O Passo M consiste na maximizao da funo Q( | (k) ) em relao ao vetor de parmetros

Q( | (k) ) = E (k) {lc ( ; y, z)|y}
1 n (k)
n
= c log |(k) | zi (yi (k) )> 1(k) (yi (k) )
2
2 i=1

Maximizando a log-verossimilhana completa em relao a , temos

)
1 n (k)
zi (yi (k) )> 1(k) (yi (k) )
2 i=1
(
"
n
n

1 n (k) > 1(k)

(k)
(k)
1(k) (k)
=
zi yi
yi zi y>

zi (k)> 1(k) yi

2 i=1
i=1
i=1
#)

Q( | (k) )

(k)
+ zi (k)> 1(k) (k)
i=1

"
#)
n
n
1 n (k) > 1(k)
(k) (k)> 1(k)
(k) (k)> 1(k) (k)
zi yi
yi 2 yi

yi + zi

2 i=1
i=1
i=1
(
)
n
n z(k)
1 n (k) > 1( k)

(k) (k)> 1(k)

zi yi
=
yi zi

yi + i (k)> 1(k) (k)

2 i=1
i=1
i=1 2

(k)
zi 1(k) yi

i=1
n

(k)

z
i2 (1(k) + (1(k))>) (k)
i=1

(k)

= 1 zi yi zi 1(k) (k)
i=1

i=1

Igualando a 0 e resolvendo o sistema de equao, temos

n

(k)

1 zi yi zi 1(k) (k+1) = 0
i=1

i=1

(k)

(k)

1 zi yi zi 1(k) (k+1) = 0
i=1

i=1

i=1

(k)
zi yi

(k)

zi

i=1
n

i=1

(k+1) = 0

(k)
zi (k+1)

(k)

= zi yi
i=1

(k)

(k+1) =

ni=1 zi yi
(k)

ni=1 zi

Usando o mesmo resultado 4.10 que fora utilizado no exerccio 2 extrado do livro do Johnson &
Wichern(1992), temos que a expresso para a matriz de covarincias quando (k+1) = y, e fazendo
(k)
b = n/2 e B = ni=1 zi (yi (k+1) )(yi (k+1) )> . Assim temos que
1
B
2b
1 n (k)
= n zi (yi (k+1) )(yi (k+1) )>
2 2 i=1

(k+1) =

1 n (k)
zi (yi (k+1))(yi (k+1))>
n i=1

Para os graus de liberdade no possvel resolver o sistema de equaes, pois necessrio encontrar
a derivada da funo (/2), e alm disso, no possvel encontrar uma forma fechada para o
estimador dos graus de liberdade , deste modo, o estimador de mxima verossimilhana para
obtido calculando o argumento mximo da funo de log-verossimilhana completa.
(k+1) = arg max{lc (; y, z)}

Exerccio 5. A estatstica T 2 de Hotelling invariante a transformaes

X(p1) Y(p1) = A(pp) X(p1) + b(p1)

Sendo a matriz A no-singular e b R p

Demonstrao: Se X N p (, ), ento vamos primeiramente mostrar que a transformao Y
tambm tem distrubuio Normal.
h > i
Y (t) = E eit Y
h >
i
= E eit (AX+b)
h >
i
>
= E eit AX eit b
h > i
it> b
= e E eit AX
h > > i
>
= eit b E ei(A t) X
>

= eit b X (A> t)
1
>
> >
> >
>
= eit b ei(A t) 2 (A t) (A t)
= ei(A

> t+b)>

12 (A> t)> (A> t)

= ei(A

> t+b)>

12 (t> AA> t)

, 1n ), ento Y
Portanto, Y N p (A> t + b, AA> ). Sabendo que Y = AX + b, onde X N p (
+ b, 1n AA> ).
N p (A

Logo fazendo a estatstica

T 2 = n(y y,0 )> S1

y (y y,0 ),

temos que por denio

Sy =

1
n1

(y j y)(y j y)> = ASx A>

j=1

e
x + b
y = E(Y) = E(AX + b) = A

Assim o resultado segue de

x,0 + b)]> (AA> )1 [AX + b (A
x,0 + b)]
T 2 = n[AX + b (A
= n[A(X x,0 )]> (AA> )1 [A(X x,0 )]
= n(X x,0 )A> (A> )1 1 A1 A(X x,0 )
= n(X x,0 )1 (X x,0 )

logo, a estatstica T2 de Hotelling invariante a transformaes lineares.

, )
Exerccio 6. Seja X1 , X2 , . . . , Xn uma amostra aleatria de uma populao com distribuio N p (

com positiva denida. Ento, simultaneamente para todo a, o intervalo

s
s
!
p(n 1)
p(n

1)
>
>
a x
F p,np ()a> Sa , a x +
F p,np ()a> Sa
n(n p)
n(n p)
conter a> com probabilidade 1 .

Pelo resultado apresentado no exerccio anterior temos que a estatstica T 2 invariante a transformaes lineares. Do Resultado (5-23) do livro do Johnson & Wichern, considerando todos os valores
>
> )2
de a para os quais a quantidade n(a axa
tn1 (/2)2 = c2 , temos que a estatstica:
> Sa
T 2 = n(X )1 (X ) c2

implica

n(a> x a> )2
c2
>
a Sa

Ento temos que

n(a> x a> )2
c2
a> Sa
n(a> x a> )2 c2 a> Sa
r
a> Sa
>
>
a xa c
nr
a> a> x c

a> Sa
n

para todo a. Pelo resultado (5-6) do livro do Johnson & Wichern, temos que se escolhermos c =
(n1)p
>
(np) F p,np (), o intervalo acima conter a com probabilidade 1
9