Validando os Modelos

Prof. Jos Valentim Machado Vicente, D.Sc.

jvalent@terra.com.br

Aula 7

Contedo da Aula

Introduo
Validao de hipteses
Backtest Kupiec
Backtest Christoffersen

Aula 7

Introduo
Ao estimar o VaR necessrio verificar se os erros das previses
feitas esto dentro de uma margem aceitvel.
Quando usamos modelos paramtricos algumas hipteses so
feitas sobre os retornos dos ativos:
Distribuio normal ou outra qualquer;
Retornos i.i.d.
Portanto, a validao dos modelos passa por dois pontos
distintos:
Erro de previso dentro de margem aceitvel (backtesting).
Validao das hipteses;
Aula 7

Validao das hipteses

Testes para verificar se uma srie de dados se enquadra em uma
certa distribuio:
Teste de Kolmogorov-Smirnov;
Teste do qui-quadrado;
Teste de Anderson-Darling;
No caso de distribuio normal, podemos usar tambm o
teste de Jarque-Bera.
Teste de i.i.d.
Podemos, por exemplo, testar se h auto-correlao entre os
retornos dirios.
Aula 7

Validao das hipteses

Teste de Kolmogorov-Smirnov - Teste usado para determinar se
uma amostra de uma distribuio de probabilidade difere de uma
distribuio em hiptese. Estatstica do teste:

onde Fn a funo de distribuio acumulada emprica e F a

distribuio em hiptese. Sob a hiptese nula (Fn tem a mesma
distribuio de F)
converge para a distribuio de
Kolmogorov (K). Logo a hiptese nula rejeitada com nvel
se:

Aula 7

Validao das hipteses

Distribuio de Kolmogorov:

onde B(t) um Brownian bridge. Se W(t) MB ento W(t)

tW(1) Brownian bridge.
Na internet voc encontra as seguintes funes para MatLab:
kolmpdf.m, kolminv.m, kolmcdf.m

Aula 7

Backtesting
Ao empregarmos um certo modelo de clculo do VaR
recomendado que avaliemos constantemente a qualidade do
mesmo. Assim, devemos determinar se as perdas ocorridas na
carteira esto dentro da estimativa prevista pelo modelo.
Medindo o VaR para um perodo, o backtest consiste em
verificar se o nmero de vezes em que as perdas superaram o
VaR prxima do nvel de significncia adotado.
Por exemplo, se o intervalo de confiana de 95% e ao
observarmos os resultados da carteira em dado perodo
notssemos que os mesmos ficaram abaixo do VaR 18% das
vezes, ento, muito provavelmente, o nosso modelo precisaria de
um ajuste.
Aula 7

Backtesting
Poderamos trocar de um modelo paramtrico para um no
paramtrico ou vice-versa, mudar o fator de decaimento do
EWMA, pesquisar novos mtodos de clculo da volatilidade,
dentre outras solues que devem ser usadas de acordo com o
caso em questo.
O backtest um processo que permite medir a performance de
um modelo de risco. A idia bsica comparar o VaR declarado
em uma data t -1 com a variao real da carteira em uma data t.
Aps um certo perodo de tempo tem-se como resultado um
grfico ilustrativo da comparao do VaR declarado com a
variao real da carteira, como ilustra a figura a seguir.
Aula 7

Back Testing

Aula 7

Kupiec - Preliminares
Nvel de
Confiana do
VaR
99%

T = 255 dias

T = 510 dias

T = 1000 dias

N<7

1 < N < 11

4 < N <17

97,5%

2 < N < 12

6 < N < 21

15 < N < 36

95%

6 < N < 21

16 < N < 36

37 < N < 65

92,5%

11 < N < 28

27 < N < 51

59 < N < 92

90%

16 < N < 36

38 < N < 65

81 < N < 120

Aula 7

Nmero de excees (N) para perodo T

10

Kupiec - Exerccio
Calcule o VaR 95% diariamente para uma carteira formada por
10.000 aes de Petrobras PN no perodo 01/10/02 a 16/10/03.
Use o modelo paramtrico e suponha mdia igual a zero. Estime
a volatilidade historicamente (janela 60 dias) e por EWMA
(lambda = 0.94). Avalie o desempenho de ambas as tcnicas
usando Kupiec. Dados na planilha BackTesting.xls.

Aula 7

11

Detalhes de um Backtesting
Desde do incio da dcada de 1990 uma variedade de testes de
hiptese tm sido propostos para avaliar a qualidade do modelo
de estimao do VaR.
Embora esses testes difiram em detalhes, a maioria deles focam
em comparaes do VaR reportado com a perda ou lucro
realizada.

Aula 7

12

Arcabouo Estatstico
Denote por xt,t+1 a perda/ganho em um perodo. Defina a funo
indicadora por:
1 se xt ,t 1 VaR t ( )
I t 1 ( )
0 se xt ,t 1 VaR t ( )
O problema de acurcia de um modelo de VaR consiste em
verificar se a seqncia indicadora satisfaz as seguintes
propriedades:
Cobertura Incondicional: P(I () = 1) = .
t+1
Independncia:
devem ser independentes.
Essas duas propriedades so equivalentes a

Aula 7

13

Kupiec: Detalhes
O teste de Kupiec concentra-se apenas na primeira propriedade.
A estatstica do teste (razo de max verossimilhana) toma a forma

que segue uma qui-quadrado com 1 grau de liberdade. Valor limite

para 95% de confiana = chi2inv(0.95,1) = INV.QUI(5%;1) = 3,84.

Aula 7

14

Kupiec - Exerccio
Calcule o VaR 95% diariamente para uma carteira formada por
1 ao de PETR4 e 2 de VALE5 no perodo 08/10/02 a 08/10/04.
Use primeiramente o modelo paramtrico e suponha mdia igual
a zero. Estime a volatilidade e correlao historicamente (janela
60 dias). Em seguida rode uma simulao histrica (100
cenrios). Avalie o desempenho de ambas as tcnicas usando
Kupiec.

Aula 7

15

Christoffersen Testando
Independncia
A funo indicadora deve exibir cobertura incondicional e
independncia.
Hiptese nula = independncia serial.
Hiptese alternativa = dependncia de primeira ordem.

Aula 7

16

Christoffersen Testando
Independncia

T00

T10

T00+ T10

T01

T11

T01+ T11
T00

T00+ T01

T10+ T11

Tij = nmero de observaes no estado j aps estar no estado i.

Aula 7

17

Christoffersen Testando
Independncia
Nesse caso a estatstica do teste 2*log(LA/L0) onde

01

=
Aula 7

T
18

Christoffersen Testando
Independncia
A estatstica desse teste tem distribuio assinttica quiquadrado com um grau de liberdade.
Podemos unir as duas propriedades (cobertura incondicional e
independncia) em um nico teste. A estatstica ser a soma das
duas anteriores e ter portanto distribuio (assinttica) quiquadrado com 2 graus de liberdade.
Christoffersen testa apenas dependncia de primeira ordem.
Outros testes mais gerais tm sido propostos.

Aula 7

19

Christoffersen Testando
Independncia
Teste a independncia para uma carteira formada por uma nica
ao de PETR no perodo de 31/03/00 a 13/04/05. Use mtodo
paramtrico para calcular o VaR com nvel de confiana = 95%.
Considere mdia igual a zero e estime a volatilidade
historicamente. Dados na planilha BackTesting.xls.

Aula 7

20

Leitura
Jorion, P. Value-at-Risk The New Benchmark for Managing
Financial Risk, third edition, 2006. Cap. 6.

Aula 7

21