Diferencas em Diferencas e experimentos naturais

Rafael Terra
Universidade de Braslia-Unb

28 de Outubro, 2015

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 1 / 26
Experimentos Naturais

Experimentos naturais sao estudos em que ha uma variacao exogena e

transparente na variavel explicativa que determina a designacao do
tratamento.
Podem ser induzidos por mudancas em polticas, randomizacao realizadas
por alguma instituicao ou governo, ou eventos que causam variacoes
ex
ogenas na variavel explicativa, e.g. desastres naturais, etc.
Na ausencia de experimentos randomizados, esta abordagem se mostra
adequada para corrigir o vies decorrente variaveis omitidas ou de selecao.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 2 / 26
Exemplos

Em estudos dos efeitos da seguridade social sobre a oferta de trabalho e

difcil distinguir os efeitos do recebimento (e valor) do benefcio por um
indivduo dos efeitos da oferta de trabalho passada, que normalmente
determina a elegibilidade ao benefcio.
Programas como seguro desemprego e seguridade social condicionam a
elegibilidade e o nvel de benefcios aos ganhos previos. Mas, ganhos previos
sao fortemente correlacionados com ganhos futuros.
Se omitimos os ganhos previos teremos problemas de endogeneidade. Se
incluirmos na regressao, o efeito do programa pode ser confundido com a
correlacao com rendimentos passados (via habilidade).
Por isso, muitos estudos recentes examinam mudancas nos benefcios da
seguridade social que se aplicam `a alguns grupos homogeneos e nao `a
outros (Ver Classen (1979), Solon (1985), Meyer (1989,1992), Green e
Riddell (1993a,b), e Meyer, Viscusi, e Durbin (1990), Krueger (1990),
Gardner (1991), e Curington (1994).

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 3 / 26
Exemplos

Um segundo exemplo e provido por estudos de efeitos do servico militar

sobre os rendimentos.
Angrist e Krueger (1994) e Angrist (1990) analisam esse problema.
Os autores comparam ganhos de civis com veteranos que serviram em algum
orgao militar.

Claramente ha auto-selecao no servico militar. Por isso, os resultados serao
enviesados.
Os autores se aproveitam de loterias realizadas nas epocas da Segunda
Guerra Mundial e da Guerra do Vietnam que selecionaram aleatoriamente
pessoas para irem `a guerra.
Outros t
opicos que usam experimentos naturais incluem os efeitos de
mudancas de leis de salario mnimo estaduais sobre oferta de trabalho(Card
1992a; Card e Krueger 1994); os efeitos do tamanho da famlia sobre suas
escolhas usando a ocorrencia de gemeos como variacao exogena (Ver
Bronars e Grogger, 1993; Rozensweig e Wolpin, 1980).

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 4 / 26
Definicoes

Em psicologia, o desenho de pesquisa que se utiliza de variacoes exogenas

sao chamados de quase-experimentos.
O termo quase-experimento se deve a caracterstica nao experimental de
tais desenhos. Em economia, costuma-se denominar tais desenhos por
experimentos naturais.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 5 / 26
Ameacas `a validade da estimativa dos efeitos: validade
interna

A validade interna se refere `a veracidade da inferencia realizada sobre o

efeito causado por diferencas na variavel explicativa sobre a variavel
dependente.
Podemos listar `as principais ameacas a validade interna de um estudo como:
1 Variaveis omitidas: Outros eventos, que nao o tratamento, podem
ocorrer entre o perodo pre e o perodo p
os tratamento, e podem
enviesar as estimativas da magnitude do efeito do tratamento,
especialmente se tais eventos afetarem tratados e nao tratados de
formas distintas.
2 Tendencias nos resultados: Efeitos tendenciais comuns como inflacao,
envelhecimento populacional, e crescimento salarial podem afetar a
validade interna de um determinado tratamento.
3 Variancias mal especificadas: Sobre-rejeicao de hipoteses nulas iguais a
zero devido `a omissao de erros agrupados que causam auto-correlacao
residual.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 6 / 26
Ameacas `a validade da estimativa dos efeitos: validade
interna

4 Erros de Medida: Mudancas nas definic oes das variaveis, no perodo ou

no metodo de coleta das pesquisas podem produzir alteracoes nas
variaveis. Mudancas simples na questao que da origem a variavel, como
as palavras utilizadas ou a ordenacao da questao, podem alterar o
resultado da pesquisa.
5 Economia Poltica: Mudancas em polticas podem ser uma resposta do
governo em relacao a resultados passados ou resultados futuros
esperados.
6 Simultaneidade: Endogeneidade de variaveis explicativas devido a
determinacao conjunta com o resultado.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 7 / 26
Ameacas `a validade da estimativa dos efeitos estimados:
validade interna

7 Selecao: Unidades de analise se auto-selecionam ao tratamento,

produzindo correlacao entre a designacao do tratamento e os
resultados na ausencia de tratamento (potenciais). Diferentes tipos de
auto-selecao serao tratados de forma distinta. Se a selecao se baseia em
fatores fixos no tempo, pode-se tirar uma diferenca ao longo do tempo
para eliminar o vies. Se a selecao se da por nao observaveis variaveis no
tempo, podem-se usar experimentos naturais, variaveis instrumentais,
alguma descontinuidade na designacao do tratamento, etc.
8 Atrito: Quando se perdem unidades de analise (mudam de cidade, se
recusarm a continuar provendo informac oes, mudam de endereco sem
informar, etc) de forma nao aleat oria. Isto e, as perdas sao diferentes
entre tratados e controles.
9 Interacoes omitidas: Tendencias diferentes em grupos de tratamento e
controle, ou variaveis omitidas que mudam de forma diferente entre
tratados e controles.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 8 / 26
Ameacas `a validade da estimativa dos efeitos estimados:
validade externa

Cook and Campbell(1979) enumeram as ameacas `a validade externa:

1 Interacoes entre a selecao e o tratamento: Nao representatividade da
resposta da populacao tratada. O grupo de tratamento no estudo pode
nao ser representativo da populacao que se pretende tratar.
2 Interacao entre cenarios e tratamento: O efeito do tratamento pode
diferir entre regioes geograficas e ambientes institucionais.
3 Interacao entre a hist
oria e o tratamento: O efeito do tratamento pode
diferir entre perodos de tempo.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 9 / 26
Ameacas `a validade da estimativa dos efeitos estimados:
validade externa

Angrist (1990), por exemplo, questiona se o resultado encontrado do efeito

do servico militar tem validade para outros grupos que nao os compliers. O
mesmo tratamento aplicado `a grupos que evitaram ir a guerra podem
produzir resultados distintos. O mesmo vale para os voluntarios. Mais ainda,
o autor se questiona se o efeito estimado da ida `a guerra sobre os
rendimentos nao se confunde com programas de treinamento especiais para
veteranos.
Outras ameacas `a generalizacao dos resultados consistem na dificuldade de
extrapolar os resultados de uma mudanca temporaria para uma mudanca
permanente em que instituic oes e indivduos se adaptam totalmente `a nova
situacao. Alem disso, pode-se esperar efeitos de equilbrio geral.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 10 / 26
Objetivos de uma avaliacao quase-experimental

Os tres principais objetivos de um desenho de avaliacao quase-experimental

deveriam ser:
1 Encontrar uma variacao ex ogena nas variaveis explicativas.
2 Encontrar grupos de controle que sao comparaveis (semelhantes).
3 Provar as implicacoes da hip
otese sendo testada. O pesquisador deveria
encontrar variacao ex
ogena induzida por fatores bem compreendidos e
excluir explicac
oes endogenas concorrentes.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 11 / 26
Estimador Intertemporal Ingenuo: estimador para um
grupo antes e depois

Esse desenho consiste em comparar a evolucao da variavel dependente Yi de

um grupo tratado antes e depois. A equacao pode ser descrita como:

Yit = + D + it (1)

em que Yit e o resultado de interesse para a unidade i no ano t (para

t = 0, 1 e i = 1, ..., N). D = 1[t > 0] e uma dummy igual a 1 no perodo
p
os-tratamento, e 0 caso contrario. e o efeito causal estimado e e tal que
= E [Y1T |D = 1] E [Y0T |D = 0].
Nesse caso, o efeito do tratamento estimado pode se dever a variacoes
macroeconomicas que atingiram a todos os tratados. Teramos, portanto,
um problema de variaveis omitidas.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 12 / 26
Estimador Intertemporal Ingenuo: estimador para um
grupo antes e depois

S
o sob circunstancias especiais esse estimador nao sera enviesado. Por
exemplo, os dois grupos deveriam ser comparaveis ao longo do tempo na
ausencia do tratamento, i.e. o grupo no perodo 0 deveria constituir um
contrafactual adequado do grupo no perodo 1.
Pode-se estimar esse efeito por cross-sections repetidas ou com dados em
painel. Com dados em painel, uma preocupacao adicional se refere ao atrito
nao aleat
orio das unidades de observacao. Uma forma de avaliar a
importancia dessas ameacas `a validade interna e avaliando os resultados de
grupos similares que nao receberam o tratamento, mas que tambem
estivessem sujeitos `as mesmas influencias.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 13 / 26
Diferencas em Diferencas

Quando observamos diferencas pre-existentes entre grupos de tratamento e

controle, e existem dados antes e apos o tratamento, podemos aplicar o
metodo de Diferencas em Diferencas.
Com isso, podemos estabelecer duas tendencias. Uma para o grupo de
controle, e outra para o grupo de tratamento. Mesmo que partam de pontos
diferentes, esse metodo tira a diferenca entre tratados e controles das
diferencas antes e depois do tratamento.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 14 / 26
Diferencas em Diferencas

Denotando os resultados potencias no perodo 1 se tratados (controles)

como Y1T (Y1C ), e no perodo inicial como Y0T (Y0C ) entre os tratados
(controles), podemos calcular o efeito do tratamento como
h i h i
d = Eb[Y T Y T |T ] Eb[Y C Y C |C ]
DD (2)
1 0 1 0

Se vale a hipotese de que os grupos de tratados e controles seguiriam

tendencias paralelas na ausencia de tratamento, i.e. Eb[Y1C Y0C |T ] =
Eb[Y1C Y0C |C ], entao obtemos estimativas nao viesadas do efeito do
tratamento.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 15 / 26
Diferencas em Diferencas

Tratamentos e controles antes e depois

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 16 / 26
Diferencas em Diferencas

Para estimar DD
d podemos regredir

Yijt = + DD Dj Tt + Dj + Tt + ijt (3)

Podemos estimar por OLS.

O parametro de interesse DD d = DD .
d e dado por DD

Essa especificacao, apesar de reduzir varias ameacas `a validade interna do

resultado, nao esta imune `a outros problemas.
Outra forma de estimar DD , mas s o valida para dados em painel, e dada
pela diferenca entre (17) avaliada em t = 1 e t = 0

Yij = + DD Dj + ijt (4)

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 17 / 26
Diferencas em Diferencas

Fatores nao observados variaveis no tempo e potencialmente correlacionados

com a variavel de tratamento podem enviesar os resultados.
Como mencionado, atrito e um problema no caso de dados em painel (mas
nao em cross-sections repetidas).

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 18 / 26
Diferencas em Diferencas sem a dimensao do tempo

Ao inves da dimensao temporal, poderamos ter outra caracterstica.

Ashenfelter & Krueger (1994) consideram uma unidade familiar de gemeos
como a unidade seccional, e cada irmao gemeo identico como a outra
dimensao. Eles utilizam o metodo de diferencas em diferencas combinado
com variaveis instrumentais para estimar os efeitos da escolaridade sobre os
salarios.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 19 / 26
Controlando por caractersticas individuais

Podemos reduzir ainda mais o vies do efeito do tratamento se incluirmos

caractersticas observaveis. A omissao dessas variaveis produz estimativas
enviesadas quando correlacionadas com a variacao observada no tratamento
entre o primeiro e o segundo perodos.
Note tambem que tais caractersticas observaveis devem ser pre-tratamento
(defasadas perodos o suficiente), ou ao menos, nao afetadas pelo
tratamento.
Podemos reescrever (17) como

Yijt = + DD Dj Tt + Dj + Tt + Zitk + it (5)

k dependera do perodo em que ocorreu o tratamento. De preferencia se

refere a um perodo pre-tratamento.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 20 / 26
Controlando por caractersticas individuais

Inserir covariadas pode aumentar a eficiencia das estimativas ao reduzir a

variancia residual.
Note que para (5) ser valida, deve ser igual para ambos os grupos de
tratados e controles em ambos os perodos. Estamos impondo uma restricao,
que pode ou nao ser verdadeira. E possvel testar essa restricao inserindo um
termo de interacao de Z com D e T e com cada termo separadamente.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 21 / 26
Tratamentos que constituem Interacoes de ordem mais alta

` vezes ha situac
As oes em que o tratamento e definido pela interacao de mais
de duas variaveis.
possvel que o efeito do tratamento difira de acordo com o grupo
E
socioecon omico.
Portanto, uma versao modificada de (17) pode ser definida como

Yijkt = + DD Dj Tt +Dj +Tt +ek +ek Tt +ek Dj +ek Tt Dj +ijkt

(6)
em que o resultado Y esta agora indexado tambem por k (k = 0, 1), e
T = 1 se t = 1 e igual a 0 caso contrario. O termo ek denota, por exemplo,
os grupos socioecon omicos 0 e 1, tal que ek = 1 se k = 1 e igual a 0 caso
contrario. Ja o termo Dj denota se o grupo e tratado (j = 1) ou controle
(j = 0) independente de ja ter ocorrido o tratamento.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 22 / 26
Multiplos Grupos de Comparacao

Se houver varios grupos de comparacao sera possvel realizar varios testes de

hip
otese com hip otese nula H0 : = 0.
Quanto mais similar o grupo de comparacao e de tratamento melhor.
Essa possibilidade de realizar comparac
oes com varios grupos prove robustez
aos resultados.
Se o pesquisador suspeita de alguma caracterstica correlacionada com Y
que diferencia o grupo de tratamento e os diversos grupos de controle, e
possvel obter conclus oes do efeito do tratamento para os varios grupos e
concluir se tal variavel omitida enviesa ou nao as estimativas. Tambem e
possvel verificar se os efeitos diferem em relacao ao tempo (e.g. demora
mais para surtir efeito em um grupo do que no outro).

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 23 / 26
Varios perodos pre e pos tratamento

Quando ha varios perodos pre e p

os tratamento, e possvel realizar a analise
do efeito do tratamento para varios pares de perodos pre e pos intervencao,
a fim de verificar efeitos sazonais.
Pode-se usar essa estrutura de dados para verificar se de fato os grupos de
tratamento e controle seguem tendencias paralelas.
Para isso, basta restringir a analise ao perodo pre-tratamento t = 0, ..n.
Ao inves da interacao Dj Tt>n usamos a interacao Dj Tt<ns , em que s e
um dado n umero de perodos antes da ocorrencia do tratamento (em
t = n). Se o coeficiente de Dj Tt<ns for diferente de 0, as tendencias nao
serao paralelas antes do tratamento.
Este teste costuma ser denominado como efeito placebo.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 24 / 26
Outros testes

Podemos estimar o efeito do tratamento em relacao a diversos grupos. Por

exemplo, quando temos tratamentos ocorrendo em diferentes perodos de
tempo, locais, ou diferentes intensidades de tratamento.
Outra possibilidade interessante surge quando um determinado tratamento e
revertido (suspenso) ap os determinado perodo. Com isso, se estimarmos um
efeito significativo no primeiro perodo, e outro tambem significativo mas
com sinal contrario no perodo seguinte, teremos uma evidencia mais
robusta de que o tratamento de fato surte efeito.
Se o tratamento foi adotado devido a uma caracterstica nao observavel
especfica aos tratados, a reversao do tratamento nao deveria apresentar
efeito contrario de mesma magnitude, pois muito provavelmente essa
caracterstica nao observavel nao deve ter tambem se revertido.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 25 / 26
Referencias

Duflo, Glennerster e Kremer (2006), Using Randomization in Development

Economics Research: A Toolkit, BREAD Working Paper No. 136
Meyer, Bruce D. (1995). Natural and Quasi-Experiments in Economics.
Journal of Business & Economic Statistics, Vol. 13, No. 2, pp. 151-161.

Rafael Terra (Unb) Econometria do Setor P

ublico 28 de Outubro, 2015 26 / 26