Experimentos 2015 Parte 2

Experimentos Sociais Parte 2
Rafael Terra
Universidade de Braslia-Unb
14 de Setembro, 2015
Rafael Terra (Unb) Econometria do Setor P

ublico 14 de Setembro, 2015 1 / 72
Vies de Publicacao em estudos nao experimentais
O vies de publicacao consiste na tendencia de editores, pareceristas e

pesquisadores preferirem resultados (nao experimentais) que sao
estatisticamente significativos e que dao suporte a determinadas visoes.
Considere um exemplo em que o efeito verdadeiro e zero, mas cada tecnica
nao experimental retorna uma estimativa igual ao efeito do tratamento
mais um vies de variavel omitida.
O efeito estimado que aparece na literautura publicada nao esta centrado
em zero, mas tende a um efeito estatisticamente diferente de zero.
Muito tempo e esforco e gasto pelos pesquisadores para produzir resultados
o que se denonomina busca por
estatisticamente significativos. E
especificac
oes.
Ha uma sub-rejeicao de vis
oes tidas como esperadas.

Outra fonte de vies de publicacao esta no processo de selecao de papers

pelas revistas.
A citacao de papers tambem favorece resultados extremos de um lado ou
outro do debate.
DeLong e Lang (1992) prop
oem um teste para determinar a ocorrencia desse
vies.
Qualquer estatstica tem uma chance de 5% de rejeitar a hipotese nula
quando ela e verdadeira.

Ashenfelter, Harmon, and Ooster-beek (1999) usam meta-analise para

avaliar a ocorrencia desse vies na literatura de retornos à educacao, e
encontram evidencias de que estudos com variaveis instrumentais sofrem de
vies de publicacao.
Se experimentos randomizados sao corretamente especificados, nao ha
espaco para questionar seus resultados, quaisquer que sejam.
Se os resultados forem inesperados, eles tem menor chance de serem
consequencias de erros de especificacao.

Com a avaliacao randomizada ha menor espaco para discricionariedade

ex-post.
A pratica de cherry-picking de resultados significativos e evitada. Mas
ainda e possvel ocorrer em experimentos, pois e possvel selecionar
resultados, localidades e subgrupos para os quais se concluiu que o programa
e efetivo.
Avaliacoes randomizadas podem superar o problema de vies de publicacao
por parte das revistas, pois mesmo quando nao publicados em revistas, os
resultados costumam circular no meio de pesquisadores e demais
interessados.
Uma forma de manter o sistema de registro de todos os resultados
experimentais seria a exigencia pelas instituic
oes financiadoras de que os
resultados e caracatersticas dos experimentos fossem submetidos a uma
base de informac
oes centralizada.

Incorporando Avaliacao Randomizada no desenho da
pesquisa
O modelo de randomizacao mais conhecido e o de testes clnicos.

A maioria dos projetos que envolvem randomizacao de programas sociais
diferem deste u
ltimo em importantes aspectos.
Devem ser implementados com ajuda de parceiros (governos, ONGs ou
empresas privadas) que estao implementando programas reais e estao
interessados em descobrir se estes funcionam ou como melhora-los.
A randomizacao pode ser includa durante os projetos pilotos nos quais
vers
oes do programa sao tentadas.
A randomizacao pode ser includa em projetos pilotos, com mnima
interferencia no andamento dos programas, permitindo, inclusive,
avaliacao de projetos ja iniciados.

Parceiros na avaliacao:Governos
Programas pilotos de Governos podem ser realizados antes de serem

expandidos. E podem contar com randomizacao. Exemplos sao: Negative
Income Tax e Partnership Training Act.
O PROGRESA e provavelmente o caso mais conhecido de avaliacao
randomizada conduzida por um governo.
O programa da transferencias para mulheres, condicionais ao
atendimento escolar de seus filhos e medidas de acompanhamento
medico.
O governo mexicano se aproveitou da restricao orcamentaria que
impedia todos de receberem os benefcios, e randomizou grupos
tratados e de controle em 506 comunidades, em que metade recebeu e
metade nao recebeu o tratamento.
Avaliac
oes randomizadas com colaboracao do governo sao ainda raras,
pois e difcil atingir um consenso para sua implementacao. Ha
interesses polticos que prejudicam a viabilizacao de experimentos.

Parceiros na avaliacao: ONGs e organizacoes com fins
lucrativos
ONGs podem ser tambem importantes parceiros na avaliacao de programas,

pois nao se espera que esta sirva toda a populacao.
Mesmo organizac oes pequenas podem afetar o orcamento de domiclios,
escolas e clnicas de sa
ude em pases em desenvolvimento.
Empresas privadas que visam lucros tambem tem se interessado por
avaliacoes aleat
orias, com o objetivo de entender melhor seus proprios
neg
ocios e como servir melhor seus clientes e aumentarem seus lucros.

Parceiros na avaliacao: ONGs e organizacoes com fins
lucrativos
No entanto, quando possvel, trabalhar com governos tem vantagens, como

maior abrangencia geografica, menor preocupacao com a dependencia dos
resultados de uma cultura organizacional especfica (e impossvel de ser
replicada), e maior possibilidade dos resultados serem incorporados à
polticas p
ublicas.
ONGs e firmas permitem maior flexibilidade na conducao do experimento,
principalmente na fase de piloto.
Alem disso, ONGs sao interessantes por frequentemente trabalharem com
programas inovadores e permitirem uma contribuicao mais ativa dos
pesquisadores na fase piloto.

Projetos Piloto: De avaliacao de programas a
experimentos em campo
Permite ao parceiro testar a efetividade do programa e a correcao de seu

desenho antes de ser expandido.
Durante o piloto os pesquisadores podem avaliar a efetividade do programa
em varias dimens oes, e os efeitos das diversas condicionalidades. Ate mesmo
efeitos de equilbrio geral podem ser avaliados.
Permite ao pesquisador a realizacao de testes de teorias especficas e a
contraposicao de diferentes programas para entao optar por aquele que
apresenta melhores resultados.

Metodos alternativos de randomizacao
Trabalhos recentes mostram que ha muitas formas de introduzir um

elemento de randomizacao nos programas. Dentre elas destacam-se
1 Over-subscription
2 Phase-in
3 Within-group randomization
4 Encouragement design

Metodos alternativos de randomizacao: Oversubscription
(Excesso de inscricoes)
Este metodo de introducao de randomizacao se aproveita de recursos ou

capacidade de implementacao limitadas, e uma demanda que excede a
oferta.
Consiste em sortear dentre os inscritos para participarem aqueles que
receberao o tratamento.
Essa metodologia permite avaliar o efeito do programa entre os compliers
, i.e. aqueles que se selecionados para participar do programa irao participar.
Karlan & Zinman (2005c, 2005a) e Bertrand et al. (2005), trabalhando com
uma instituicao financeira, selecionaram aleatoriamente alguns pedidos de
emprestimos ao consumidor que teriam sido normalmente rejeitados. Tal
metodologia e interessante por causar impacto mnimo no andamento das
atividades da instituicao responsavel pelo programa.

Metodos alternativos de randomizacao: Phase-in
(Escalonamento do Tratamento)
Da mesma forma, restric

oes orcamentarias podem levar ONGs ou governos a
implementar o programa de forma randomizada ao longo do tempo.
A ideia e a de que se selecione aleatoriamente (normalmente uma
aleatorizacao no nvel de grupos) quem recebera o tratamento primeiro, e
que ao longo do tempo as unidades que eram antes controles possam
tambem receber o tratamento.
Esse desenho estimula a cooperacao das unidades de controle, que de outra
forma, poderiam nao cooperar com a provisao de informacoes e permissao
de acompanhamento se soubessem que nunca receberiam o tratamento.

Um exemplo de desenho de programa com Phase-in foi realizado por

Miguel e Kremer (2004), e consistiu em uma intervencao para provisao de
vermfugos (para vermes intestinais e esquistossomose) e conscientizacao
para higiene de forma escalonada para 75 escolas primarias no distrito de
Busia no Quenia.
O programa dividiu aleatoriamente as escolas em tres grupos, cada um
consistindo em 25 escolas primarias.
25 escolas constituram o Grupo 1 de tratados em 1998, 25 escolas
constituram o Grupo 2 de tratados em 1999, e 25 escolas constituram o
Grupo 3 de tratamento em 2000.

O impacto do programa foi avaliado comparando os resultados do Grupo 1

com os dos Grupos 2 e 3 em 1998, e comparando os resultados dos Grupos
1 e 2 com o Grupo 3 em 1999.
Os resultados mostraram que a melhora na sa
ude aumentou a frequencia
escolar.
O problema do desenho do tipo Phase-in e que ele impede a avaliacao de
efeitos de longo prazo do programa.
Quando o programa se destina a coortes bem definidas e possvel fazer esse
acompanhamento de longo prazo.

Se o programa e muito rapido em cada fase, nao sera possvel observar seus
efeitos. O tempo entre as fases deve ser suficientemente grande.
Um problema adicional desse desenho e que os controles podem alterar seu
comportamento pela expectativa de tratamento no futuro, e.g. em um
programa de distribuicao de material escolar do tipo Phase-in os controles
que receberao tratamento no futuro podem reduzir a compra de material
escolar para os filhos no presente.

Metodos alternativos de randomizacao: Within-Group
Randomization (Randomizacao intra-grupo)
Em alguns casos, mesmo o desenho Phase-in nao garante que havera

cooperacao dos controles.
Ainda assim, e possvel randomizar sub-grupos dentro de todos os
participantes.
Por exemplo, o programa de educacao tutorial balsakhi provido pela ONG
Pratham na India foi desenvolvido para melhorar o aprendizado de criancas
que estavam ficando para tras em termos de aprendizado (Banerjee, Duflo,
Cole, e Linden, 2007).
O programa consistia em contratar e treinar tutores que seriam amigos das
criancas, para ensinar matematica e compreensao de textos.

Metodos alternativos de randomizacao: Within-Group
Randomization (Randomizacao intra-grupo)
Para assegurar cooperacao das autoridades escolares, cada escola no estudo

recebeu um balsakhi por ano. Mas, baseado em randomizacao do
tratamento, algumas escolas foram instadas a designar o balsakhi para a
terceira serie, e outras para a quarta serie.
Portanto, em um dado ano, sempre se poderiam comparar as terceiras series
das escolas tratadas nessa serie com aquelas em que o tratamento se dava
somenta na quarta serie (as terceiras series dessas escolas nao eram
tratadas).
O problema desse desenho e que aumenta a probabilidade de que o grupo de
comparacao/controle seja contaminado.
Os diretores poderiam desviar recursos das series tratadas para as series de
controle.

Metodos alternativos de randomizacao: Encouragement
Design (Incentivos)
O Desenho de Incentivos permite aos pesquisadores avaliar o impacto de um

programa que esta disponvel para toda a area estudada, mas que adesao
nao e universal.
u
E til para avaliacao de programas sobre os quais a randomizacao para
designacao do tratamento nao e viavel por raz
oes eticas ou praticas.
Ao inves de randomizar o tratamento em si, os pesquisadores randomizam
entre indivduos para receberem incentivos para receberem o tratamento
(Intencao de Tratar).

Metodos alternativos de randomizacao: Encouragement
Design (Incentivos)
Duflo, Kremer e Robinson (2006) avaliaram o impacto de demonstracao de

uso de fertilizantes em fazendas aleatoriamente escolhidas sobre a adocao
futura de fertilizantes. Para isso, enviaram convites para um subconjunto
aleat
orio de fazendeiros conhecidos dos donos das fazendas escolhidas para
presenciarem a demonstracao. Quem nao recebeu o convite tambem poderia
comparecer.
A fracao de quem compareceu às demonstrac oes foi muito maior entre os
convidados do que entre os nao convidados. Como o convite foi enviado
aleatoriamente, ele fornece uma variavel instrumental natural com a qual se
avalia o impacto do tratamento.

Tamanho da amostra, Desenho e Poder dos Experimentos
O poder do experimento e a probabilidade de que para um dado tamanho do

efeito e um dado nvel de significancia, poderemos rejeitar a hipotese de
efeito nulo.
Tamanho da amostra, assim como outras escolhas de desenho, afetarao o
poder de um experimento.
Os passos nessa secao consistem em
1 Rever princpios de calculos do poder de um teste.
2 Discutirmos a influencia de fatores relacionados ao desenho como:
multiplos tratamentos, randomizacao por grupos, adesao parcial,
variaveis de controle, e estratificacao.
3 Quest oes praticas relativas ao calculo de poder do experimento e seu
papel no planejamento das avaliac oes.

Tamanho da amostra, Desenho e Poder dos
Experimentos:Princpios Basicos
A diferenca de media amostral entre dois grupos (nosso ATE) e dada pelo
coeficiente da regressao estimada por OLS
Yi = + T + i (1)
em que, por hip

otese, s
o ha um tratamento, e a proporcao de tratados na
amostra e P.
Cada indivduo foi selecionado aleatoriamente de uma populacao identica,
oes sao i.i.d. com variancia 2 .
entao, as observac

A variancia de e dada por
1 2
var()
b = (2)
P(1 P) N
Note que var (T ) = E (T 2 ) [E (T )]2 = P P 2 = P(1 P).

Normalmente queremos testar a hip
otese nula H0 : = 0 versus a hipotese
alternativa de que nao e.
O nvel de significiancia do coeficiente nos da qual a probabilidade de
rejeitar a hip
otese nula dado que ela e verdadeira.

No grafico a seguir, a probabilidade de cometer o erro do tipo I e dada pela

area à direita do valor crtico ( ou /2 dependendo se o teste e
monocaudal ou bicaudal) da distribuicao de um efeito de tamanho nulo.
otese nula sera rejeitada se |bOLS | > t se(bOLS ).
A hip
O poder de um teste esta associado a probabilidade de cometer o erro do
tipo II. Ou seja, de aceitar a hip otese nula dado que ela e falsa. Essa
probabilildade e dada pela area abaixo e à esquerda do valor crtico t da
distribuicao quando o efeito e . Logo, o poder do teste e a area abaixo e à
direita do valor crtico da distribuicao do efeito de tamanho .

Figure : Poder de um teste

Um teste com poder e atingido quando
> (t1 + t ) se(bOLS ) (3)
Para um poder de teste igual a 80%, a estatstica tabelada e t1 = 0.84.

Logo, em relacao a = 0, a estatstica para detectar um coeficiente
diferente de zero com uma probabilidade maior que 80% e de
t + t1 = 1.96 + 0.84 = 2.8, em que t se refere a uma probabilidade de
cometer o erro do tipo I de 5% em um teste bicaudal.
Estas estatsticas se baseiam em um tamanho de amostra maior do que 120.

O Tamanho Mnimo de Efeito Detectavel e dado por

s
1 2
MDES = (t + t1 ) (4)
P(1 P) N
Ha, portanto, um trade-off entre o N e o poder do teste. Se o tamanho da

amostra se reduz, t aumenta, e o tamanho do MDE aumenta (i.e., o teste
s
o detectara o efeito com um poder fixo em se o efeito for maior do que
era antes).
Ha portanto um trade-off entre erros do tipo I e do tipo II.
Alem disso, quanto maior o desvio padrao de i , maior devera ser o efeito
mnimo detectavel.

Por (4) podemos calcular a proporcao

otima de tratados e controles.
Desconsiderando que existam custos do experimento (ou so haja custos de
coleta de informac
oes, iguais para tratados e controles), P otimo e dado
minimizando (4) em relacao a P.
21
2

1 1
min MDES (t + t1 )
P 2 P(1 P) N
2
(2P 1)
=0
(P(1 P))2 N (5)
(2P 1)
=0
(P(1 P))2
1
P=
2

Mas se ha custos associados ao tratamento e os custos dos controles so

incluem a coleta de dados, teremos a seguinte restricao orcamentaria
Nc cc + Nt ct B. O problema sera
min MDES
Nc ,Nt
(6)
s.a Nc cc + Nt ct B

Montando o Lagrangeano
s
1 2
L = (t + t1 ) + (B Nc cc Nt ct )
P(1 P) N
s
1 2
= (t + t1 ) Nc Nt
+ (B Nc cc Nt ct )
N N
N
s (7)
N 2
= (t + t1 ) + (B Nc cc Nt ct )
Nc Nt
s
(Nc + Nt ) 2
= (t + t1 ) + (B Nc cc Nt ct )
Nc Nt
Nc Nt
em que substitumos P = N e 1P = N

A condicao de
otimo sera obtida derivando o Lagrangeano com relacao a Nc
e Nt
L 2 Nc Nt (Nc + Nt )Nt 2
= = cc (8)
Nc (Nc Nt )2
L 2 Nc Nt (Nc + Nt )Nc 2
= = ct (9)
Nt (Nc Nt )2

dividindo (8) por (9) temos

r
Nt P cc
= = (10)
Nc 1P ct
A razao dos indivduos tratados e de controle deve ser igual ao inverso da

raiz quadrada de seus custos relativos.

Se houver mais de um tratamento avaliado, o pesquisador ira minimizar a

soma dos MDE para cada tratamento, e obtera o n
umero de observacoes de
acordo.
Se o interesse reside em identificar um efeito menor em um determinado
tratamento, o pesquisador atribuira um peso maior para o MDE deste
tratamento.
Se o pesquisador quiser comparar os dois tratamentos, devera escolher N
conforme a diferenca entre os efeitos dos dois tratamentos. Se for pequena,
N deve ser grande, se for grande, N sera menor.

Experimentos:Erros Agrupados
` vezes o tratamento e randomizado por grupos, mas analisamos os efeitos

As
sobre os indivduos.
Nesse caso, e natural que os erros (nao observaveis) dos indivduos de um
mesmo grupo sejam correlacionados, i.e. seus resultados sao correlacionados.
Pense em j vilarejos tratados e controles, e uma seca que afete alguns
vilarejo. Contanto que essa seca nao esteja correlacionada com o status de
tratamento, o coeficiente nao sera enviesado. Mas os erros das pessoas do
vilarejos afetados estarao correlacionados entre si.
Yij = + T + j + ij (11)
j denota os clusters, e ij denota o indivduo. O termo j e i.i.d com

variancia 2 e ij e i.i.d com variancia 2 .

O estimador bOLS ainda e nao viesado. Seu erro padrao e:

s r
1 n 2 + 2
(12)
P(1 P) nJ
Se a randomizacao tivesse ocorrido no nvel individual teramos

s r
1 2 + 2
(13)
P(1 P) nJ

O efeito desenho e obtido dividindo (12) por (13) e somando e subtraindo

= 2 /( 2 + 2 )
q q
1 n 2 + 2
P(1P) nJ
D= q q
1 2 + 2 (14)
P(1P) nJ
p
= 1 + (n 1)
em que e a fracao da variancia explicada pela variacao intra-cluster.

O efeito-desenho aumenta com a correlacao intra-cluster e com o n
umero
de indivduos por grupo n.

A presenca de erros agrupados aumenta o erro padrao do estimador, e.g. o

erro padrao dobra com um grupo de tamanho 50 e correlacao intracluster de
0.06.
Com esse aumento na variancia teremos que aumentar o tamanho da
amostra.
Bloom (2005) mostra que o MDE com J grupos de tamanho n e dado por
r
MJ2 1
MDE = p + (15)
P(1 P)J n
em que MJ2 = t/2 + t1 , para um teste bicaudal.

Ignorar J aumenta o MDE proporcionalmente. Se a correlacao for alta,

aumentar o tamanho do grupo n contribui pouco para reduzir o MDE, pois
mais observac
oes adicionam pouca informacao nova.
Nesse caso (alta correlacao), aumentar o n
umero de clusters J randomizados
contribui mais para reduzir o MDE do que aumentar n.
Note que assumimos que as variancias intra-cluster sao identicas, assim
como a variancia individual.

Tamanho da amostra, Desenho e Poder dos Experimentos:
Imperfect compliance
A randomizacao apenas afeta a probabilidade de que alguem receba

tratamento.
Devemos levar em consideracao que a adesao ao tratamento pode nao ser
perfeita, e isso afeta o tamanho
otimo da amostra.
Considerando c como a fracao dos indivduos inicialmente designados ao
grupo de tratamento que realmente receberam o tratamento e s a fracao de
indivduos designados como controles que receberam o tratamento.
O efeito sera calculado com o efeito do tratamento multiplicado por c s.

Imperfect compliance
o MDE sera
r
1 2 1
MDE = (t/2 + t1 ) p (16)
P(1 P) N c s
Adesao parcial afeta o poder do desenho, ja que o MDE aumenta quanto

menor a taxa de adesao, enquanto o MDE se reduz proporcionalmente com
a raiz quadrada do n oes. Se c s e de 80%, para manter
umero de observac
o mesmo MDE, a amostra deveria ser 56% maior, ou se mantivermos o
tamanho da amostra em N, o MDE sera 25% maior.
Ao escolher entre dois desenhos devemos escolher aquele com maior adesao,
o que tera implicac
oes sobre o tamanho da amostra.
Entre desenhos do tipo incentivos (encouragement) e Excesso de
incric
oes, o u
ltimo teria maior adesao, e portanto, necessitaria de uma
amostra menor.

Variaveis de Controle
Ao controlar por variaveis de linha de base (baseline) o resultado estimado

do efeito do tratamento (randomizado) nao deve mudar. Mas a variancia do
estimador deve mudar.
As covariadas devem ser do tipo linha de base (pre-tratamento), pois o
tratamento pode ter efeitos sobre tais covariadas (i.e., derivada total
diferente da derivada parcial).
Considere o seguinte modelo
Yij = + T + Xij + j +
ij (17)
em que Xij e o conjunto de variaveis de controle pre-tratamento.

j e
ij agora representam a variancia nao explicada apos controlar por Xij .

Variaveis de Controle
O fato de controlar por covariadas resulta em:

Reducao da variancia do resduo, e portanto, tende a reduzir as
variancias dos estimadores.
Ao controlar por covariadas em W (que inclui X , T e a constante),
temos que (W 0 W )1 sera maior, e a variancia dos estimadores tende a
aumentar.Portanto, a variancia ao final pode ser maior ou menor, mas
nao e viesada.
No geral, controlar por variaveis (pre-tratamento) que tem grande
efeito sobre o resultado ajuda a reduzir o erro-padrao dos estimadores e
o tamanho da amostra necessario.
Por exemplo, controlar por escores pre-tratamento quando o resultado
de interesse e o escore p
os-tratamento, pode ajudar a reduzir o
erro-padr
ao das estimativas.

Estratificacao
As covariadas pre-tratamento escolhidas podem ser usadas para estratificar a

amostra para melhorar a precisao das estimativas.
Essa estrategia envolve dividir a amostra em grupos com valores similares de
covariadas observaveis. Estratificacao e a randomizacao por blocos de
variaveis observaveis.
A randomizacao garante que grupos de tratamento e de controle serao
similares ex-ante (expectativa).
A estratificacao garante que em dimens
oes observaveis isso tambem seja
verdade para a amostra ex-post.
No programa Balsakhi os pesquisadores estratificaram de acordo com
tamanho de turma, lngua de instrucao, sexo e escores pre-teste na area de
Mumbai.
Um bloco e constituido de todas as escolas com mesma lngua de ensino,
mesmo genero, e caem no mesmo bin de escores pre-teste.
Estratificacao
Esse procedimento garante que os grupos de tratamento e controle sejam

balanceados por genero e linguagem de instrucao, e que os escores pre-teste
sejam similares.
Um exemplo extremo consiste em obter uma unidade parecida para cada
unidade, e designar o tratamento aleatoriamente entre as duas.
Quando a proporcao de tratados e controles e igual em cada bloco, o efeito
do tratamento sera composto pelas diferencas entre tratados e controles em
cada bloco ponderadas pelo n umero de observac oes em cada bloco.
A estratificacao e mais eficiente do que controlar por variaveis
pre-tratamento ex-post. Por exemplo, sem estratificacao, podemos obter
blocos em que ha somente tratados ou somente controles (que deverao ser
descartados). Portanto, com estratificacao a amostra deve ser menor.

Estratificacao
Se houver varias variaveis dummy observaveis, nao enfrentamos grandes

problemas para fazer a estratificacao. Mas quando temos uma variavel
contnua, ou estratificamos somente essa variavel, ou se houver outra
variavel dummy, estratificamos primeiro esta, e depois de acordo com a
variavel contnua.
Mas as medias de tratados e controles para essa variavel contnua (e.g.,
renda) podem nao ficar tao parecidas quanto se estratificadas somente na
variavel contnua.
A estimativa do Efeito do tratamento e sua variancia quando se leva em
conta a estratificacao e obtida por:
Yij = + T + Mij + j +
ij (18)
em que M e um conjunto de dummies indicando cada bloco.

Estratificacao
podemos usar o estimador usual da variancia ou o estimador robusto.

Uma importante razao para estratificar e quando o pesquisador esta
interessado em subgrupos especficos.
Nesse caso, o experimento deve ter poder o suficiente para esse subgrupo.

Calculo do Poder na pratica
Calculo do poder envolve alguma advinhacao na pratica.

O pesquisador deve ter uma ideia do valor da media e da variancia do
resultado na ausencia do experimento, ap
os controlar por covariadas e/ou
estratificacao.
A melhor forma para advinhar esse valor e com base em dados coletados
ex-ante (mesmo que seja preciso fazer uma pesquisa para obter tais dados).
Desenhos com randomizacao por clusters requerem uma estimativa de , o
que pode ser difcil de obter. Para salas de aula, a correlacao pode ser
bastante alta.

Experimentos:Calculo do Poder na pratica
Figure : Correlacao intra-grupo

Vale a pena realizar calculos de poder para varios valores de , obtendo um

conjunto de tamanho de amostras.
O pesquisador deve escolher um nvel para o teste (Pr (erro tipo
I)= = 5% ou 10%) e um valor mnimo detectavel.
Esse valor deve ser o menor tal que o programa seja custo-efetivo se fosse
ampliado.
Programas baratos poderiam usar amostras maiores.
Quando nao se sabe a media ou o desvio-padrao sobre a variavel de
resultado pode-se especificar o tamanho do efeito que se deseja detectar em
termos de desvios-padrao.
Cohen (1988) sugere 0,2 desvios-padrao um efeito pequeno, 0,5 um
efeito medio e 0,8 um efeito grande.

Muitas agencias financiadoras consideram 80% a 90% um intervalo

apropriado para o poder de um teste.
Mas o tamanho da amostra e determinado em grande parte pelo tamanho
do orcamento e outras restric
oes.
Se nao for possvel determinar o tamanho da amostra para um dado poder
de teste, ao menos pode-se calcular o poder do teste para o dado tamanho
de amostra para verificar se vale a pena continuar com o experimento.
Se o orcamento for fixo, pode-se tentar maximizar o poder do teste dada
essa restricao.

Questoes praticas e problemas de implementacao: Nvel de
randomizacao
Que nvel deveria ser randomizado?

Quando e possvel escolher o nvel a ser randomizado (indivduo ou grupo),
temos que levar alguns fatores em consideracao.
Quanto maior o tamanho n do grupo a ser randomizado, se ha correlacao
entre os erros por grupo (i.e. e alto), maior sera o erro-padrao da amostra
randomizada
p por grupos, o que pode ser visto pelo maior Efeito Desenho
D = 1 + ( 1)n.
Para atingir determinado poder do teste, deve-se ampliar o tamanho da
amostra.
O nvel ao qual se da a randomizacao afetara o Orcamento. Quando possvel
(ou adequado), deve-se randomizar ao nvel individual.

randomizacao
Quando ha spillovers entre indivduos de um grupo, sera melhor randomizar

por grupos (vilas, escolas, etc), em que diferentes grupos nao gerem
spillovers entre si.
O programa de distribuicao de vermfugos avaliado por Miguel e Kremer
(2004) e um exemplo em que a randomizacao e mais adequada se feita por
grupos (ha spillovers entre alunos de uma mesma escola). De outra forma,
os efeitos do programa seriam subestimados.
Outra forma de externalidade ocorre quando o grupo de controle muda seu
comportamento na expectativa do tratamento no futuro. Randomizacao ao
nvel da vila e melhor para o impedir que o grupo de controle saiba da
existencia do de grupo de tratamento.

randomizacao
A randomizacao ao nvel do grupo, pode algumas vezes ser mais facil de ser
implementada, mesmo que exija amostras maiores.
Se o custo fixo e alto, e custo-eficiente permitir que o maior n
umero possvel
de pessoas tirem proveito das intervenc oes.
Randomizacao no nvel do grupo evita ressentimentos de controles em
relacao à instituicao realizadora da intervencao, que surge especialmente
quando tratados e controles estao pr oximos.
Indivduos de controle podem forcar a ida para o grupo de tratamento.
mais facil monitorar vilas/comunidades e verificar que o desenho aleatorio
E
inicial esteja sendo respeitado do que no caso de indivduos.

Questoes praticas e problemas de implementacao:
Desenhos Cross-Cutting
Essa metodologia popularizou as avaliac

oes randomizadas.
Ela permite avaliar varios tratamentos diferentes de forma simultanea, com
a randomizacao feita de modo a garantir que os tratamentos sao
idependentes entre si.
Pode-se comparar os tratamentos entre si e com um grupo de controle.
O programa PROGRESA, por exemplo, e composto por um conjunto de
intervenc
oes (transferencias, cuidados de sa
ude, etc) com importante efeitos
de interac
oes entre eles.
Se o pesquisador esta realizando intervenc
oes do tipo cross-cutting A e B, e
quer avaliar alguma das intervencoes, obtera quatro grupos: sem
intervenc
oes (controle puro), apenas B, apenas A, e A e B juntos.
Para testar se B tem um efeito diferente quando combinado com A
relativamente ao programa sozinho, o tamanho das amostras deve ser
grande o suficiente para permitir tal distincao com significancia estatstica.
Idealmente, o desenho deveria considerar os grupos em que temos A e B

juntos, e o grupo de controle, maiores do que A e B sozinhos.
Os Policymakers podem preferir avaliar o pacote A e B se este puder ser
expandido posteriormente, pois a chance de encontrar efeitos e maior do que
se A e B forem avaliados separadamente.
O problema nesse caso e que fica mais difcil distinguir qual programa exerce
maior impacto.
Para distinguir qual programa surte mais efeito, podemos avaliar variaveis
diretamente relacionadas a um programa, mas nao a outro. Se estas forem
afetadas, significa que o programa surtiu efeito.
No caso de Miguel e Kremer (2004) verificou-se que entre os programas de
desparasitacao e de educacao para higiene, nao houve alteracao nos
habitos de higiene. Logo o efeito se deveu à distribuicao de vermfugos.

O tamanho da amostra s o precisa ser grande o suficiente para detectar o

menor efeito dentre os programas avaliados.
Banerjee, Duflo , Cole e Linden (2007), por exemplo, avaliaram o programa
Balsakhi e o programa de tutoria por computador.
Isso reduz os custos de avaliacao consideravelmente.

Questoes praticas e problemas de implementacao: Baseline
Surveys
Em princpio, a randomizacao torna pesquisas de linha de base

(pre-tratamento) desnecessarias, pois assegura que os grupos de tratamento
e controle tem caractersticas esperadas semelhantes.
Mas, a insercao de covariadas obtidas pela pesquisa de linha de base reduz o
erro-padrao da estimativa do efeito do tratamento e o tamanho da amostra
necessario.
Ha um trade-off entre o custo da intervencao e o custo da coleta desses
dados.
Esse tipo de pesquisa torna possvel analisar interac
oes entre as condicoes
iniciais e o impacto do programa.
Por, exemplo, interagindo renda com o programa, pode-se verificar se o
impacto e maior quanto menor era a renda inicial. Isso e importante para
avaliar a validade externa do programa.
Permite verificar se a randomizacao foi realizada apropriadamente .
Questoes praticas e problemas de implementacao: Dados
administrativos
Dados administrativos (dados pre-existentes do governo ou da instituicao

contratante da avaliacao) podem reduzir significativamente o custo de
coleta de dados e o atrito.
Para usar conjuntamente dados coletados na avaliacao e em registros
administrativos e importante garantir que sao comparaveis.
Duflo e Hanna (2006) avaliam os efeitos de incentivos à presenca de
professores na escola.
Para medir a frequencia, distriburam maquinas fotograficas com data e
horario que nao poderiam ser mudados. No grupo de controle, nao
eram distribudas maquinas.
Visitas aleat
orias foram realizadas em escolas tratadas e de controle
para verificar a se as medidas de frequencia administrativa e obtidas
pelas cameras, eram iguais às obtidas pelas visitas aleatorias.
No final, viram que as medidas nao eram iguais.

Questoes praticas e problemas de implementacao: Dados
administrativos
` vezes, a variavel de interesse e latente, e a avaliacao so mede uma proxy,

As
e.g. a performance de alunos em exames high-stakes. Nesse caso, pode-se
usar dados administrativos que constituem outras proxies, ou, no exemplo
dado, poderamos aplicar um exame de performance low-stakes.

Desvios da randomizacao perfeita: Quando a probabilidade
de selecao depende do estrato
Considere o problema ocorrido na avaliacao de vouchers realizada por

Angrist, Bettinger e Kremer (2006). Cali e Bogota foram escolhidas. Em
cada uma o n umero de vouchers a ser distribudo era fixo e randomizado
para quem se inscrevesse. Mas o n umero de inscritos em cada cidade era
diferente, alterando as chances de sorteio em cada uma. Portanto, o
tratamento nao era randomico para toda a amostra.
Para corrigir isso, podemos dividir a amostra em dois estratos, um de
moradores de Cali, e outro com moradores de Bogota.
Da calculamos uma media ponderada das diferencas entre tratados e
controles de cada estrato.

Denote como T o tratamento, e X um conjunto de variaveis dummy

indicando os estratos.
A randomizacao condicional em observaveis implica que
E [YiC |X , T ] E [YiC |X , C ] = 0 (19)
assim
E [Yi |X , T ] E [Yi |X , C ] = E [YiT |X , T ] E [YiC |X , T ]. (20)

portanto
EX E [YiT |X , T ] E [YiC |X , C ] = E [YiT YiC |T ],

(21)
e nosso parametro de interesse . Finalmente,
EX E [YiT |X , T ] E [YiC |X , T ]

(22)
= E [YiT |x, T ] E [YiC |x, C ] P(X = x|T )dx

Se X assume valores discretos , podemos comparar unidades de tratamento

e de controle em cada estrato e, em seguida, tirar uma media ponderada ao
longo destes estratos, utilizando como pesos a proporcao de unidades de
tratamento das celulas.
Isto da o efeito medio do tratamento sobre os tratados. Celulas onde
ninguem ou todos sao tratados sao descartadas.
Uma alternativa e simplesmente controlar X em uma regressao por OLS de
Y sobre T .
Desvios da randomizacao perfeita: Partial Compliance
` vezes, s
As o uma fracao dos indivduos que sao designados como tratamento
realmente acabam participando pelo perodo estipulado. Alem disso, alguns
membros do grupo de controle podem acabar recebendo o tratamento.
Os pesquisadores raramente tem perfeito controle sobre o que o grupo de
comparacao escolhe fazer. Ha tambem casos em que nao e possvel garantir
que o grupo de tratamento participara do tratamento.
Em muitos casos, os experimentos nao pretendem tratar todo mundo no
grupo de tratamento.
Um exemplo e o caso em que apenas o incentivo e randomizado. Nesse
caso, o incentivo s
o afeta a probabilidade de que o indivduo seja exposto ao
tratamento, em vez de receber o tratamento propriamente dito.
Para a analise ser valida e impedir a reintroducao do vies de selecao, e
necessario comparar todos aqueles inicialmente designados como
tratamento com todos aqueles considerados como controles,
independentemente de depois terem ou nao sido tratados.

Denote como Z a variavel randomizada, e.g. a loteria que intima as pessoas

a irem para a guerra do Vietna.
o tratamento T e diferente da intencao de tratar Z .
Denote como Yi (0) o resultado potencial para um indivduo se Z = 0, e
Yi (1) o resultado potencial para um indivduo se Z = 1.
Devido à designacao aleat
oria de Z , sabemos que
E [Yi (0)|Z = 1] E [Yi (0)|Z = 0] = 0.
A diferenca E [Yi |Z = 1] E [Yi |Z = 0] e igual ao efeito causal de Z , ou em
outras palavras, e a estimativa da Intencao deTratar (ITT). Esse
parametro e muitas vezes o que realmente interessa (quando se sabe que
nunca havera adesao perfeita).
Este efeito nao e igual ao efeito do tratamento T , ja que Z nao e igual a T .
Quando ha adesao parcial ao tratamento, a designacao e, portanto, um
instrumento que permite identificar o efeito do tratamento T .

O efeito do tratamento e obtido pela razao entre a estimativa do efeito da

intencao de tratar e a diferenca entre a proporcao de indivduos que
receberam o tratamento e o incentivo, i.e. E [T |Z = 1], e a proporcao de
indivduos que foram tratados mas nao receberam o incentivo, i.e.
E [T |Z = 0].
Obtemos esse efeito pelo estimador de Wald
E [Yi |Z = 1] E [Yi |Z = 0]
W = (23)
E [Ti |Z = 1] E [Ti |Z = 0]

Imbens e Angrist mostram que, se satisfeitas duas hipoteses, essa relacao

pode ser interpretada como o efeito medio do tratamento de um grupo de
indivduos induzidos pelo instrumento Z a aderir ao tratamento. As
hip
oteses sao:
Independencia:(Y C , Y T , Ti (1), Ti (0)) e independente de Z ; e
Monotonicidade : Teremos um dos dois casos: Ti (1) Ti (0) para
todo i ou Ti (1) Ti (0) para todo i.
A hipotese de independencia implica que os resultados potenciais
independem do instrumento, o que e razoavel quando randomizamos o
instrumento (e.g. sorteio do vietna).
A suposicao de monotonicidade exige que o instrumento faca com que toda
e qualquer pessoa tenha ou uma probabilidade maior ou menor de participar
do tratamento.

Imbens e Angrist (1994) e Duflo et al. mostram que o estimador de Wald

pode ser escrito como
= E [YiT YiC |Ti (1) Ti (0) = 1]. (24)
O estimador de Wald nos da o Efeito do tratamento sobre aqueles que, na

ausencia do instrumento aleatoriamente definido, nao teriam sido tratados
ou procurado tratamento, mas que seriam tratados na presenca do
tratamento (compliers).
Este efeito e conhecido como Efeito Local Medio do Tratamento (LATE)
(Angrist e Imbens).
Avaliacoes em que se randomiza a intencao de tratar podem ser muito mais
faceis de serem aplicadas, e podem ser conduzidas em uma area maior com
uma amostra maior, mas o grupo de compliers pode ser pequeno e os efeitos
do tratamento podem nao ser representativos da populacao em geral.

Desvios da randomizacao perfeita: Quando Variaveis
Instrumentais nao sao adequadas
Na existencia de peer effects ou spillovers do grupo de tratamento para

aqueles que receberam a intencao de tratar Z = 1, o efeito estimado por
variaveis instrumentais pode sobrestimar ou subestimar o efeito real do
tratamento.
Um exemplo que ilustra bem esse problema e o do programa Balsakhi. As
escolas foram randomizadas para receber o tratamento. Nem todos os
alunos das escolas selecionadas foram tratados (s
o os atrasados).
Se a retirada dos alunos-Balsakhi da sala de aula para uma turma
especializada aumenta o desempenho dos demais alunos nao-Balsakhi (peer
effect), o efeito estimado do tratamento sobrestimara o efeito do programa.

Desvios da randomizacao perfeita: Externalidades
Intervec
oes podem criar spillovers ao afetar indivduos nao tratados.
A hipotese SUTVA deve ser satisfeita para estimarmos consistentemente o
Efeito do Tratamento.
Um tratamento, mesmo designado de forma randomizada, com adesao
perfeita, pode prover estimativas inconsistentes do Efeito do Tratamento.
Quando ha externalidades, Eb[Y C |T = 0], obtido na amostra, sera diferente
de E [Y C |T = 0].
Portanto, a estimativa de intencao de tratar
d = Eb[Y T |T = 1] Eb[Y C |T = 0] sera enviesada.
ITT
Se os spillovers sobre os nao tratados forem positivos, estaremos
subestimando o efeito do tratamento.
Um exemplo e o programa de desparasitacao no Quenia. Os nao tratados se
beneficiaram mesmo nao recebendo medicamento.

Desvios da randomizacao perfeita: Externalidades
Se os spillovers sao locais (nao transbordam para outros grupos), uma

randomizacao por grupos deve resolver o problema.
Uma segunda forma e explorar a variacao na exposicao entre grupos que
surge naturalmente da randomizacao. E.g., Duflo, Kremer, e Robinson
(2006) randomizaram fazendas para receberem demonstracoes de utilizacao
de fertilizantes, e para estimar o tamanho da externalidade, verificaram os
resultados de amigos pr oximos dos fazendeiros tratados e compararam com
os resultados de amigos dos fazendeiros de controle.
Uma forma de isolar esse efeito e inserindo variaveis de distancia do
indivduo nao tratado em relacao aos indivduos tratados.
Outra forma de lidar com o problema de spillorvers e designar indivduos
tratados aleatoriamente para diferentes grupos (e.g. vizinhacas pobres e
ricas). Isso permite verificar a importancia dos spillovers.

Desvios da randomizacao perfeita: Atrito
Atrito consiste na falha em coletar dados de alguns indivduos que

compunham a amostra original.
Atrito aleat
orio nao e um problema. Mas se esta correlacionado com o
tratamento, pode enviesar as estimativas.
Uma forma de lidar com o problema e usando modelos parametricos de
selecao (Heckit).
Ha procedimentos nao parametricos tambem. Mas e preciso ter dados de
linha de base, e supor que ap
os o tratamento, o ranking de resultados e
preservado. Com isso, podemos recuperar o resultado potencial do tratado
ou nao tratado usando a distribuicao dos que permaneceram na amostra.

Referencias
Duflo, Glennerster e Kremer (2006), Using Randomization in Development

Economics Research: A Toolkit, BREAD Working Paper No. 136


Experimentos 2015 Parte 2

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Experimentos 2015 Parte 2

Caricato da

Copyright:

Formati disponibili

Experimentos Sociais Parte 2

Rafael Terra (Unb) Econometria do Setor P

O vies de publicacao consiste na tendencia de editores, pareceristas e

Rafael Terra (Unb) Econometria do Setor P

Outra fonte de vies de publicacao esta no processo de selecao de papers

Rafael Terra (Unb) Econometria do Setor P

Ashenfelter, Harmon, and Ooster-beek (1999) usam meta-analise para

Rafael Terra (Unb) Econometria do Setor P

Com a avaliacao randomizada ha menor espaco para discricionariedade

Rafael Terra (Unb) Econometria do Setor P

O modelo de randomizacao mais conhecido e o de testes clnicos.

Rafael Terra (Unb) Econometria do Setor P

Programas pilotos de Governos podem ser realizados antes de serem

Rafael Terra (Unb) Econometria do Setor P

ONGs podem ser tambem importantes parceiros na avaliacao de programas,

Rafael Terra (Unb) Econometria do Setor P

No entanto, quando possvel, trabalhar com governos tem vantagens, como

Rafael Terra (Unb) Econometria do Setor P

Permite ao parceiro testar a efetividade do programa e a correcao de seu

Rafael Terra (Unb) Econometria do Setor P

Trabalhos recentes mostram que ha muitas formas de introduzir um

Rafael Terra (Unb) Econometria do Setor P

Este metodo de introducao de randomizacao se aproveita de recursos ou

Rafael Terra (Unb) Econometria do Setor P

Da mesma forma, restric

Rafael Terra (Unb) Econometria do Setor P

Um exemplo de desenho de programa com Phase-in foi realizado por

Rafael Terra (Unb) Econometria do Setor P

O impacto do programa foi avaliado comparando os resultados do Grupo 1

Rafael Terra (Unb) Econometria do Setor P

Rafael Terra (Unb) Econometria do Setor P

Em alguns casos, mesmo o desenho Phase-in nao garante que havera

Rafael Terra (Unb) Econometria do Setor P

Para assegurar cooperacao das autoridades escolares, cada escola no estudo

Rafael Terra (Unb) Econometria do Setor P

O Desenho de Incentivos permite aos pesquisadores avaliar o impacto de um

Rafael Terra (Unb) Econometria do Setor P

Duflo, Kremer e Robinson (2006) avaliaram o impacto de demonstracao de

Rafael Terra (Unb) Econometria do Setor P

O poder do experimento e a probabilidade de que para um dado tamanho do

Rafael Terra (Unb) Econometria do Setor P

em que, por hip

Rafael Terra (Unb) Econometria do Setor P

A variancia de e dada por

Note que var (T ) = E (T 2 ) [E (T )]2 = P P 2 = P(1 P).

Rafael Terra (Unb) Econometria do Setor P

No grafico a seguir, a probabilidade de cometer o erro do tipo I e dada pela

Rafael Terra (Unb) Econometria do Setor P

Figure : Poder de um teste

Um teste com poder e atingido quando

> (t1 + t ) se(bOLS ) (3)

Para um poder de teste igual a 80%, a estatstica tabelada e t1 = 0.84.

Rafael Terra (Unb) Econometria do Setor P

O Tamanho Mnimo de Efeito Detectavel e dado por

Ha, portanto, um trade-off entre o N e o poder do teste. Se o tamanho da

Rafael Terra (Unb) Econometria do Setor P

Por (4) podemos calcular a proporcao

Rafael Terra (Unb) Econometria do Setor P

Mas se ha custos associados ao tratamento e os custos dos controles so

Rafael Terra (Unb) Econometria do Setor P

Rafael Terra (Unb) Econometria do Setor P

Rafael Terra (Unb) Econometria do Setor P

dividindo (8) por (9) temos

A razao dos indivduos tratados e de controle deve ser igual ao inverso da