Prof.

Luciano Sampaio
 Gertler et al. Avaliação de Impacto na Prática. (versão online
gratuita de livro do Banco Mundial, traduzida):
 https://openknowledge.worldbank.org/bitstream/handle/10986/25030
/9781464808890.pdf
▪ Aula de hoje: Cap 3 e 4.

2
 Naércio Menezes Filho (organizador). Avaliação Econômica
de Projetos Sociais. Livro de Avaliação da Fundação Itaú
Social.
 https://edisciplinas.usp.br/pluginfile.php/188592/mod_resource/conte
nt/1/Livro_Av_Econ_ajuste.pdf
▪ CAPÍTULO 2. Modelo de resultados potenciais Miguel Nathan Foguel.

3
 Impacto =
Resultado do programa –
Resultado que teria acontecido se o
programa não tivesse sido implementado

 Problema: para medirmos o impacto temos de construir um

cenário que não aconteceu, o contrafactual

 Uma pessoa está apenas em uma das situações: dentro ou fora do

programa no mesmo instante de tempo

4
 Seja 𝑌 a variável de resposta (de interesse da política).
 Seja 𝐷 uma variável dummy que indica que a pessoa participou da política
(tratada).
1, 𝑠𝑒 𝑝𝑒𝑠𝑠𝑜𝑎 é 𝑡𝑟𝑎𝑡𝑎𝑑𝑎
𝐷𝑖 =
0, 𝑐𝑎𝑠𝑜 𝑐𝑜𝑛𝑡𝑟á𝑟𝑖𝑜

 Assim, 𝑌𝑖1 = 𝑌𝑖 (1) é o resultado da pessoa 𝑖 caso ela seja tratada e 𝑌𝑖0 =
𝑌𝑖 (0) é o resultado da pessoa 𝑖 caso ela seja não tratada.
 Cada pessoa tem um par de resultados potenciais (𝑌𝑖 1 , 𝑌𝑖 (0)) e outras
características observadas 𝑋𝑖 e não observadas, 𝑢𝑖 .
 O impacto da política na pessoa 𝑖 é:
𝛼𝑖 = 𝑌𝑖 1 − 𝑌𝑖 0
 Desejamos estimar o impacto na média das pessoas da população:
𝛼 = 𝐸 𝛼𝑖 = 𝐸 𝑌𝑖 𝐷𝑖 = 1 − 𝐸(𝑌𝑖 |𝐷𝑖 = 0)
5
 O contrafactual ideal pegaria o mesmo grupo de pessoas em duas
situações diferentes no mesmo instante de tempo. Teríamos um
clone perfeito para cada pessoa:

6
 Duas formas ingênuas de avaliar um programa são:
 Comparação entre tratados e não tratados quando a decisão de
participar do programa não é aleatória
▪ Problema de viés de seleção, em que as pessoas que participam do
programa não são semelhantes às que não participam
▪ Muitas vezes os programas são focados nos mais pobres ou nos
com piores desempenhos
▪ Também há a possibilidade de, dentre os indivíduos elegíveis,
aqueles que buscam participar do programa são mais motivados
ou mais informados

 Comparação “antes e depois”. Problema: as coisas mudam

com o tempo naturalmente, independentemente da política
7
Resultado

Intervenção

Tempo
8
Resultado

Intervenção

Tempo
9
Resultado

Intervenção

Tempo
10
 Problema: o contrafactual não é observado!
 Solução: precisamos encontrar um grupo para « substituir » o contrafactual:
 Grupo de controle: grupo de pessoas “iguais” às pessoas
tratadas, mas não afetadas pelo programa

11
 Escolha do grupo de controle pode ser por:
 Randomização: selecione aleatoriamente pessoas que fazem parte do
programa e que fazem parte do grupo de controle
 Não-randomização: argumente que um certo grupo é similar ao grupo
tratado se não tivesse tido tratamento

 Métodos não-experimentais:
 Comparação antes e depois (« ingênuo »)
(a serem vistos na disciplina de Avaliação; baseados em regressão)
 Diferenças em diferenças/controle sintético
 Propensity matching score
 Descontinuidade de regressão
 Variáveis instrumentais

12
 Pegue uma amostra de pessoas elegíveis para entrar no programa

 Determine aleatoriamente se a pessoa faz parte do:

 Grupo de tratamento: pessoas que recebem o tratamento
 Grupo de controle: pessoas que não recebem o tratamento
(pelo menos no período de avaliação)

 A aleatoriedade garante que os membros dos grupos de tramento

e controle não diferem sistematicamente entre si antes de o
experimento acontecer…
 Testes de balanceamento nas variáveis observáveis

 Qualquer diferença subsequente pode ser atribuída ao programa

13
 Pessoas
não
População Avaliadas
Alvo
Grupo de
Amostra tratamento
para Randomização
avaliação Grupo de
controle

14
 Programa Balsakhi

15
 Implementado por Pratham, uma ONG da India

 Programa fornece tutores (Balsakhi) para ajudar crianças com

dificuldades nas tarefas

 Em Vadodara o programa foi implementado em escolas primárias

de 2002 a 2003

 Os professores escolhiam as crianças que receberiam os tutores

16
 Inicialmente, tratamento não é randomizado

 Comparação de metodologias de avaliação:

 Antes x Depois do mesmo grupo
 Diferença simples entre grupos
 Diferença em diferenças
 Outros métodos não-experimentais
 Método experimental: randomização

17
1. Antes x Depois
Compara a nota média inicial
de alunos (antes de terem
tutores) com a nota média
final dos mesmos alunos no
final do ano (depois de terem
tutores)

18
1. Antes x Depois
Nota média para crianças com tutores no 51.22
final do ano (depois)
Nota média para crianças com tutores no 24.80
início do ano (antes)
Diferença = 26.42

Em que condições essa diferença (26.42) pode ser interpretada

como o impacto do programa Balsakhi?

19
1. Antes x Depois: Impacto?
Nota média

24.80

2002 2003 Ano

20
2. Diferença simples entre grupos
Compare as notas médias de:

crianças com tutores crianças sem tutores

21
2. Diferença simples
Diferença entre notas no final do ano entre grupos com e sem tutores

Nota média para crianças com tutores 51.22

Nota média para crianças sem tutores 56.27
Diferença = -5.05

Em que condições essa diferença (-5.05) pode ser interpretada

como o impacto do programa Balsakhi?

22
2. Diferença simples: Impacto?
Nota média

2002 2003 Ano

23
3. Diferença em diferenças (DD)
Compare GANHOS em notas médias de:

crianças com tutores crianças sem tutores

24
3. Diferença em Diferenças (DD)

Antes (2002) Depois (2003) Diferença

Nota média 24.80 51.22 26.42
para crianças
com tutores
Nota média 36.67 56.27 19.60
para crianças
sem tutores
Diferença em Diferenças (DD) = 6.82

Em que condições essa diferença (6.82) pode ser interpretada

como o impacto do programa Balsakhi?
25
3. Diferença em diferença: Impacto?
Ganho para
grupo de
Nota média

controle

Impacto= 6.82?
Ganho para
grupo de
tratamento

2002 2003 Ano

26
 Comparação entre impactos dos métodos:

Método Impacto
Antes x Depois 26.42*
Diferença simples -5.05*
Diferença em diferenças 6.82*
Experimento 5.87*
*: estatisticamente significante a 5%

Moral: o impacto estimado depende do método usado, pois

cada método assume implicitamente uma hipótese sobre a
relação entre grupo de tratamento e grupo de controle
27
 O impacto estimado depende do método usado. Qual método
usar?

 Na maioria dos casos, a randomização é o método mais

convincente…

 Porém, mesmo a randomização está sujeita a problemas:

(disciplina de Avaliação)
 Atritos
 Spillover
 Participação parcial: Intenção a Tratar (ITT) e Tratamento no Tratado (ToT)
 Validade externa

28
 Regressão Linear Simples: relação entre duas variáveis
 Como analisar relação causal (de impacto de programa, p.e.)?
▪ Causalidade da teoria; regressão simples capta relação entre duas variáveis
▪ Demonstração: como encontrar os parâmetros da relação linear por MQO

 Demonstração:

 Relação Linear: 𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝑢

▪ Parâmetro que mede o impacto de x e y?

29
 Regressão Linear Simples: relação entre duas variáveis
 Como analisar relação causal (de impacto de programa, p.e.)?
▪ Causalidade da teoria; regressão simples capta relação entre duas variáveis
▪ Demonstração: como encontrar os parâmetros da relação linear por MQO

 Demonstração:
 Relação Linear: 𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝑢
▪ Parâmetro que mede o impacto de x e y?
n

 Pode-se mostrar que:  x  x  y

i i  y
̂1  i 1
n

 ix  x 2

i 1

30
 Regressão Linear Simples: relação entre duas variáveis
 Como analisar relação causal (de impacto de programa, p.e.)?
▪ Causalidade da teoria; regressão simples capta relação entre duas variáveis
▪ Demonstração: como encontrar os parâmetros da relação linear por MQO

 Demonstração:
 Relação Linear: 𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝑢
▪ Parâmetro que mede o impacto de x e y?
n

 Pode-se mostrar que:  x  x  y

i i  y
̂1  i 1
n

 ix  x 2

i 1

ˆ cov( x, y )
1 
var( x)
31
 Regressão Linear Simples: relação entre duas variáveis
 Como analisar relação causal (de impacto de programa, p.e.)?
▪ Causalidade da teoria; regressão simples capta relação entre duas variáveis
▪ Demonstração: como encontrar os parâmetros da relação linear por MQO

 Regressão Linear Múltipla: uma variável sendo explicada por

várias outras
 Inclusão de mais variáveis facilita a medição de efeito causal se a relação
teórica existir

 Antes: revisão de Estatística (3 próximas aulas)

 3 capítulos, por aula, do livro indicado

 Agora: estudo de caso do livro de avaliação do Banco Mundial:

 Pg. 44: O Programa de Subsídio ao Seguro Saúde (HISP): uma introdução

32