Sei sulla pagina 1di 111

Introdução aos Métodos de Análise de

Dados Quali e Quantitativos

Paulo Jannuzzi
ENCE/IBGE
Março de 2017
Objetivo instrucional:

Ao final do curso o aluno deverá demonstrar


conhecimento sobre como desenvolver um plano inicial
de análise de resultados de campo de uma pesquisa
social empírica ou de avaliação de programas, de
natureza quantitativa ou qualitativa, elaborar um relatório
técnico para disseminação dos principais achados e
sugerir temáticas e/ou outras possíveis técnicas para
aprofundamentos posteriores
Ementa:

1. Ciência Moderna e Tecnociência. Produção de conhecimento


no Campo das Políticas Públicas.

2. Breve revisão das principais técnicas de coleta de dados, quali


e qualitivativos, seus instrumentos e características.

3. Apresentação de marco metodológico das principais técnicas


de análise quantitativa e qualitativa de pesquisa social.

4. Análise Estruturada de Textos: conceitos, etapas, técnicas e


aplicações.

5. Análise Estruturada de Dados Quantitativos: conceitos, etapas,


técnicas e aplicações.

6. Relatório de pesquisa científica e Relatório técnico para


técnicos e gestores.
Bibliografia

 ECHEVERRÍA, J. Interdisciplinariedad y convergencia tecnocientífica nano-bio-info-cogno


In: Sociologias, ano 11, n. 22 p.22-52, julho/dezembro de 2009 (p.22 a 35). Disponível em:
http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1517-45222009000200003
 HAIR, J.F. et al. Multivariate data analysis. Pearson, Upper Saddle River, 2006.
 JANNUZZI,P.M. Avaliação de programas públicos por meio da Análise Estruturada dos
Relatórios de Auditoria da Controladoria Geral da União. Cadernos Gestão Pública e
Cidadania. , v.16, p.1 18, 2011. Disponível em:
http://bibliotecadigital.fgv.br/ojs/index.php/cgpc/article/download/3719/2336
 JANNUZZI, P.M. Monitoramento e Avaliação de Programas Sociais. Campinas: Alínea,
2016 (Capítulo 3: Métodos da Pesquisa Social).
 POMBO,O. Práticas interdisciplinares. Sociologias, Porto Alegre, ano 8, nº 15, jan/jun
2006, p. 208-249. Disponível em: http://www.scielo.br/pdf/soc/n15/a08v8n15.pdf
 SARDINHA, L.M.V et al. Análise das condições de vida, segurança alimentar e nutricional e
acesso a programas em comunidades quilombolas tituladas. Cadernos de Estudos
Desenvolvimento Social em Debate. Brasília, n.20, p.32-52, 2014. Disponível em:
http://aplicacoes.mds.gov.br/sagirmps/ferramentas/docs/cadernos%20de%20estudos20.pdf
 SAUTU, R. et al. Manual de metodología Construcción del marco teórico, formulación
de los objetivos y elección de la metodologia. Buenos Aires: Clacso Libros, 2005.
Disponível em http://biblioteca.clacso.edu.ar/clacso/formacion-
virtual/20100719035021/sautu.pdf
 SAVICKAS,M.L. Como redigir um relatório de pesquisa: finalidades e problemas em artigos
científicos. Revista Brasileira de Orientação Profissional, 10(1): 7-10, 2009. Disponível
em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1679-33902009000100003
1. Por que o debate de Políticas
Públicas é tão raso frente à enorme
produção de dados estatísticos,
estudos e avaliações no país ?
O que ganha a Política Pública nas disputas de
factoides na Mídia ?
O que ganha a Política Pública nas disputas de
factoides na Mídia ?
Por que o debate público sobre Políticas Públicas é tão
pouco esclarecido frente à disponibilidade de estudos,
dados e pesquisas disponíveis no país ?

 IBGE
– PNADs – Trab. Infantil, Vitimização, Segurança Alimentar, Bolsa
Familia, Cadastro Único, Inclusão Produtiva, Qualificação Profissional,
Mobilidade Social
– PNAD Contínua – dados mercado de trabalho trimestrais por capitais
– PNS – Pesquisa Nacional de Saúde
– Munic e Estadic – Estrutura de Gestão em municípios e estados
 IPEA
– Boletim de Políticas Sociais, Planejamento e Políticas Públicas,
Relatório ODM
 INEP
– Prova Brasil, Avaliação Nacional de Alfabetização, Indicadores de
Estrutura e Gestão
 MTE
– RAIS, CAGED, Observatório do Trabalho
 MDS e SAGI
– Portal de Dados de Programas, de Pesquisas, Censo Suas, Censo
SAN e Cadastro Unico
Séries históricas com larga extensão
Taxas de Pobreza e Extrema Pobreza nas PNADs

35,0
31,130,8

30,0

25,0 22,923,323,0 23,2 23,523,423,6


21,9 21,5
20,3
20,0
16,3
15,1
15,0 13,3
12,2
10,2
13,513,4
10,0 8,0 7,8 8,3
7,0
8,6 9,3 8,8 8,1 8,4 9,0 8,3 8,2
5,0 7,1 6,5
5,3 4,9
4,2 4,0 3,7 2,9 3,1
0,0 2,5 3,1
População em situação de extrema pobreza (%)
População em situação de pobreza (%)
Indicadores mais específicos e sensíveis
Investigação de Insegurança Alimentar na PNAD
Indicadores mais específicos e sensíveis
Análise da desigualdade social
Indicadores mais específicos e sensíveis
Análise dos efeitos de políticas afirmativas
Informação granular, produzida regularmente, pela Pnad Contínua
Taxa de Desemprego (%)
Município do Rio de Janeiro 2012 a 2016

12,0

10,4
10,0

8,1 7,8
8,0 7,3
6,9 6,6 6,7
6,4 6,4
5,9 5,8
6,0 5,4 5,4 5,2 5,1 5,2
4,8 4,5
4,4 4,2
4,0

2,0

0,0
1/2012 2/2012 3/2012 4/2012 1/2013 2/2013 3/2013 4/2013 1/2014 2/2014 3/2014 4/2014 1/2015 2/2015 3/2015 4/2015 1/2016 2/2016 3/2016 4/2016
Indicadores mais específicos e sensíveis
Informação para diagnósticos
Indicadores mais específicos e sensíveis
Informação para diagnósticos

77,8
65,9 anos
anos

45 % 6%
mais mais
pobres ricos

Renda domiciliar até Acima de


348 reais per capita 2.233 reais
Debate público sobre Políticas Públicas
poderia ser mais esclarecido, honesto e
responsável para a Sociedade
 Organização dos dados, informação e estudos

 Clareza sobre valores republicanos e concepção de


Estado

 Clareza sobre a concepção de Tecnociência

 Formação de técnicos na produção de estudos no


âmbito do governo e sua discussão em fóruns
apropriados
Paradoxo da escassez de conhecimento na
abundância de dados
Os Valores Republicanos e
Concepção de Estado de Bem Estar
Informação e conhecimento produzido pelas Avaliações
vão orientar decisões acerca da alocação do Gasto
Público e a implementação das Políticas

Defesa Nacional
Segurança Pública
Previdência
Isenções às empresas
Educação
Pagamento de juros
Saúde
Assistência Social
Trabalho
Habitação

Estado Bem-estar Estado Liberal


- Modelo Europeu Continental - Regulador
- Modelo Social Democrata Nordico - Social Liberal
Ciência Moderna, Interciência e Tecnociência

Ciência Moderna
• Produzida em contexto acadêmico, disciplinar, hierárquico e estável
• Em laboratórios e centros de pesquisa com algum grau de “acreditação”
• Conhecimento necessita passar por um ritual controlado de legitimação,
• Precisa ser assegurado por “pares” acadêmicos em programas de pós-graduação
ou em publicações especializadas
• Crença na neutralidade da “boa pesquisa”, sem valores politico-ideológicos na
sua produção
• Positivismo ainda é muito forte na formação e produção do conhecimento, em
que pesem as produções de Popper, Khun, Lakatos e os Estudos Sociais da
Ciência há mais de 50 anos
Ciência Moderna, Interciência e Tecnociência

• Interciência (POMBO 2006)


• Não basta “emprestar” conceitos, categorias de análise e paradigmas de outras
ciências. É preciso “re-significá-los” frente aos objetos de análise em questão; é
preciso integrá-los na interpretação dos fenômenos e não apenas agregar
diferentes perspectivas de análise disciplinar.

• Ecologia e Neurolinguística seriam exemplos de Interciências.


• Interdisciplinas: Sociologia das Organizações e Pesquisa Operacional
• Ciências de Fronteira: Geografia Econômica e Engenharia Genética
Ciência Moderna, Interciência e Tecnociência
Tecnociência : Echeverría (2009),

• É um conceito mais amplo que Ciência Aplicada ou Tecnologia.

• Produção de conhecimento fora do laboratório clássico, em contexto


transdisciplinar, heterogêneo, heterárquico e instável.

• Os estudos, as técnicas e as inovações são gerados – e avalizados- por um


número muito maior de agentes, além dos acadêmicos, em circuitos mais
plurais e ritos mais descentralizados que os convencionais.

• Se a Ciência basta a si mesmo em seus conceitos e explicações, a


Tecnociência precisa ultrapassá-los em direção à aplicação.
Ciência Moderna, Interciência e Tecnociência

• Na Ciência Contemporânea, Interciência ou Tecnociência não existe


objetividade absoluta, mas objetividade socialmente construída.

• Objetividade construída e partilhada pelas comunidades epistêmicas


específicas, que demarcam o que é ou não é “científico”, o que deve ou não
ser observado ou estudado.

• “Quando se está habituado a ver o mundo de certo modo, torna-se quase


impossível ver as coisas de maneira diferente. Questionar essa visão criaria
uma profunda crise afetiva. A visão que se tem do mundo surge então como
absolutamente objetiva” (FOUREZ 1995,p.55)

• O campo de conhecimentos conexos às Políticas Públicas está, pois, mais


ligado ao contexto plural e eclético da Tecnociência do que o cartesianismo
da Ciência Moderna
Campo das Políticas Públicas

Conhecimento Humano

Costumes e Tradição Valores humanos

Religião Princípios éticos

Visões de mundo Pesquisa Social


Artes e Cultura
Aplicada a avaliação
Prioridades políticas de programas
Política
Conhecimento disciplinar
Ciência
Práticas e técnicas de
Tecnologia gestão
• Não existe conhecimento neutro
Gestão • Não existe método mais legítimo
• Conhecimento é contingente
2. Se objetividade é socialmente
construída, como produzir
conhecimento tecnocientífico
reconhecido como válido para ser
usado no debate das
Politicas Públicas?
1ª parte: Complexidade das P.Publicas
O Estado Contemporâneo requer muita
Informação e conhecimento para que o possa
exercer suas “capacidades estatais”

Capacidade Capacidade
regulatória política
Estado
Estado
Contemp
Moderno Dados
Capacidade
Capacidade Pesquisas
Estudos relacional
fiscal

Capacidade Capacidade
coercitiva burocrática

Gomide e Boschi. Capacidades Estatais em Países Emergentes. Brasilia, IPEA, 2016.


A estruturação histórica do Estado do Bem-
Estar se processa no século XX

Carga Fiscal (% PIB) - Suécia Desenv. capitalismo


Movimento Sindical
Movimento social
Urbanização
Envelhecimento
Guerras
Mundiais

+ 35 %

7%
Sistemas Estatísticos e Avaliação de Políticas Públicas
tem se estruturado como necessidade à construção dos
Estados Contemporâneos (Bem Estar Social) no Mundo

Carga Fiscal (%PIB) – Suécia


Contas Nacionais
Indicadores Sociais
Sistemas Mon&Aval

+ 35 %

7%
O Brasil é um caso tardio de estruturação de
“Estado de Bem-Estar”

Modelo 1870 1913 1937 1960 1980 1990 2002 2014


Euro-Continental

Alemanha 10 15 34 32 48 45 49 45

Nórdico
Suécia 6 10 17 31 60 59 64 48

Anglo-saxão
EUA 7 8 20 27 31 33 32 32

Brasil 35 32
Fonte: 1870-2002 Vito Tanzi. The Economic Role of the State in the 21st Century
2007-2014: IMF Fiscal Monitor – tabelas
PIB 4 bi 6 bi
Desde a Constituição de 1988 e, em particular, após
2003, estrutura-se no Brasil um Sistema mais amplo
em escopo e escala de políticas sociais

Castro (2011) – Revista Brasileira de Monitoramento e Avaliação n.1 em www.mds.gov.br/sagi


O Gasto Público em Políticas Sociais no Brasil passou de
16% para 26 % do PIB entre 1998 e 2014, com políticas de
garantia de renda, de bens e serviços e regulação
Política de combate à fome e pobreza foi se
complexificando ao longo dos últimos 25 anos
POLÍTICAS E PROGRAMAS PÚBLICOS
Apontamentos fundamentais

• Políticas Públicas são empreendimentos governamentais


complexos, desenhadas para atender uma demanda social
específica, propostas em geral pelo Poder Executivo e
discutido/modificado continuamente pelos Poderes Legislativo,
Judiciário e Ministério Público e operadores na ponta

• Há quatro formas mais gerais de concretização:


• Comunicação Pública (Economia de Água, “Não ao Preconceito”)
• Regulação dos agentes prestadores de serviços (Res. CFE,CNAS)
• Incentivos Fiscais (ProUni, FIES, Tarifa Social En.Elétrica)
• Programas e projetos públicos (Prog. Bolsa Família,
Prog.Habitacionais, Serviços de Educação pública )
POLÍTICAS E PROGRAMAS PÚBLICOS
Apontamentos fundamentais

• Políticas e programas públicos são intrinsecamente multi-


objetivos, não são projetos com corpo restrito de executores e
voltados a uma finalidade específica

• As Políticas e programas públicas, sobretudo as sociais,


operam por meio de articulação federativa, com pactuação de
objetivos e atividades entre as três esferas de governos –
União, estados e municípios- com participação maior ou menor
de entidades estatais, privadas ou filantrópicas na produção
dos serviços e “entregas”
POLÍTICAS E PROGRAMAS PÚBLICOS
Apontamentos fundamentais

• O ambiente de operação das Políticas e Programas Públicos


é, pois, bastante complexo, exigindo um conjunto amplo de
estudos para entendimento

• de seus efeitos diretos e indiretos para diferentes públicos-alvo


• das dificuldades de implementação das ações nos diferentes
contextos de gestão e gravidade dos problemas públicos no
território
• dos custos envolvidos nos diversos processos nos diferentes
contextos
Políticas e Programas demandam diferentes Produtos
de Informação e Conhecimento segundo ciclo de vida
do programa

Definição da
agenda Formulação

Problemas
sociais Necessidades de
informação e
conhecimento
Decisão

Avaliação Implementação
somativa
Políticas e Programas demandam diferentes Produtos
de Informação e Conhecimento segundo ciclo de vida
do programa

Estudos de Cenários
Prospecção de programas
Futuros
existentes
Avaliação das Definição da
demandas agenda Formulação
Avaliação de
sociais desenho do
Problemas
sociais Necessidades de projeto
informação e
conhecimento Decisão

Avaliação de
Processos e
Avaliação dos Avaliação Implementação Implementação
custos e somativa
efetividade Avaliação dos
Impactos e
Meta-Avaliações efeitos
Ao contrário do que preconizam alguns
manuais clássicos....

Avaliação de Programas Sociais é um


empreendimento técnico e político e portanto,
influenciado pelas concepções do que se
entende por Tecnociência e Política Pública
pelas comunidades epistêmicas e de práticas
envolvidas
3. Se objetividade é socialmente
construída, como produzir
conhecimento tecnocientífico
reconhecido como válido para ser
usado no debate das
Politicas Públicas?
2ª parte: Revisão dos Métodos de
Pesquisa da Pesquisa Social
Metodologia da Pesquisa Social aplicada à Avaliação
de Programas: etapas de especificação

A especificação da
pesquisa de avaliação
requer um processo de
estruturação e realização
em 6 etapas
Estudo da Avaliabilidade do Programa

Perguntas Típicas a serem respondidas antes de pensar em realizar


uma avaliação ?

• Estaria o programa em estágio ou momento propício para uma


investigação mais detalhada ?

• Já foram feitas avaliações anteriores ? Em que que aspecto ? No


seu desenho de intervenção, em atividades de sua implementação
ou já estaria avançado suficientemente para uma avaliação de
resultados e impactos ?

• O programa, de fato, já existe ? Houve dotação orçamentária,


repasses para agentes operadores e alocação de equipes ? Já
está implantado no país ou região em que fora previsto ?

• O momento é de avaliar ou é o caso de fazer os esforços de


implementação, visitas técnicas e auditorias de gestão ?
Estudo da Avaliabilidade do Programa

• Existe documentação, um sistema de gestão, registro de


atividades e indicadores de monitoramento ? Existem bases de
dados para avaliação do programa ?

• Não seria o caso de desenvolver um sistema de gestão


informatizado ? Não seria o caso de propor indicadores de
monitoramento ? Não seria o caso de organizar um programa
presencial ou à distância de capacitação nos conceitos básicos do
programa ?

• A avaliação traria algo realmente novo, que os gestores já não


sabem ?

• Não seria uma avaliação precipitada, com potencial de


deslegitimação do programa, desmobilização de agentes,
desmotivação do pessoal envolvido ?
Em 2012 havia a questão colocada por organismo
internacional: Como os usuários avaliam os
serviços socioassistenciais ?

O SUAS estava presente em quase


todos os municípios do país, com
mais de 250 mil trabalhadores. Já
não seria o momento de avaliar
seus serviços ?
Decisão: Antes de avaliar a qualidade percebida dos
serviços era mais importante qualificar os trabalhadores,
pois a rápida estruturação do SUAS não pôde ser
acompanhada de programa abrangente de formação

Cursos de Planejamento, Gestão


Financeira, Serviços e Controle Social
Decisão: Fazer um acompanhamento muito próximo da
oferta de cursos, para identificar problemas e garantir um
bom programa de qualificação, com vários tipos de
avaliações

Avaliações de
processo, por
observadores em
sala de aula

Avaliações pelos
alunos na internet
Estudo da Avaliabilidade do Programa

Mediante recolhimento de material e entrevistas de técnicos e gestores


envolvidos na coordenação do programa, o Estudo de Avaliabilidade:

• Recupera os principais documentos descritivos e normativos do


programa

• Elabora o Mapa de Processos e Resultados, recurso dialógico


interessante para iniciar a discussão da próxima etapa.

• Identifica sistemas de gestão, bases de dados e pesquisas de


avaliação já realizadas anteriormente.

• Produz uma nota sintética com as evidências e conclusões acerca


da viabilidade, pertinência e continuidade (ou não) da avaliação
Construindo o MaPR como produto do
Estudo de avaliabilidade
Avaliação de Programas: etapas de especificação

A especificação da
pesquisa de avaliação
requer um processo de
estruturação e realização
em 6 etapas
Concepção da Pesquisa e seu foco

• O que deveria ser investigado no programa ?


• Se o programa foi recém-implantado
• avaliar processos e atividades, identificar gargalos,
qualidade dos serviços prestados junto aos públicos-alvo.
• Perguntas típicas
• Por que determinadas atividades não estão se desenvolvendo
plenamente ?
• Por que em algumas regiões o programa obtém mais
resultados ? Os serviços estão sendo prestados
satisfatoriamente, de acordo com padrões de qualidade
definidos ?
• Qual a cobertura do programa ? Quem está se beneficiando
dele ?
• Se é programa operando há muito tempo
• Avaliação somativa, de análise das contribuições do
programa na mitigação do problema que lhe originou.
Qual é o estágio de maturidade do Programa ? Que
tipo de informação e estudo é mais útil para o
momento ? Que tipo de avaliação fazer ?

• Levantamento de demandas
sociais

• Diagnósticos de Públicos-Alvo

• Prospecção de Experiências e
Desenho de Programas

• Avaliações de Implementação
de ações de Programas

• Avaliações de Resultados e
Impactos

• Estudos de Custo-Efetividade
Trata-se de avaliação da implementação (processo) ?
Sobre que dimensão sistêmica deve ser feita a avaliação ?
Avaliação executiva/panorâmica ou específica ?
Concepção da Pesquisa e seu foco

Diferentes equipes e gestores podem ter visões distintas do que


deve ser avaliado :

• A equipe coordenadora do programa pode já ter algumas


questões de interesse, às vezes muito específicas, de natureza
formativa.

• O decisor estratégico, a quem cabe negociar recursos para o


programa, pode ter outras demandas, do tipo de avaliações ex-
post, visando colher argumentos técnicos para mais recursos.

O MaPR pode ser um recurso para e clarificar as questões centrais


a investigar. facilitar a discussão com os interessados e busca de
consensos e um cronograma de avaliações a realizar.
Usando o MaPR para identificar demandas de pesquisas
Avaliação de Programas: etapas de especificação

A especificação da
pesquisa de avaliação
requer um processo de
estruturação e realização
em 6 etapas
Desenho metodológico

Nessa etapa são formuladas as perguntas gerais a serem


respondidas, os contextos territoriais ou arquetípicos de interesse
e os sujeitos a serem abordados.

É necessário escolher

• a técnica de coleta mais adequada para responder às questões


levantadas,
• a natureza e tamanho da amostra de sujeitos ou instituições a
serem entrevistadas,

Considerando

• as questões éticas suscitadas,


• os prazos e recursos disponíveis.
Avaliação de Programas requer abordagens multi-
métodos e multi-sujeitos (Triangulação)
Desenho metodológico
Pesquisas quantitativas  grande número de questionários
Pesquisas qualitativas  número de entrevistas depende da qualidade do
corpus já coletado
Comparação
Abordagem multi-métodos na produção de informação
e conhecimento para um Programa - o caso Pronatec
Exemplos metodológicos de Pesquisas de Avaliação

Disponível em
http://aplicacoes.mds.gov.br/sagirmps/simulacao/sum_executivo/pg_p
rincipal.php?url=abertura
Estudo avaliativo com dados secundários:
Avaliação da pobreza e taxas de pobreza na
PNAD/IBGE

http://aplicacoes.mds.gov.br/sagi/portal/index.php?grupo=146&nv=114.146
Estudo avaliativo com dados secundários:
Avaliação da pobreza e taxas de pobreza na
PNAD/IBGE
Estudo avaliativo com dados secundários:
Avaliação da pobreza e taxas de pobreza na
PNAD/IBGE
Estudo avaliativo com dados secundários: Uso dos
Relatórios de Auditoria Municipal da CGU como
fonte de dados para avaliação

Cadernos Gestão
Pública e Cidadania 59
Estudo avaliativo com dados secundários: Uso dos
Relatórios de Auditoria Municipal da CGU como
fonte de dados para avaliação
Estudo avaliativo com dados secundários: Uso dos
Relatórios de Auditoria Municipal da CGU como
fonte de dados para avaliação
Pesquisa de Avaliação por meio de Observação:
Bolsa Família em Povos Indígenas
Pesquisa de Avaliação por meio de Observação:
Bolsa Família em Povos Indígenas
Pesquisa de Avaliação por meio de Observação:
Bolsa Família em Povos Indígenas
Estudo avaliativo com entrevista:
Avaliação qualitativa sobre o Pronatec
Estudo avaliativo com entrevista:
Avaliação qualitativa sobre o Pronatec
Estudo avaliativo com entrevista:
Avaliação qualitativa sobre o Pronatec
Estudo avaliativo com entrevista:
Avaliação qualitativa sobre o Pronatec
Estudo avaliativo com entrevista: Avaliação sobre
barreiras sociais à criança e jovem beneficiária do BPC
Estudo avaliativo com entrevista: Avaliação sobre
barreiras sociais à criança e jovem beneficiária do BPC
Estudo avaliativo com entrevista: Avaliação sobre
barreiras sociais à criança e jovem beneficiária do BPC
Levantamentos de Campo

Estratégia de levantamento mais estruturado,


requerendo objetivos mais específicos de pesquisa

Características
Planejamento maior
Questionário ou Formulário
Respostas racionalizadas
Correio, pessoal, balcão
Levantamentos de Campo

 Levantamentos cadastrais e Pesquisas institucionais

 Pesquisa amostral (Representatividade e Generalização)

Probabilística Simples

Probabilística Complexa

 Pesquisa com amostra intencional (Agilidade e Custos)


Intencional - Conveniência

Quotas
Levantamento de Campo

Amostra: qualquer subconjunto de uma população ou


universo

Amostragem: processo de retirada de amostras

Vantagens da amostragem
economia de recursos, tempo e pessoal
precisão das respostas
único recurso possível para investigação
Levantamento de Campo

Tamanho da Amostra Aleatória Simples


Para Populações finitas Pop. grandes

N z2 s 2 z2 s2
n = ----------------------- n = -------------------
e2 (N-1) + z2 s2 e2

z = parâmetro associado ao nível de confiança – 95% conf – z = 2


s = desvio-padrão da variável a ser estimada
N = Tamanho da População
e = precisão desejada da estimativa
Levantamento de Campo

Tamanho da Amostra Aleatória Simples para estimativa de


proporções em populações grandes
z2 s2 1
n = --------------- n = -----------, para conf 95%
e2 e2
Precisão tam amostra interv.conf.(95%)
----------------------------------------------------------------
e=0,01 10.000 p +/- 0,01
e=0,02 2.500 p +/- 0,02
e=0,03 1.111 p +/- 0,03
e=0,05 400 p+/- 0,05
Levantamentos de Campo

Pesquisa com amostra probabilística – IBGE

Sorteio de municípios

Sorteio de setores
censitários

Sorteio de domicílios
Levantamentos de Campo

PNAD – Pesquisa Nacional por Amostra de Domicílios

851 municípios
7.816 setores
142.471 domicílios
Levantamentos de Campo

PNAD – Pesquisa Nacional por Amostra de Domicílios


Levantamentos de Campo

PNAD – Pesquisa Nacional por Amostra de Domicílios


Levantamentos de Campo

PNAD – Pesquisa Nacional por Amostra de Domicílios


Amostra da PNAD Contínua é bastante dispersa
pelo território nacional, com melhor cobertura de
população em cidades pequenas e médias além
de públicos-alvo vulneráveis
Levantamentos de Campo

PNAD – Pesquisa Nacional por Amostra de Domicílios

http://www.pnud.org.br/Docs/5_RelatorioNacionalAc
http://biblioteca.ibge.gov.br/visualizacao/li http://biblioteca.ibge.gov.br/visualizacao/livro
ompanhamentoODM.pdf
vros/liv95011.pdf s/liv94254.pdf
Levantamentos de Campo

PNAD – Pesquisa Nacional por Amostra de Domicílios


Avaliação de Programas: etapas de especificação

A especificação da
pesquisa de avaliação
requer um processo de
estruturação e realização
em 6 etapas
O Trabalho de Campo

O trabalho de campo é atividade crítica !!

Todo esforço de concepção e especificação metodológica pode ser colocado


a perder se não forem observados os cuidados necessários com
• tamanho da equipe/tempo de coleta (menos é mais !)
• treinamento de equipe,
• pré-teste de instrumentos,
• planejamento logístico da coleta,
• supervisão de campo e
• análise crítica das evidências coletadas
• re-ponderação de amostra/imputação de variáveis

Fazer estimativas conservadoras de tempo e recursos para essas


atividades pode ser um risco.
Diferenças nas pesquisas eleitorais:
Trabalho de Campo, Desenho amostral ou Tendências

Data Folha 1/10 IBOPE 1/10 TSE 2/10


44,4 % ---
11,4 % ---
8,4 % ---
13,9 % Dtf/Ibp
2,6 % Ibp
1,7 % Dtf/Ibp

16,7 % ----

Amostra 4.022 +/- 2 pp 1.024 +/- 3 pp % total votos


Diferenças nas pesquisas eleitorais:
Trabalho de Campo, Desenho amostral ou Tendências
?
Diferenças nas pesquisas eleitorais:
Trabalho de Campo, Desenho amostral ou Tendências
Avaliação de Programas: etapas de especificação

A especificação da
pesquisa de avaliação
requer um processo de
estruturação e realização
em 6 etapas
A Análise dos Dados

Tal como para coleta de informações em campo, há diversos


métodos de pesquisa para auxiliar na análise dos resultados da
pesquisa.

Pesquisas qualitativas remetem a abordagens mais ensaísticas e


narrativas, articuladas com base na análise de conteúdo dos relatos e
entrevistas ou, ainda, a técnicas mais estruturadas, como a análise
estruturada de textos.

Dados de pesquisas quantitativas podem ser analisados de uma


perspectiva mais descritiva, por meio da criação de categorias de
agregação das informações, tabelas cruzadas e técnicas
exploratórias, ou por intermédio de métodos estatísticos inferenciais.
A Análise dos Dados
Resultados de Pesquisa Qualitativa

“ O principal perfil identificado na pesquisa qualitativa é formado por


alunos jovens e escolarizados, filhos de famílias beneficiárias do
Programa Bolsa Família. Eles ocupam, em sua maioria, as franjas
superiores do Cadastro Único (renda familiar per capita de meio
salário mínimo).
Proveem de famílias um pouco mais estáveis financeiramente e
podem se dedicar aos estudos. Em geral, eles concluíram ou estão
concluindo o ensino médio e buscam os cursos principalmente para
melhorar seus currículos e, assim, conseguir posições melhores e
menos desgastantes no mercado de trabalho,
com salários mais altos.
Trata-se, portanto, de um público para o qual se faz mais clara a
opção pela formação profissional como alternativa à entrada imediata
no mercado de trabalho e como estratégia para evitar a precarização
laboral no futuro”.
A Análise dos Dados
Resultados de Pesquisa Quantitativa - Descrição
A Análise dos Dados
Resultados de Pesquisa Quantitativa - Modelagem
A Análise dos Dados

Não é a sofisticação da técnica analítica que confere legitimidade


científica à análise ou relevância substantiva à pesquisa de
avaliação.

Não é o emprego de um modelo estatístico, econométrico ou análise


quantitativa de dados qualitativos que pode garantir aportes
relevantes e robustos da pesquisa.

Há certa mitificação – senão, mistificação – das abordagens


‘quantitativistas’ complexas na pesquisa acadêmica em disciplinas
das Ciências Sociais Aplicadas, que acabam influenciando as
pesquisas de avaliação.
A Análise dos Dados

Para orientar as escolhas metodológicas e exploração dos dados


empíricos levantados, qualquer que seja a abordagem ou técnica, é
necessário ter um

• modelo teórico – eclético tanto quanto possível diante da


complexidade do objeto de estudo –

• plano analítico mais pragmático – relacionado às perguntas


motivadoras da avaliação

O MaPR do programa avaliado auxilia na construção do plano tabular


– ou modelo estatístico – em pesquisas quantitativas ou na
elaboração das narrativas – ou mapas conceituais estruturados – em
pesquisas qualitativas.
Avaliação de Programas: etapas de especificação

A especificação da
pesquisa de avaliação
requer um processo de
estruturação e realização
em 6 etapas
Disseminação dos Resultados

Princípios fundamentais na disseminação de resultados de


avaliações

1. Clareza na exposição dos achados

2. Uso combinado e adequado de textos, tabelas, gráficos e


diagramas

3. Estratégias de disseminação para atingir diferentes públicos

• resumos por e-mail,


• relatórios, sumários,
• videoconferências, apresentações.
• Produtos eletrônicos
Fim da primeira seção !!

Obrigado pela atenção !