AVALIAO DE POLTICAS E PROGRAMAS SOCIAIS: um destaque ao sentido das variveis

contextuais
Jos de Ribamar S Silva1
Vaidira Barros2

RESUMO

O artigo aborda aspectos histricos e conceituais da avaliao de polticas pblicas,

apresentando as concepes da avaliao poltica da poltica, da avaliao de
processo e da avaliao de impacto. So discorridos tambm os critrios da eficcia,
da eficincia e da efetividade, utilizados nessas avaliaes. Alm da reviso terica,
enfatizada a necessria ateno que o avaliador deve dispensar s chamadas
variveis contextuais.

Palavras-chave: Polticas e programas sociais. Avaliao. Eficcia. Eficincia.

Efetividade. Variveis contextuais.

1 INTRODUO

A avaliao de polticas pblicas no Brasil surge refletindo a influncia das

avaliaes concebidas no contexto norte-americano. De um modo geral, mesmo no se
configurando aqui um autntico Estado do Bem-Estar Social, a redemocratizao da vida
poltica, ainda que formal no pas, implicou no pas o desenvolvimento de concepes e prticas
de avaliao, em funo, por um lado, da necessidade de controle social dos gastos pblicos e,
por outro, da imposio feita pelas agncias de financiamento internacionais.
Ao longo da trajetria constitutiva da avaliao de polticas e programas sociais, a
incorporao de abordagens qualitativas, ao contrrio de estabelecer um campo homogneo nas
pesquisas avaliativas, veio ampliar o espao e o carter multidisciplinar das anlises. Assim,
avaliar continua tendo o sentido essencial de julgar para mudar, mas no cabe falar-se da
avaliao, no singular e, sim, avaliaes, enquanto um momento das polticas pblicas
situado no campo da pesquisa social.
No presente artigo, procura-se apresentar a avaliao de polticas e programas
sociais, primeiramente, em seu contexto histrico e conceitual. Em seguida, faz-se um destaque
dos aspectos que so utilizados com maior frequncia nas avaliaes pautadas nos critrios de
eficincia, eficcia e efetividade, apresentando-se a necessidade de se superar a focalizao na

1 Professor do Departamento de Economia da Universidade Federal do Maranho e aluno do curso de Doutorado do

programa de Ps-Graduao em Polticas Pblicas da mesma Universidade.
2 Advogada e aluna do Curso de Mestrado do programa de Ps-Graduao em Polticas Pblicas da Universidade

Federal do Maranho.
execuo dos objetivos e das estratgias previstos pelos formuladores dos programas em
anlise. Finalmente, discute-se outra necessidade: a ampliao do olhar do avaliador para
incorporao das particularidades dos contextos locais como elementos que condicionam a
execuo dos programas. Neste sentido, defende-se uma compreenso multidimensional por
parte do avaliador, a fim de dar conta da complexidade que envolve a determinao desses
contextos, em seus aspectos histricos, polticos e culturais.
Considerando o carter e a abrangncia do texto em questo, no pretenso dos
autores fazer urna discusso nos limites de aprofundamento do debate. No momento, expressar
as inquietaes que o assunto desperta suficiente para proporcionar a sensao de ter sido
iniciado um processo de instigantes descobertas e, qui, promissoras investigaes.

2 CONTEXTO HISTRICO E CONCEITUAL DA AVALIAO DE POLTICAS E PROGRAMAS

SOCIAIS

No contexto das Polticas Pblicas, a avaliao efetiva-se no momento em que se

aplicam tcnicas e mtodos para verificar, a partir dos critrios de efetividade, eficcia e
eficincia, as reais mudanas que determinada poltica ou programa social provocou numa
realidade especfica.
Pode-se enfatizar que o objetivo primordial da avaliao impulsionar o
desenvolvimento das Polticas Sociais. Isto porque, somente a partir do julgamento de uma
poltica j existente, que se torna possvel aferir-lhe os erros e acertos, assim como seus
impactos na realidade, possibilitando a identificao de elementos que servem de referncia
para a elaborao de novas polticas e programas sociais. Ademais, ressalta-se que a avaliao
no se reduz a um procedimento meramente tcnico, desprovido de qualquer interesse ou vis
poltico. Ao contrrio, assim como no chamado ciclo da poltica, o processo de avaliao de
polticas pblicas permeado de sujeitos, racionalidades e outras variveis contextuais que
extrapolam o planejamento tcnico-instrumental. Esse entendimento, atualmente predominante
no campo da avaliao, resultado do desenvolvimento desse ramo do conhecimento, que se
expandiu nos Estados Unidos da Amrica, sobretudo na dcada de 1960. A evoluo da
avaliao de polticas e programas sociais, enquanto ramo do conhecimento cientfico, coincide
com o auge do chamado welfare state, tendo um carter funcional nesse contexto, haja vista que
tinha por finalidade avaliar os resultados das polticas de combate pobreza empreendidas por
esse Estado.
 No campo da avaliao, inicialmente, predominou o chamado modelo funcionalista
clssico, cuja caracterstica principal a preocupao excessiva com os instrumentais tcnico-
metodolgicos, para aferir a relao entre metas previstas e resultados alcanados, desprezando
os aspectos polticos que permeiam o processo das polticas e programas sociais (GOMES,
2001). Esse modelo de avaliao tradicional, que privilegia uma abordagem quantitativista,
passa a ser questionado na medida em que, por um lado, o Estado de Bem-Estar entra em crise,
e, por outro lado, emerge a ao de novos sujeitos coletivos3 que passam a exercer uma funo
de controle e vigilncia sobre as polticas e programas sociais, demandando do avaliador a
incorporao de procedimentos que considerem a conjuntura poltica na qual se insere a
avaliao.
No Brasil, mesmo no se configurando a existncia de um Estado de Bem-Estar
Social, a crise do modelo funcionalista clssico de avaliao est relacionada abertura poltica
vivenciada pelo pas nos anos de 1980. No processo de redemocratizao do Brasil, o milagre
econmico brasileiro4 foi desmascarado, pela denncia feita pelos movimentos sociais
organizados de que a poltica social concebida pela ditadura militar assentava-se sobre um
modelo de crescimento excludente e concentrador de renda, onde direitos sociais so tratados
como privilgio de poucos, contribuindo assim para se reproduzirem as relaes clientelistas e
paternalistas no acesso aos benefcios das polticas pblicas.
No presente artigo, procura-se apresentar a avaliao de polticas e programas
sociais, primeiramente, em seu contexto histrico e conceitual. Em seguida, faz-se um destaque
dos aspectos que so utilizados com maior frequncia nas avaliaes pautadas nos critrios de
eficincia, eficcia e efetividade, apresentando-se a necessidade de se superar a focalizao na
execuo dos objetivos e das estratgias previstos pelos formuladores dos programas em
anlise. Finalmente, discute-se outra necessidade: a ampliao do olhar do avaliador para
incorporao das particularidades dos contextos locais como elementos que condicionam a
execuo dos programas. Neste sentido, defende-se uma compreenso multidimensional por
parte do avaliador, a fim de dar conta da complexidade que envolve a determinao desses
contextos, em seus aspectos histricos, polticos e culturais.
Considerando o carter e a abrangncia do texto em questo, no pretenso dos
autores fazer uma discusso nos limites de aprofundamento do debate. No momento, expressar

3
So considerados novos sujeitos coletivos os movimentos de nevos, mulheres, crianas, ndios, sem-teto, sem
terras, entre tantos outros, que surgiram era meados da dcada de 1970.
4
Na histria econmica do Brasil, passou-se a chamar de milagre o perodo entre 1968 e 1973, caracterizado por
altas taxas de crescimento. Em seu conjunto, a economia cresceu 9%, de 1968 a 1970, e 11%, de 1971 a 1973,
tendo a indstria apresentado uma mdia anual de 13% ao longo do milagre.
as inquietaes que o assunto desperta suficiente para proporcionar a sensao de ter sido
iniciado um processo de instigantes descobertas e, qui, promissoras investigaes.
Nesse cenrio, a avaliao desenvolve-se no Brasil, por um lado, como um
mecanismo de controle social, por parte dos movimentos sociais organizados, e por outro lado,
enquanto uma exigncia das agncias de financiamento internacionais (FMI, BIRD), como forma
de medir a eficincia dos gastos pblicos (SILVA, 2001). Para responder a essas demandas, fez-
se necessria a adoo de um padro de avaliao que considerasse os aspectos poltico-
ideolgicos que perpassam a vida de uma poltica, sendo incorporada, ento, a anlise da
dimenso qualitativa da poltica, buscando-se dar destaque a informaes que o mtodo
quantitativo no alcanava.
Nesse sentido, pertinente a observao feita por Gomes (2001):
Na conjuntura de redemocratizao, a avaliao de polticas sociais responde
necessidade de tornar os agentes do Estado plenamente responsveis de suas
aes, contribui no debate democrtico na medida em que clarifica as escolhas
pblicas e ajuda na compreenso coletiva de mecanismos sociais particularmente
opacos. Procura-se desde ento, modelos alternativos de avaliao que possam
superar os limites do modelo tradicional que no d conta das vrias dimenses e
complexidade da questo social (GOMES, 2001, p. 24).

Nos anos 1990, o arcabouo terico produzido em torno da avaliao de Polticas

Pblicas procura articular as dimenses qualitativa e quantitativa da pesquisa, buscando superar
a dicotomia entre os mtodos quantitativo e qualitativo (SILVA, 2001), tendo como eixo a
dimenso poltica da avaliao. Contudo, no obstante os avanos no campo da produo
acadmica, no Brasil, a prtica de avaliao de polticas e programas sociais ainda muito
restrita e desenvolvida mais como mero controle de gastos do que para realimentar os
programas em desenvolvimento (SILVA, 2001, p. 46). A partir, ento, deste breve histrico da
avaliao de polticas e programas sociais, poder-se-ia inferir que se est tratando de um tema
simples. Contudo, a produo terica disponvel comporta uma diversidade de classificaes e
tipologias, cuja descrio e detalhamento escapam ao propsito desse artigo. No entanto,
considera-se imprescindvel uma meno classificao mais recorrente, na qual as avaliaes
assumem trs tipos: Avaliao Poltica da Poltica; Avaliao de Processo e Avaliao de
Impactos.
A Avaliao Poltica da Poltica tem seu foco de anlise no desenho de uma dada
poltica ou programa, considerando-se tanto a proposta da poltica em si como o arcabouo
institucional que dever dar suporte a seu desenvolvimento. Pode-se afirmar que esse tipo de
avaliao discute os princpios e a viabilidade de uma poltica ou programa ainda no
implementado. Em razo disto, diz-se que esse modelo de avaliao centrado na fase de
formulao da poltica ou planejamento do programa (SILVA, 2001, p.80). Nesse sentido,
considerando-se o momento de sua realizao, trata-se de uma Avaliao ex-ante, cuja
finalidade proporcionar critrios racionais para uma deciso qualitativa crucial: se o projeto
deve ou no ser implementado (COHEN & FRANCO, 2000, p. 108).
A Avaliao de Processo, por sua vez, est voltada para analisar o processo de
implementao de uma dada poltica, tendo por referncia as diretrizes e metas estabelecidas
inicialmente e os resultados j alcanados. Desta forma, esse modelo de avaliao objetiva,
sobretudo, aferir a eficcia de um programa (SILVA, 2001, p. 82).
[Esse tipo de avaliao] determina a medida em que os componentes de um projeto
contribuem ou so incompatveis com os fins perseguidos. E realizado durante a implementao
e, portando, afeta a organizao e as operaes. Procura detectar as dificuldades que ocorrem
na programao, administrao, controle, etc., para serem corrigidas oportunamente, diminuindo
os custos derivados da ineficincia. No um balano final, e sim uma avaliao peridica
(COHEN & FRANCO, 2000, p. 109).
Essa avaliao analisa, pois, o funcionamento de um determinado programa, por
isso realizada durante sua implementao, possibilitando inclusive seu redimensionamento,
uma vez constatada a ocorrncia de falhas, omisses ou equvocos.
Finalmente, menciona-se a Avaliao de Impacto, que provavelmente a
modalidade de avaliao mais adotada na atualidade, uma vez que analisa as efetivas
mudanas ocorridas em uma realidade especifica a partir da implementao de um programa, ou
seja, analisa os impactos do programa. De acordo com Silva (2001), a determinao de um
impacto exige considerar dois momentos: antes e depois da implementao de um programa.
Alm disso, como a autora chama ateno, imprescindvel analisar as chamadas variveis
intervenientes, que rebatem na conjuntura local e, por conseguinte, na implementao do
programa. Neste particular, alis, reside o principal desafio desta modalidade de avaliao:
demonstrar que um determinado efeito na realidade social resultado, de alguma forma, da
execuo de um programa determinado.
A esse respeito, o entendimento predominante de que
(...) qualquer avaliao de impacto apenas identifica a mudana e sua dimenso
ocorrida numa situao conhecida previamente, mas no pode afirmar,
categoricamente, que a mudana resultou, diretamente, desta ou daquela varivel,
entre elas, do prprio programa social (SILVA, 2001, p. 86).

Considerando-se a dimenso temporal, esse tipo de avaliao pode ser realizado

tanto durante como depois (Avaliao ex-post) da implementao de uma poltica ou programa.
 Cabe, ainda, uma referncia ao Monitoramento que, embora no se configurando
propriamente uma modalidade de avaliao, j que no atribui valor a um determinado
programa, relaciona-se com esta na medida em que se constitui numa atividade gerencial, que
visa o desenvolvimento dos trabalhos de acordo com o planejado, levantando elementos para
uma futura avaliao.
Conforme j se destacou, no se pode falar de avaliao de polticas e programas
sociais como se fosse um todo coeso. Nesse sentido, Arretche (2004) chama ateno,
oportunamente, para a necessria qualificao das avaliaes:

impossvel falar das avaliaes em geral, como se elas fossem um conjunto

homogneo. H boas e ms avaliaes, assim como h avaliaes objetivas e
avaliaes inteiramente tendenciosas. (...) Em tese, uma avaliao considerada
boa quando til (isto , refere-se a uma poltica de relevncia. oportuna (isto ,
realizada em tempo hbil); tica (isto , foi realizada com critrios e medidas justos
e apropriados) e precisa (isto , empregou procedimentos adequados)
(ARRETCHE, 2004, p. 2).

3 ASPECTOS RELEVANTES CONSIDERADOS NAS AVALIAES

Em geral, so considerados os seguintes critrios de avaliao de polticas e

programas sociais: eficincia, eficcia e efetividade. A avaliao da eficincia de um programa
refere-se relao entre os custos de uma determinada ao pblica e os resultados
alcanados. Na opinio de Arretche essa a avaliao cuja efetivao e desenvolvimento so
mais necessrios atualmente no Brasil e, embora bastante negligenciadas, impem-se porque a
eficincia um objetivo democrtico (ARRETCHE, 2001 a, p. 34).
Na verdade, ao dispor de recursos pblicos e ao implementar polticas pblicas, o
governo est gastando dinheiro que no seu; ao faz-lo, o governo est gastando
dinheiro do contribuinte. Ora, a probidade, competncia e eficincia no uso de
recursos publicamente apropriados constituem, em regimes democrticos, uma das
condies para a confiana pblica (public confident) no Estado e nas instituies
democrticas, O desperdcio de recursos, a corrupo ou a incapacidade
governamental so, na verdade, entraves utilizao de recursos publicamente
geridos para finalidades efetivamente pblicas (COHEN e ROGERS. 1993, apud
ARRETCHE, 2001a, p. 36).

A avaliao da eficcia, por sua vez, avaliao da relao entre os objetivos e

instrumentos explcitos de um programa e seus resultados efetivos (FIGUEIREDO e
FIGUEIREDO, 1986, apud ARRETCHE, 2001a, p.34), ou, de outro modo, o grau em que os
objetivos e as metas estabelecidas foram concretizados num determinado tempo de execuo
do programa.
A avaliao de eficcia seguramente a mais usualmente aplicada nas avaliaes
correntes de polticas pblicas. Isso porque ela certamente aquela mais factvel e
 menos custosa de ser realizada. (...) Nesse tipo de avaliao, a maior dificuldade
consiste na obteno e confiabilidade das informaes obtidas (ARRETCHE, 2001a,
p. 34).

Por sua vez, a avaliao de efetividade diz respeito aos impactos diretos e indiretos
dos servios ofertados pela ao pblica, na vida da populao que recebe determinado
programa, ou seja: trata-se das mudanas efetivas naquela realidade objeto do programa. Ainda
que no se possa falar com segurana na existncia de uma tradio de estudos de avaliao
da efetividade no Brasil, ARRETCHE (2001a) destaca que o critrio da efetividade das polticas e
programas tem sido abordado de forma relativamente frequente nas diversas anlises realizadas
na rea.
Na medida em que este critrio est fortemente relacionado a determinados ideais
de igualdade e justia social e, por esta razo, expectativa de que as polticas
implementadas reduzam os brutais ndices de pobreza, desigualdade e excluso
social existentes entre ns, a correlao entre polticas e seus parcos resultados tem
esto resente no discurso analtico das polticas pblicas ARRETCHE, 2001a, p. 32).

A avaliao pautada nos critrios de eficcia. e:cincia e efetividade de programas

leva em conta, de forma precominante, apenas os objetivos e a metodologia de implementao
definidos na formulao desses programas. Essa constitui mesmo uma questo essencial na
percepo corrente de avaliao, uma vez que no seria adequado - por assim dizer se o
avaliador considerasse como parmetro elementos distintos daqueles estabelecidos pelos
formuladores. Caso isso ocorresse, a avaliao tenderia a ser sempre negativa.
Em um artigo instigante, Marta Arretche cuida de alertar contra esse entendimento,
observando que:
Supor, no entanto, que um programa pblico possa ser implementado inteiramente
de acordo com o desenho e os meios previstos por seus formuladores tambm
implicar uma concluso negativa acerca de seu desempenho, porque
praticamente impossvel que isso ocorrem outras palavras, na gesto de programas
pblicos, grande a distncia entre os objetivos e o desenho de programas, tal como
concebidos por seus formuladores originais, e a traduo dessas concepes em
intervenes pblicas, tal como elas atingem a gama diversa de seus beneficirios e
provedores (ARRECTHE, 2001b, p. 45).

A autora considera que uma avaliao, que leve em conta to somente os objetivos
e as estratgias definidos no desenho original dos programas, possui um contedo
essencialmente ingnuo. Assim, sugere que:
Para superar uma concepo ingnua da avaliao de polticas pblicas, que
conduziria necessariamente o avaliador a concluir pelo fracasso do programa sob
anlise, prudente, sbio e necessrio, ento, admitir que a implementao modifica
as polticas pblicas (ARRECTHE, 2001b, p. 46)
 Essa circunstncia, na qual a implementao modifica a concepo original de
polticas e programas, ocorre em funo da complexidade e da diversidade dos interesses
envolvidos. Ao se considerar a trajetria mais comum dos programas pblicos - especialmente
nas sociedades cuja tradio de planejamento caracteriza-se pela centralizao das decises,
com um forte ingrediente autoritrio pode-se observar a formulao e a implementao como
dois momentos nitidamente diferentes. Essa distino no se refere somente dimenso
temporal de sua efetivao, mas diz respeito principalmente aos sujeitos envolvidos no mbito
do prprio Estado.
Na percepo de Arretche (2001b, p. 49), a implementao constitui um campo de
incertezas e concretiza-se atravs de uma cadeia de relaes entre formuladores e
implementadores, de um modo geral, e entre os vrios implementadores que ocupam diferentes
posies na estrutura administrativa do Governo. Ainda que esses implementadores sigam as
orientaes originais dos programas e, enquanto agentes pblicos, suas aes estejam
circunscritas a determinado campo regulatrio, isso no garante obedincia irrestrita ao desenho
original.
[Os implementadores] tm razovel margem de autonomia para determinar a
natureza, a quantidade e a qualidade dos bens e servios a serem oferecidos. Neste
sentido, eles tm, com efeito, a prerrogativa de fazer a poltica. esta autonomia
que, por sua vez, lhes permite atuar segundo seus prprios referenciais
(ARRETCHE, 2001b, p. 48).

Uma vez que o ambiente em que se desenvolve a implementao das aes

pblicas bastante instvel, caracterizando-Se por uma dinmica inteiramente alheia vontade
dos implementadores (ARRETCHE. 2001b, p. 51), importante que outros aspectos sejam
percebidos pelo avaliador. Um deles se reporta ao fato de que os recursos, as prioridades e a
influncia relativa dos agentes encarregados da implementao sofrem frequentes mudanas
conforme os contextos poltico, econmico e social. Por outro lado, tambm os interesses e a
influncia dos stakeholders podem mudar no intervalo entre a formulao e a implementao de
determinado programa, o que afetaria sua disposio rara colaborar no momento em que o
programa executado (ROS SI e FREEDMAN, 1993, apud ARRETCHE, 2001b, p. 5 1-2).
Esses aspectos, na opinio da autora, ao invs de serem percebidos como
problemas para o avaliador, devem ser incorporados avaliao como um dado da realidade
em foco.
Uma adequada metodologia de avaliao no deve, portanto, concentrar-se em
concluir pelo sucesso ou fracasso c e um programa, pois, (...) independentemente da
vontade poltica, da tica ou do interesse dos formuladores e implementadores, a
distncia entre formulao implementao uma Contingncia da ao pblica. Com
efeito, uma adequada metodologia de avaliao deve investigar, em primeiro lugar,
 os diversos pontos de estrangulamento alheios vontade dos implementadores, que
implicaram que as metas e os objetivos inicialmente previstos no pudessem ser
alcanados. (...) Alm disso, (...) deveria concentrar-se no exame das razes pelas
quais a implementao efetiva ocorre por deciso dos prprios implementadores
(ARRETCHE, 2001b, p. 52).

No entendimento de ARRETCHE (2001 b), em funo de todas essas

circunstncias referidas, preciso que os processos avaliativos incorporem a implementao de
polticas e programas. Mas a prpria avaliao constitui um processo de negociao, conforme
destaca Chris Roche, em sua obra a respeito do impacto do trabalho das ONGs5.
Em vez de simplesmente acrescentar resultados, as descobertas quanto ao projeto
podem ser incorporadas em processos mais amplos de reviso e aprendizagem.
Esta abordagem explicitamente reconhece um nmero de grupos de interesse que
possuem objetivos diferentes e possivelmente conflitantes e que esto envolvidos em
qualquer processo de interveno. A medida que estes grupos de interesse julgam o
impacto de diferentes maneiras, a busca de uma verdade objetiva ou realidade que
todos possam concordar , na melhor das hipteses, perigosa e, na pior delas,
impossvel. Nesse cenrio, a avaliao de impacto torna-se muito mais uma
negociao de diferentes interpretaes do que tem acontecido ou acontecer
(ROCHE, 2002, p. 48)

4 A NECESSRIA AMPLIAO DA ATENO AOS ELEMENTOS CONTEXTUAJS NOS

PROCESSOS DE AVALIAO

A discusso apresentada por ARRETCHE (2001a, 2001b, 2004) avana

significativamente na compreenso da avaliao de polticas pblicas enquanto um instrumento
democrtico, principalmente ao enfatizar o critrio da efetividade de polticas e programas
sociais. Ao insistir na necessidade de se tomar a implementao como objeto da avaliao, a
autora d uma clara indicao da importncia que os elementos contextuais assumem na
efetivao das aes pblicas. Como j foi explicitado, ela afirma que o processo de
implementao modifica a concepo original de uma poltica ou de um programa.

Para o avaliador fundamental ter em mente que a implementao modifica o

desenho original das polticas, pois esta ocorre em um ambiente caracterizado por
continua mutao. Mais que isto, deve levar em conta que os implementadores que
fazem a poltica, e a fazem segundo suas prprias referncias. Nessas
circunstancias, cabe investigar a autonomia decisria dos implementadores, suas
condies de trabalho e suas disposies em relao poltica sob avaliao
(ARRETCHE, 2001b, p. 54).

5
Chris Roche (2002) rene nesse livro resultados de avaliaes sobre o trabalho das ONGs em diversos projetos
apoiados pela OXFAM (Oxford Committee for Famine Relief) e pela NOVIB (Nederlandse Organisatie voor
International Bijstand), em pases da frica, da Amrica Latina e da sia.
 Tendo o foco de sua anlise nos processos concretos da formulao e da
implementao das polticas pblicas, ARRETCHE percebe os limites da avaliao atravs da
ao dos diferentes atores envolvidos no campo da oferta da poltica, a partir da deciso do
Governo e da atuao dos agentes pblicos. Assim, destaca a cadeia de relaes que se
estabelece, em princpio, entre os formuladores e os implementadores, e em seguida, entre os
implementadores situados nas diferentes posies da mquina estatal e que detm distintos
nveis de poder decisrio. A autora tambm percebe e d nfase ao ambiente em que so
desenvolvidas determinadas relaes ci.ija dinmica escapa completamente ao controle desses
atores. Contudo, essa contribuio - sem qualquer dano a sua imprescindibilidade para o avano
da pesquisa avaliativa ao enfatizar a ao dos atores que ofertam as polticas e os
programas, no consegue apreender as dimenses especificas que concernem s populaes
para as quais se dirigem as aes pblicas.
Obviamente, o avano da discusso da efetividade pode propiciar a configurao
de diversos cenrios, inclusive o que abrange o conjunto das inquietaes e das omisses na
percepo dos sujeitos. Grande parte das descobertas mencionadas por ROCHE (2002) segue
nessa direo, ao apontar a necessidade de o pesquisador/avaliador desenvolver a
capacidade/sensibilidade de ouvir, dentro de uma mesma comunidade, os diferentes grupos de
interesses envolvidos num programa.
importante destacar que os contextos locais em que se processa a
implementao de determinados programas, tomados em suas dimenses econmica, poltica e
cultural, constituem-se de particularidades que, de algum modo, modificam ou mesmo
desvirtuam a concepo e o propsito desses programas.
Para citar apenas alguns exemplos de situaes dessa natureza, pode-se enfocar o
conjunto de aes do Governo brasileiro com a finalidade de combater as consequncias da
seca na regio Nordeste. Nesses casos, a interferncia de grupos de interesse locais, muito
frequentemente, condiciona a prpria seleo daqueles que recebem a gua e os alimentos
distribudos, ou define a construo de poos e audes em reas privadas, restringindo assim o
alcance da ao pblica ao impedir o acesso dos que assumem atitudes e opinies conflitantes
com os proprietrios dessas reas, que, em geral, controlam o poder decisrio.
Outro exemplo so as aposentadorias, especialmente da populao residente na
zona rural. Ocorre um efeito evidentemente, no previsto pelos formuladores e gestores
dessa poltica pblica em que alguns membros das famlias dos aposentados acomodam-se
com o ingresso daquela renda para sustento do grupo familiar. H tambm os casos em que os
idosos repassam parte de seus proventos para outrem, por serem ludibriados pelas pessoas que
vo ao caixa efetuar o saque ou por serem forados, sob ameaa e chantagem emocional, a
efetuar o repasse.
Quanto aos programas de transferncia de renda, de um modo geral, ocorrem
situaes em que os prprios beneficirios, por fora de sua condio financeira, so induzidos
a deixar seus cartes de saque em poder de comerciantes locais, como garantia de crdito,
circunstncia qual tambm so submetidos os aposentados. Nesses casos, no momento de
recebimento do beneficio, os prprios comerciantes, ou algum a seu mando, acompanham os
titulares dos cartes at estabelecimento bancrio, efetuam o saque e retm o correspondente
divida contrada. claro que, em circunstncia dessa natureza, est aberta a possibilidade de
venda superfaturada, de adulterao da lista de compras com a incluso de itens no adquiridos
e, principalmente, de o montante da dvida apresentada superar os valores que so recebidos
pelo beneficirio dos programas. Assim, a cada ms, fica garantida a manuteno do
endividamento junto ao comerciante, o que estabelece laos de dependncia e subservincia
daqueles que deveriam ser beneficirios do Programa Pblico. A transferncia de renda ocorre,
ento, do Poder Pblico para os comerciantes locais, atravs da conta bancria dos
beneficiados. De resto, os comerciantes garantem e expandem suas relaes de poder, cuja
expresso imediata a manuteno de uma demanda cativa.
Esses processos no s desvirtuam a finalidade dos programas, como
desqualificam um elemento de carter ideolgico que acompanha tais aes do Governo, que
a suposta promoo da cidadania, com elevao da autoestima dos beneficirios, ao se
tornarem titulares de conta bancria, portadores de carto de saque e poderem consumir, com
sua renda, produtos e servios que estavam fora de seu estilo de vida. A compreenso dessa
dinmica extrapola, necessariamente, a observao do comportamento de formuladores e
implementadores, situando-se no denso emaranhado de relaes de assistencialismo,
coronelismo e mandonismo6 que marcam a trajetria histrica da sociedade brasileira, mas cujas
manifestaes e sentidos s so inteligveis em suas dimenses localmente engendradas.
Nessas circunstncias, cabe ao pesquisador/avaliador ter em mente que, alm da
implementao modificar polticas e programas, os contextos locais so decisivos para que
determinada ao pblica obtenha xito ou fracasso em sua implementao. Nesse sentido, no
parece adequado supor que uma avaliao possa encontrar explicaes para o desempenho de
um programa desenvolvido em dada comunidade atravs da comparao com os resultados
apresentados pelo mesmo programa implementado em uma comunidade distinta. O papel do

6
Diversos autores vm discutindo esses temas no Brasil. Uma abordagem esclarecedora e bastante didtica feita
por CARVALHO (1997).
avaliador parece lhe exigir tanto uma aguada sensibilidade para captar as expresses dos
sujeitos envolvidos, a partir dos diferentes grupos de interesse, quanto uma ampla compreenso
dos processos histricos e sociais vivenciados pela populao em ocorre d a ao pblica,
objeto da avaliao.

5 CONCLUSO

Diante das discusses apresentadas, procura-se enfatizar o contedo das

avaliaes de polticas e programas sociais de forma ampla, superando a focalizao no exame
do desenho original para constatar o xito ou o fracasso de uma dada ao estatal. Reafirma- se
a posio de Arretche (2001a, 2001b, 2004) segunda a qual a implementao merece
tratamento singular por parte do avaliador, por ser capaz de modificar a concepo original de
polticas e programas. Porm, o que os autores do presente artigo procuram destacar no so os
percalos que se estabelecem na hierarquia de poder entre os implementadores, e sim as
condies efetivas que caracterizam aqueles para os quais se destinam as polticas e os
programas sociais. Ou seja, procura-se chamar ateno para a necessidade de se dar nfase,
nas avaliaes, aos contextos locais, a partir da percepo dos sujeitos envolvidos, uma vez que
as particularidades desses contextos podem interferir decisivamente no desempenho dos
programas.
Nesse aspecto, convm ao avaliador aventurar-se no estranhamento de sua prpria
noo acerca desses beneficirios da ao pblica, pois o sentido das particularidades que
constituem os contextos locais parece tornar-se mais forte medida que o avaliador reconhece a
condio ativa dos sujeitos que demandam as polticas pblicas, participam e interferem em sua
implementao, de modo que os processos vivenciados representem maior controle e
empoderamento da comunidade. Assim, reafirma-se o carter democrtico das avaliaes,
considerando-se especialmente a efetividade das polticas pblicas, dado que a sociedade, que
financia as aes pblicas, necessita controlar o destino dos recursos que lhe so tomados.
Esse sentido democrtico fortalece-se medida que os movimentos sociais fazem suas
demandas, participam da definio de rumos das polticas e exercem o controle social das aes
pblicas.
A necessidade de reafirmao desse carter democrtico ainda mais evidente
num contexto em que so muitas, no territrio brasileiro, as situaes caracterizadas pelo
assistencialismo, pelo coronelismo e pelo mandonismo nas relaes polticas, quando os
recursos pblicos financiam aes que favorecem determinados grupos de interesse
particulares.

POLICIES AND SOCIAL PROGRAMS EVALUATIN: one notability of the mean of

context variants

ABSTRACT

This paper approaches history and conceptual aspects of the public policies
evaluation, presenting notions on the politic evaluation of policy, process evaluation
and impact evaluation. lt approaches also on efficiency, efficacy and effectiveness
criteria, used in these evaluations. Besides the theorical revision, it is emphasized the
need of attention that the evaluator should have towards the so called context
variables.

Keywords: Programs and policies evaluation. Effectiveness, efficiency and

effectiveness. Context variables.

REFERNCIAS

ARRETCHE, M. T. da S. Avaliao de polticas pblicas objeto de pesquisa. Disponvel em

<www.comciencia.br/entresta5/ arretche.htm>. Acesso em 29.abr.2004.
____Tendncias no estudo sobre avaliao. In: RICO, E. M. (Org). Avaliao de polticas
sociais: uma questo em debate. 3 ed. So Paulo: Cortez/IEE, 200 1(a), p. 29-39.
____ Uma contribuio para fazermos avaliaes menos ingnuas.
In:
BARREIRA, M. C. R. N; CARVALHO, M. C. B. de. (Orgs.) Tendncias e perspectivas na
avaliao de polticas e programas sociais. So Paulo: IEE/PUC, 2001(b), p. 45-56.
BELLONI, 1; MAGALHES, H. de; SOUSA, L. C. de. Metodologia de avaliao em polticas
pblicas. 2 ed. So Paulo: Cortez, 2001.
CARVALHO, Jos Murilo de. Mandonismo, coronelismo, clientelismo uma discusso conceitual.
Dados, Rio de Janeiro, v.4O, n.2, 1997, p.229-2SO.
COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis: Vozes, 2000.
GOMES, M. F. C. M. Avaliao de polticas sociais e cidadania: pela ultrapassagem do modelo
funcionalista clssico. In: SILVA, M. O. Silva. (Org). Avaliao de polticas e programas
sociais: teoria e prtica. So Paulo: Veras, 2001.
LOPES, M. A. 5. (Coord.) Pesquisa sobre impactos scio ocupacionais em comunidades
participantes do programa de educao profissional de trabalhadores rurais sem
escolaridade. Braslia: SENAR, 2001.
NEMES, M. 1. B. Avaliao em sade: questes para os programas de DST/ AIDS no Brasil.
Fundamentos de Avaliao n 1. Rio de Janeiro, 2001.
ROCHE, C. Avaliao de impacto dos trabalhos de ONGs. Aprendendo a valorizar as
mudanas.. 2 ed. Sao Paulo: Cortez/ABONG,2002.
SILVA, M. 0. da S. Avaliao de polticas e programas sociais: aspectos conceituais e
metodolgicos. In: SILVA, M. 0. da S. (Org.) Avaliao programas sociais: teoria e prtica.
So Paulo: Veras Editora, 2001, p. 47-93.