Avaliao poltica e avaliao

de polticas: um quadro
de referncia terica
Marcus Faria Figueiredo*

Argelina Maria Cheibub Figueiredo*

Este documento teve origem no seminrio sobre "Metodologias de Avaliao de Programas Sociais" promovido pelo CENDEC/IPEA, cujo teor e objetivo

esto no Relatrio elaborado por Srgio Abranches. Contamos, para sua realizao, com o apoio fInanceiro do Instituto de Planejamento Econmico e Social
(IPEA), ao qual agradecemos.
Nosso objetivo foi fazer uma reviso sistemtica da bibliograf"", especializada e recente sobre avaliao de polticas pblicas e dos estudos de avaliao de
polticas sociais no Brasil.
Procuramos destacar os conceitos-chave e montar um quadro de referncia
terica para a Avaliao de Politicas Sociais. Fazemos no fnel um brevssimo comentrio sobre o documento "Prioridades 8S" sugerindo alguns pontos para um
debate mais amplo sobre o programa social da Nova Repblica.

AVALIAO POLl'rICA E AVALIAO DE POLl'rICAS

Na anlise de polticas pblicas os cientistas polticos tm se preocupado,

essencial e tradicionalmente, em estudar como as decises so tomadas: que fatores

influenciam o processo de tomada de decises e as caractersticas desse processo.

O desenvolvimento recente da subrea de avaliao de polticas sofre desse mesmo
vis comportamental e neutralista: estuda-se a eficcia das polticas descartando a
avaliao poltica dos principios que os fundamentam e, em decorrncia, o seu
prprio contedo substantivo (Anderson, 1979; Barry, 1975; Dahl, 1981; Lima.
Jr. et alii 1978).
Em conseqncia, o processo de avaliao definido como:

* Do Instituto de Estudos Econmcos e Sociais

* Da Universidade de Campinas - UNICAMP

de So Paulo - IDESP

An61 Conl., Belo Horlzont., 1 (3): 107 .127, set/dez. 1986

107

"a anlise crtica do programa (poltica) com o objetivo de apreender, principalmente, em que medida as metas esto sendo alcanadas, a que custo, quais
os processos ou efeitos colaterais que esto sendo ativados (previstos ou
no previstos, desejveis ou no desejveis) indicando novos cursos de ao
mais eficazes" (Lima Jnior, et. aIii 1978: 4-5).
Contudo, como lembra Brian Barry, avaliar atribuir valor: determinar se
as coisas so boas ou ms. A avaliao poltica consiste, portanto, em atribuir valor
s polticas, s suas conseqncias, ao aparato institucional em que elas se do e aos
prprios atos que pretendem modificar o contedo dessas polticas (Barry, 1975, v.
I, p. 340). Para tanto, necessrio estabelecer critrios de avaliao que nos permitam dizer se e porque uma poltica prefervel outra. Na medida em que envolve
princpios polticos, cuja relevncia dada por Sua conexo com alguma concepo
de Bem-Estar humano, e as prioridades a serem observadas entre eles, a anlise de
avaliao ter sempre um carter complexo e controverso. No obstante, parece-nos
difcil prescindir do que aqui estamos chamando de Avaliao Poltica como uma
etapa pre1iminar e preparatria do que convencionalmente se chama Avaliao de
Poltica.!
Ao chamarmos a ateno para a necessidade da avaliao poltica propriamen-

te dita, temos como objetvo nico deixar claro o critrio que deve informar a avaliao de polticas especficas. Dessa forma, por avaliao poltica entendemos a
anlise e elucidao do critrio ou critrios que fundamentam determinada poltica: as razes que a tomam prefervel a qualquer outra. Mas uma vez, porm, recorremos a Brian Barry para lembrar que estas razes tm que ser relevantes, ou seja,
devem estar referidas a princpios cuja realizao ir, presunvelmente, contribuir
para uma desejvel quantidade e distribuio de bem-estar. 2
Essas consideraes se tomam to mais relevantes quando se considera a
peculiaridade da poltica a ser avaliada. O plano Prioridades Sociais para 1985, como um primeiro esforo de ao social do governo na Nova-Repblica, tem COmo
alvo principal corrigir uma situao social em que persistem extensos bolses de
pobreza e altos nveis de desigualdade social, resultantes de distores das polticas
econrnca e social, dos governos anteriores. Nesse sentido, o plano guarda um carter emergencial que est explcito no seu objetivo prioritrio de eliminao desses
bolses de pobreza e dos altos (grifo nosso) nveis de desigualdade social e regional.

1 No se trata de contrapor a anlise normativa, COmo a preocupao precfpua com o que

deve ser, anlise emprica visando a preetsc, ainda que limitada, dos processos sociais (Dahl,
1981; p.l07-13). Muito menos de retomar a discusso sobre o carter particular da pesquisa de
avalac como mero instrumento de previso de subsdios imediatos (em detrimento, eventualmente, de mtodos e procedimentos "cientficos") para a tomada de decises e sua possvel
contribuio para o desenvolvimento da teoria bsica ou vce-versa.

2 Este nvel de nlise no deve ser visto como exclusividade da filosofia poltica e nem um enfoque dessa natureza que estamos propondo. No se deve perder
de Vista que, por sua relevncia (vinculao com o bem-estar humano), esses princpios so sempre objeto de argumentao poltica, e, nesse sentido, a sua anlise
serve de base no s para a avaliao sistemtica da poltica, como tambm para o
uso (pottico) da avaliao.
108

An6I. Conl, hlo Horlzont., 1 (3): 107127, set./dez. 1986

Quanto aos meios de execuo, poucas mudanas so previstas, uma vez que o plano se limita a ampliar programas j existentes. No obstante, ele aponta para uma
nova concepo de poltica social pela rnportncia atribuda aos princpios de
igualdade e democracia. Alm disso, prope atingir nveis mais adequados de eficincia, eficcia e efetividade, e indica as diretrizes - transparncia e descentralizao
- que devem orientar a tomada de decises e a implementao das polticas a ele
pertinentes.

o simples enunciado destes princpios indica a necessidade de uma avaliao

- no sentido mais amplo - que sirva de base para decises polticas posteriores. Esta avaliao no deve se perder na mera anlise conceitual dos princpios (explcitos
ou implcitos) que fundamentam a formulao da poltica. Pelo contrrio, reconhecendo o consenso social existente em relao aos princpios contemplados no plano

de prioridades, deve voltar-se para a questo da compatibilidade interna entre esses

princpios e da consistncia deles com os mecanismos institucionais previstos. Em

determinados momentosocorrero incongruncias e trade offs. Nesses casos,opes

tero que ser feitas e, ento, o conhecimento de alternativas teoricamente possveis
e de suas respectivas conseqncias torna-se essencial.

AVALIAAO DE POLl.... ICAS: OBJETlVO,

CRITJ:RIOS E MODELOS ANALfTICOS

De maneira geral, a avaliao de polticas sociais usa os mtodos prprios da

pesquisa social, notadamente a pesquisa de populaes por amostragem, a anlise
de dados agregados (tambm chamado de contabilidade social), anlise de contedo
e observao participante (Freeman e Scherwood 1970; Guttentag e Struening,
1975; Tripodi, 1971). A escolha do mtodo a ser utilizado decorre mais do objetivo
da poltica ou programa sob observao e de seu escopo social do que da preferncia intelectual do analista (Deutscher, 1979). O mais importante nessa discusso o
estabelecimento das conexes lgicas entre os objetivos da avaliao, os critrios
de avaliao e os modelos analticos capazes de dar conta da pergunta bsica de toda pesquisa de avaliao: a poltica ou programa social sob observao foi um sucesso ou um fracasso?
A noo de sucesso ou fracasso de uma poltica depende obviamente dos propsitos dessa politica e das razes que levaram o analista a avaliar tal poltica.

Do lado dos propsitos das polticas, devemos considerar que as polticas

pblicas - as decises governamentais - tm geralmente dois aspectos:
a) gerar um produto fsico, tangvel e mensurvel; e
b) gerar um impacto, que, tanto pode ser fsico, tangvel e mensurvel, quanto subjetivo, alterando atitudes, comportamentos e/ou opinies.
Na gerao de um produto no tempo 1, este no precisa necessariamente
ser maior ou menor do que havia no momento anterior. Ou seja, a reproduo rotineira de servios pblicos e de programas em si um produto de urna poltica,

observvel a qualquer tempo.

....n61. ConJ., Belo Horizonte, 1 (3), 107.127, .et./du. 1986

109

Deixando de lado a reproduo rotineira, podemos dizer que os governantes

sempre esperam algum impacto quando decidem por uma poltica. Os produtos
(policy Outputs) so indicadores de que os governos esto fazendo, de suas prioridades, e das demandas que esto sendo atendidas, dos interesses que esto sendo
articulados e dos benefcios e objetvos que esto sendo perseguidos. No entanto,
como sugere Nachrnias (1979; 3) produtos de polticas no revelam necessariamente em que medida os objetivos desejados foram ou no atingidos, ou seja, no reveIam os impactos de tais produtos nas condies de vida da populao, Nesse sentido, o impacto de uma poltica uma medida do desempenho da ao pblica, ou
seja, uma medida em que a poltica atingiu ou no os seus objetivos ou propsitos.

Do lado das razes ou motivos que promovem a avaliao de polticas podemos identificar razes morais e razes instrumentais.
Do ponto de vista moral as avaliaes tanto de produtos quanto de impactos
de polticas podem caminhar em duas drees, Por um lado, a motivao pode estar na moralidade positiva, legal, notadamente no que se refere probidade dos
gestores e usurios na gesto do programa e na apropriao dos seus benefcios.
Exemplo notrio desse tipo de avaliao so as auditorias contbeis, quer financeiras ou de material. Neste caso a avaliao administrativa e legal, situao que
no nos interessa neste trabalho. Por outro lado, a motivao pode estar, no na
moralidade admnstrativa, mas na moralidade poltica ou social. Ou seja, se os
propsitos das polticas ou programas so condizentes com princpios de justia
poltica e social minimamente aceitos. Esta linha de motvao est na base do
que Abranches
(1985) chama de "auditoria social" que trataria de outros aspectos, mas, principalmente, de questes relacionadas com os princpios de justia que norteiam a formulao e deciso de polticas e suas possveis conseqncias nas condies de vida da populao. Neste caso, se a avaliao se detiver no
exame substantivo da poltica e de seu produto, sem entrar no mrito da efetiva
apropriao de seus benefcios por parte da populao, ela fica restrita avaliao poltica, conforme antes destacamos. Ao entrar no mrito da efetiva apropriao dos benefcios, como sugere Abranches, avanamos para a avaliao de poltica, tanto do seu produto quanto do seu impacto. Aqui, ento, o objeto da avaliao no tanto o volume ou a natureza do produto, nem o tamanho de seu
impacto, mas se esses produtos condizem, minimamente, com princpios de justia poltica e social sobre os quais existe um consenso mnimo.
A motivao instrumental est intimamente ligada com a implementao
da poltica ou programa. Neste caso, o objetivo bsico da avaliao a gerao:
contnua de informaes para rnontorar a execuo do programa (Hargrove,
1975). Ou seja, constatar, por um lado, o processo de produo do produto esperado, quanto ao volume e quanto qualidade, e, por outro lado, controlar os Seus
impactos.
Ao considerarmos esses pontos preliminares, vemos que as pesquisas de avaliao se enquadram em dois tipos bsicos: avaliao de processos e avaliao de
impactos (Nachmas, 1979, p. 5).
A avaliao de prooessos visa a aferio da eficcia; se o programa est sendo (ou foi) implementado de acordo com as diretrizes concebidas para a sua exe110

Anl. Conl., Belo Horizonte,

('3)= 101-127, 'et./du. 19M

cuo e se o seu produto atingir (ou atingiu) as metas desejadas. A importncia

desta linha de avaliao est no fato de que impossvel antever todos os tipos de
entravas, problemas e conflitos possveis durante a realizao de um programa.
Embora a anlise de experincias passadas sirva para aumentar o estoquede conhecimento, ela jamais ser suficiente para prescindir-se da avaliao processual concomitante implementao de qualquer programa. Se a avaliao processual no
objetiva medir o tamanho ou a natureza do impacto do programa ela, entretanto, quando feita ao longo da implementao, representa a possibilidade de monitorao dos processos diretamente responsveis pela produo do efeito esperado. Isto , ela permite controlar com a devida antecpao o tamanho e a qualdade do efeito desejado.
A anlise de impacto, por sua vez, tem uma ambio mais ampla e bem mais
complexa (Rossi et alli, 1977). Ela diz respeito aos efeitos do programa sobre a
populao-alvo e tem, subjacente, a inteno de estabelecer uma relao de causalidade entre a poltica e as alteraes nas condies sociais (Deutscher, 1979; Lima Jr. et alli, 1978; TulIock, 1978).

H muito, Humbert Blalock chamou-nos a ateno para o gap existente entre as proposies tericas causais e a verificao emprica na relao causa-efeito. O gap apontado por Blalock decorre quase sempre da ausncia de trs fatores
bsicos: definies operacionais claras dos objetivos do programa, especificao
dos critrios de sucesso e medidas de aferio do sucesso (Butter, 1983; Fgueiredo e Balbachevsck, 1983; Nachmias, 1979).
Destes trs fatores, os dois primeiros no so restritos avaliao de impactos. Na avaliao processual a existncia de definies claras dos objetivos dos
programas e a especificao de critrios de sucesso so, da mesma forma, fundamentais. De qualquer modo, a conexo lgica pode ser resumidamente delineada: a definio dos propsitos da poltica ou programa condiciona os objetivos da
avaliao; estes, por sua vez, condicionam o tipo de pesquisa empregado na avaliao; esta escolha, por sua vez, determina o critrio de sucesso, que, por ltimo, estabelece o modelo analtico de aferio do sucesso. Esta cadeia de condicionantes
funciona como um processo de diminuio dos graus de liberdade dos analistas nas
suas opes intelectuais e metodolgicas.

Para uma viso global desse processo de opes controladas elaboramos o

quadro 1, onde esto relacionados os caminhos "naturais" entre os propsitos da
poltica e os modelos analticos de aferio do sucesso.

2.1

PoHticas com propsitos de produo de bens ou servios pblicos

Encontram-se nesta vertente as polticas ou programas cujos objetivos no

vo alm da prpria dstribuio de bens e servios, sem preocupao especfica
com mudanas. E bvio que qualquer produto govemamental pode ser visto como
pretendendo algum impacto. A prpria reproduo rotineira de alguma coisa pode
ser interpretada como um propsito efetivo de evitar a deteriorao de prestao
dos servios pblicos, o que no deixa de ser um impacto. No entanto, para efeito
de classificao conceitual, perfeitamente plausvel incluirmos nesta categoria
aquelas polticas que no visam uma mudana ou uma alterao em determinada
o4.n61. Conl., Belo Horizonte, 1 (3): 107.127, .etJdez. 1986

1\1

condio social. Polticas de emprego, de absoro escolar, em suma, de atendimento ao pblico nos mais variados setores, que buscam atender apenas ao crescimento vegetativo de demandas decorrentes do crescimento demogrfico, no
visam em si nenhuma mudana entre o presente e o futuro.
A avaliao de polticas dessa natureza enquadra-se perfeitamente no que
se chama de avaliao de processo. O objetivo avaliativo aqui acompanhar e aferir se os propsitos, estratgias e execuo do programa esto sendo realizados
segundo as definies previamente estabeiecidas. Na linha de avaliao de processos, a literatura destaca os seguintes tipos de pesquisa: a) avaliao de metas ou
resultados; b) avaliao de meios-metodoiogia de implantao; c) avaliao de relao custo/benefcio e/ou custo/resultado.
2.1.1 Avaliao de metas: eficcia objetiva

A avaliao de metas talvez seja o tipo mais simples e comum, e o mais difundido. Em geral feita pelos prprios rgos encarregados da execuo da poltica. Enquadram-se aqui os relatrios anuais das entidades e as estatsticas que estes produzem com o intuito de demonstrar que "cumpriram Com as expectati-

vas", no que se refere ao volume e qualidade de produto. O critrio de sucesso

usado o da eficcia objetiva, isto , se as metas atingidas so iguais, superiores
ou inferiores s metas propostas. O modelo analtico empregado para a aferio
do sucesso ou fracasso do programa consiste em medir se a diferena entre a meta
atingida e a proposta est dentro de limites tolerveis. Estes limites ditam a faixa
do sucesso/fracasso da poltica.
2.1.2 Avaliao de meios: eficcia funcional, administrativa e contbil

A avaliao de meios pode tomar dois rumos distintos, como vimos antes:
ela pode ser moral ou instrumental. Normaimente os programas de polticas pblicas contemplam uma seo destinada ao que se chama "avaliao e acompanhamento", na maioria das vezes ambiguamente defndo e sob aresponsabilidade de
membros da prpria equipe executora do programa. Esta ambigidade de intenes desse "setor" de avaliao e acompanhamento prejudica fortemente a escolha
dos critrios de aferio do sucesso/fracasso do programa.
Em pesquisas com este objetivo temos trs critrios de eficcia: Funcional,
Administrativa e Contbil. Quando a inteno da avaliao est na moralidade
executria, os critrios da eficcia administrativa e contbil so os usados. Nestes
casos os modelos analticos de aferio so os de auditoria. No caso da inteno
instrumental o critrio adequado o da eficcia funcional, cujos modelos analticos so construdos para aferir se os meios e a metodologia de implantao do
programa esto sendo empregados de acordo com as estratgias previamente definidas.

Esta monitorao, porm, pode ir alm da simples constatao e, experimentalmente, simular a adequao entre os meios e fins propostos, tendo em vsta as condies organizacionais e sociais onde o programa est sendo implementado.
112

An61.. Conl., B.lo Horlzont., 1 (3): 88-106, t./d.z 1986

Cabe ainda ressaltar que os critrios e eficcia administrativa e contbl no

so exclusivamente instrumentos de aferio da moralidade executria: o cotidano nas prticas administrativas e contbeis pode identificar prticas prejudiciais ao
desempenho adequado (funcional) do programa. Neste sentido, o uso simultneo
;desses dois critrios pode e deve ser estimulado, mas a inteno instrumental deve
, ser largamente enfatizada.

2.1.3 'Avaliao da relao custo-benefcio e custo-resultado: eficincia

Os estudos de avaliao que visam estabelecer relao tima entre os custos da

implantao de uma poltica e os benefcios derivados de seus resultados so efetivamente os menos utilizados na avaliao de polticas sociais (ver seo 3).
O conceito de eficincia - custo mnimo possvel para o mximo de benefcio possvel ~ largamente utilizado em estudos econmcos, notadarnente na
micro-economia (Booms, 1976; Wildawski, 1968).
Oriundo da noo de otirnizao dos recursos disponveis, o conceito de
eficincia ganha uma elasticidade enorme quando transferido da avaliao do desempenho econmico de empresas para a avaliao poltica e para a avaliao de
polticas. Certos crticos das aes governamentais usam fartamente este concei-

to, "debitando" nos custos de implantao dos programas "custos" que no so

tangiveis e mensurveis, tais como o tempo perdido em virtude de prticas burocrticas pouco flexveis, os compromissos das negociaes, as alteraes processuais decorrentes de conflitos polticos, e outros. Decorre da o preconceito de
que toda ao governamental ineficiente quando comparada com a iniciativa
privada, em qualquer setor da vida social.

QUADRO I
AVALIAAO OE POLITICAS
OB~ETlVOS, CRITRIOS E \10DELOS ANALITlCOS
'~Of'!;ITO

DA POLIT,e..
Ol)PADGAA....

...,; ... ~M .... d.,"",""n",,"

. . . .0 . . . . . . "*"'0... """"'.

OSJl'TIVO

II ._,-",-- "'_..
D.... ~ .. L' .. Ao

'ogl . . .

da

nl,(n'05 oe ........'cAo
fNl:eSWIFI<"'=

"do'

'mo.,""Io ...oeuefo

11.. ".,.. '.- ....."0

'''''''0_",,''''_
,_o"","",.,,,,,,,,,",.,,
""""''''''''''''",'''''>l..
....
,..,...

"''''_doi_."",,"..
""'''''''''''."'''''''010''''"

<ro'."",,,,;,,,,".,,,,,,,,,,,,,,,

.. o.""""'",...""';",,
;",,,,,,"1

n".... .,.."'.,",,'_1

,m......a_,... ""...,...
",";";"",",-",,,,,.

II

"-" . ,
"'''... !doo ".""...
to "O, .0 ....

''',*''Objo'h,

Co ...."....

'::'<0."_

"''''<&OE<lo'",,'''_''_,'';

".~

"'''ii''"''' 1""''';10''''''''

"'''''_0''''''''''''''0'''
, , $ ....... -

.....
. ._.m_o<.'
''''0"'''''''''0001",.,,+

MOOl'lOS ANA .. ,TICOS PAAA

...NSURAAQCXJ

SlJ<;ESOOIFRACASSO

......,"" "-'

"''''''''''"

......."lo.''''';...... "'.~

lool,eyo", "u,,1

TIPOl;oe .ESOUIS"

IG8JET <JE"""<lAAo,'

H"";.Fun~",,,1

""""".M",'"",,,,,,,
";C<"'Co",,'bl'

..

..

e'~"n""_,"_'"
~,.""",,,,,,;,;

E,",,~d.'''''''~t

"""""

__",'"

PU'-""""
,..""""'..""
"'(m'",,'d,""~_'

''''''''..............' """"O<M

0.. 11'"""" ' .. """";ol....

An61. Conl., Balo Horlzonta, 1 (3): 107127, set.ldez. 1986

.....
........ ,, .
",",...,.,,,
_.~,,.

" ,,,,.,,,"
...

0'"'""<&0 ..... _"_' ...1".

....''''''I(;.... m'.'"'''

,.......

_.

....., . _....m.1

Y' "Yol

...

,-... """'.......
v' tJ., IY
O"

"'. ;,I_.S_..,, .

""u l

...."" <:0"'''10,
Z'

t"

j"''''';'

'1,1",.
113

A origem desse preconceito est na falcia de qne os indivduos e institues que esto fora do aparelho do estado esto, por definio, isentos desses
"custos" atribudos s aes governamentais. Suposio que obviamente falsa.
No' fora apenas por isso, a passagem da esfera privada para a pblica exige um
redimensionamento do conceito de eficicncia, pois o governo est permanentemente exposto a demandas sociais e presses polticas, enquanto que entidades
privadas - filantrpicas ou no - esto em geral desobrigadas de dar respostas a
tais demandas e presses.
Nesse sentido, o conceito de eficincia, ao ser transplantado como critrio
de avaliao de politicas, especialmente de politicas sociais, ganha uma nova di

menso: ao lado da noo estritamente econmica de custo-benefcio agrega-se a

noo de custos e benefcios polticos.

o conceito de eficincia na esfera pblica bidimensional. Vemos, de um

lado, a eficincia instrumental, definida pela relao estrita entre custos econmicos e benefcios que so, em geral, tangveis e divisveis; de outro, temos a

eficincia poltica, definida pela relao entre os "custos". sociais ou polticos, e

os beneficios deles derivados.

A admisso de que existe uma dimenso poltica na anlise da eficincia torna

a avaliao bem mais complexa. A noo de custos sociais tem por sua vez duas
dimenses: de um lado, eles originam-se de demandas sociais no previstas, que podem ser traduzidas em custos econmicos-fmanceiros; de outro lado, esto os "cus-

tos" sociais e politicos no traduzveis para unidades monetrias, em geral "pagos'

pela populao atingida pela ao de governo, e que so sempre "debitados" ao lado
do custo da ao governamental. O complicador est no fato de que os custos sociais e polticos tm sinais trocados em relao taxa de eficincia instrumental. A
incorporao da dimenso poltica ao conceito de eficincia governamental conduz,
ento, a uma queda na taxa de eficincia instrumental de qualquer programa social,
Cabe ao analista mostrar a variao da taxa de eficincia instrumental segundo cenrios sociais e polticos distintos, e aos que tomam decises decidir por uma taxa
de eficincia global. Fica com estes a difcil tarefa de decidir o quantum de irracionalidade esto dispostos a introduzir na taxa de eficincia instrumental tima, ternando-a subtima. Este quantum, em muitos casos, o "preo" da democracia,
que deve ser pago por todos.
Isto posto, O uso de critrios de eficincia para a aferio do sucesso de pol'ticas sociais no deve ficar restrito sua dimenso instrumental, econmica. Tem-se

que introduzir ai o nvel de satisfao da populao, pelo menos da populao-alvo. Em uma palavra, no basta que polticas pblicas sejam instrumentalmente
eficientes. Elas devem ser tambm politicamente eficientes.

2.2

Polticas com propsito de mudanas

e avaliao de impactos: efetividade
objetiva. subjetiva e substantiva

Esta segunda vertente da ao pblica e, conseqentemente, a sua avaliao,

toma por objeto essencial de anlise as mudanas pretendidas nas condies sociais.
114

An!. Conl'J B.lo Horizonte, 1 (3): 101-121, set./dez. 1986

Polticas com estes propsitos reservam a si a importncia de causarem um

efeito esperado, o que condiciona a avaliao ao uso de um-critrio de aferio de
mudanas e de modelos analticos causais. Diz-se que essas polticas ou programas
obtiveram sucesso quando se pode imputar a eles a condio de causa necessria,
quando no suficiente, de uma mudana observada. Ou seja, a constatao de que
ocorreram mudanas no suficiente para concluir-se pelo sucesso do programa;
necessrio demonstrar que elas no ocorreriam (total ou parciahnente) sem o programa. Em outros termos, necessrio demonstrar que a atuao do programa
empiricamente relevante na determinao da mudana observada (Bennett e Lumsdaine, 1975; Campbell,1969, 1972).

A noo de causalidade embutida nas polticas com propsitos de mudana

estabelece, ademais, que essas polticas so aes experimentais por excelncia; so
condies que visam alterar o futuro previsvel dado pela inrcia social. A escoiha
da poltica A, aiternativa a qualquer outra, representa a escolha de um mundo futuro A, alternativo a qualquer outro. O cenrio futuro A relativo ao presente
apenas e somente sob as condies de mudana estabelecida na poltica A. Neste
sentido, a probabilidade de se chegar ao cenrio futuro depende da possibilidade
emprica de se concretizar - implementar - as condies especificadas no plano
de mudanas. Essa possibilidade emprica de mudanas , porsua vez, funo de
dois fatores: de um lado a mudana tem que ser economicamente sustentvel e,
por outro, ela precisa ser ideolgica ou culturaimente vivel. A ausncia de um desses fatores inviabiliza, ou na melhor das hipteses, posterga a mudana (Elster,
1978).
Com esta lgica experimental de funcionamento, polticas com propsitos
de mudana esto sujeitas aos seguintes resultados:
a) o resultado esperado alcanado;

b) um resultado no esperado produzido, sendo porm positivo;

c) resultados do tipo (a) e/ou (b) ocorrem e so bons no ciclo de vida imediato, porm negativo no mdio ou longo prazo;
d) o resultado esperado produzido no que diz respeito a cada membro
da populao-alvo, isto , cada indivduo melhora sua situao social;
a mdio prazo, a categoria social a que estes indivduos passam a pertencer pora".
e) o resultado esperado no alcanado, e nenhum outro resultado produzido;

f) um resultado no esperado ocorre, sendo porm negativo.

3 Isto que Boudon (1979) chama de "efeitos perversos". Ao analisar a poltica educacio-

nal francesa, Boudon constatou que a opo por cursos proflssionalzantes, de fcil absoro
pelo mercado ou de grande prestgio social, ainda que resultasse em,b.enefcios;~ara c,a~a um
dos recm-formados desses
quela categoria profissional.

CUISOS,

com o tempo, provocava o declnio do salno mdio da-

An61. Ccnl., B.lo Horizonte, 1 (3): 107-127, Iltt./dltz. 1986

115

Os dis primeiros resultados so, genericamente, parmetros para a aferio

do sucesso, enquanto os resultados (e) e (f) sro, respectivamente, parmetros para a aferio do fracasso e do resultado catastrfico. O resuldado definido em (c)
servir de parmetro de aferio do sucesso ou do fracasso dependendo do escopo
da pesquisa de avaliao. O resultado (d) problemtico, paradoxal, pois ele pressupe um conflito entre efeitos individuais e agregados.
Cabe ainda ressaltar que esses resultados no so excludentes quando considerarmos a natureza do impacto que a poltica implementada pode causar. Uma
mesma poltica pode causar impactos objetivos, gerando mudanas quantitativas
nas condies da populao-alvo, pode ainda gerar impactos subjetivos alterando
o "estado de espirto" da populao, e, finalmente, pode causar um impacto substantivo mudando qualitativamente as condies de vida da populao.

Nesse sentido, as pesquisas de avaliao de impactos de polticas ou programas podem ou no contemplar essas trs dimenses de mudana. Isto depender
dos objetivos da poltica, se estes pretendem ou no alterar esses trs aspectos das
condies de vida da populao-alvo. No entanto, do lado do analista, tambm
possvel expandir o escopo da pesquisa para captar outras mudanas no pretendidas. Se uma poltica pretende apenas, por exemplo, gerar impactos objetivos, pode-se investigar as conseqncias subjetivas ou substantivas decorrentes das mudan-

as quantitativas nas condies de vida da populao. Neste caso, se a pesquisa no

obtiver indicadores empricos capazes de aferir as mudanas subjetivas e/ou substantivas, tal argumentao no passar de conjecturas sobre possveis conseqn-

cias futuras (Bardach, 1977; Cookl e Carnpbell, 1975; Tullock, 1978).

ticas

Pelo exposto at aqui, voltamos a enfatizar o carter experimental das polde impacto e a inexorvel conseqncia metodolgica na sua avaliao:

pesquisas de avaliao de polticas de impacto necessariamente tm que usar mtodos analticos experimentais, e os analistas dessas pesquisas tm que enfrentar
todos os problemas metodolgicos que estes desenhos analticos tm quando se

trata de pesquisa social.

Em se tratando de pesquisa de avaliao de polticas sociais, dificilmente

poderemos ter um desenho experimental, mas sim o que a literatura chama de desenhos quase-experimentais, dado que no nos possvel controlar todas as variveis ambientais que atuam no experimento - um ciclo completo de implementao

da poltica (Campbell, 1969; Chapin, 1977; Cook e Campbell 1975; Lima Jr. et alii,
1978; Riecken e Boruch 1974).
Este carter experimental das polticas de impactos tem por critrios a aferio do sucesso/fracasso e efetividade, a qual, por decorrncia da natureza do impac-

to pretendido, pode ser tambm objetiva, subjetiva e/ou substantiva.

A efetividade objetiva o critrio de aferio da mudana quantitativa entre
o antes e o depois da execuo do programa. O critrio de avaliao efetividade
subjetiva tm sido cada vez mais usado na medida em que o conceito de Bem-Estar
Social tem sido desdobrado em suas dimenses materiais, psicolgicas e culturais.
Nesse sentido a efetividade subjetiva torna-se o critrio de aferio de mudanas
psicolgicas, de mudanas nos sistemas de crenas e valores e, notadamente, tem a
116

"n61. Conl., B.lo Horizonte, 1 (3)

107 127, I.t./du. 1986

funo de aferir a percepo da populao sobre a adequao dos resultados objetivos dos programas aos seus desejos, aspiraes e demandas. Ou seja, o nvel de
Bem-Estar Social tem de ser julgado por esta dimenso subjetiva tambm. A efetividade substantiva , por sua vez, o critrio de aferio de mudanas qualitativas
nas condies sociais de vida da populao-alvo.
Os modelos analticos capazes de mensurar as mudanas - para as trs dmenses da efetividade - so desenhos experimentais que comparam o estado dos
diversos aspectos da populao antes e depois da execuo do programa, garantindo-se um mnimo de controle, pelo menos analtico, sobre as variveis ambientais
que atuam sobre a populao no perodo da experimentao.

o propsito de intervir em processos sociais em andamento, sempre implcito em polticas de impacto, revela uma concepo causal da histria cotidiana
que tem o seguinte argumento.
Pela lei da inrcia social, o futuro imediato tende a se reproduzir, podendo
apresentar variaes marginais decorrentes da nterao entre as variveis ambientais e as trajetrias de vida com mudanas "predeterminadas" pela histria social.
Formalmente, a inrcia social tem o seguinte modelo:
Inrcia Social: Y +

f(Y

to)

+f(V)

(I)

A deciso de intervir nesse processo para alterar o futuro implica introduzir

um conjunto de variveis exgenas no sistema (1), o qual passa a ser:
interveno Social:

Y '

(2)

+1

Afere-se ento a efetividade da poltica medindo-se o peso relativo de

f (~o) sobre a determinao de Y + 1

'

O desenho analtico completa-se, ento, com a constituio de um grupo de

controle. Ou seja, formula-se um modelo de inrcia social do tipo respresentado em
(I) constitudo por ambientes sociais tao semelhantes quanto possvel aos que sero objeto de interveno deliberada. Com o que obtemos os seguintes sistemas:

Interveno Social: Y' +

Grupo de Controle: Z t +

f(Y

to

f( Zto)

+f(Xto)

+f(V)

(3)

+ f( V)

Se o estado futuro y" for significativamente diferente do Z' e esta diferena

puder ser atribuda presena dos fatores em f(~o)' ento conclui-se pela efetivdade da poltica sob observao. Ademais, se o estado futuro Y" estiver dentro dos
parmetros desejados - dentro dos objetivos da poltica - conclui-se pelo sucesso
da empreitada social. Caso contrrio, conclui-se pelo fracasso.

O modelo defmido em (3) e a lgica de aferio da efetividade, tal como

mostrada, ajustam-se perfeitamente avaliao da efetividade objetiva e subjetiva.

No caso da anlise de impactos substantivos necessrio ir-se alm do modelo definitivo em (3).
Anl. Co"I., a.lo Horlzont., 1 (3)' 107-127, set.ldaz. 1986

117

A anlise de impactos substantivos tem de lanar mo de parmetros externos ao programa. Notadamente so usados princpios de justia social para avaliar
os propsitos e os resultados alcanados. Neste sentido a aferio da efetividade
substantiva de uma poltica social transita constantemente entre a avaliao politica da politica implementada e a avaliao do impacto de seus resultados. Isto ,
no basta aferir se o estado futuro Y" desejado ocorreu. necessrio avaliar se esta nova situao, luz de alguns princpios de justia social minimamente aceitos,
positiva. O exame de efetividade substantiva exige, pois, uma avaliao poitica
da mudana.

AVALIAAO DE POLITICAS SOCIAIS NO BRASIL

A pesquisa de avaliao ainda incipiente no Brasil. A avaliao de politicas sociais desenvolveu-se apenas nos anos 80 e, mesmo assim, de forma desigual
entre os diferentes tipos de polticas socass Essa assimetria revela-se no s no
nmero de estudos produzidos e o nmero de programas que so objeto de avaliao, como tambm no que diz respeito Sua sstematicdade, ou seja, na utilizao ou no de critrios explictos de avaliao e de uma metodologia especfica e
apropriada ao critrio empregado. Entre as diferentes polticas sociais estudadas 5,
a rea de nutrio se destaca como a que apresenta uma prtica mais sistemtica
de avaliao, segundo todos os critrios anteriormente assinalados. Antes de enfocarmos especificamente os resultados referentes a esta rea, por sua importncia dentro do plano de Prioridades Sociais para 1985. resumiremos alguns resultados que caracterizam, de maneira geral, o estado das artes de pesquisa de avaliaes de polticas sociais no Brasil.
Em primeiro lugar, cabe ressaltar que, de um totai de 144 casos, apenas 6%
dos estudos avaliam como inteiramente positivos os resultados dos programas analisados. Ainda assim, detectou-se nesses resultados a influncia decisiva de fatores
institucionais, ou seja, o fato de as avaliaes terem sido encomendadas e/ou realizadas diretamente por rgos vinculados aos programas. Uma proporo de 25%
dos estudos avalia de forma inteiramente negativa os programas analisados e ao
contrrio dos que avaliam positivamente, foram realizados em instituies e/ou
l

por pesquisadores individuais independentes, em sua maioria na universidade. A

grande maioria (69%), porm, situa-se entre estes dois extremos, ou seja, constituda de estudos que, mostrando os aspectos positivos dos programas, apresentam
restries ou problemas que, alm de numerosos, se mostram fundamentais para
o funcionamento e/ati efeitos dos programas avaliados.

O mais freqente dos problemas apontados o distanciamento do programa

em relao a seus objetivos iniciais, em decorrncia, geralmente, de distores na

4 Esta sec baseia-se nos resultados e no .material de pesquisa desenvolvido no Ncleo de

Estudos de Polticas Pblicas (NEEP) da Universidade Estadual de Campinas (UNICAMP) sob
a coordenao de um dos autores deste trabalho. Ver Figueiredo (1985),
5 As reas so: sade, previdncia, nutrio, habitao, saneamento e fundos sociais ~ Programa de Integrao Social (PIS), Programa de Formao do Patrimnio do Servidor Pblico
(PASEP) e Fundo de Garantia por Tempo de Servio (FGTS). Ver Figueiredo (1985).
118

Anl. a Conl., B.lo Horizonte, 1 (3): 107.127, let./du. 1986

sua implementao e, em alguns casos, pela forma como os benefcios so apropriados pela populao. A poltica de habitao oferece exemplos desses dois tipos.
De acordo Com os objetivos enunciados em sua legislao, o que foi oficialmente
apresentado como "uma poltica de habitao de interesse social voltada para as
camadas de baixa renda" transformou-se ao longo de sua implementao (devido
lgica de financiamento da prpria poltica) em uma poltica prioritariamente
voltada para as classes mdias e altas, ou, quando muito, para as parcelas de renda
mais alta entre as camadas de baixa renda. A poltica de remoo de favelas para
conjuntos habitacionais, por sua vez, devido dificuldade do beneficirio em assegurar o gasto com habitao em seu oramento, agravada pelas dificuldades de emprego e acesso a outras facilidades na proximidade dos novos ncleos residenciais,
contribuiu para a entrada subsidiada do favelado na especulao imobiliria, a rotatividade entre moradores de favela e de conjuntos habitacionais e a formao de
novos ncleos de favelas.

Trs outros problemas se destacam pela sua alta incidncia e importncia no

que diz respeito caracterizao do tipo de poltica social implementada. So eles:
a baixa cobertura dos programas, a escassez e/ou m utilizao de seus recursos
financeiros e a m qualidade dos servios prestados. A baixa cobertura dos programas apontada, principalmente, pelos estudos nas reas de Saneamento, Nutrio
e Sade, enquanto o problema de escassez e/ou m utilizao de recursos financeiros predominante nos estudos sobre as polticas de Previdncia e de Sade. A

m qualidade dos servios prestados, por sua vez, aparece como um problema importante em todas as reas de polticas sociais estudadas, exceto nOS Fundos Sociais, obviamente, por suas caractersticas especficas.
Com menor grau de incidncia, h ainda cinco outros problemas. So eles:
o grau de privatizao dos programas, ou seja, sua implementao de forma a privilegiar interesses de grupos privados em detrimento do grupo supostamente beneficirio da poltica; a subordinao do programa poltica econmica ou a outros objetivos externos (rentabilidade, lucro, etc.); baixa participao dos beneflcirios, reais ou potenciais, nas diferentes fases do programa, a includa a inexistncia de canais institucionais atravs dos quais a populao possa se expressar,
encaminhar sugestes e demandas ou influir no processo de deciso ou implementao; centralizao, tanto na formulao , implementao e na organizao administrativa ou em outros aspectos relacionados ao programa, quanto no processo
poltico com repercusses diretas sobre estes, e uso poltico e/ou c1ientelstico
do programa, para fins eleitorais e/ou de apoio poltico.

Finalmente, um problema que diz respeito especificamente ao funcionamento dos programas sociais e que aparece com alta incidncia nos estudos analisados
o da falta de integrao entre as agncias na implementao dos programas.

Os estudos de avaliao apontam outros problemas mais especficos, difceis de se agregar em grandes categorias. Porm, interessante observar que a
prtica de policy-recomendaton no muito utilizada, o que confirma o carter
incipiente da pesquisa de avaliao stricto sensu. So poucos os estudos que apresentam de forma sistemtica as providncias necessrias para corrigir as distores
detectadas ou que apontam alternativas.
An61. a Co"I., Belo Horizonte, 1 (3): 107-127, let.fdez. 1966

119

Reswnidos os principais resultados substantivos encontrados nas pesquisas

de avaliao, resta-nos agora caracterizar o tipo de pesquisa realizada, ou seja: os
critrios e metodologia utilizados na avaliao. A este respeito o primeiro ponto a
ressaltar que a grande maioria dos estudos prope-se a analisar a eficcia dos programas em funo das metas para eles estabelecidas. Seguem-se os estudos que tentam tambm determinar o grau de adequao dos meios aos objetivos do programa
- o que chamamos eficcia funcional.
Entre as pesquisas de avaliao que utilizam critrios intrnsecos dos prprios programas, muito pequena a parcela do que chamamos de avaliao de
eficincia - aquelas que relacionam os efeitos do programa (benefcios) com
os esfor-os (custos) empreendidos para obt-los. Alm disso, tomadas em sentido
estrito como anlises rigorosas de custo e benefcios, essa proporo fica ainda
mais reduzida.
As pesquisas que visam determinar o grau de efetividade do programa analisado, ou seja, medir o impacto da ao governamental na populaa-o-alvo e/ou no
seu environment scio-econmico, so as mais utilizadas, depois das anlises de

eficcia, porm em escala bem menossignificativa.

Alm dessas pesquisas, cujo principal objetivo verificar em que medida
o programa produziu efeitos sobre a situao especfica que visava corrigir, distnguem-se anlises de contextualizao, efetividade substantiva, cujos critrios
so parmetros externos ao programa, tais como justia social, igualdade social,
eqidade, desenvolvimento econmico, etc. Uma pequena porcentagem de estudos dedica-se a este tipo de pesquisa. Pouco encontradas, tambm, so as pesquisas que tomam por critrio de avaliao o grau de satisfao dos beneficirios,
inferido a partir de surveys ou entrevistas informais, Estas so realizadas predominantemente na anlise dos programas habitacionais.
Os diferentes tipos de anlise discriminados implicam o uso de modelos analticos com diferentes nveis de complexidade. Dessa maneira, estudos que avaliam
a efetivdade, a eficincia ou a "contextualizao" dos programas tendem a ser mais
complexos, em termos de procedimentos analticos e metodolgicos, do que estudos que se restringem avaliao da eficcia da poltica, principalmente eficcia
funcional. Nos estudos de avaao das polticas sociais, como mostra o extenso
uso de critrio deieficcia funcional, predominam os modelos analticos menos
complexos. Observa-se ainda assim, no interior de cada um dos tipos de pesquisa
antes discriminados, uma grande variao no que diz respeito ao grau de complexidade e/ou sofisticao nos procedimentos metodolgicos, grau de preciso e diversidade das informaes utilizadas.

Consistentemente com o tipo de pesquisa o modelo analtico, predomina,

tambm, a utilizao de dados agregados e fontes documentais referentes ao prprio programa. Entretanto, de maneira geral, as pesquisas de avaliao usam fontes diversificadas, urna vez que a maioria (60%) usa trs ou mais fontes de informao. O simples uso de fontes diversas, contudo, wn indicador insuficiente da
qualidade ou complexidade do estudo. Para tanto, seria necessrio confrontar de
forma rigorosa as fontes utilizadas com o modelo analtico que serve de base
pesquisa. Isso no foi feito. Tornando-se porm a associao entre as fontes e os
120

An61. a Conj., 8elo Horizonte, 1 (3): 107127, set./dez. 1986

critrios utilizados, como indicadores do grau de adequao entre os procedimentos metodolgicos e os critrios de avaliao, verificou-se que a maioria dos estu-

dos satisfazem a esta condio.

o alto grau de restries s fontes sugere que o uso de fontes diversificadas

foi a forma encontrada de suprir a precariedade das informaes disponveis. Cerca
de um tero dos autores fazem restries explcitas s informaes utilizadas na
pesquisa. Essas restries referem-se, principalmente, inexistncia, escassez, disperso ou precariedade das informaes a respeito dos programas estudados. Aparecem tambm referncias relacionadas a problemas na coleta de informaes: a
forma como os dados so coletados pelas instituies responsveis; os procedimentos utilizados pelo prprio pesquisador na produo de dados novos (como por exemplo, aplicao de questionrios); ausncia de mecanismos de acompanhamento dos programas; o baixo nvel de desagregao das informaes disponveis; dificultando e muitas vezes impedindo a realizao de anlises mais refinadas e detalhadas.
Entre os estudos que avaliam a efetividade (impacto) do programa - a pesquisa tpica de avaliao - observa-se que parte considervel limita-se a medir o
alcance ou cobertura do programa avaliado, ou seja, a efetividade objetiva. Nestes casos, dados agregados relativos ao programa 8;[0 comparados demanda existente, mensurada atravs de indicadores sociais. Alguns estudos procuram medir,

porm de forma pouco rigorosa, os efeitos da poitica nas condies de vida, no

aumento da renda ou do consumo da populao. Apenas nos estudos que avaliam
o impacto de programas nutricionais, so utilizados desenhos quase-experimentais nos quais so especificadas ondas sucessivas de mensurao das condies
da populao-alvo, antes e depois da implementao dos programas, ou a apresentao de desenhos alternativos usando grupos de controle. Estes estudos.alm de
se utilizarem de indicadores sociais, fazem uso de tcnicas de pesquisa por amostragem como forma de aferio de caractersticas antropomtricas, scio-econ-

micas e demogrficas da populao-alvo dos programas avaliados com o objetivo

de avaliar o seu impacto no estado nutricional dessas populaes.
Dada a importncia da rea nutricional, faremos a seguir um breve relato

das pesquisas de avaliao dos programas voltados para essa rea.

3.1

Principais resultados das

Pesquisas de avaliao de politicas de nutrio

o piano Prioridades Sociais para 1985 derme como prioridade bsica, atendendo rea identificada como de maior carncia, a poltica de alimentao. A
implementao dessa poltica prevista, no entanto, atravs de reforo e/ou expanso de programas j existentes. Este fato, aliado constatao de que os programas nessa rea foram objeto de avaliaes sistemticas, justifica o tratamento
destacado dos principais resultados substantivos 'dos estudos voltados para a anlise desses programas. Ademais, a poltica nutricional, tal como definida pelo Programa Nacional de Alimentao e Nutrio (PRONAN), apresenta alto grau de
homogeneidade e complementaridade entre os programas que a compem. Prope atuar conjugada e simultaneamente em duas linhas bsicas: na suplernentaAnl. CcnJ., Belo Horizonte, 1 (3): 107.127, nt./dez. 1986

121

o alimentar a grupos biolgicos de risco, em carter emergencial e transitrio,

e transitrio, atravs da distribuio de alimentos, e no estmulo racionalizao
do sistema de prod uo e comercializao do sistema de prod uo e comercializao
de alimentos bsicos. Para tanto, recomenda a distribuio de alimentos in natura
ou com um grau de processamento no sofisticado, de modo a permitir o processamento primrio realizado por pequeno produtor agrcola, atravs da garantia de
um mercado institucional estvel para a produo regional.
No entanto, os estudos sobre o Programa Nacional de Alimentao e Nutrio (PRONAN) e sobre seus diferentes programas mostram que a sua consistncia interna apenas formal. Os programas implementados no setor no guardam
correspondncia aos seus objetivos e diretrizes bsicos, seja em termos de desenho operacional e formato administrativo, seja em termos de cobertura da populao.
Quanto cobertura dos programas devido insuficincia e/ou imprevisibilidade na alocao de recursos, alm de apresentar nveis inferiores s prprias metas,

j de si modestas, a sua extenso se deu, de maneira geral, em detrimento da qualidade dos alimentos fornecidos. Por outro lado, a distribuio de alimentos - o
exemplo conspcuo o da merenda escolar - deu-se de forma a reforar desigualdades existentes, uma vez que se concentrou nas reas centrais das zonas urbanas
em detrimento das populaes da zona rural e das reas perifricas urbanas.
Por sua vez, a diretriz bsica de distribuio de alimentos in natura tambm
no foi observada pelos principais programas de suplementao alimentar: Programa
de Complementao Alimentar (PCA), Programa de Nutrio e Sade, (PNS) e Programa Nacional de Alimentao Escolar (PNAE). Predominou o uso de alimentos de
sofisticado grau de processamento industrial, adquiridos nas grandes empresas industriais e nas regies produtoras do Centro-Sul do Pas. Este fato, alm de contrariar a diretriz de observao dos hbitos alimentares da populao, gerando a sua
no aceitao e/ou m utilizao, compromete os objetivos de estmulo e apoio aos
pequenos produtores locais de alimentos. Este resultado atribudo, em parte,
centralizao, pela Companhia Brasileira de Alimentos (COBAL), da tarefa de aquisio de alimentos e abastecimento dos programas. Esta centralizao, aliada
incapacidade empresarial, apontada, tambm, como responsvel pela ineficincia
observada nesses processos que so realizados a custos altssimos, consumindo a
quase totalidade dos recursos dos programas.

Outro fator institucional que contribui para o no atendimento dos objetivos

dos programas componentes do PRONAN a diversidade de rgos envolvidos na
sua implementao e a falta de integrao entre eles. Esta se d no nvel mais elementar, comprometendo, s vezes, o prprio funcionamento do programa. Na implementao do PNS, por exemplo, que tem por objetivo a suplementao alimentar da populao materno-infantil, mediante distribuio de alimentos nas unidades
que integram a rede pblica de sade, foi identificado um baixo grau de integrao
do programa rotina dos servios de sade locais.
No que diz respeito ao impacto dos programas, faz-se necessria urna qualificao dos resultados disponveis. Como foi dito anteriormente, na rea da poltica
nutricional que dispomos de pesquisas mais sofisticadas e precisas, que recorrem
122

An61. a Coni., Belo Horizonte, 1 (3), 107127, let.,de~. 1986

a mtodos quase-experimentais de avaliao dos impactos. Estas pesquisas, contudo,

restringem-se a reas localizadas e dificilmente seus resultados so representativos
para todo o Pas. No obstante, um balano genrico desses resultados poder
ser til.
De maneira geral, os programas de suplementao alimentar atendem satisfatoriarnente s carncias nutricionais dos grupos biolgicos atingidos, apesar de se-

rem apontados ganhos menos significativos, em termosde valor nutricional, para os

que tm acesso a alimentos industrializados. Entretanto, apesar de abrangerem grupos biolgicos diversificados e extensos (gestantes, pr-escolar, escolar), os estudos
mostram que a suplernentao alimentar 0[0 contribui de forma significativa para
o aumento da disponibilidade de alimentos do grupo domstico, representando,

porm, um acrscimo significativo de renda familiar.

Enfatizando a importncia do acesso aos alimentos fornecidos por esses programas, os estudos mostram, por exemplo, que a merenda escolar constitui a principal, e em alguns casos (no meio rural, principalmente) a nica refeio do beneficiria. Ademais, so constatados altos nveis de diluio intrafamiliar dos alimentos
distribudos a esses grupos biolgicos, ou seja, os alimentos so consumidos por
toda a famlia e no apenas pelos grupos beneficirios. Este fato pode intervir no
prprio efeito do programa sobre a populao-alvo, uma vez que as quantidades
distribudas, ao serem repartidas com os demais membros da famlia, no so suficientes para o perodo de consumo previsto.

o problema, portanto, no se restringe ao grupo familiar que, a rigor, no

beneficirio do programa, mas atinge, tambm, a prpria populao-alvo. Alguns estudos apontam a no-adequao dos programas suplementares s necessidades calrico-proticas dos grupos de risco. Por exemplo, ao ser definido como um Programa
de Complementao Alimentar o PCA distribui alimentos com alto teor de nutrientes nobres, deixando a desejar no que diz respeito quantidade de alimentos bsicos fornecidos. Constatou-se que tambm o PNAE baseia-se em clculo inadequado da relao protena/caloria nos alimentos, o que gera um desperdcio de protena., uma vez que a necessidade maior de calorias.
Os problemas de ineficcia e ineficincia afetam de maneira ainda mais aceno
tuada os programas de abastecimento popular e apoio comercializao e produo
de alimentos: Programa de Abastecimento em reas Urbanas de Baixa Renda
(PROAB) e, Projeto de Aquisio de Alimentos em Areas Rurais de Baixa Renda
(PROCAB). O impacto destes bastante reduzido, no Nordeste, nica regio, alis,
em que foram implementados.

AVALlAAo POLl'rICA, AVALIAO DE

POLI'rICAS E "PRIORIDADES 85":
BREVES COMENTRIOS

Neste trabalho, procuramos sistematizar os objetivos, os critrios e os modelos de avaliao de politicas sociais. Enfatizamos, inicialmente, a necessidade de
ampliar e sistematizar os estudos de avaliao polftica, isto , aqueles que se voltam
para a aferio do grau de consistncia entre os objetivos sociais, os princpios de
An61. Conl., a.lo Horizonte, 1 (3): 107-127, set.Il:le.z. 1986

123

justia e, claro, os meios a serem usados.v Mostramos, tambm, o "estado das artes" na rea das pesquisas de avaliao de polticas sociais.
Com base nesses trs pontos acreditamos ter montado um quadro analtico
capaz de balizar o debate sobre o "Prioridades 85" e, quem sabe, sobre a poltica
social brasileira, em termos gerais.

o "Prioridades 85" foi a primeira manifestao concreta do governo da Nova

Repblica sobre a questo social. A introduo desse documento estabelece os seus
fundamentos polticos e as seus objetivos de curto e longo prazo. Toma como pressuposto a necessidade premente de se estabelecer condies para o desenvolvimento social e caracteriza este objetivo como sendo no um mero crescimento dos indicadores sociais mas como sendo a "democratizao substantiva" da sociedade, isto
, a "extenso dos direitos sociais fundamentais a toda populao" (Brasil. Ministrio do Planejamento e Coordenao Geral, 1985).
Estes propsitos so ambiciosos, mas realizveis. Sua implementao requer
tempo - e o tempo um recurso escasso nas atuais condies da sociedade brasileira. No entanto, as condies polticas so inteiramente favorveis para iniciar-se
urna poltica social global, capaz de comprometer os atuais e futuros governantes.

As diretrizes do "Prioridades 85", hoje consolidadas no I Plano Nacional de

Desenvolvimento (PND) da Nova Repblica, apontam em duas drees: de um lado,
demonstram a preocupao com a moralidade social, exigindo altos nveis de eficcia, eficincia e efetividade dos programas que compem o plano; de outro, aponta
a sua transparncia, convocando as comunidades para participarem da sua operao.
A disposio dessa empreitada social aparece na composio e redistribuio dos
recursos oramentrios.

A estratgia de ao aponta o suprimento de demandas reprimidas na rea

social, notadamente nas reas de alimentao, emprego e sade. Do ponto de vista
da cobertura, a nfase dada aos chamados "bolses de pobreza", destacando a
regio nordestina, por razes bvias.
Operacionalmente, pode-se deduzir que a preocupao foi usar as instituies
que j atuam nessas reas, procurando superar entraves burocrticos e polticos atravs da agiltao da prpria mquina governamental central.

Pela envergadura dos propsitos explicitados no "Prioridades 85" e na consolidao no novo PND, podemos, nesta apreciao preliminar, adiantar que o seu
sucesso depende em parte da capacidade poltica dos seus promotores em liderar
compromissos sociais e de cobrar resultados. Que resultados devem ser cobrados?
Ou, que aspectos precisam ser avaliados?
Inicialmente, necessria uma avaliao poltica do programa social da Nova
Repblica, em que o essencial ser distinguir os programas que visam to-somente
atender a demandas reprimidas - suprimindo carncias, em alguns casos absolutas dos que pretendem algum tipo de impacto. obvio que atender carncias to dra6 Referimo-nos a trabalhes tais como os realizados por Abranches (1985) entre outros.
124

Anl. Conl., Beto Horizonte,

('3), 107127, nUdez. 1986

mticas certamente ter algum impacto; porm este to previsvel que certamente
dispensa estudos de avaliao.
A avaliao poltica ora proposta deve, pois, contemplar as seguintes indagaes:
a)
b)

Quais so os propsitos de cada um dos programas envolvidos?

Em que medida esses propsitos e objetivos respondem as demandas

sociais bsicas, reprimidas nas ltimas dcadas?

c)

- Que mecanismos foram acionados e qual a viabilidade funcional das

estratgias adotadas - ou seja, qual a viabilidade de sucesso funcional

desses programas?
d)

- Qual o potencial de efetividade de cada um, e do conjunto, dos proprogramas sociais declarados prioritrios?

Somente a partir de respostas a estas questes ser possvel encaminhar

sugestes especficas quanto as estratgias de avaliao e acompanhamento. No
entanto, pela natureza desses programas e do que j sabemos sobre as experincias
passadas, cremos que a prioridade avaliativa deve Ser dada ao acompanhamento de
eficcia funcional, uma vez que a complexidade das mquinas burocrticas dos governos e os conflitos e distores na implementao de programas sociais foram
a tnica no passado recente. A nfase na avaliao da eficcia e da eficincia desses programas, contudo, no deve ficar restrita aos aspectos instrumental e objetivoo necessrio avaliar tambm, a eficcia e a eficincia poltica na gerao e
distribuio dos bens e servios que esses programas propem.
Nesta escala de prioridades, seguem-se as avaliaes de impacto objetivo pois
permitem o conhecimento preciso dos efeitos das polticas implementadas sobre as
distores que visavam corrigir. Finalmente, as avaliaes de impacto substantivo
tomam-se indispensves em uma etapa posterior quando novas metas estaro por
ser estabelecidas.

REFERENCIAS BIBLIOGRFICAS
ABRANCHES, Srgio. Relatrio da reuoio sobre metodologias de avaliao de programas sociais. Brasflia, CENDEC/IPEA, 1985. mrneog.

ANDERSON, Charles W. The place of principIes in policy anaIysis. American PoliticaI Science Review, Washington, 73(3):711-23, Sept. 1979.

BARDACH, Eugene. The implementation game. Cambridge, MIT, 1977.

BARRY, Brian & RAE, Douglas W. PoliticaI evaluation. ln: GREENSTEIN,

F. & POLSBY, N., ed. Handbook of politicai science. Reading, Addison-Wesley, 1975. v.1: Politicai scence: scope and theory, p.337-40I.

BENETT, C.A. & LUMSDAIME, A., ed, Evallllltion and experiment. New
York, Academic Press, 1975.

An61. II Conl., B.lo Horizonte, 1 (3) 1 107 .1~7, set./dez. 1986

125

BOOMS, Bernard H. Modelos econmicos na anlise de poltica pblica.

Revista de Administraao Pblica, Rio de Janeiro, 10(2):109-33, abr./
jun. 1976.

BOUNDON, Raymond. Efeitos perversos e ordem social. Rio de Janeiro,

Zahar, 1979.

BRASIL. Ministrio do Planejamento e Coordenao Geral. Programa de

prioridades sociais 1985. Braslia, 1985.

BUTTER, Willen H. Measurement of the public sector deficit and it's implications for policy evaluation and designo IFMG Slaff Papers, 30(Z):
June 1983.

10

CAMPBELL, D.T. Methods for the experirnenting society. Evanston, Northwestern University, i 972.

II

CAMPBELL, D.T. Reforms as experiments. American Psychologist, Washington, 24(4):409-29, Apr. 1969.

12

CHAPIN, F.C. lhe experimental methods and sociology. Scientfc Montly, New York, 4: 113-4, 1977.

13

COOK, T. & CAMPBELL, D.T. The design and conduct of quasi - experiments and true experiments in field settings. ln: DUNETLE, M.D.,
ed. Handbook of industrial and organizational research. New York,
Rand McNaily, 1975. p.233-326.

14

DAHL, R.
1981.

15

DEUTSHER, Irwin.
Social theory, social programs and social prograrn
evaluation: a metatheoretical note. The Sociological Quarterly, Carbondale, 20, t 1979.

16

ELSTER, Jon. Logic and society:

New York, John Wiley, 1978.

17

FIGUEIREDO, Argelina M. Cheibub. Levantamento e anlise das avaliaes de polticas sociais. Campinas, UN1CAMP/NEEP, FINEP, 1985.

18

FIGUEIREDO, Marcus F. & BALDACHEVSKY, Elizabeth. A coleta de

dados em projetos de avaliao: notas para a dscusso de alguns problemas. So Paulo, IDESP, 1983.

19

FREEMAN, H. & SHERWOOD, C.C. Social research and social policy.

Englewood Cliffs, Prentice Hall, 1970.

20

GUTTENTAG, M. & STRUENING, E.L., ed.

research. Beverly Hills, Lage, 1975. v.3.

126

Anlise poltica moderna.

Brasila, Universidade de Braslia,

contradictions and possible worlds.

Handbook of evaluation

An61. Ccnj . S.lo Horlzont., 1 (3),

101-1~,

t.Jdez. 1986

21

HARGROVE, E.C. The missing linke - the study of the implemeotatioo

ofsocialpoticy. Washiogton, The Urban Institute, 1975.

22

LIMA JR., Olavo B.; SILVA, An de Abreu; LEITE, Maria Claudia. Interveno planejada na realidade social: escopo e limites da pesquisa
de avatiao. Rio de Janeiro, IUPERJ, 1978.

23

NACHMIAS, David. Puhlie poliey evaluation: approaches and methuds.

New York, St. Martin's Press, 1979.

24

RIECKEN, H'w. & BORUCH, R.F. Social experimeotation: a method

for planning and evaluation social interveotioo. New York, Academie
Press, 1974.

25

ROSSI, P.H. et alii. Evaluation researeh: ao assesment of theory, praetice

and polities. Evaluatioo Quarte1y, Beverley HilIs, 1(1), Feb. 1977.

26

TRIPODl, D.; FELLIN, P.; EPSTEIN, I. Avaliao de programas sociais.

2.ed. Rio de Janeiro, Francisco Alves, 1984.

27

TULLOCK, G.; WAGNER, R.E. ed. Poliey analysis and deductiv reasoning.
Lexington, Lexngton Books, 1978.

28

W'ttDAWSKY, A. The politicaI eeonomy of effieieney: cost - benefit;

analysis and program buildng, In: RANNEY, A. Politicai seieoee and
pubtie poticy. Chicago, Markhan, 1968.

An61. Co"l., a.lo Horb:ont., 1 (3): '071i7, ,et./de.J:.. 1986

127