AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS - UMA ABORDAGEM CONCEITUAL

Mnica Maria de Arruda Cavalcanti1 e-mail: mac_571@hotmail.com Resumo Esta pesquisa analisa segmentos relevantes da literatura que tratam da temtica avaliao de polticas pblicas e programas governamentais, tendo como objetivo fornecer uma discusso terica ao assunto. Trata-se, portanto, de uma pesquisa exploratria, uma vez que procura transformar um grande volume de informaes primrias em um sinttico volume de informaes relevantes, visando construo de um referencial terico objetivo e claro, que promova a compreenso dessa temtica, especialmente pelos gestores pblicos. Nessa perspectiva, preocupa-se em conhecer os fatores que contribuem para a articulao entre os contedos aqui estudados e a prtica do cotidiano do trabalho. As informaes foram levantadas e construdas atravs da seleo de conceitos relevantes que contribuem para avaliao do conjunto de resultados e impactos de polticas pblicas e programas governamentais, formulados e implementados por um governo, com base nos conceitos de eficincia, eficcia e efetividade. Palavras-chave: Polticas pblicas, avaliao de programas governamentais.

Abstract This research analyses important segments of the literature that deals with the thematic evaluation of public politics and governmental programs, purposing to give a theoretical discussion about the subject. Thus, it is about an exploratory research, which looks to transform a vast volume of primary information into a synthetic volume of relevant information, aiming the construction of an understandable and clear theoretical referential which will promote the comprehension of this subject especially by the public managers. In this perspective the research is concerned to identify the reasons that contribute to the articulation of the subject here under discussion and of the daily practice of working. The information had been raised and constructed in the course of the selection of relevant concepts that contribute to the evaluation of the set of results and impacts of public politics and governmental programs, which are formulated and implemented by a government based on the concepts of efficiency, efficacy and effectiveness. Key-words: Public politics, evaluation of governmental programs.

Graduada em Administrao de Empresas UPE, Especialista em Gesto do Desenvolvimento Humano pela UPE, Mestre em Gesto de Polticas Pblicas pela Fundao Joaquim Nabuco (FUNDAJ), atualmente professora do Curso de Administrao de Empresas da Faculdade de Filosofia, Cincias e Letras de Caruaru (FAFICA), administradora da UPE e consultora em Monitoramento e Avaliao de Projetos da FUNDAJ.

APRESENTAO
Este artigo apresenta a base conceitual para construo de uma sistemtica de avaliao e monitoramento, no mbito das polticas pblicas e programas governamentais. Para facilitar a leitura e compreenso, este artigo est dividido em trs partes: Avaliao de Polticas Pblicas, Tipos de Avaliao e Conceitos Bsicos para Avaliao de Polticas Pblicas e Programas Governamentais, todos com nfase no cenrio das polticas pblicas. No primeiro momento, ao abordar a temtica avaliao no mbito do setor pblico, tenta-se apresentar sua importncia, como instrumento que possibilite conhecer, compreender, aperfeioar e orientar as aes, com vistas ao aperfeioamento e realinhamento dos programas de governos, nos quais as polticas pblicas so materializadas. Em seguida, faz-se uma abordagem no que diz respeito s estratgias metodolgicas que vm sendo utilizadas como base para orientar os estudos e anlises de programas pblicos, destacando-se os tipos de avaliao mais comumente usados para avaliar polticas pblicas. Destaque dado avaliao de processos e de resultados. Finalmente, enfatizam-se os conceitos de eficincia, eficcia e efetividade. Eles foram incorporados na discusso terica devido sua importncia nos estudos de avaliao de polticas pblicas, tendo em vista sua relao direta com processos, resultados e impactos.

1 A AVALIAO DE POLTICAS PBLICAS

A avaliao, de um modo geral, tem sido definida como instrumento imprescindvel para o conhecimento da viabilidade de programas e projetos, para o redirecionamento de seus objetivos, quando necessrio, ou mesmo para a reformulao de suas propostas e atividades. Nesse sentido, a avaliao se revela como um importante mecanismo de gesto, uma vez que fornece informaes e subsdios para tomada de deciso dos gestores, formuladores e implementadores de programas, pois possibilita conhecer o que est acontecendo e atuar sobre os fatos de forma a realizar ajustes necessrios, economizandose dessa forma tempo e recursos, o que eleva a credibilidade das aes pblicas. Entretanto, apesar de ser indiscutvel a necessidade de avaliao, no mbito do setor pblico brasileiro essa prtica ainda muito incipiente, especialmente quando focaliza a avaliao de desempenho e de resultados de uma instituio pblica ou de um programa governamental, no qual a poltica pblica se materializa. Cohen e Franco (1993, p.16) determinam, de forma precisa, a importncia da avaliao em programas governamentais: A avaliao de projetos sociais tem um papel central neste processo de racionalizao e um elemento bsico de planejamento. No possvel que estes sejam eficazes se no forem avaliados os resultados de sua aplicao". A avaliao de polticas pblicas no simplesmente um instrumento de aperfeioamento ou de redirecionamento dos programas empreendidos pelo governo mas, e especialmente, uma ferramenta capaz de prestar contas sociedade das aes governamentais.

Nessa perspectiva envolve o dilogo pblico - controle social - na sua dinmica, pois a qualidade dos programas s aumenta quando a participao dos usurios intensificada e efetivamente acontece. 1.1 A avaliao nos diferentes ciclos da poltica: formulao, implementao e resultados

A concepo atual de uma poltica pblica perpassa as fases de formulao, implementao, resultados e impactos, constituindo o policy cycle (UNIVERSIDADE DE CAMPINAS, 1999). A formulao compreende a fase na qual se define a estratgia geral de uma dada poltica pblica (objetivos, metas, recursos, entre outros), ou seja, a fase do desenho de um programa. Na viso clssica do policy cycle, a formulao desenvolvida por uma autoridade, ou por um conjunto de autoridades que expressam suas escolhas, preferncias que podem divergir daquelas que a sociedade considera relevante. O conceito de formulao na viso clssica demonstra seu carter insulado, pois impe superioridade excessiva em relao s outras fases do policy cycle, remetendo a questionamentos quanto a prticas clientelistas e corporativas. Nesta viso, a implementao e seus efeitos no so considerados como instrumentos retroalimentadores das polticas pblicas. A viso do policy cycle, no como um processo simples e linear (UNIVERSIDADE DE CAMPINAS, 1999), permite algum avano em relao viso clssica, por considerar a importncia da implementao no processo de retroalimentao das polticas pblicas, entretanto continua a dar nfase maior formulao, em detrimento da implementao, tendo em vista que tida como uma fase em que praticamente no existem problemas, pois se assume que:
diagnstico que informa a formulao de polticas est essencialmente correto; formulador dispe de todas as informaes necessrias ao desenho das propostas programticas; formulador dispe de um modelo casual verdadeiro (UNIVERSIDADE DE CAMPINAS, 1999, p. 4).

Entretanto, a supremacia dada formulao torna a anlise muito limitada, uma vez que considera problemas de implementao simples desvios de rota e no, contradio de objetivos entre formuladores e implementadores, que requer negociao, barganha. Portanto, a implementao que, inicialmente, vista como a fase em que simplesmente se colocam em prtica os objetivos e metas traados pelos formuladores, passa tambm a tomar decises, a definir quais as estratgias que sero adotadas para atingir os objetivos propostos no desenho dos programas ou os objetivos por ela priorizados ou formulados. Nessa perspectiva o policy cycle no pode ser concebido como um processo simples e linear, mas sim como um processo dinmico, que no tem ponto de partida ou de chegada definidos, e que envolve no s formuladores e implementadores, mas tambm os stakeholders pessoas envolvidas numa poltica ou nela interessadas. Dessa forma, [...] a
implementao entendida como um processo autnomo onde decises cruciais so tomadas e no s implementadas (UNIVERSIDADE DE CAMPINAS, 1999, p. 6).

Portanto, de fundamental importncia considerar os diferentes ciclos que compem uma poltica pblica - formulao, implementao e resultados e impactos - e ter a avaliao presente em cada um deles. A partir dessas consideraes, fica evidenciada a importncia de se avaliar polticas pblicas em todas as suas fases, pois o somatrio desses resultados que vai dar sentido ao redirecionamento dos programas. Lubambo e Arajo (2003, p. 4) apresentam uma sntese acerca das especificidades da avaliao nas diferentes fases do ciclo da poltica:
A focalizao na formulao responde preocupao de identificar a adequabilidade das aes/estratgias s demandas existentes. A avaliao de implementao permite compreender e analisar aspectos diversos da dinmica institucional e organizacional, no tocante ao funcionamento do programa, incluindo sua formulao. Por sua vez, a avaliao dos resultados e impactos objetiva compreender e analisar o que se obteve com o programa, inclusive na sua implementao.

1.2 Por que os programas no so implementados de acordo com seu desenho original?

As necessidades de avaliao em polticas pblicas esto, em geral, associadas aos problemas que so verificados no processo de implementao de seus programas, pois dificilmente esses programas atingem os objetivos e metas propostas e, mais ainda, raramente so implementados de acordo com seu desenho original e com as estratgias traadas por seus formuladores. Isto no quer dizer que a avaliao de um programa s deve ser realizada quando este apresenta problemas, mesmo porque qualquer programa, inclusive aqueles considerados exitosos, possui etapas ou processos passveis de aperfeioamento ou mesmo de ampliao, tendo em vista sua natureza cclica - formulao, implementao e resultados - que o torna um processo dinmico e inacabado, sujeito complementaridade ou renovao. No contexto brasileiro, dois fatores exercem grande influncia no processo de implementao de polticas pblicas: o federalismo e a democracia (ARRETCHE, 1999). Com o federalismo, os executores de polticas pblicas ficaram mais prximos dos beneficirios dessas polticas. Federalismo e democracia so, ento, fatores muito relevantes para compreenso do desenvolvimento das polticas pblicas brasileiras, tanto no que diz respeito a sua fase de formulao - em que so reveladas as opes polticas, como na de implementao - em que so reveladas as opes estratgicas. A seguir ser apresentado, segundo relatrio do NEPP (UNIVERSIDADE DE CAMPINAS, 1999, p.15), algumas razes que explicam o porqu da distncia entre formulao e implementao: a) falta de informaes quanto aos objetivos do programa - Muitas vezes as agncias formuladoras no informam aos implementadores os objetivos efetivos do programa, o que pode lev-los [...] a eleger uma outra referncia para a implementao - seus prprios objetivos ou objetivos dos stakeholders;

b) discordncia das prioridades estabelecidas nos objetivos do programa - neste caso, os implementadores conhecem os objetivos do programa, mas deles discordam e elegem [...] suas prprias prioridades (burocrticas, de sua clientela, ou ainda de grupos de interesses) como sua referncia de atuao; c) razes adversas - nesta situao, os implementadores conhecem e concordam com os objetivos do programa, mas devido [...] a impedimentos associados capacidade fiscal e administrativa das agncias implementadoras at compromissos e lealdades de ordem poltica, impossibilita-os de realizar os objetivos traados pelos formuladores; d) imprevisibilidade - Problemas no previstos no momento da formulao podem levar os implementadores a promover adaptao ao desenho original, com vistas a garantir que os objetivos de um dado programa sejam realizados.

Alm disso, acrescentam Rossi e Freeman (1993, p. 28):

Recursos, prioridades e a influncia relativa dos agentes encarregados da implementao freqentemente mudam. Os interesses e a influncia dos stakeholders de um dado programa podem mudar entre o momento da formulao e o da implementao. Alterando de modo significativo (ou mais ou menos) sua disposio para colaborar no momento em que o programa colocado em prtica.

As divergncias criadas entre planejamento e execuo podem acontecer devido aos vrios fatores acima expostos, mas encontram suas causas, especialmente, na falta de relacionamento entre formuladores (autoridade central), implementadores e stakeholders, sendo esta uma das principais causas que motiva os implementadores a mudar as polticas formuladas (UNIVERSIDADE DE CAMPINAS, 1999). Analiticamente, a falta de capacidade institucional associada falta de dilogo na esfera pblica, com vistas negociao de interesses divergentes, promovendo a co-responsabilidade na formulao, implementao e controle das polticas pblicas, pode levar a uma crise de governabilidade, na medida em que as polticas pblicas no forem legitimadas pelos atores que nela esto envolvidos, o que sem dvida compromete o grau de adeso e coeso em torno das aes pblicas e, conseqentemente, sua implementao de acordo com seu desenho original. 2 TIPOS DE AVALIAO

A literatura sobre esse assunto bastante vasta e aqui no se pretende esgotar uma temtica de tamanha complexidade. A proposta a de focalizar os tipos de avaliaes que respondem bem aos problemas de formulao e implementao de polticas pblicas e programas governamentais, oferecendo subsdios efetivos para a tomada de deciso. reconhecido que grande parte dos problemas encontrados se situa na fase de implementao de um programa ou projeto, quando so reveladas as necessidades de ajustes, aperfeioamento e mesmo de substituio do programa. Entretanto, tambm um consenso que esses problemas tm conexo direta com as demais fases que compem a poltica, por ser ela um ciclo, que produz feed-back e retroalimenta as demais fases, e no um sistema linear de via

nica. Portanto, a opo de estudo adotada, alm de enfocar a varivel tempo, o momento em que se realiza a avaliao, focaliza tambm, o funcionamento e o resultado do programa. Sendo assim, distinguem-se quatro tipos de avaliao, de um modo geral2: Avaliao ex-ante, Avaliao ex-post ou Somativa, Avaliao Formativa ou de Processo e Monitoramento. A seguir ser apresentado cada um deles, separadamente. 2.1 Avaliao ex-ante

Refere-se avaliao que realizada antes do incio do projeto, ou seja, trata-se de uma avaliao que procura medir a viabilidade do programa a ser implementado, no que diz respeito a sua relao custo-benefcio. Geralmente muito utilizada por rgos financiadores de projetos e pode ter como objetivo a identificao de prioridades e metas. Entretanto, Lubambo e Arajo (2003) mencionam que nem sempre essa relao pode ser restringida viabilidade econmico-financeira, uma vez que a viabilidade poltica e institucional, bem como as expectativas dos beneficirios da ao, devem ser consideradas e incorporadas nessa conta. A avaliao ex-ante, procura orientar sobre a realizao de um dado programa, no que diz respeito a sua formulao e desenvolvimento, atravs do estudo de seus objetivos, dos beneficirios e suas necessidades e do seu campo de atuao. Desta forma, prope-se ser um instrumento que permite escolher a melhor opo estratgica, como destaca Cohen e Franco (1993, p. 16): [...] a avaliao ex-ante permite escolher a melhor opo dos programas e projetos nos quais se concretizam as polticas. 2.2 Focada nos resultados = avaliao ex-post ou somativa

Esta categoria de avaliao investiga em que medida o programa atinge os resultados esperados pelos formuladores. Entretanto, essa anlise de resultados pode ser agrupada em duas modalidades: resultados esperados e resultados no-esperados. Referem-se, respectivamente, aos efeitos gerados e aos efeitos no-antecipados pelo programa no plano de implementao (UNIVERSIDADE DE CAMPINAS, 1999). Quando a varivel resultados, independentemente de sua modalidade, ganha centralidade no processo de avaliao, prudente reputar algumas indagaes, que so tidas como essenciais:
a) que tipos de servios ou benefcios os beneficirios do programa esto recebendo? b) em que medida os servios ou benefcios realmente recebidos pelos beneficirios do programa esto de acordo com as intenes originais dos formuladores? c) os beneficirios esto satisfeitos com os resultados atingidos pelo programa? d) os resultados atingidos so compatveis com os resultados esperados? e) como e porque os programas implementados geram resultados no esperados? (UNIVERSIDADE DE CAMPINAS, 1999, p. 43).
2

Lubambo e Arajo (2003) citam em seu trabalho.

Nesta categoria, em que os resultados de um programa ou poltica so focalizados, a avaliao assume um carter somativo. Essa modalidade de avaliao que se realiza ao final da fase de implementao ou aps a concluso de um programa, consiste no exame e anlise de objetivos, impactos e resultados. Focaliza a relao entre processo, resultados e impacto, comparando os diferentes programas, o que possibilita escolher o mais adequado e vivel para atingir as metas no prazo pretendido. O objetivo principal da avaliao Somativa o de analisar a efetividade de um programa, compreendendo em que medida o mesmo atingiu os resultados esperados. Alm dessa modalidade de avaliao de resultado, que guarda no seu interior os resultados esperados e efeitos no-antecipados, o relatrio do NEPP (UNIVERSIDADE DE CAMPINAS, 1999) focaliza, tambm, a anlise dos impactos gerados por um programa. A avaliao de impacto diz respeito efetividade de uma poltica pblica, pois possibilita verificar se os resultados obtidos junto populao-alvo so semelhantes ao que foi proposto, ou seja, se produziu os efeitos que se esperava. 2.3 Focada na gesto e no funcionamento do programa = avaliao formativa ou de processo

Esta categoria de avaliao procura investigar como o programa funciona (observao das etapas, mecanismos, processos e conexes), quais so as estratgias utilizadas para o alcance dos resultados, ou seja, procura articular os meios com os fins, estabelecendo dessa forma sua consonncia ou incompatibilidade (UNIVERSIDADE DE CAMPINAS, 1999). Nesta situao, em que se procura focar o funcionamento e a gesto do programa, a avaliao assume carter formativo. Como este tipo de avaliao se centraliza nos processos e no nos resultados, podemos concluir que mais utilizada na fase de implementao de um programa ou poltica, pois focaliza os aspectos que tm relao direta com a formao do programa, enquanto est em funcionamento, portanto, desenvolvida durante o processo de implementao da ao avaliada. Portanto, este tipo de avaliao no se preocupa com a efetividade do programa, pois focaliza seus processos e mecanismos de execuo. Sua funo maior a de observar em que medida o programa est sendo implementado como planejado. Preocupa-se em responder, entre outras, as seguintes indagaes: a) A populao-alvo est sendo atendida, conforme as metas? b) O cronograma est sendo cumprido? c) Os recursos esto sendo alocados com eficincia? Assim, a avaliao de processos se constitui, basicamente, em um instrumento que se preocupa em diagnosticar as possveis falhas de um programa, no que diz respeito aos instrumentos, procedimentos, contedos e mtodos, adequao ao pblico-alvo, visando o seu aperfeioamento, atravs da interferncia direcionada para seus aspectos intrnsecos. Esta modalidade de avaliao tem por objetivo fazer as coisas certas (FARIA, 1999, p. 46).

2.4 Monitoramento

O monitoramento um processo sistemtico e peridico de anlise da gesto, funcionamento e desempenho de programas e projetos. Tem como objetivo identificar desvios na execuo das aes, entre o programado e o executado, diagnosticando suas causas e propondo ajustes operacionais, com vistas adequao entre o plano e sua implementao. As atividades de monitoramento so desenvolvidas durante a execuo do programa. Entretanto, para realiz-las necessrio ter conhecimento do projeto nas suas fases inicial e final, bem como na sua fase de desenvolvimento, pois isto permite verificar o seu andamento com relao a objetivos e metas, viabilizando, se necessrio, redirecionar, ou mesmo, redesenhar algumas aes que se comportaram de forma no prevista. Trata-se, portanto, de um processo contnuo que retroalimenta o ciclo de ajustes de uma poltica. De forma resumida, O monitoramento um processo sistemtico e contnuo que, produzindo informaes sintticas e em tempo eficaz, permite rpida avaliao situacional e a interveno oportuna que corrige ou confirma as aes monitoradas (GARCIA, 2001, p. 32). Algumas caractersticas do monitoramento de projetos de desenvolvimento, que neste estudo tem especial relevncia, so assinaladas:
[...] visa otimizar a realizao dos objetivos do projeto e evitar efeitos negativos. [...] facilita obter os conhecimentos que esto sendo aproveitados para redefinio e a adequao do projeto. [...] observa elementos especficos e definidos, isto quer dizer que no trabalha com todos os aspectos do projeto. [...] realizado sistematicamente, com um objetivo definido. [...] usa como instrumento de medio indicadores, que so qualitativos e/ou quantitativos. Os indicadores quantitativos podem ser interpretados de maneira qualitativa. [...] basicamente feito por pessoas internas, ao projeto (UNIVERSIDADE HUMBOLDT DE BERLIN, 2000, p. 26).

O monitoramento a medida da eficincia e eficcia de um programa ou projeto. Sendo assim, para monitorar imprescindvel que o problema esteja bem definido, bem como as aes estejam bem desenhadas e programadas, identificadas por indicadores claros e objetivos, possveis de serem trabalhados. No se pode monitorar o que no pode ser medido, portanto, os indicadores so ferramentas fundamentais para tornar possvel uma ao efetiva de monitoramento. O monitoramento utiliza, geralmente, dados internos e busca analisar o cumprimento dos prazos das atividades; a quantidade, qualidade e preo dos insumos; a correspondncia dos programas aos objetivos previstos. Faria (1999, p. 44-45) define bem essa atividade: Trata-se de avaliar a eficincia. o fazer certo as coisas, posto que as atividades de monitoramento permitem intervir no processo de execuo, corrigindo os rumos cada vez que os desvios so detectados. E acrescenta: corrigir rumos nas atividades de monitoramento, no quer dizer apenas intervir sobre os contedos de um programa, mas [...] significa (ou pode significar) modificar cenrios jurdico-administrativos, financeiros, organizacional, bem como requalificar os recursos humanos a cargo dos trabalhos.

3. CONCEITOS BSICOS PARA AVALIAO DE POLTICAS PBLICAS E PROGRAMAS GOVERNAMENTAIS: EFICINCIA, EFICCIA E EFETIVIDADE
Os conceitos de eficincia, eficcia e efetividade so comumente usados quando se fala em resultados de polticas pblicas, pois procuram traduzir a avaliao do desenvolvimento e execuo da poltica pblica como um todo.

3.1 Eficincia

A eficincia de uma poltica pblica refere-se otimizao dos recursos utilizados, ou seja, o melhor resultado possvel com os recursos disponveis. Cotta (1998, p.114) traduz o conceito de eficincia da seguinte forma:
O conceito de eficincia diz respeito relao entre os resultados e os custos envolvidos na execuo de um projeto ou programa. Quando ambos podem ser traduzidos em unidades monetrias, recorre-se Anlise Custo-Benefcio (ACB) que, grosso modo, pretende verificar se os benefcios lquidos do projeto excedem seus custos operacionais.

Entretanto, a autora enfatiza a dificuldade de adequar a tcnica (ACB) maioria dos programas governamentais, uma vez que tratam de questes sociais, onde os impactos geralmente no podem ser expressos financeiramente. Para Belloni, Magalhes e Sousa (2001, p. 62), A eficincia diz respeito ao grau de aproximao e relao entre o previsto e realizado, no sentido de combinar os insumos e os implementos necessrios consecuo dos resultados visados. Desta forma, esse conceito de eficincia de que Belloni, Magalhes e Sousa (2001) tratam, tem relao direta com a avaliao do tipo formativa ou de processo, pois trata de realizar o acompanhamento de aes e tarefas, no que fiz respeito ao contedo, mtodo e instrumentos inerentes execuo de um programa ou projeto. Trata-se, portanto, de um conceito de extrema relevncia no processo de avaliao de polticas pblicas, pois possibilita compreender em que medida a otimizao dos recursos pblicos acontecem - aqui entendidos como os recursos financeiros, materiais e humanos - atravs da comparao entre metas alcanadas, recursos empreendidos e tempo de execuo. Basicamente, responde-se aos seguintes questionamentos: Quanto o programa fez? O quanto de recursos utilizou? E em quanto tempo? Os resultados obtidos revelam a eficincia (fazer mais com menos e em tempo hbil) do programa, especialmente se o mesmo for implementado mais de uma vez , pelo menos? Belloni, Magalhes e Sousa (2001, p. 64) faz uma sntese perfeita sobre o conceito de eficincia na avaliao de programas ou polticas pblicas:

Em resumo, a eficincia, traduz-se por respostas dadas a questionamentos ou indicadores relativos a necessidades atendidas, recursos utilizados e gesto desenvolvida. A interao entre a poltica examinada e outras a ela relacionadas, assim como a no sobreposio de duplicao de esforos, so indicadores de eficincia no apenas da poltica em foco, mas de aes governamentais como um todo.

3.2 Eficcia

A eficcia refere-se ao "[...] grau em que se alcanam os objetivos e metas do projeto da populao beneficiria, em um determinado perodo de tempo, independentemente dos custos implicados" (COHEN; FRANCO, 1993, p.102). Desta forma, a eficcia de uma poltica pblica est relacionada aos resultados que o programa produz sobre a sua populao beneficiria (efeitos) e sobre o conjunto da populao e do meio ambiente (impactos). O conceito de eficcia de que Cohen e Franco (1993) tratam, tem relao direta com a avaliao do tipo Somativa ou de resultados, pois trata de avaliar se o programa ou projeto produziu algum efeito sobre os seus beneficirios e, ainda, uma vez produzido, procura classificar tais efeitos. Belloni, Magalhes e Sousa (2001, p. 62) acrescentam: A eficcia corresponde ao resultado de um processo, entretanto contempla tambm a orientao metodolgica adotada e a atuao estabelecida na consecuo dos objetivos e metas, em um tempo determinado, tendo em vista o plano, programa ou projeto originalmente exposto. A anlise e constatao da eficcia esto associadas verificao dos indicadores de eficincia. Sendo assim, a maximizao dos resultados alcanados de um programa ser revelada atravs da resposta efetiva ao grau de eficincia e eficcia. Portanto, eficincia e eficcia no so conceitos excludentes, especialmente no caso de avaliao de polticas pblicas, em que de fundamental importncia assegurar uma metodologia que envolva a avaliao de planejamento, dos recursos (humanos, materiais e financeiros) e do sistema de gesto. Belloni, Magalhes e Sousa (2001, p. 66) sintetizam a importncia de tais conceitos estarem combinados no processo de avaliao de programas ou polticas pblicas, no que diz respeito aos seus resultados: Assim, considera-se que o resultado alcanado a resposta efetiva ao grau de eficincia e eficcia aplicadas no desenvolvimento da ao ou poltica. 3.3 Efetividade

A efetividade o conceito que revela em que medida a correspondncia entre os objetivos traados em um programa e seus resultados foram atingidos (BELLONI, MAGALHES E SOUSA, 2001). Como essa correspondncia averiguada em um contexto mais amplo, em que se procura dar conta dos resultados, tanto no plano econmico como social, da poltica em questo, trata-se de uma avaliao de impactos pois, ao contrrio da avaliao de resultados, que procura investigar os efeitos de uma interveno sobre a clientela atendida, ela procura diagnosticar os reflexos desta mesma interveno no contexto maior. Para avaliaes dessa natureza, Cotta (1998, p.115) aponta alguns pr-requisitos considerados muito relevantes para seu xito: "a) os objetivos da interveno devem estar definidos de

maneira a permitir a identificao de metas mensurveis; b) sua implementao deve ter ocorrido de maneira minimamente satisfatria pois, caso contrrio, no faria sentido tentar aferir impacto". Muitos autores tratam o conceito de eficcia e efetividade de forma igual, mas prudente, quando se trata de avaliao de polticas pblicas, fazer certa distino. Sendo assim, a eficcia uma dimenso do processo de desenvolvimento e implementao do programa. Neste caso, o modelo de avaliao indicado o de resultados, uma vez que visa aferir os resultados intermedirios (at o final do programa). A efetividade aponta outra dimenso do resultado - os finais, ex-post - , tem a ver com os resultados mais abrangentes da poltica junto aos setores visados . Neste caso, o tipo de avaliao adequada a avaliao de impactos, j que procura traduzir os impactos do programa no contexto mais amplo, (econmico, poltico e social), objetivando a melhoria da qualidade de vida.

CONSIDERAES FINAIS

A discusso terica aqui apresentada buscou contemplar os diferentes tipos de avaliaes e conceitos relacionados avaliao de polticas pblicas. Ao tratar de suas diferentes modalidades, percebe-se que a avaliao de polticas pblicas no pode ser restrita apenas aferio de suas metas quantitativas, mas tambm deve se reportar qualidade do resultado atingido. dessa forma, que os conceitos de eficincia, eficcia e efetividade se revelam importantes, na medida em que subsidiam na traduo da avaliao do planejamento, do desenvolvimento e da execuo da poltica pblica como um todo. Entretanto, ainda incipiente o estudo de avaliao no campo das polticas pblicas e, mais ainda, os modelos de metodologias que possibilitem a avaliao dos critrios de eficincia, eficcia e efetividade, que Belloni, Magalhes e Sousa (2001) conceituaram como critrios bsicos. A despeito de a avaliao ser um instrumento de fundamental importncia para a tomada de deciso dos gestores pblicos, ainda h dvidas sobre os modelos a adotar: a maioria deles so construdos caso-a-caso; pouco subsidiam o processo decisrio, tendo em vista que os resultados, muitas vezes, so parciais (devido s prprias limitaes impostas pelo contexto em que o programa est inserido) e irrelevantes (devido, muitas vezes, morosidade de sua execuo) para a tomada de deciso sobre os realinhamentos dos programas. No entanto, tais dificuldades reforam o reconhecimento de que a avaliao de polticas pblicas no deve se restringir apenas a um modelo, e deve abordar os processos, resultados e impactos. Nesse sentido, o esforo de seleo de variveis de anlise e de construo de indicadores fundamental.

Referncias Bibliogrficas ALARCO, Isabel. Tendncias no estudo sobre avaliao. In: RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez; Instituto de Estudos Especiais, 1999. p. 29-39. ARRETCHE, Marta T. S. Polticas sociais no Brasil: descentralizao em um Estado Federativo. Revista Brasileira de Cincias Sociais, So Paulo, v. 14, n.40, p.111-141, 1999. BELLONI, Isaura (co-autoria). Avaliao do ensino de graduao Teste de metodologia. Braslia: Universitria, 1988. (Coleo Srie UnB). ______. A funo social da avaliao institucional. Revista Avaliao, a. 3, n. 4, p. 37-50. 1998. BELLONI, Isaura; MAGALHES, Heitor; SOUSA, Luzia Costa de. Metodologia para avaliao de polticas pblicas: uma experincia em educao profissional. So Paulo: Cortez, 2001. 96 p. (Coleo Questes da Nossa poca, v. 75). CARVALHO, Maria do Carmo Brant de. Avaliao participativa: uma escolha metodolgica. In: RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez; Instituto de Estudos Especiais, 1999. p. 87-94. COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis: Vozes, 1993. COTTA, Tereza Cristina. Metodologia de avaliao de programas sociais: anlise de resultados e de impactos. Revista do Servio Pblico, Braslia, a. 49, n. 2. p.105-126, abr./jun. 1998. FARIA, Regina. Avaliao de programas sociais: evolues e tendncias. In: RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez; Instituto de Estudos Especiais, 1999. p. 41-49. FIRME, Thereza Penna. Avaliao: tendncias e tendenciosidade. Revista Ensaio, v.1, n. 2, jan./mar. 1994. GARCIA, Ronaldo Coutinho. Subsdios para organizar avaliaes da ao governamental. Planejamento e Polticas Pblicas, Braslia, n. 23, p. 7-70, jun. 2001. LUBAMBO, Ctia W.; ARAJO, Maria Lia C. de. Avaliao de programas sociais: virtualidades tcnicas e virtualidades democrticas. Recife: Fundao Joaquim Nabuco, 2003. Trabalho para discusso, n. 158. RICHARDSON, Robert Jarry. Pesquisa social: mtodos e tcnicas. 3 ed. So Paulo: Atlas, 1999. 334p. ROSSI, Peter H.; FREEMAN, Howard E. Evaluation: A Systematic Approach. Newbury Park: Sage Publications, 1993. UNIVERSIDADE DE CAMPINAS (So Paulo). Ncleo de Estudos de Polticas Pblicas

(NEPP). Modelos de avaliao de programas sociais prioritrios. Relatrio Final. Campinas, 1999. 133 p. UNIVERSIDADE HUMBOLDT DE BERLIN. Centro de Treinamento Avanado em Desenvolvimento Rural (SLE). Monitoramento qualitativo de impacto. Desenvolvimento de indicadores para a extenso rural no Nordeste do Brasil. Berlin, 2000. 311 p.