Costa_castanha.

fm Page 969 Tuesday, January 27, 2004 7:49 PM

Avaliao de programas pblicos: desafios

conceituais e metodolgicos*
Frederico Lustosa da Costa**
Jos Cezar Castanhar**

S U M R I O : 1. Introduo; 2. O arcabouo terico; 3. As metodologias

usuais de avaliao; 4. Uma aplicao da metodologia de avaliao de programas sociais; 5. Concluses.
S U M M A R Y : 1. Introduction; 2. Theoretical framework; 3. The usual evaluation methodologies; 4. An application of the methodology for social program evaluation; 5. Concluding remarks.
P A L A V R A S - C H A V E : programas pblicos; avaliao; metodologia.
K EY

WORDS:

public programs; evaluation; methodology.

Este artigo enfatiza a necessidade de avaliar programas pblicos diante do

aprofundamento da crise fiscal, da escassez de recursos do setor pblico e
da imprescindvel interveno governamental para atender populao
mais necessitada. A avaliao sistemtica, contnua e eficaz surge como ferramenta gerencial poderosa, fornecendo aos formuladores de polticas
pblicas e aos gestores de programas condies para aumentar a eficincia e
efetividade dos recursos aplicados em programas sociais. O texto tece consideraes sobre o emaranhado conceitual que ainda prevalece nesse campo,
demonstrado pela multiplicidade de conceitos aplicveis, por diferentes
tipos de avaliao e pela variedade de critrios apontados pelos estudiosos
da matria. A aplicao dos critrios requer, por sua vez, formas especficas
de operacionalizao, que so conhecidas como indicadores sociais, cuja
definio tambm no um ponto pacfico. A avaliao um conjunto de

* Artigo recebido em set. 2002 e aceito em maio 2003. Uma primeira verso menos abrangente,
com o ttulo Avaliao de programas sociais: limites e possibilidades, foi apresentada no 22 o
Encontro Anual da Anpad, Foz do Iguau, de 27 a 30-9-1998.
** Professores da Ebape/FGV. E-mails: fred@fgv.br; castanhar@fgv.br.

RAP

Rio de Janeiro 37(5):969-92, Set./Out. 2003

Costa_castanha.fm Page 970 Tuesday, January 27, 2004 7:49 PM

970

Frederico Lustosa da Costa e Jos Cezar Castanhar

tcnicas que adota conceitos diferenciados para se referir muitas vezes aos
mesmos procedimentos. Portanto, enquanto no se avanar na teorizao
da prtica e buscar os consensos necessrios construo de paradigmas
conceituais, cada esforo de avaliao vai requerer o estabelecimento prvio
de uma estrutura de referncia para a anlise e o treinamento supervisionado do pessoal envolvido. Profissionais experimentados podem adotar esse
procedimento na conduo do trabalho de consultoria, mas nem todo o pessoal tcnico pode assumir essa tarefa sem tornar a prtica da avaliao
ainda mais difcil. De qualquer maneira, nem a dificuldade nem o risco
devem ser obstculo insupervel para as tentativas de se aplicar de forma
sistemtica essa metodologia. Afinal, esse um campo, como muitos outros
na administrao, em que o aprendizado com as experincias prticas contribui para a superao das dificuldades conceituais e operacionais.
Evaluating public programs: methodological and conceptual challenges
This paper emphasizes the importance of evaluating public programs, considering the acuteness of the fiscal crisis, the lack of public sector funding,
and the indispensable government intervention in order to meet the needs
of the underprivileged. Systematic, continuous and effective evaluation is a
powerful managerial tool, allowing policymakers and program managers to
increase the efficiency and effectiveness of social program funding. The
paper discusses the conceptual maze that still prevails in this field, revealed
by the multiple concepts that can be applied, by the different types of evaluation and by the variety of criteria presented by specialists. Criteria application, on the other hand, requires specific operational forms, known as social
indicators, whose definition is not unanimous either. Evaluation is a set of
techniques which use distinctive concepts often to refer to the same procedures. Therefore, until there is some progress in theorizing the practice and
finding the necessary consensus for the construction of conceptual paradigms every evaluation effort will require the previous establishment of a
reference framework for analysis and supervised personnel training. Experienced professionals may adopt this procedure for consultancies, but not all
technical personnel can undertake this job without making evaluation even
more difficult. But neither difficulties nor risks should be an overwhelming
obstacle for trying to apply such methodology systematically. After all, this
is a field such as many others in administration in which learning with
practice contributes for overcoming conceptual and operational hindrances.

1. Introduo
Historicamente, na administrao pblica brasileira no h a preocupao de
avaliar programas pblicos, em geral, e programas sociais, em particular. Durante anos, a produo de conhecimento tcnico na busca da melhoria dos
padres de gerenciamento do setor pblico sempre esteve muito mais volta-

Costa_castanha.fm Page 971 Tuesday, January 27, 2004 7:49 PM

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

da para os processos de formulao de programas do que para os relacionados a sua implementao e avaliao.
Existem, entretanto, evidncias de que esse desinteresse histrico est
diminuindo rapidamente. As razes dessa mudana decorrem das profundas
transformaes observadas na sociedade e no Estado brasileiros desde
meados dos anos 1980 e, particularmente, em anos mais recentes.
Com efeito, nos anos 1980, a crise da dvida externa e a interrupo de
um longo ciclo de crescimento econmico aprofundaram as desigualdades sociais presentes na realidade do pas. Por seu turno, as reformas estruturais
empreendidas nos anos 1990 abertura comercial e integrao, reforma do
Estado, desestatizao, entre outras alargaram ainda mais essas assimetrias na medida em que aumentaram o desemprego, tornaram precrio o emprego remanescente e, conseqentemente, reduziram os salrios reais. A
conjuntura econmica desfavorvel provocou um crescimento da demanda
por aes e servios sociais, especialmente os de natureza compensatria.
Na contramo dessa demanda crescente, verificou-se ainda um agravamento da crise fiscal, ampliando ainda mais a crnica escassez de recursos do
setor pblico, justamente num momento em que se torna essencial e inadivel a sua interveno para atender populao mais necessitada. A interveno governamental nessas circunstncias essencial, tanto pelo
imperativo moral a ela inerente, quanto por questes de estratgia econmica, pois j se sabe que a pobreza representa um srio obstculo ao desenvolvimento sustentvel.
O que se coloca, ento, a necessidade crucial e urgente de se obter
maior eficincia e maior impacto nos investimentos governamentais em programas sociais. A avaliao sistemtica, contnua e eficaz desses programas
pode ser um instrumento fundamental para se alcanar melhores resultados e
proporcionar uma melhor utilizao e controle dos recursos neles aplicados,
alm de fornecer aos formuladores de polticas sociais e aos gestores de programas dados importantes para o desenho de polticas mais consistentes e
para a gesto pblica mais eficaz.
Independentemente da conjuntura de crise, a avaliao de desempenho sempre teve importncia no setor pblico. Na medida em que os servios
pblicos no tm um mercado consumidor competitivo que possa servir como
medida da qualidade e eficcia de sua prestao, sobretudo pelo comportamento da demanda, o Estado obrigado a proceder avaliao regular de
seus programas e atividades.
As iniciativas de reforma do Estado que se realizam em todos os cantos
do planeta h mais de uma dcada e meia trazem em seu bojo um desafio
portentoso: faz-lo funcionar melhor, porm, com um custo menor (Kettl,
1998:74-6). A busca dessa melhoria passa pela avaliao do desempenho dos
programas pblicos, o que enseja a possibilidade de avaliar a prpria performance do aparelho estatal. Ou seja, quando se estabelecem a eficincia,

971

Costa_castanha.fm Page 972 Tuesday, January 27, 2004 7:49 PM

972

Frederico Lustosa da Costa e Jos Cezar Castanhar

eficcia e efetividade como medidas de sucesso da ao governamental, impe-se criar tambm meios de avaliar diferentes alternativas para se obter resultados equivalentes (Kettl, 1998:87).
Uma vez que o poder pblico passa a delegar a agncias autnomas e
empresas privadas a execuo de seus servios, cresce a necessidade de avaliao. De fato, a desestatizao dos servios pblicos e a crescente autonomia conferida s agncias pblicas, exigindo a adoo de formas de definio
de desempenho em contrato, baseadas na prvia definio de indicadores e
medidas de sucesso, impe administrao pblica a necessidade de desenvolver instrumentos e metodologias de avaliao, geis e de baixo custo, capazes de oferecer aos dirigentes bases mais slidas para a tomada de decises
em matria de polticas pblicas e sociedade em geral uma apreciao mais
precisa sobre o desempenho de tais agncias. A avaliao de resultados passa
a ser, portanto, pedra fundamental na sustentao da reforma do Estado.
A seguir, o arcabouo terico exposto ressaltando a variedade de conceitos e metodologias de avaliao utilizados pelos estudiosos da matria e pelos organismos internacionais, caracterizando o que se denomina aqui de
emaranhado conceitual. O conhecimento das diversas opes tericas fundamental na escolha do mtodo mais adequado para cada tipo de programa em
todas as etapas do processo, desde a elaborao da metodologia at a aferio
dos resultados. E tambm uma explanao das metodologias mais usadas na
avaliao dos programas sociais, detalhando todos os processos envolvidos.
A apresentao de uma metodologia de avaliao e acompanhamento
dos programas sociais desenvolvida para a Secretaria Municipal de Desenvolvimento Social (SMDS) do municpio do Rio de Janeiro constitui a parte final do artigo. Mostra-se, atravs de uma experincia dos autores, os desafios
e possibilidades de operacionalizao de uma metodologia de avaliao que
leva em conta a natureza do programa e os meios disponveis.

2. O arcabouo terico
A definio do que seja avaliao parece ser quase consensual. De acordo,
com a Unicef (1990), por exemplo, trata-se do exame sistemtico e objetivo
de um projeto ou programa, finalizado ou em curso, que contemple o seu
desempenho, implementao e resultados, com vistas determinao de sua
eficincia, efetividade, impacto, sustentabilidade e a relevncia de seus objetivos. O propsito da avaliao guiar os tomadores de deciso, orientandoos quanto continuidade, necessidade de correes ou mesmo suspenso de
uma determinada poltica ou programa.

Costa_castanha.fm Page 973 Tuesday, January 27, 2004 7:49 PM

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

Critrios
Se a avaliao uma forma de mensurar o desempenho de programas,
necessrio definir medidas para a aferio do resultado obtido. Elas so denominadas de critrios de avaliao e nesse ponto se encerra o consenso sobre aspectos conceituais e metodolgicos no campo da avaliao de programas ou
polticas pblicas, dando lugar ao que se poderia chamar de um autntico emaranhado conceitual, que representa um obstculo ao uso mais freqente dessa
ferramenta gerencial no setor pblico.
Embora se associe normalmente a avaliao de desempenho mensurao de eficincia na gesto de programas pblicos, este no , evidentemente, o nico e, eventualmente, nem o mais importante critrio a ser utilizado
na avaliao. A lista dos critrios que podem ser utilizados longa e a escolha
de um, ou vrios deles, depende dos aspectos que se deseja privilegiar na avaliao. Segundo o manual da Unicef, os mais comuns so:
t

eficincia termo originado nas cincias econmicas que significa a

menor relao custo/benefcio possvel para o alcance dos objetivos estabelecidos no programa;
eficcia medida do grau em que o programa atinge os seus objetivos e
metas;
impacto (ou efetividade) indica se o projeto tem efeitos (positivos) no
ambiente externo em que interveio, em termos tcnicos, econmicos, socioculturais, institucionais e ambientais;
sustentabilidade mede a capacidade de continuidade dos efeitos benficos alcanados atravs do programa social, aps o seu trmino;
anlise custo-efetividade similar idia de custo de oportunidade e ao
conceito de pertinncia; feita a comparao de formas alternativas da
ao social para a obteno de determinados impactos, para ser selecionada aquela atividade/projeto que atenda os objetivos com o menor custo;
satisfao do beneficirio avalia a atitude do usurio em relao qualidade do atendimento que est obtendo do programa;
eqidade procura avaliar o grau em que os benefcios de um programa
esto sendo distribudos de maneira justa e compatvel com as necessidades do usurio.

Indicadores
A aplicao desses critrios requer formas especficas de operacionalizao, j
que constituem medidas indiretas, ou seja, que devem ser calculadas a partir

973

Costa_castanha.fm Page 974 Tuesday, January 27, 2004 7:49 PM

974

Frederico Lustosa da Costa e Jos Cezar Castanhar

da identificao e quantificao dos resultados obtidos. Em geral, denominase essa outra categoria de medidas de indicadores. Aqui tambm encontramos uma variedade de formas de definir e utilizar essa medida, dependendo
da rea e do propsito da avaliao. Ao propor um sistema de indicadores
para as universidades brasileiras, Schwartzman (1994) define trs tipos: simples, definidos como aqueles que so expressos em termos absolutos (nmero
de professores, rea construda etc.); de desempenho, que requerem um padro ou um objetivo para comparao e so relativos (custo por aluno, relao aluno/professor etc.); gerais, aqueles que so gerados fora da
instituio (ou programa), com base em estatsticas gerais ou em opinies de
especialistas (por exemplo, a avaliao dos programas de ps-graduao realizada pela Capes).
Um outro exemplo de definio de indicadores para a avaliao do
desempenho de programas pblicos pode ser encontrado na proposta de Indicadores de excelncia, elaborada pelo Ministrio de Previdncia e Assistncia
Social, para serem utilizados como uma ferramenta para a mensurao e o
acompanhamento do desempenho das gerncias do seguro social do INSS. O
trabalho prope e define trs tipos de indicadores: primrios, que expressam
medidas elementares de eficincia (tempo mdio de espera para a concesso
de benefcios, participao de benefcios com demora superior a 45 dias no
total de benefcios concedidos etc.); parciais de excelncia, que procuram indicar a eficcia da operao (ndices de cumprimento de prazos, de velocidade na concesso etc.); globais de desempenho, construdos a partir dos
indicadores parciais e que visam a expressar o desempenho da gesto do programa, atravs de uma medida nica.
Uma tentativa de sistematizar essa discusso, resguardando ao mesmo
tempo a diversidade inerente ao tema, pode ser encontrada em Rob Vos
(1993), que distingue, do ponto de vista metodolgico, pelo menos trs categorias de indicadores sociais: de resultado; de insumo e de acesso.
Os indicadores de resultado refletem os nveis de satisfao de necessidades bsicas alcanados. So tambm denominados de indicadores de nvel
de vida. Por exemplo: esperana de vida, mortalidade infantil, grau de alfabetizao, nveis de educao e nutrio, entre outros.
Os indicadores de insumo se referem aos meios (recursos) disponveis
para se obter um determinado padro de vida. Esses meios para atender necessidades bsicas distintas podem incluir, por exemplo, no campo da nutrio, a
renda e a disponibilidade de alimentos; no campo da sade, a disponibilidade
de gua potvel, de centros de sade e o nmero de mdicos por habitante e;
na rea da educao, o nmero de escolas e de professores por aluno.
J os indicadores de acesso identificam os determinantes que permitem
tornar efetiva (e em que grau) a utilizao de recursos disponveis para atender determinadas necessidades bsicas. Para fins de avaliao de polticas e
programas sociais esse terceiro tipo de indicadores particularmente relevan-

Costa_castanha.fm Page 975 Tuesday, January 27, 2004 7:49 PM

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

te, j que a existncia de servios bsicos no lhes assegura o acesso universal. Na realidade, comum a existncia de fatores que dificultam a utilizao
dos servios disponveis, como, por exemplo, a distncia geogrfica (sobretudo em reas de populao dispersa) e os custos privados relacionados com o
uso de servios pblicos (material escolar, transporte, remdios etc.). Pode-se
mencionar tambm elementos mais difceis de serem quantificados, como a
qualidade dos servios oferecidos, caractersticas culturais da regio etc.

Padres
A avaliao do desempenho de um programa requer ainda que se definam padres de referncia para julgar esse desempenho. Eles poderiam ser: absolutos,
as metas estabelecidas por um programa so consideradas como o padro a
ser alcanado e os desvios devem ser registrados e analisados; histricos, comparam resultados de um perodo com o obtido em perodos anteriores; normativos, comparam o desempenho de um programa com outros similares ou com
programas semelhantes realizados em outros nveis de governo, regio, ou no
exterior; tericos, so os estabelecidos na prpria elaborao do programa, sob
a hiptese da obteno dos resultados esperados, dado os recursos disponveis; negociados ou de compromisso, so aqueles que se baseiam em algum
procedimento especfico para sua fixao, geralmente decorrente de acordo
entre as partes envolvidas na gesto de programa e os formuladores.
Uma metodologia de avaliao de programas sociais envolve, ento, a
escolha de um conjunto de critrios e o uso de um elenco de indicadores (ou
outras formas de mensurao) consistentes com os critrios escolhidos e que
permitam efetuar um julgamento continuado e eficaz acerca do desempenho
de um programa ou conjunto de programas, mediante o confronto com os padres de desempenho anteriormente estabelecidos.

O que avaliar?
Permanece, todavia, uma questo crucial e preliminar: o que avaliar? Segundo Donald Kettl (1998:87-92), o desenho de um programa pblico ou a ao
de uma agncia governamental pode ser sintetizado em uma seqncia de
definies correspondentes a graus sucessivos de agregao de objetivos, no
caso misso > metas > objetivos. Outros autores podero hierarquizar de outra maneira essa seqncia de agregao de compromissos, colocando depois
da misso (ou propsito) os objetivos e s em seguida as metas. Este trabalho
adota esta ltima perspectiva, mais consistente com a tradio brasileira
nesse campo (propsito > objetivo > meta > atividade).

975

Costa_castanha.fm Page 976 Tuesday, January 27, 2004 7:49 PM

976

Frederico Lustosa da Costa e Jos Cezar Castanhar

Tomando como exemplo um programa de sade pblica, a misso consistiria na preveno de doenas, o objetivo poderia ser definido como uma
campanha de vacinao e a meta expressa como o compromisso de vacinar
toda a populao em idade pr-escolar. A aferio do desempenho pode se
referir aos resultados dos programas, que mediriam o alcance da misso ou os
produtos gerados pela implementao dos programas.1
O processo de avaliao ser facilitado e mais til se baseado em um
planejamento consistente, capaz de estabelecer: relaes causais entre atividades e produtos; produtos e resultados que permitam atingir as metas visadas; resultados que causem efeitos mais ou menos precisos e respondam pelo
alcance de um objetivo especfico; e efeitos que produzam o impacto pretendido pelo propsito ou misso do programa, de tal sorte que se busque fazer
com que as atividades de fato contribuam para o alcance desse mesmo
propsito. a factibilidade dessas relaes causais que d conta da consistncia do planejamento e permite esperar que a interveno numa instncia (ou
varivel) particular desse processo, como que uma particular definio de
atividades, produza um determinado efeito numa instncia (ou varivel)
mais abrangente, como no objetivo de um determinado programa:

t
t
t
t

propsito ou misso
objetivos
metas
atividades

impactos
efeitos
resultados
produtos

Uma maneira de permitir que a avaliao de programas pblicos possa

contribuir para testar a prpria consistncia do planejamento atravs da
definio prvia da matriz lgica do programa. 2 Segundo Wholey (1994:1520), a construo da matriz lgica comea pela identificao dos objetivos gerais e especficos do programa e dos indicadores de performance (tipos de
evidncia) pelos quais o programa ser avaliado, bem como a indicao das
fontes de dados que sero usadas para as mensuraes, comparaes e anlis-

Aqui tambm existem muitas perspectivas diferentes para designar os tipos de avaliao de
resultados que podem se concentrar nas metas (produtos) ou no impacto (alcance do propsito
ou misso), adotando denominaes diversas para as mesmas tarefas.
2 Adotamos aqui a denominao matriz lgica do programa, com o mesmo sentido de marco lgico, termo consagrado pelo BID e pela Cepal (BID, 1994). J na literatura norte-americana so
usuais as denominaes lgica do programa (program logic) ou estrutura do programa (program
design), para designar instrumentos semelhantes aos definidos pelo BID/Cepal (Wholey et al.,
1994).

Costa_castanha.fm Page 977 Tuesday, January 27, 2004 7:49 PM

977

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

es necessrias. Num segundo momento a metodologia da matriz lgica voltase para a identificao dos recursos (financeiros, humanos e de infra-estrutura) alocados ao programa, as atividades previstas, os resultados esperados e
as relaes causais (uma particular combinao de recursos, permitindo a realizao de um determinado conjunto de atividades, que levar produo
de determinados resultados, que, presume-se, permitiro que se alcancem determinados objetivos associados ao programa) que a teoria por trs do programa pressupe que podem ser assumidas. Note-se que um aspecto prtico
importante no desenvolvimento da matriz lgica a identificao de resultados intermedirios (Wholey et al., 1994:20) que associem determinadas atividades do programa a um ou mais objetivos do mesmo.
O quadro 1 ilustra, para o caso hipottico de um programa de agricultura irrigada, a maneira como se pode proceder para identificar a matriz lgica de um programa e como esse modelo pode contribuir para uma avaliao
adequada e eficaz. Ressalte-se que se trata apenas de um esboo, j que a
matriz definitiva depende do estudo detalhado do programa.

Quadro 1

Esboo da matriz lgica dos projetos de agricultura irrigada

Inputs do programa

Atividades
do programa

Resultados
imediatos

Resultados
(impactos) de
mdio prazo

Resultados
(impactos) de
longo prazo

Fatores contextuais
Recursos financeiros

Financiamento
produo
Apoio
comercializao

Pessoal alocado ao
programa

Treinamento
Assistncia
tcnica
Apoio
comercializao

Recursos de
treinamento (material
instrucional)

Treinamento
Assistncia
tcnica

Infra-estrutura

Realizao de
obras de
irrigao

Mudana nos sistemas Instalao de

Mudana nos
produtivos
agroindstrias e
padres de vida
servios correlatos das populaes
beneficiadas
Melhoria de volume
Mudanas nos
de produo e valor
sistemas de
Reduo da
agregado
comercializao
ingerncia do
da produo
setor pblico na
operao do
programa
Melhoria de
Aumento nos
renda
nveis de
associao e
Manuteno de
integrao entre
nveis adequados
os usurios
de endividamento

continua

Costa_castanha.fm Page 978 Tuesday, January 27, 2004 7:49 PM

978

Frederico Lustosa da Costa e Jos Cezar Castanhar

Atividades
Inputs do programa do programa

Resultados
(impactos) de
mdio prazo

Resultados
imediatos

Resultados
(impactos) de
longo prazo

Fatores contextuais
Equipamentos

Aquisio e
distribuio de
equipamentos
para irrigao

Manuteno de
nveis adequados de
arrecadao x custos de
operao

Produtores rurais
elegveis para o
projeto

Cadastramento e
identificao dos
perfis dos
beneficirios

Manuteno de
nveis mnimos de
inadimplncia
Manuteno de
nveis mnimos de
transferncia de lotes

Os fatores contextuais mencionados na matriz acima referem-se a aspectos que esto fora de controle da equipe de planejamento e gesto do projeto, mas que podem exercer impacto positivo ou negativo sobre os resultados
do projeto, tais como: caractersticas empreendedoras dos beneficirios, caractersticas de lideranas comunitrias, perfis de gerentes envolvidos na execuo do projeto, atuao de lideranas polticas locais e regionais, entre
outros. A identificao desses fatores e a sua relao com os resultados do
projeto so importantes para uma melhor compreenso da dinmica do programa, especialmente quando se almeja replic-lo.
O modelo lgico do projeto pode ser desenhado de outra forma, que
complementa a anterior, relacionando objetivos do projeto (explcitos ou implcitos) a variveis operacionais e a indicadores (formas de mensurao) que
permitam mensurar o grau em que os objetivos gerais e especficos do projeto vo sendo atingidos, como mostra o quadro 2.
Quadro 2

Exemplo de modelo lgico

Objetivo

Varivel

Indicador

Aumentar a
produo agrcola
dos beneficirios
do projeto

Volume da
produo agrcola
Valor da produo
agrcola

Quantidade
produzida por
cultura
Faturamento
com a produo
(por cultura)

Informao
necessria

Mtodo de coleta
de dados

Dados sobre
produo
Dados sobre receita
financeira

Pesquisa secundria
(anurios de
produo)
Pesquisa de campo

Costa_castanha.fm Page 979 Tuesday, January 27, 2004 7:49 PM

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

evidente que avaliar desempenho atravs de resultados (ou impactos

de longo prazo) mais importante (e politicamente tentador) quando se
deseja aferir as mudanas efetivas que um programa poderia estar promovendo. Ocorre, todavia, que quase sempre impossvel isolar o efeito de fatores
externos ao programa sobre as mudanas ocorridas. Na prtica, as avaliaes
da produo (expressa na matriz lgica pelos inputs e atividades do programa) e dos resultados imediatos so as nicas que envolvem, efetivamente, apenas os fatores (variveis) que podem ser controlados pelos gestores do
programa e que devem fazer parte, portanto, do processo gerencial. A avaliao de resultados (ou impactos) de mdio e longo prazos, embora no
deva ser desconsiderada, deve ser empreendida com metodologias e estratgias de implementao mais complexas, complementando, periodicamente, a
avaliao de produo (Kettl, 1998).
O dilema sobre qual deve ser o foco da avaliao reflete-se na existncia de diferentes metodologias de avaliao, que sero descritas de forma
sucinta a seguir.

3. As metodologias usuais de avaliao

As experincias de avaliao de programas podem ser agrupadas, para fins
analticos, em trs metodologias bsicas (Sulbrandt, 1993).

Avaliao de metas (realizao de produo ou produtos)

o tipo mais tradicional e tem como propsito medir o grau de xito que um
programa obtm com relao ao alcance de metas previamente estabelecidas. Metas do programa so os produtos mais imediatos (ou concretos) que
dele decorrem pessoas atendidas em centros de sade; nmero de leitos
hospitalares; nmero de horas de aula, entre outros.
Essa modalidade de avaliao pressupe que se atribuam valores a um
conjunto de metas, definindo-se o xito relativo do programa em funo do
grau em que tais metas tenham sido cumpridas. Trata-se, portanto, de uma
avaliao ex-post facto, ou seja, requer que o programa (ou uma etapa do
mesmo) tenha sido concludo para se poder avali-lo.
Entre as principais limitaes desse tipo de avaliao, pode-se citar: a
dificuldade de especificar as metas de forma precisa; a existncia de vrias
metas; a seleo de metas a serem includas no processo de avaliao; mudanas nas metas ao longo da prpria execuo do programa.

979

Costa_castanha.fm Page 980 Tuesday, January 27, 2004 7:49 PM

980

Frederico Lustosa da Costa e Jos Cezar Castanhar

Avaliao de impacto (alcance do propsito ou misso)

A avaliao de impacto procura identificar os efeitos produzidos sobre uma
populao-alvo de um programa social. Busca-se verificar no apenas se as
atividades previstas foram executadas, como tambm se os resultados finais
que se esperavam foram igualmente alcanados. O foco desse tipo de estudo
, em sntese, detectar mudanas nas condies de vida de um grupo-alvo ou
de uma comunidade, como resultado de um programa e em que medida as
mudanas ocorreram na direo desejada.
O problema central a investigar nesse caso a efetividade do programa
e, para conseguir esse intento, se recorre a mecanismos que permitam estabelecer relaes causais entre as aes de um programa e o resultado final obtido. O objetivo desse tipo de avaliao pode ser definido como sendo o de
identificar os efeitos lquidos de uma interveno social. semelhana da avaliao de metas, descrita anteriormente, essa abordagem realizada aps o
encerramento do programa ou de etapas do mesmo.

Avaliao de processos
Essa modalidade de avaliao investiga de forma sistemtica o desenvolvimento de programas sociais com o propsito de: medir a cobertura do programa social; estabelecer o grau em que est alcanando a populao beneficiria;
e, principalmente, acompanhar seus processos internos.
Seu objetivo detectar possveis defeitos na elaborao dos procedimentos, identificar barreiras e obstculos sua implementao e gerar dados importantes para sua reprogramao, atravs do registro de eventos e de
atividades. Assim, o uso adequado das informaes produzidas durante o
desenvolvimento do programa permite introduzir mudanas no seu contedo
durante a prpria execuo. Ao contrrio, portanto, dos enfoques anteriores,
essa modalidade de avaliao se realiza simultaneamente com o desenvolvimento do programa, sendo tambm chamada de avaliao formativa.
Sua aplicao requer, todavia, que se possa desenhar os fluxos e processos de programa. Alm disso, pressupe a existncia de um adequado sistema de informaes gerenciais, que serviram de base ao trabalho dos gestores
e dos avaliadores na poca oportuna.

4. Uma aplicao da metodologia de avaliao de programas sociais

Um sistema de avaliao completo utiliza metodologias que prevem a avaliao de resultados e a avaliao de processos. Na seqncia, so apresenta-

Costa_castanha.fm Page 981 Tuesday, January 27, 2004 7:49 PM

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

das as definies e as formas de operacionalizao utilizadas no modelo

proposto. No fim deste artigo, como exemplo, as categorias metodolgicas
so aplicadas em um programa da Secretaria Municipal de Desenvolvimento
Social do municpio do Rio de Janeiro.

Avaliao de resultados
Aqui, resultados so definidos como constitudos por resultados imediatos, resultados (impactos) de mdio prazo e resultados (impactos) de longo prazo. Assim, para a avaliao sugere-se o uso de indicadores de impacto para a
mensurao dos resultados de longo prazo, relacionados aos objetivos gerais do
programa e de indicadores de resultado para mensurar os resultados imediatos e
de mdio prazo. Os indicadores de resultado mensuram os efeitos do programa:
junto populao-alvo como um todo e junto aos usurios do programa. No
primeiro caso, devem ser levantados dois tipos de indicadores de resultado,
com pesquisas de campo ou o auxlio de bases de dados e/ou cadastros j existentes:
t

grau de cobertura geral mede os ndices de cobertura da populaoalvo pelo programa. Tanto o dficit como o supervit de pessoas beneficiadas so motivos para mudanas de rota no programa. O primeiro demonstra a necessidade de expanso, e o segundo, que est havendo
desperdcio de recursos (pessoas no-elegveis como populao-alvo esto
se beneficiando);
grau de cobertura diferenciada do programa mede a participao diferenciada dos subgrupos da populao-alvo proposta. Essa taxa pode retratar a discriminao (ou vis) na seleo dos clientes do programa em
funo de regio, faixa etria, sexo etc.

Quanto ao segundo ponto, ou seja, a avaliao de resultados junto aos

usurios do programa, podem ser utilizados indicadores de aferio de benefcios, que levam em considerao os objetivos especficos de cada programa
ou projeto. Rob Vos (1993) cita alguns exemplos de indicadores normalmente mais utilizados junto aos usurios do programa e populao-alvo:
t

para programas de nutrio taxas de desnutrio por faixa etria; de

mortalidade e de morbidade;
para programas de educao taxas de analfabetismo; de repetncia; de
evaso; coeficientes de escolarizao e graus de escolaridade;

981

Costa_castanha.fm Page 982 Tuesday, January 27, 2004 7:49 PM

982

Frederico Lustosa da Costa e Jos Cezar Castanhar

para programas de sade taxas de mortalidade em geral; de mortalidade infantil; de mortalidade materna; de natalidade; de fecundidade e
esperana de vida ao nascer;
para programas de habitao dficit quantitativo de moradias; qualidade de construo da moradia e disponibilidade de servios bsicos.

Os indicadores de insumo apontam os meios ou os recursos disponveis

para o alcance dos objetivos propostos. Recursos escassos e inadequados (em
termos financeiros, de mo-de-obra, de material etc.) tendem quase sempre a
comprometer os resultados esperados. Vos (1993) menciona alguns exemplos mais comuns de indicadores de insumo, como:
t

para programas de nutrio disponibilidade de alimentos por pessoa;

para programas de educao relaes aluno/professor; aluno/escola;
nmero de sries oferecidas por estabelecimento escolar e disponibilidade
de material didtico por aluno;
para programas de sade nmero de mdicos por habitante; de postos
de sade por habitante; de leitos por habitante e de vacinas disponveis
por habitante.

J os indicadores de acesso identificam os determinantes que permitem

tornar efetiva a utilizao dos recursos disponveis nos programas para o alcance das metas previstas. Os mais comuns so:
t

para programas de sade nmero de consultas mdicas por adulto

equivalente; distncia geogrfica ao servio de sade mais perto; renda
disponvel por famlia (dado til para viabilizar a compra de medicamentos, por exemplo) e fatores culturais;
para programas de educao distncia da escola; adequao curricular
e renda disponvel por famlia (para possibilitar, por exemplo, a compra de
material escolar).

Alm disso, a aplicao de questionrios permite medir a satisfao da

clientela, sendo um bom indicador de qualidade, mas no o nico nem o mais
completo. Nesse sentido ainda possvel estabelecer indicadores compostos
atravs da construo de ndices formados por um conjunto de atributos definido a partir das caractersticas do servio.

Costa_castanha.fm Page 983 Tuesday, January 27, 2004 7:49 PM

983

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

Avaliao de processo
A avaliao de processo pode ser definida como a maneira de identificar o verdadeiro contedo de um programa pblico, se ele est sendo realizado como
previsto, se est alcanando o pblico para o qual foi concebido e se os benefcios esto sendo distribudos na intensidade prevista (Scheirer, 1994:40).
A avaliao de processos requer, portanto, que se desenvolvam mtodos para responder a trs perguntas (Scheirer, 1994:40-41): de que (e como)
se constitui o programa em pauta? (mtodos para desenvolver e especificar os
componentes de um programa); o que , na realidade, entregue aos beneficirios? (mtodos para mensurar a implementao do programa); por que existem diferenas entre os objetivos (e intenes) do programa e os que so
realmente realizados? (avaliar fatores que influenciam a implementao, provocando mudanas entre o previsto e o realizado).

Componentes de um programa
A descrio completa e adequada dos componentes de um programa essencial para se avaliar a sua execuo. Componentes so as estratgias, atividades, comportamentos, formas de comunicao e tecnologias necessrios
para a implementao do programa, bem como a especificao dos beneficirios e as situaes em que se d a implementao.
O quadro 3 resume as categorias includas em componentes de um programa, exemplificando-as.

Quadro 3

Exemplos de componentes de um programa

Tipos de componentes

Exemplos

Beneficirios pretendidos
Caractersticas sociodemogrficas apropriadas
para o programa

Faixa etria; etnia; nvel de renda; situao de sade;

gnero

Requisitos de elegibilidade

Somente minorias; somente desempregados h mais

de trs meses; somente idosos

Mecanismos de recrutamento

Por organizaes existentes; anncios na mdia;

divulgao informal

Processo de seleo de beneficirios

Auto-seleo por critrio do programa; primeiros a

chegar; exame

continua

Costa_castanha.fm Page 984 Tuesday, January 27, 2004 7:49 PM

984

Frederico Lustosa da Costa e Jos Cezar Castanhar

Tipos de componentes

Exemplos

Contexto institucional previsto para a

implementao do programa
s

Tipos de organizaes pblicas que vo

participar da execuo do programa e suas
caractersticas

Escritrios descentralizados de rgos federais;

secretarias estaduais; rgos municipais

Organizaes sociais comunitrias

Parcerias com o setor privado; parcerias com

organizaes comunitrias

Forma prevista de execuo

Atividades: quem faz o qu? Com quem?

Funcionrios do informaes a usurios; agentes

sociais abordam crianas de rua; profissionais
participam voluntariamente de programas de
treinamento (artes, informtica)

Recursos humanos: de que tipo, com que

formao e experincia?

Mdicos ou agentes de sade para programas de

sade da famlia; assistentes sociais para programas
de assistncia a meninos de rua

Materiais (equipamentos, infra-estrutura)

necessrios para a execuo do programa

Livros e material didtico adequado; material para

treinamento de funcionrios envolvidos

Informao e sistema de informao

Acessar registros informatizados de beneficirios

elegveis; manter registros sobre atendimento para
avaliao

Escopo previsto para o programa

Nmero de rgos e unidades envolvidos no

programa; nmero de beneficirios previsto

Fonte: Scheirer, 1994:46.

A adequada e precisa identificao dos componentes do programa permitir que se avalie quais aspectos do programa foram implementados como
previsto, quais no foram e quais fatores influenciaram eventuais discrepncias na implementao. Um outro aspecto que a correta especificao dos
componentes permite avaliar diz respeito medida que o escopo do programa (beneficirios pretendidos) foi observado. Alm disso, possibilitar conjecturar sobre os elos entre os resultados da implementao e os resultados
do programa propriamente dito (em termos de produo, resultados intermedirios, impactos etc.).
Um aspecto interessante a ser observado que, ao mesmo tempo em
que a especificao (ou detalhamento) do contedo do programa uma condio preliminar para a avaliao de processo, a prpria iniciativa de se
planejar e realizar a avaliao de processo contribui para uma especificao
mais adequada e realista do contedo do programa. Note-se que isso uma
condio importante para, de um lado, assegurar que o programa seja mais
efetivo (j que a consistncia interna do programa ter passado por um crivo
preliminar) e, de outro, que a avaliao de resultados e impacto seja mais efi-

Costa_castanha.fm Page 985 Tuesday, January 27, 2004 7:49 PM

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

caz uma vez que o desempenho do programa ser comparado com metas e
expectativas mais coerentes e realistas.
Para permitir que a avaliao de processo possa melhorar o desenho e a
especificao de um programa pblico, algumas tcnicas podem ser utilizadas.
t

Avaliao formativa: baseada em dados coletados de projetos pilotos e de

beneficirios, ao longo da realizao de uma determinada interveno e
que permite obter informaes sobre a viabilidade de determinados atividades e instrumentos e em que medida eles so adequados ao desenho
planejado e aos beneficirios previstos;
Verificao da avaliabilidade: conjunto de processos sistemticos para o
desenvolvimento adequado da teoria subjacente a um dado programa pblico, e detalhar e clarificar os usos previstos para os dados no processo de
avaliao, antes do incio de uma avaliao em escala completa. Seus passos mais importantes incluem (Scheirer, 1994:49-50):
a) envolver os principais formuladores de poltica, gerentes e funcionrios atravs de uma srie de reunies para clarificar suas expectativas
para o programa e para a avaliao propriamente dita;
b) usando um modelo de diagrama denominado matriz lgica, detalhar as
relaes causais esperadas entre trs aspectos do programa: recursos
alocados ao programa, realizao das atividades especficas previstas
pelo programa e resultados esperados;
c) refinamento da teoria subjacente ao programa, por um processo iterativo, usando visitas aos locais do projeto e informaes disponveis,
para examinar a realidade das operaes no campo e em que medida a
teoria proposta plausvel;
d) clarificar os usos previstos para as informaes obtidas com a avaliao, mediante discusses com formuladores de poltica e gerentes
do programa, incluindo mudanas no prprio programa.

Uso da teoria para ajudar na especificao do programa: aplicao de

teorias relevantes para o tema substantivo do qual trata o programa, e o
uso de dados para elucidar processos subjacentes. Esse tipo de avaliao
de processo importante no apenas para especificar o contedo do programa como tambm para vincular atividades do programa com medidas
(indicadores) de resultado a serem utilizados em posteriores avaliaes de
impacto.

985

Costa_castanha.fm Page 986 Tuesday, January 27, 2004 7:49 PM

986

Frederico Lustosa da Costa e Jos Cezar Castanhar

O termo teoria refere-se aqui a princpios inter-relacionados que explicam e permitem supor o comportamento de uma pessoa, grupo ou organizao.
Chen (1990) distingue dois grandes tipos de teorias: a normativa, que define o
que um programa deveria ser e a causal, que descreve empiricamente as relaes causais entre solues propostas (incluindo fatores contextuais) e os resultados obtidos.

Um exemplo prtico
Os autores deste artigo participaram da equipe da Ebape da FGV encarregada de desenvolver uma proposta de metodologia de avaliao e monitorao
dos programas administrados pela Secretaria Municipal de Desenvolvimento
Social (SMDS) do municpio do Rio de Janeiro. A proposta apresentada, e descrita resumidamente no anexo, foi uma oportunidade interessante de testar
os limites e as possibilidades da avaliao de programas pblicos.
O exerccio s chega at o segundo nvel de agregao dos compromissos programticos (objetivos gerais e objetivos especficos) e define apenas indicadores de impacto (para os objetivos gerais) e de resultado (para todos os
objetivos especficos). Embora no tenham sido detalhados os procedimentos
necessrios para a avaliao de processo, procurou-se identificar na matriz lgica, sob o ttulo fontes de verificao, as fontes de dados e os instrumentos de
coleta de informao necessrios para realizar-se a avaliao. Procurou-se indicar na mesma matriz, sob o ttulo pressupostos, eventos e procedimentos para
que as informaes necessrias para a avaliao fossem obtidas e os indicadores sugeridos calculados. Esses elementos podem auxiliar no estabelecimento posterior dos passos e mecanismos necessrios para a avaliao de
processos, bem como na reflexo sobre o aprimoramento da lgica do programa.
Um aspecto interessante a ressaltar sobre o exemplo apresentado
refere-se ao fato de que a matriz proposta foi construda a partir de uma ampla participao e envolvimento dos formuladores da poltica e gerentes do
programa, bem como resultou de um processo iterativo no qual a proposta foi
gradualmente aprimorada, utilizando assim a seqncia analtica proposta na
metodologia denominada acima de verificao de avaliabilidade, que, espera-se, pode fazer com que o processo de avaliao ocorra de forma mais harmoniosa e eficaz e seus resultados sejam efetivamente utilizados.

5. Concluses

Costa_castanha.fm Page 987 Tuesday, January 27, 2004 7:49 PM

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

O grande desafio para a disseminao da prtica da avaliao de projetos no setor pblico , sem dvida, encontrar formas prticas de mensurar o desempenho e fornecer ao responsvel pela gesto dos programas sociais, bem como para
os demais atores envolvidos, informaes teis para a avaliao sobre os efeitos de tais programas, necessidade de correes, ou mesmo da inviabilidade do
programa. Como vimos, as dificuldades metodolgicas acabam levando utilizao de indicadores que se aplicam, predominantemente, aos aspectos da
produo dos programas (alcance das metas, ou objetivos).
claro que essa dificuldade prtica pode levar os gestores de programas pblicos a carem na armadilha de considerar os processos de aferio,
especialmente os de produo, como um fim em si mesmo. Mas, conforme
lembra Kettl, o objetivo bsico do processo no produzir nmeros e sim melhorar os resultados. Deve-se ter sempre em mente que a inovao administrativa importante praticar a administrao por desempenho e no a aferio do
desempenho.
A avaliao um conjunto de tcnicas que adota conceitos diferenciados para se referir muitas vezes aos mesmos procedimentos. Enquanto no se
avanar na teorizao da prtica e buscar os consensos necessrios construo de paradigmas conceituais, cada esforo de avaliao vai requerer o
estabelecimento prvio de uma estrutura de referncia para a anlise e o
treinamento supervisionado do pessoal envolvido. Profissionais experimentados podem adotar esse procedimento na conduo do trabalho de consultoria, mas nem todo o pessoal tcnico pode assumir essa tarefa sem tornar a
prtica da avaliao ainda mais difcil. A condio de possibilidade da avaliao a consistncia do planejamento.
De qualquer maneira, nem a dificuldade nem o risco mencionados acima devem se constituir num obstculo insupervel para as tentativas de se
aplicar de forma sistemtica essa metodologia. Afinal, esse um campo,
como muitos outros na administrao, em que o aprendizado com as experincias prticas contribui para a superao das dificuldades conceituais e operacionais.

Referncias bibliogrficas
BID/INDES/OFICINA DE EVALUACIN. El marco lgico. 1994.
BRASIL. MPAS. SUBSECRETARIA DE PLANEJAMENTO E ORAMENTO. Indicadores de excelncia. s/d. (mimeo).
CHEN, H. T. Theory driven evaluations. Newbury Park: Sage, 1990.
COHEN, Ernesto; FRANCO, Rolando. Evaluacin de proyetos sociales. Madrid: Siglo XXI,
1993.

987

Costa_castanha.fm Page 988 Tuesday, January 27, 2004 7:49 PM

988

Frederico Lustosa da Costa e Jos Cezar Castanhar

COSTA, Frederico Lustosa da (Coord.). Fortalecimento institucional da Secretaria de Desenvolvimento Social da Prefeitura da Cidade do Rio de Janeiro. Quarto mdulo: proposta de
um sistema de monitoramento e avaliao para a SMDS/RJ. Rio de Janeiro: FGV, 1998.
FAYOL, Henri. Administration industrielle et generale: prevoyance, organisation, commandement, coordination, controle. Paris: Dunod, 1950.
JENKINS, Bill; GRAY, Andrew. Evaluacin y el usuario: la experiencia del Reino Unido.
Gestin y Anlisis de Polticas Pblicas. Madrid, set./dic. 1994.
KETTL, Donald F. (1996) A revoluo global: reforma da administrao do setor pblico.
In: BRESSER-PEREIRA, Luiz Carlos; SPINK, Peter. Reforma do Estado e administrao
pblica gerencial. Rio de Janeiro: FGV, 1998.
RICO, Elizabeth Melo (org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez; Instituto de Estudos Especiais, 1998.
ROSSI, Peter; FREEMAN, Howard. Evalucin: un enfoque sistemtico. Thousand Oaks:
Sage, 1989.
SCHEIRER, Mary Ann. Designing and using process evaluation. In: WHOLEY, Joseph S.;
HATRY, Harry P.; NEWCOMER, Kathryn E. (Eds.). Handbook of practical program evaluation. San Francisco: Jossey-Bass Publishers, 1994.
SCHWARTZMAN, Jacques. Um sistema de indicadores para as universidades brasileiras. So
Paulo: Nupes/USP, 1994. (Documento de trabalho 5/94).
SFEZ, Lucien. Critique de la decisin. 4. ed. Paris: Presses de la Fondation Nationale des
Sciences Politiques, 1992.
SUBIRATS, Joan. Los instrumentos de las polticas, el debate pblico y el processo de evaluacin. [s.l.]: [s.ed.], [s.d.].
SULBRANDT, Jos. La evaluacin de los programas sociales: una perspectiva crtica de los
modelos usuales. In: KLIKSBERG, Bernardo (Org.). Pobreza: un tema impostergable. Mxico: Fondo de Cultura Economica, 1993.
TENRIO, Fernando Guilherme (Coord.) et al. Avaliao de projetos comunitrios uma
abordagem prtica. So Paulo: Edies Loyola, 1995.
UNICEF. Guide for monitoring and evaluation. New York: Unicef, 1990.
VOS, Rob. Hacia un sistema de indicadores sociales. Washington: BID/Indes, 1993.
WHOLEY, Joseph S. Assessing the feasibility and likely usefulness of evaluation. In:
WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER, Kathryn E. (Eds.). Handbook of practical program evaluation. San Francisco: Jossey-Bass Publishers, 1994.
WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER, Kathryn E. (Eds.). Handbook of practical program evaluation. San Francisco: Jossey-Bass Publishers, 1994.

Costa_castanha.fm Page 989 Tuesday, January 27, 2004 7:49 PM

989

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

Anexo

Programa Rio Criana Maravilhosa

Este programa do Bird engloba o Programa Rio Creche da Secretaria Municipal de Desenvolvimento Social e as aes de outras secretarias municipais.

Objetivo geral
s

Contribuir para ampliar

e melhorar a qualidade
dos servios prestados
s crianas de 0 a seis
anos nas reas de
sade, educao e
desenvolvimento
social.

Indicadores de impacto
s

Objetivos especficos
s

Reduzir as taxas de
morbidade e de
mortalidade infantil
de crianas menores
de cinco anos.

Taxa de mortalidade de
menores de cinco anos
(por mil nativivos).

Taxa de desnutrio
infantil: menores de
cinco anos com peso
deficiente para a altura
(desnutrio aguda) e
altura deficiente para a
idade (desnutrio
crnica).

Indicadores de resultado
s

s
s

Nmero de casos de
diarria por 100 mil.
Nmero de casos de IRA
(infeces respiratrias
agudas) por 100 mil.
Nmero de casos de
desnutrio por 100 mil.
Nmero de casos de
doenas de notificao
compulsria por 100 mil.
Cobertura vacinal (%).
Taxa de mortalidade
infantil (por mil
nativivos).
Taxa de mortalidade de
crianas menores de
cinco anos (por mil
nativivos).

Fontes de verificao
s

Censo demogrfico
(IBGE) para o
municpio e/ou
estimativas
preliminares do
IBGE.

Criar procedimentos
para a obteno
dessas estatsticas
pelo menos de cinco
em cinco anos, e
com razovel grau de
atualizao.

Estatstica do
Benfam.

Fontes de verificao
s

Pressupostos

SMS/SIG (mensal).

Pressupostos
Criar procedimentos
para coleta da
informao.

continua

Costa_castanha.fm Page 990 Tuesday, January 27, 2004 7:49 PM

990

Frederico Lustosa da Costa e Jos Cezar Castanhar

Objetivos especficos

Indicadores de resultado
s

Reduzir as taxas de
morbidade e de
mortalidade materna.

Garantir o acesso e a
permanncia das
crianas com
necessidades
especficas 1 e em
situao de risco 2
aos servios de
educao, sade e
desenvolvimento
social (SMDS).

ndice geral de qualidade

do servio (ndice com
intervalo de variao entre
0 e 100) nos postos de
sade/hospitais do
municpio para
atendimento de crianas
de 0 a seis anos.
Cobertura do pr-natal:
percentual de gestantes
matriculadas no prnatal (%).
Taxa de mortalidade
materna (por mil
mulheres).
Nmero de crianas com
amamentao natural em
relao ao total de
crianas com at seis
meses de vida (%).
Nmero de crianas com
necessidades
especficas na creche
em relao ao total de
crianas com
necessidades
especficas em idade de
creche (%).

Nmero de crianas em
situao de risco na
creche em relao ao
total de crianas em
situao de risco em
idade de creche (%).
Nmero de crianas
com necessidades
especficas na prescola em relao ao
total de crianas com
necessidades
especficas em idade
de pr-escola.

Fontes de verificao
s

Pressupostos

Questionrio a ser
aplicado pela
superviso nas
unidades de
execuo da SMS
(anual).

Montar questionrio
de avaliao com o
auxlio de
especialistas,
definindo atributos e
ponderaes(padres
de qualidade).

SMS/SIG (mensal).

Criar procedimentos
para coleta da
informao.

SMS/campanha de
vacinao.

Criar procedimentos
para coleta da
informao.

SMDS/STE/CR/
unidade de servio
(anual).

Criar procedimentos
para coleta da
informao.

SMDS/STE/CR/
unidade de servio
(anual).

SME/ATP
(Assessoria Tcnica
de Planejamento)/
CRE (Coordenadoria
Regional de
Educao)/ Unidade
Escolar (UE)
(anual).
continua

Costa_castanha.fm Page 991 Tuesday, January 27, 2004 7:49 PM

991

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

Objetivos especficos

Indicadores de resultado
s

Aperfeioar as prticas
socioeducativas dos
profissionais que
trabalham nos servios
de atendimento s
crianas de 0 a seis
anos (SMDS: crianas
at quatro anos
incompletos).

Nmero de crianas em
situao de risco na prescola em relao ao
total de crianas em
situao de risco em
idade de pr-escola (%).
Profissionais treinados
em relao ao total de
profissionais que
necessitam ser treinados
(%).

Taxa de rotatividade:
percentual de
profissionais treinados
que se desligam no 1
ano aps o treinamento
(%).
Periodicidade da
superviso (meses).

ndice geral de avaliao

da capacitao (ndice
com intervalo de
variao entre 0 e 100).

Periodicidade da
superviso (meses).

ndice geral de avaliao

da capacitao (ndice
com intervalo de
variao entre 0 e 100).

Fontes de verificao
s

Pressupostos

SME/ATP/CRE/
Unidade Escolar
(anual).

SMDS/ATE; SME;
SMS/CRH (anual).

SMDS/ATE, SME;
SMS/CRH (anual).

Criar procedimentos
para coleta da
informao.

SMDS/CR; SMS;
SME: superviso a
partir da unidade de
execuo.
Superviso
peridica.

Montar questionrio
de avaliao
com o auxlio de
especialistas e
usurios, definindo
atributos e
ponderaes.

SMDS/CR; SMS;
SME: superviso a
partir da unidade de
execuo.
Superviso
peridica.

Montar questionrio
de avaliao
com o auxlio de
especialistas e
usurios,
definindo atributos
e ponderaes.
continua

Costa_castanha.fm Page 992 Tuesday, January 27, 2004 7:49 PM

992

Frederico Lustosa da Costa e Jos Cezar Castanhar

Objetivos especficos
s

Aumentar a
participao das
famlias e das
comunidades nas
questes relativas
primeira infncia
(SMDS).

Indicadores de resultado
s

Nmero de conselhos
ou representaes
comunitrias existentes
em cada setor (sade,
educao e
desenvolvimento
social) por rea de
planejamento (AP).
Nmero de atividades
socioeducativas
realizadas por ms
pelos conselhos ou
representaes
comunitrias.
Taxa de adeso nas
atividades promovidas
pelos conselhos e
representaes
comunitrias: mdia de
presenas em relao ao
pblico esperado (%).
Nmero de atividades
socioeducativas
promovidas por ms
pela unidade de
execuo para as
famlias dos usurios.
Taxa de adeso das
famlias nessas
atividades
socioeducativas:
mdia de presenas
em relao ao pblico
esperado (%).
ndice geral de
satisfao das famlias
(ndice com intervalo de
variao entre 0 e 100).

Fontes de verificao
s

Criao e
implementao
de conselhos e
representaes
comunitrias.

SMDS/CR (mensal).

SMDS/CR (mensal).

SMDS/CR (mensal).

SMDS/CR (mensal).

A partir de
questionrio a ser
proposto (anual).

Pressupostos
Criar procedimentos
para coleta da
informao.

Montar questionrio
de avaliao com
o auxlio de
especialistas,
definindo atributos
e ponderaes.

Crianas com necessidades especficas so aquelas portadoras de deficincia, de sndromes, de altas habilidades e de
doenas crnicas; e ainda crianas hospitalizadas e imobilizadas.
2
Crianas em situao de risco so aquelas portadoras de HIV, em situao de rua e as vitimizadas.