Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
CSD 10
Outubro de 1999
1. Introdução……………………………………………………………………….……….Pag. 4
4.1. Objetivos…………………………………………………………….………..Pag. 26
Existe uma ampla gama de abordagens, métodos e modelos analíticos que, sem dúvida,
podem confundir os que se iniciam no campo do Monitoramento e Avaliação de programas e
projetos sociais. Nesta documento são explicados esses conceitos de forma aplicada e são
estabelecidas algumas diretrizes para facilitar o desenho e a operacionalização de sistemas de
M&A. A abordagem conceitual utilizada representa o consenso alcançado na última década
pelas instituições multilaterais de cooperação, particularmente o Banco Mundial, o Banco
Interamericano de Desenvolvimento e as agências do sistema das Nações Unidas. A aplicação
desses conceitos no desenho e operacionalização de sistemas de M&A recolhe as experiências e
lições aprendidas pelo autor em diversos cursos de treinamento, consultorias de avaliação para
instituições governamentais e agências de desenvolvimento e, principalmente, na coordenação e
condução de um significativo número de avaliações de projetos e programas na América Latina
e, particularmente, no Brasil.
Via de regra, a grande gama de programas e projetos sociais desenhados para reduzir a
mortalidade na infância e melhorar as condições de saúde da população, da qualidade da
educação pré-escolar e fundamental, reduzir o trabalho infantil, gerar renda e oportunidades de
emprego para mulheres, fortalecer a capacidade e o empowerment individual ou coletivo de 6
grupos vulneráveis, reduzir ou evitar a violência e abuso sexual de crianças, entre tantos outros,
não têm tido um monitoramento sistemático e as avaliações realizadas raramente permitem traçar
a causalidade dos resultados e tirar lições que sirvam para melhorar o gerenciamento e aprender
para o desenho de novas intervenções.
Em termos gerais e, com raras exceções, pode-se assinalar que as políticas sociais e a
maioria dos programas e projetos que fazem parte destas não recebem nenhuma avaliação.
Quando, excepcionalmente, uma é realizada, trata-se, na sua maioria, de trabalhos descritivos
com escassa análise avaliativa que permita julgar os méritos de uma determinada intervenção e
tirar lições para ajustar e/ou reorientar os programas em andamento, ou melhorar o desenho de
futuras iniciativas. Em outros casos, as avaliações são desenvolvidas com metodologias
sofisticadas e um enfoque eminentemente acadêmico, fazendo com que, além da demora na
obtenção dos resultados, os mesmos sejam de pouca utilidade para orientar propostas
operacionalizáveis na definição de estratégias e tomadas de decisão. Geralmente, nas avaliações
feitas em programas governamentais, não são enfatizados os aspectos relacionados com os
efeitos (diretos e indiretos) e o impacto das intervenções sobre a população beneficiária, nem o
grau de sustentabilidade das mesmas. Na maioria dos programas implementados pelo governo,
não existe um mecanismo regulador que indique em que momento determinadas atividades,
embora eficientes no uso de recursos, têm deixado de ser eficazes no alcance dos objetivos.
Porém, nos últimos anos tem havido um renovado interesse, no Brasil e nos países da
América Latina e Caribe, pelas técnicas de planejamento estratégico e de monitoramento e
avaliação das políticas públicas. Esse crescente interesse obedece a uma combinação de fatores e
circunstâncias que tem a ver com: (i) a aguda crise social vivida na região, que exerce uma
intensa demanda por projetos e programas sociais para satisfação das necessidades dos grupos
mais vulneráveis; (ii) a necessidade de conhecer e aprender sobre a complexidade e dinâmica dos
programas e projetos de desenvolvimento social que, além de serem multidimensionais, são
afetados por uma série de fatores fora do controle dos administradores e planejadores; (iii) o 7
limitado sucesso ou o fracasso das estratégias de desenvolvimento social, muitas vezes gerando
efeitos contrários aos esperados; (iv) a escassez de recursos disponíveis dos próprios governos,
dos países doadores e das agências de ajuda externa, para satisfazer as necessidades urgentes do
desenvolvimento social; (v) a necessidade de um planejamento e gerenciamento com maior e
melhor informação em todos os níveis para superar o conhecimento incompleto que se possui
dos efeitos e impacto das diferentes estratégias sobre os públicos-alvo; (vi) a necessidade de
alocar os recursos disponíveis com maior eficiência e eqüidade, para assegurar um maior grau de
efetividade e sustentabilidade no alcance dos objetivos das políticas sociais; (vii) a crescente
cobrança, por parte da sociedade civil, tanto nos países doadores como nos próprios países em
desenvolvimento, sobre o uso dos recursos e os resultados obtidos.
Não é objetivo deste documento entrar na velha discussão existente entre as diferentes
escolas de pensamento, quanto aos conceitos e diferentes métodos e técnicas da pesquisa
avaliativa. A experiência mostra que os métodos e as técnicas utilizados pelas diferentes escolas
de pensamento não são incompatíveis. Ao contrário, elas podem ser perfeitamente combinadas,
de forma complementar, dependendo dos propósitos e objetos da avaliação. Por exemplo, se há
necessidade de obter representatividade para verificar a magnitude na mudança de um
determinado indicador, o desenho amostral com base probabilística e questionários pré-
codificados é uma opção recomendada. Porém, para tentar explicar o porquê das mudanças, pode
ser necessário utilizar entrevistas de tipo mais qualitativo com informantes-chave, grupos de
discussão ou observação participante.
Freqüentemente, o conceito e as funções da avaliação são confundidas com as de 8
monitoramento e não existe um consenso quanto ao uso e significado de uma série de termos,
tais como impacto, efeito, produtos, atividades, resultados, metas, sustentabilidade, entre outros.
Uma vantagem desse enfoque é que toma como base o conhecimento e a experiência
existentes, o que facilita o M&A, principalmente na seleção de indicadores e fontes de
informação, e nas possibilidades de sua interpretação. A principal crítica a esse enfoque é que a
delimitação dos problemas e objetivos pode direcionar muito a avaliação, com o perigo de que
não sejam considerados os aspectos ou efeitos não previstos (efeitos secundários e outras
externalidades), que geralmente surgem na implementação de programas e projetos sociais.
Devido à complexidade e dinâmica dos programas sociais, a maioria dos projetos e programas 9
não possuem uma adequada definição dos objetivos e das metas esperadas, nem uma análise de
situação com suficiente informação que permita traçar a situação “antes” do início do projeto.
Isto, sem dúvida, faz com que esse enfoque possua sérias limitações práticas. Porém, nada
impede que o estabelecimento de objetivos e metas seja refinado, na medida em que a gerência e
os atores envolvidos no projeto ou programa tenham um maior conhecimento sobre a dinâmica e
rumo da iniciativa.
O gráfico abaixo ajuda na interpretação dos dois enfoques e mostra a necessidade da sua
complementação. Nele observa-se que a combinação de processos e metas é a melhor alternativa
para alcançar a situação do quadrante C (por exemplo, erradicação do trabalho infantil). Ou seja,
não adianta alcançar a meta de erradicar o trabalho infantil se não se desenvolvem processos
(fortalecimento institucional, por exemplo) que permitam garantir certa sustentabilidade dessa
meta. Tampouco adianta desenvolver ou ficar somente em processos que não levem ao alcance
de certas metas ou resultados. Ou seja, tanto no planejamento como na gestão e avaliação tem
que existir um certo equilíbrio entre esses enfoques. Daí surge a recomendação da necessidade
de trabalhar com objetivos e metas que podem ir sendo redefinidos/ajustados, na medida em que
novo conhecimento vai sendo incorporado, através da implementação. Isso permite assegurar
um certo grau de flexibilidade, tanto na gestão (estratégica) como na avaliação de eventos e
efeitos não previstos.
Metas e Processos
10
Metas
Bom A C
Ruim
B D
Processos
Ruim Bom
Maior aprofundamento desta questão é encontrado em Sulbrandt (1994), que faz uma
crítica aos modelos tradicionais de avaliação e propõe uma abordagem (avaliação global) que
trata de integrar os enfoques de metas e de processos, onde se incorporam os atores afetados
pelos programas e se utilizam os diferentes tipos de dados (qualitativo e quantitativo) e fontes e
métodos de coleta de informação.
O MLA (ou logframe), com suas categorias de classificação, ajuda nas fases de
planejamento e formulação de um projeto ou programa, facilitando a programação de atividades
e recursos e o desenho e a operacionalização dos sistemas de monitoramento e avaliação
(M&A). Como mostra o Diagrama 1, o MLA possui uma hierarquia lógica que considera que os
objetivos de um projeto ou programa são alcançados através de uma seqüência ou hierarquia
lógica no tempo, isto é, o alcance de um objetivo imediato conduzindo à consecução de um
objetivo intermediário que, por sua vez, levará ao alcance do objetivo de desenvolvimento ou de
mais longo prazo.
Ou seja, o primeiro passo dentro do MLA é ter um consenso entre os que participam do
projeto ou programa quanto aos problemas a serem abordados e a situação melhorada que se
quer conseguir. Isto fará possível chegar a um consenso quanto aos objetivos específico e geral
ou mais global do projeto. Portanto, no MLA é importante descrever a situação futura desejada,
para que seja possível posteriormente verificar qual é o grau de alcance desses objetivos nos
grupos-alvo.
No enfoque de MLA considera-se que a execução de um projeto é a consequência de um
conjunto de fatos com uma relação causal interna. Esses níveis são os insumos, as atividades, os
resultados ou produtos, os objetivos específicos e o global que se encontram interrelacionados,
onde cada nível será alcançado na medida em que certas hipótese foram cumpridas.
O grau de certeza na implementação das atividades e dos resultados é bastante elevado, já
que depende, em grande medida, do controle gerencial do projeto; porém, este grau diminui nos
níveis superiores, onde há mais incertezas ou fatores externos que escapam ao controle interno
do projeto ou programa. Cada nível desta hierarquia tem que ser verificável através de
indicadores que são constituídos, tendo uma ou mais fontes de informação (ou meio de
verificação). O diagrama abaixo mostra a interação entre os diferentes níveis e na tabela 1
observa-se, o modelo clássico de MLA resumido num exemplo em formato matricial.
1
No anexo 2, a metodologia do marco lógico de análise é apresentada em forma esquematizada. Este anexo foi
baseado na tradução e adaptação do material produzido pela OIT-Programa DelNet. Programa a Distancia de
Formación, Asistencia Técnica, información y Trabajo en Red en apoyo al Desarrollo Local. Turin 1999.
Diagrama 1. Elementos e Inter-relação do MLA
Objetivo Fatores
O alcance do objetivo específico
Global Externos
levará, no mais longo prazo, a contri-
buir na consecussão do objetivo global
Objetivo Fatores
Específico Externos
Obtendo-se a resultados se alcançará
o objetivo específico
Fatores
Resultados
Externos
Se as atividades se implementam se
obterão os resultados
Fatores
Atividades
Externos
Se os insumos estão disponíveis, as
atividades se implementarão
Insumos Pre-condições
Tabela 1. EXEMPLO DE MARCO LÓGICO DE ANÁLISE
Hierarquia Metas e Meios de Pressupostos
Vertical Indicadores Verificação
deObjetivos
Global: -Taxa de Registros da - As altas taxas de
Melhorar a mortalidade Secretaria de mortalidade, morbilidade e
Saúde materna Saúde do fertilidade devem-se à
Reproductiva reduzida em Estado falta de conhecimento e/ou
na Estado de 20% até acesso a serviços de
Ceará Dezembro qualidade.
31, 2002
- Espera-se que o Governo
-Taxa de estadual e os governos
Morbilidade municipais apoiarão os
materna programas e que os
reduzida em recursos serão aprovados e
20% até disponíveis.
Dezembro 31,
2002 - A estabilidade política e
econômica continuará
-Taxa de
mortalidade
infantil
reduzida em
15% até
Dezembro 31,
2002
- Casos de
DST/HIV/AI
DS
reduzida em
10% até
Dezembro 31,
2002
3.2.1. Fornecendo os Insumos ou Meios 14
Como foi observado no Diagrama 1, para que seja possível alcançar os objetivos do
programa ou projeto, o segundo passo é combinar os meios ou recursos humanos, materiais e
financeiros, através de atividades e subatividades para a obtenção de determinado(s) produto(s)
ou resultados. Ou seja, as atividades (e subatividades) seriam equivalentes a processos (e
subprocessos) produtivos, em que se combinam insumos em determinadas proporções (por uma
determinada tecnologia) para a obtenção dos produtos ou resultados. Por exemplo, em um
programa de imunização e de alimentação emergencial os produtos podem estar representados
pelas crianças e mães vacinadas, as cestas de alimentos, os litros de leite e os quilos de pão
distribuídos.
Em programas ou projetos
multisetoriais com vários componentes não é Os efeitos secundários, muitas vezes não previstos
ou não considerados nas avaliações, podem ser mais
sempre possível separar esses efeitos importantes que os efeitos diretos ou imediatos.
específicos. Os diferentes resultados que Dependendo do projeto ou programa os efeitos
estão sendo gerados pelas diversas secundários podem ser de diferente índole
atividades do programa, e os efeitos (econômico, ambiental, cultural, demográfico, etc).
imediatos, provocam ou induzem efeitos por exemplo, a maior renda percebidas por famílias
beneficiadas por um programa de profissionalização
mais amplos, que podem ser classificados pode gerar renda e emprego em outros setores ao
como efeitos secundários ou indiretos. induzir uma produção adicional de bens de
Estes efeitos secundários podem afetar consumo. Um programa emergencial de distribuição
positiva ou negativamente a população de cestas básicas pode induzir a aumentos na
beneficiaria e também afetar outras regiões atividade processadora local ou de outros estados (se
a fonte de produção está for a do estado em que se
e grupos. Por exemplo, no caso de um implementa o programa). Outras externalidades de
programa de cestas familiares e distribuição tipo econômico podem ser a instalação de novas
de pão e leite para famílias carentes empresas, agências de serviços, incrementos da
implementado no Estado de Goiás, gerou-se atividade da construção, comércio, etc.
uma demanda por maior produção local,
induzindo a implantação de mini-usinas de leite e o aumento da capacidade de produção das
padarias existentes. A criação dessas mini-usinas e da capacidade das padarias também levou à
criação de maior número de empregos e renda em setores e grupos não diretamente beneficiados
pelo programa. Por outro lado, houve evidências de que a oferta de cestas alimentares para as
famílias carentes resultou numa menor atividade do comércio local onde as famílias pobres
residiam.
O conjunto dos efeitos acima caracterizados levaria, a médio e longo prazos, a conformar
o impacto do programa ou projeto, o qual pode ser definido como:
16
HIERARQUIANOALCANCEDEOBJETIVOS
17
INPUTS
Recursos Atividades/
físicos, fi- tarefas
nanceiros
ehumanos
organizados
emfunção Produtos/ Efeitos
deobjetivos. IMPACTO
Resultados diretos
Dentrode
umaestru-
turaorgani-
zacional ad-
ministrativa Efeitos
Secundários
T..n
Fatoresforadecontroledoprograma/projeto. Pressupostos
"O resultado total final, levando-se em consideração os efeitos diretos e indiretos onde se
consideram os efeitos de difusão e a imitação que produzem mudanças na comunidade como
um todo" (Casley e Lury 1982).
Diagrama 3
Hierarquia Lógica no Alcance dos Objetivos de um
Programa Multisetorial
19
Im
Efeitosde
Interação
Efeitos Ef
Fato Específicos Espe
res
20
3. 3. Monitoramento e Avaliação
Já a avaliação é um juízo que se faz sobre o valor ou mérito do programa. Este juízo
pode ser feito com relação a uma pessoa, a um produto, a uma organização ou a qualquer outro
objeto que se queira avaliar. Porém, para efetuar estes juízos de valor ou de mérito, é necessário
que se estabeleçam critérios ou padrões a partir dos quais seja possível, por parte dos atores
interessados, efetuar avaliações mais objetivas sobre o objeto ou pessoa em questão. O consenso
existente quanto à avaliação de programas e projetos sociais é que estes critérios devem estar
orientados para verificar e analisar a pertinência ou relevância da intervenção, a sua eficácia (ou
efetividade) no alcance dos objetivos e metas (efeitos), a eficiência (econômica e financeira), o
impacto gerado e a sustentabilidade. Para cada um destes focos da avaliação existe uma
variedade de metodologias e formas de coleta de informação que dependem, em grande medida,
da natureza do problema abordado, das estratégias e tecnologias de intervenção, dos recursos
disponíveis e das populações-alvo e atores envolvidos. Abaixo temos uma definição de21
consenso que inclui os aspectos acima assinalados.
4.1. Objetivos
♦ Objetivo(s) específico (s), que as vezes são chamados de propósitos, objetivos de efeitos ou
objetivos de curto prazo. Embora o Marco Lógico de Análise recomenda que se defina
somente um (01) objetivo específico por projeto, na prática isto não se cumpre e são
definidos vários objetivos específicos. O erro mais usual é que os objetivos específicos são
estabelecidos de forma muito ambígua/ampla e, na maioria das vezes, como objetivos-meio e,
não estados aos quais se quer chegar. Isto dificulta a definição de indicadores e posterior
avaliação. Por exemplo, o enunciado “fortalecer a capacidade do serviço de saúde
reprodutiva do centro de saúde x”, além de estar definido de forma ampla, é um objetivo-
meio. Ou seja, não fica claro o que significa fortalecer e, ao mesmo tempo, não permite saber
o estado a que ser quer chegar ou conseguir com este fortalecimento. Uma redação mais
recomendável seria: “melhorar a qualidade do atendimento das equipes de saúde reprodutiva
do município x”. Embora este objetivo ainda seja amplo, já que não especifica metas na sua
construção, o estado de melhoria da qualidade dos serviços que se pretende alcançar, obriga à
definição tanto de critérios ou padrões de qualidade como a indicadores para o seu
monitoramento e avaliação.
Na definição das categorias existe a recomendação de que estes devem ser SMART, ou
seja: specifics (específicos), measurables (mensuráveis), appropriates (apropriados), relevants
(relevantes) e time-bounded (definidos dentro de um período de tempo).
Neste caso pode-se notar que o objetivo é construído com metas embutidas dentro dele.
Embora seja mais fácil o monitoramento e avaliação de um objetivo construído desta forma, na
maioria das vezes não é possível defini-lo com esta precisão. A ausência de informação sobre a
situação inicial (linha de base) impede formular objetivos com metas na sua definição. Por
exemplo, o Plano Avança Brasil definiu uma série de objetivos e indicadores para o seu M&A,
porém sem metas embutidas, devido ao desconhecimento das situações iniciais a partir das quais
se definiu a intervenção.
No Brasil , via de regra, diferencia-se estes dois termos, considerando-se a meta como a
quantificação do objetivo. Ou seja, fala-se de objetivos a serem alcançados com suas respectivas
metas (quando for possível especificá-las). Nesta perspectiva, a meta seria o estágio desejado que
o objetivo teria que alcançar num período de tempo para um grupo de beneficiários e área
geográfica. Neste sentido, a meta é um standard ou parâmetro de desempenho contra o qual o
avanço do programa é comparado e medido. Como regra, as metas devem possuir uma
magnitude (valor), referir-se a uma área geográfica e/ou população-alvo e a um período de
tempo. Os valores das metas podem ser também definidos tendo como base normas, padrões ou
critérios (seguindo o exemplo: número desejado de pacientes que devem ser atendidos pelo
serviço de saúde reprodutivo).
Os indicadores, por outro lado, são as medidas (quantitativas e/ou qualitativas) que
permitem aferir o estado ou progresso dos objetivos, metas e critérios (padrões) de um programa,
projeto ou atividade. Ou seja, permitem assinalar em que medida uma mudança ou resultado
esperado ou planejado está sendo alcançado nos diferentes níveis da hierarquia de objetivos de
um programa.
Um indicador é uma medida que é utilizada para mostrar a mudanças numa condição ou situação
específica num determinado período de tempo. Os indicadores nos permitem verificar o grau de alcance
ou progresso de um programa. Por esta razão eles são instrumentos essenciais para o monitoramento e
avaliação.
- Os indicadores podem ser medidas quantitativas (p.e. distância à escola mais próxima) e qualitativas
(p.e. centro de saúde funcionando bem).
- Os indicadores devem especificar: o grupo-alvo (para quem), quantidade (quanto), qualidade (se
está bem), tempo (dentro de que período) e área geográfica (onde)
Tecnicamente viável: que os dados requeridos possam ser coletados e mensuráveis (i.e., fácil
Custo-efetivo: que os dados requeridos possam ser coletados a um custo razoável (i.e., custos
Com relação ao monitoramento, cabe enfatizar que um dos principais entraves para sua
operacionalização − e efetivo uso para a tomada de decisões de índole gerencial e como
fornecedor de informação básica para a avaliação − é a falta de um sistema computarizados de
gerenciamento que forneça, de forma amigável, um formato de entrada e leitura de informação
que permita ao usuário sistematizar os dados provenientes dos diferentes instrumentos e fontes
de informação, dentro de determinadas categorias conceituais para facilitar o processamento, a
geração de relatórios e análise.
Nesta direção, pode-se estabelecer uma diferenciação entre aqueles métodos mais formais
típicos da pesquisa acadêmica, que são bastante exigentes em termos de recursos e tempo, e
aqueles métodos mais simples e menos formais, que são mais rápidos e menos custosos de
realizar. As características e os prós e contras dos métodos formais são apresentados na Tabela 4.
Nas Tabelas 5 e 6 cada um dos métodos formais é analisado em termos de sua adequação e
limitação para diferente situações do trabalho avaliativo.
Na Tabela 7 apresenta-se uma caracterização dos métodos menos formais e nas Tabelas 8
a 11 uma descrição quanto a seu uso e condições requeridas. No Anexo 3 são indicadas as fontes
bibliográficas onde pode ser aprofundado o conhecimento sobre cada método2
2
Estas tabelas foram traduzidas e adaptadas de: Evaluación de Proyectos Sociales. NORAD, 1999
TABELA 4 34
MÉTODOS FORMAIS DE COLETA DE INFORMAÇÃO PARA M&A
TABELA 7
CONDIÇÕES PARA A REALIZAÇÃO DOS MÉTODOS NÃO FORMAIS, MAIS
SIMPLIFICADOS COMUMENTE UTILIZADOS
TABELA 12
CONDIÇÕES PARA A REALIZAÇÃO DE PESQUISAS INFORMAIS
No presente capítulo são apresentadas algumas noções sobre as análises mais comumente
utilizadas no monitoramento e avaliação de programas e projetos sociais que dizem respeito à
análise custo-efetividade, análise custo-eficiência e análise custo-benefício.
É importante ressaltar que para o entendimento destes métodos e seu uso no contexto do
monitoramento e avaliação, é fundamental possuir um conhecimento básico de definição de
recursos e tipos de custos (capital, operacionais, médios, marginais, incrementais, variáveis e
fixos, monetários e imputados, diretos e indiretos, custos de oportunidade, financeiros e
econômicos, etc), assim como sobre os métodos de preparação de orçamentos e as diferenças
entre a análise financeira e econômica.
Os três tipos de análises de custos que serão apresentadas podem ser realizadas no
diversos momentos do ciclo do programa ou projeto, ou seja, no início, para selecionar entre as
alternativas de intervenção, durante a implementação para verificar desvios e, numa etapa
posterior, para efetuar recomendações a futuros programas. Quando a análise de custos é
realizada na etapa de desenho, os custos são estimados em função de avaliações prévias de
programas similares. Em geral, nos programas sociais os custos são elevados na fase inicial de
execução do programa, dada a inversão que deve ser realizada na infraestrutura e nas equipes.
Posteriormente, diminuem, concentrando-se em custos associados às remunerações da equipe
técnica e de apoio administrativo e outras despesas correntes de operação. Por esta razão, estas
análises são realizadas dentro de um horizonte de implementação que leva em consideração a
vida útil média do investimento realizado e o fluxo de geração de benefícios. O fato de trabalhar
com um horizonte de análise para contemplar estas diferenças nos fluxos de custos e benefícios
obriga a trabalhar com o conceito de valor de dinheiro no tempo, que implica na atualização dos
valores de custos e de benefícios (quando estes podem ser expressos em termos monetários) por
uma taxa de desconto que corresponde ao custo de oportunidade do capital no mercado.
6.1.Análise Custo-Efetividade
DDT spray
distribuição de profiláticos
distribuição de redes para mosquitos impregnadas com inseticida
venda subsidiada de profiláticos 44
venda subsidiada de redes para mosquitos impregnadas com inseticida
treinamento de agentes comunitários de saúde para promover a erradicação do mosquito
Para ilustrar este tipo de análise, a seguir apresenta-se um exemplo direcionado a uma
atividade de treinamento que tem como resultado Agentes Comunitários de Saúde treinados, e
para o qual existem três alternativas de implementação.
Alternativas Custo
por ACS treinado
1: Enviar uma equipe a cada comunidade para treinar os ACS R$50
Usando o mesmo exemplo anterior, e supondo que o total de recursos disponíveis para
cada alternativa fosse de R$ 10.000, teria-se um maior número de Agentes Comunitários de
Saúde treinados na alternativa 2, porque o custo unitário por ACS é de R$ 40.
6.3. Análise Custo-Beneficio 46
Utilizando o exemplo anterior e pressupondo que o treinamento dado aos ACS vai
possibilitar o atendimento de um maior número de famílias − estimado em 20 a mais por ano, e
que o custo do atendimento é de R$ 5,8/ano, qual seria a alternativa a ser escolhida? Para
simplificar a análise, considera-se o mesmo tempo de duração (1 ano) e, que não existe custo de
oportunidade do capital.
♦ Alternativa 1,
Relação Beneficio-Custo = (200*20)*R$ 5.8/R$10.000 =2,32
47
♦ Alternativa 2
Relação Beneficio-Custo = (225*20)*R$ 5.8/R$9.000 =2.90
♦ Alternativa 3
Relação Beneficio-Custo = (500*20)*R$ 5.8/R$ 21.000 =2.76
De acordo com os resultados desta análise pode-se observar que a alternativa 2, possue a
maior relação beneficio-custo (2,90). Isto significa que os beneficios desta alternativa estão
cobrindo os custos e ainda apresenta um excedente equivalente a 1,90 vezes o custo total da
alternativa. Embora as outras alternativas também cubram amplamente os seus custos, o
excedente que apresentam é menor que a alternativa 2.
Uma das mais importantes características de uma efetiva avaliação é que forneça
informação que realmente possa ser utilizada. Ou seja, que os diferentes atores participantes do
programa possam utilizar a informação gerada para a tomada de decisões relacionada com o
programa. Obviamente, um relatório de avaliação que é simplesmente deixado na estante ou
numa gaveta dificilmente pode conduzir à melhoria do desenho do programa ou à tomada de
decisões. Processos e resultados da avaliação são úteis quando contribuem para decisões
informadas, esclarecem as opções de tomada de decisão, identificam os pontos fortes e fracos, e
fornecem lições aprendidas e recomendações para melhorar o programa, políticas e estratégias.
Em ambos os casos, aqueles que usam os resultados das avaliações precisam saber o que
eles realmente querem da avaliação, para que isto seja comunicado claramente ao avaliador,
fazendo com que as expectativas de ambos sejam aceitas pelos dois lados. Muitas vezes uma
avaliação não preenche as expectativas simplesmente porque os diferentes atores têm percepção
diferente do que a avaliação tem ou pode produzir. Por isso é que o planejamento do
monitoramento e avaliação em consulta com os usuários é imperativo. É importante assinalar
que os usos específicos da avaliação dependerão do propósito mais amplo da avaliação e das
questões que querem ser respondidas.
Melhoria do Programa
O propósito de toda avaliação deve ser a melhoria do programa. Os resultados da avaliação
devem apoiar as decisões e ações para conseguir este propósito da melhor forma possível.
Resultados mais específicos podem ser utilizados para identificar os pontos fracos e fortalezas
do programa ou oferecer estratégias para melhoria continuada.
Custo-efetividade do Programa
Nos casos em que o propósito principal é avaliar o custo-efetividade do programa, os
resultados da avaliação devem apoiar as decisões sobre accountability no uso dos recursos e
no controle da qualidade. Os resultados da avaliação podem ser utilizados para decidir sobre o
futuro do programa, determinar a possibilidade de continuar seu financiamento ou efetuar
decisões sobre a expansão do mesmo.
GMMMeneratin knowledge
Geração de Conhecimentos
Outro propósito da avaliação é descobrir novos conhecimentos sobre as práticas mais efetivas
(melhores práticas). Resultados e descobertas deste tipo fornecem informação importante
sobre os princípios gerais de melhores práticas, tecnologias de intervenção mais efetivas e
novas relações teoria/ prática, o que em algumas ocasiões pode conduzir a mais aprimoradas
teorias sobre desnvolvimento organizacional e humano. Mais ainda, estes resultados podem
ser utilizados para colaborar e trocar conhecimento entre programas e iniciativas com
princípios e temas comuns. Este tipo de conhecimento é essencial à formulação de políticas
públicas.
No quadro abaixo são apontadas cinco recomendações que permitem um maior uso dos
resultados da avaliação.
50
1. A preocupação com o uso dos resultados da avaliação deve ser a força condutora numa avaliação.
2. Uma avaliação deve ser orientada para o usuário. Deve estar dirigida aos interesses e
necessidades de audiências bem específicas de usuários,
3. Os interesses ao redor de uma avaliação são múltiplos e variados. Porém, uma avaliação não pode
satisfazer as expectativas de todos os atores. Antes que a avaliação comece todos os
interessados e atores devem formar um consenso em relação àqueles aspectos que serão
prioritários.
4. É importante possuir uma visão ampla do uso potencial da avaliação. Isto significa considerar
tanto os tópicos de curto como de longo prazos.
5. O uso dos resultados da avaliação envolve a necessidade de recursos (fundos e tempo da equipe).
Estes custos não devem ser subestimados e devem constar explicitamente dos planos de M&A.
Resultados: correspondem a fatos encontrados (tais como "a taxa de incremento do acceso foi de
35%").
Conclusão: corresponde a uma síntese dos fatos encontrados numa circunstância específica (tais
como "a política de bolsa-escola não conseguiu alcançar os seus objetivos")
Recomendação: corresponde a uma prescrição do que deve ser feito em uma circunstância51
específica. Por exemplo, “para incrementar a taxa de acesso é necessário …" .
Lições Aprendidas: é uma generalização que não se refere a uma condição ou circunstância
específica, mas a uma classe ou categoria de situações, tais como: os projetos de prevenção e
erradicação do trabalho infantil, as abordagens de atuação junto à família tem mostrado… . Uma
lição aprendida deve assinalar o que provavelmente acontecerá ou o que deve ser feito para que
alguma coisa aconteça ou seja evitada. Lições aprendidas não correspondem a experiências. Uma
lição aprendida é o resultado de um processo de aprendizagem que requer uma reflexão sobre as
boas e más experiências.
Os principais tópicos que devem ser incluídas num relatório de avaliação podem
ser observados no quadro abaixo:
♦ A recomendação, de ordem mais geral, é que projetos e programa com objetivos específicos
e metas claramente estabelecidas, facilitam consideravelmente o delineamento de sistemas de
M&A, ao permitir um melhor direcionamento na seleção de indicadores e na identificação de
fontes de informação e formas de coleta, processamento e análise;
♦ Isto significa dizer que o primeiro passo no delineamento de um sistema de M&A deve estar
orientado para definir e estabelecer a seqüência de objetivos e metas que se espera sejam
alcançados durante o período de implementação do projeto. Paralelamente a esta tarefa, é preciso
que sejam identificados, em ordem de prioridade, os "consumidores" desta informação e seus
requerimentos específicos. A experiência assinala que a coleta de dados e sua posterior análise,
sem ter, "a priori", identificado os possíveis usuários da informação gerada, representa um
esforço de duvidosa utilidade;
Diagrama 4.
Para fechar este capítulo na tabela abaixo se apresenta um resumo com as questões chaves para
orientar o desenvolvimento de sistemas de M&A.
QUESTÕES-CHAVE E PRINCIPAIS DIRETRIZES PARA M&A 56
Anexo 1
Análise de situação: envolve a análise e priorização dos problemas que estão afetando
determinada área geográfica e/ou grupos populacionais, assim como a determinação das suas
causas e consequências. A análise da situação faz parte do estágio inicial do ciclo de
desenvolvimento do projeto e serve como linha de base para posteriormente aferir os avanços
conseguidos pelo mesmo.
Árvore de objetivos: é a representação gráfica do objetivo central do projeto (tronco), dos meios
para alcançá-lo (raízes) e dos efeitos positivos que o alcance dos objetivos provoca na
população-alvo (galhos e folhas).
Avaliação ex-ante: é o exame crítico do documento inicial do projeto, que analisa a relevância,
viabilidade técnica, financeira, institucional, social da(s) alternativa(s) de intervenção
selecionada. Nesta avaliação busca-se contribuir para o processo decisório, possibilitando a
obtenção e análise de informações sobre as vantagens e viabilidade do projeto.
Ciclo do projeto: refere-se à sequência de etapas pela qual passa um projeto, desde a sua
concepção até a execução. Embora com algumas diferenças considera-se as seguintes etapas
como fazendo parte do ciclo: concepção da ideía, análise da situação, seleção das alternativas de
intervenção (estudo de viabilidade), preparação do projeto, avaliação ex-ante (appraisal),
execução, monitoramento e avaliação.
Cobertura: representa a proporção da população afetada pelo problema e que será beneficiada
pelo projeto. Ou a proporção que existe entre a população que forma parte do grupo-alvo, tem a
necessidade e recebe os serviços, dividida pela população total do grupo-meta, que tem a
necessidade que o projeto pretende atender.
Componente: representa uma parte ou um segmento que faz parte de um todo. Geralmente
referem-se a um grupo de atividades dentro de um projeto ou programa.
Custo/beneficio: é uma forma de avaliação econômica, onde são estimados os fluxos monetários
de benefícios e custos para uma ou mais alternativas de investimento social ou produtivo, ambos
fluxos descontados por uma taxa de desconto representada pelo custo de oportunidade do60
capital. As dificuldades de estimar os fluxos de beneficios faz com que na maioria das vezes a
análise custo/beneficio se veja reduzido aqueles custos e beneficios que são fáceis de expressar
em termos monetários. Se esta análise é feita com preços de mercado fala-se de análise privada.
Se os preços de mercado são corrigidos para representar o verdadeiro beneficio e custo social
fala-se de análise econômica ou social.
Diagnóstico: é o exame crítico de uma situação social, visando identificar suas causas e efeitos,
distribuição e incidência na população, bem como os atores envolvidos e as alternativas possíveis
de evolução da situação;
.
Efeitos: são os outcomes ou resultados diretos do uso ou adoção dos produtos do projeto. Ou
seja, os efeitos são os resultados mais imediatos que idealmente deveriam equivaler aos objetivos
específicos almejados. Deve-se diferenciar entre objetivos e efeitos. Os objetivos constituem a
situação ou estado desejado que se pretende atingir com a realização do projeto. Porém, os
efeitos somente são verificados durante ou depois da implementação do mesmo. Podem, ser
distinguidos efeitos que ocorrem durante a realização do projeto e finais que equivalem à
transformação verificada na população-alvo depois da implementação do mesmo. Existem ainda
aqueles efeitos que são perseguidos ou previstos e aqueles efeitos indiretos, secundários, não
previstos, denominados também de secundários, externalidades ou indiretos e que de alguma
forma podem ter sido induzidos ou ocorrerram como consequência do projeto. Os efeitos
perseguidos são em certa medida positivos (pois não seria lógico elaborar projetos para
conseguir resultados negativos à luz da imagem-alvo). Porém os efeitos secundários ou
imprevistos podem ser negativos e surgem em decorrência de limitações do conhecimento
disponível, por fatores fora do controle da gerência ou por desinformação daqueles que
elaboraram o projeto.
Efetividade ou eficácia é um termo utilizado para expressar o grau de consecussão dos objetivos
específicos de um projeto. Ou seja, em que medida os recursos, atividades e produtos estão
conseguindo os efeitos diretos almejados pelo projeto em um determinado período de tempo,
independentemente dos custos implicados. A definição tem dois aspectos fundamentais: metas e
tempo. A programação é realizada sobre a base de normas ou padrões, que determinam a
alocação de recursos para a consecução das metas. Em cada uma das relações anteriores supõe-se
que a programação está corretamente realizada. Se os padrões forem inadequados ou os cálculos
de tempo errôneos, as metas serão arbitrárias e, portanto, o cálculo do grau de eficácia para
atingi-las terá a mesma validade que o dos tempos e metas, a partir dos quais foi determinada.
Eficiência: é a consecução dos objetivos do programa/projeto com o menor custo e/ou maior
beneficio. O conceito de eficiência pode ser considerado a partir de duas perspectivas
complementares: se a quantidade de produto está pré-determinada, procura-se minimizar o custo
total ou o meio que se requer para sua geração; se o gasto total está previamente fixado,61
procura-se otimizar a combinação de insumos para maximizar o produto. Os insumos requeridos
por um projeto podem ser expressos em unidades monetárias. A partir disso, a eficiência pode
ser definida como a relação existente entre os produtos e os custos dos insumos. Portanto, o
resultado será sempre o custo de uma unidade de produto final recebida por um beneficiário em
certa unidade de tempo. Eficiência e produtividade são conceitos semelhantes, dado que
relacionam recursos com resultados. Mas a produtividade considera os recursos em unidades
físicas (do mesmo modo que o ótimo na análise econômica), enquanto que a eficiência traduz os
insumos em unidades monetárias.
Focalização: é um critério utilizado para a formulação de projetos, que identifica, com a maior
precisão possível, o conjunto dos beneficiários potenciais. Para tanto, requer o conhecimento
detalhado das características do grupo-alvo. Nesse sentido, focalizar implica estabelecer uma
oferta de bens e/ou serviços orientada a determinados grupos ou populações-alvos selecionados
através de determinados critérios (geográficos, sócioeconômicos, etários ou institucionais). A
focalização, que muita vezes é justificada pela limitação de recursos e pela necessidade de
aumentar a eficácia dos projetos, é uma forma de priorização ou seleção de um ou vários grupos
sociais que se quer beneficiar pelo projeto.
Impacto: é o resultado dos efeitos diretos do projeto, mais os secundários por ele induzidos,
juntamente com os causados por eventos fora do controle do projeto. São os resultados mais
amplos relacionados com os objetivos mais gerais daquele. Podem se manifestar a nível
individual e domiciliar ou nacional. Alguns elementos de impacto podem surgir durante a
implementação (aumento do nível de emprego ou nutrição). Outros, porém, vão se manifestar
após o pleno desenvolvimento do projeto como, por exemplo, alterações na taxa de
alfabetização, capacidade de desenvolvimento auto-sustentável, etc. A determinação e explicação
do impacto exige o estabelecimento de objetivos operacionais e de um modelo causal que
permita vincular o projeto com os efeitos resultantes de sua implementação. Há autores que
distinguem os resultados brutos (RB), que são as modificações verificadas na população-alvo,
depois que o projeto esteve funcionando durante um tempo suficientemente longo para que tais
modificações sejam visíveis e, os resultados líquidos (RL) são as alterações no grupo-alvo, que
podem ser atribuídos única e exclusivamente ao projeto.
Indicador: é uma medida quantitativa ou qualitativa utilizada para verificar o alcance dos
insumos, implementação de processos, bem como para aferir as mudanças e objetivos de um
programa/projeto em termos de quantidade, qualidade e tempo. Os indicadores podem ser
classificados em indicadores de insumo, processo, produtos, efeitos e impacto.
Linha de base (ou situação inicial): é a análise que descreve a situação antes da implementação
de uma intervenção e serve como ponto de referência para a comparação de indicadores nas
situações antes/depois, com/sem o projeto.
Meta: é a quantificação e qualificação do objetivo que se quer alcançar. Sua formulação deve
incluir tempo, quantidade, área geográfica e, se possível e necessário, qualidade e grupo-alvo.
Exemplo: a meta de um projeto de educação é reduzir, por exemplo, em 2 %, em dois anos, a
repetência escolar em cada uma das escolas municipais onde é realizada a intervenção. É preciso
distinguir as metas do projeto das normas técnicas de implementação. As primeiras
correspondem ao processo de quantificação dos objetivos. As normas na realidade são as
exigências técnicas que devem ser cumpridas para atingir o objetivo.
Premissa: é o suposto ou condição externa necessária para a realização do projeto e alcance dos
seus objetivos que, contudo, não estão sob o controle direto do gerente do projeto.
Produto (output): são os resultados obtidos pela implementação das atividades. É o conjunto de
resultados concretos produzidos através do gerenciamento e administração dos insumos. Certas
atividades podem gerar produtos intermediários, que podem servir como insumos para outras
atividades. Segundo seu caráter de materialidade, pode-se distinguir bens produzidos (ou
resultados materiais) e serviços prestados. Costuma-se distinguir os produtos dos efeitos e do
impacto. Os efeitos são resultados da utilização dos produtos do projeto.
Recursos: são o estoque previsto para a realização de uma atividade, com a qual se espera obter
determinados produtos e atingir os objetivos de um projeto. Em muitas ocasiões‚ é utilizado
como sinônimo de insumos. A diferença está em que "recursos" se usa no âmbito de uma
organização relativamente estável, enquanto que "insumos" costuma estar ligado a processos que
carecem de permanência. Por isso, o primeiro conceito está mais associado a projetos
permanentes e o segundo àqueles que têm uma existência mais precária.
Utilização: é o uso efetivo que se faz de um recurso que se encontra disponível. Nesse sentido,
poderia ser definido um coeficiente de utilização como a relação existente entre os recursos
efetivamente utilizados e os disponíveis para uma atividade do programa em certa unidade de
tempo.
65
Anexo 2
A METODOLOGIA DO MARCO
LÓGICO DE ANÁLISE
(MML)3
3
Traduzido e adaptado de: OIT-Programa DelNet. Programa a Distancia de Formación, Asistencia Técnica,
información y Trabajo en Red en apoyo al Desarrollo Local. Turin 1999.
66
EM QUE CONSISTE A
MML?
Árvore de Problemas
Problema
EFEITOS Problema
do Problema
problema Problema
focal
Problema
focal
Problema
CAUSAS
do
Problema
problema
Problema focal
Problema
Exemplo de uma Árvore de 70
Problemas
Diminuição
Desemprego
da renda
per capita
Baixo nivel
de
atividade
econômica
Apoio
Setores insuficiente
tradicionais para a criação de
da economia novas empresas
local em
reestruturação
71
Criação
de
emprego
Incremento
da
atividade
econômica
Apoio
à criação de
novas
empresas
72
A matriz do
marco lógico
M eios de Pressupostos
H ierarquia Indicadores Verificação (hipóteses, riscos)
O bjetivo G eral (de
desenvolvim ento ou
global)
Resultados
Atividades
Insum os
73
Definições (1)
Anexo 3
Adkisson, Steve. "Oversight in UNICEF: Programme Audit," PREviews, Dec. 1997, Vol. 1-4.
Campos, Jennie and Francoise Coupal, Participatory Evaluation, UNDP, 1996:4.
Chambers, R., 1983. "Short-Cut Methods in Social Information Gathering for Rural
Development Projects," Putting People First, edited by Michael Cernea. Washington,
DC: World Bank).
CIDA, 1996, The Why and How of Gender Sensitive Indicators: A Project Level Handbook.
CIDA, 1996, The Why and How of Gender Sensitive Indicators: A Project Level Handbook.
Dube, L., June 9-12, 1997. "How Can We Systematically Investigate, Develop Indicators and
Monitor Child Labour: Lessons from Childwatch International’s Zimbabwe Indicators
Project," Urban Childhood Conference, Trondheim, Norway.
Fisher, A. et al., 1991. Handbook for Family Planning Operations Research Design, Second
Edition, The Population Council: New York, pp. 64-65.
Fisher, A. et al., 1991. Handbook for Family Planning Operations Research Design, Second
Edition, The Population Council: New York, pp. 64-65.
Gosling, L. and Edwards, M. Toolkits: A practical guide to assessment, monitoring, review and
evaluation. Save The Children Development Manual No. 5, 1995.
Gosling, L. and Edwards, M., 1995. Toolkits: A practical guide to assessment, monitoring,
review and evaluation. Save the Children/UK Development Manual No. 5.
Habicht, JP, Victora, CG, Vaughan, JP. Linking Evaluation Needs to Design Choices. UNICEF
Staff Working Papers, Evaluation and Research Series No. EVL-97-003.
ITAD, 1992. Project Monitoring , Reporting and Evaluation, World Food Programme, Self-
Briefing Materials, Module 3.
ITAD, 1992. Project Monitoring , Reporting and Evaluation, World Food Programme, Self-
Briefing Materials, Module 3.
ITAD, 1996, Monitoring and the Use of Indicators.
Kliksberg, Bernardo (Organizador), Pobreza: Uma Questão Inadiável. ENAP, Brasília-DF. 1994.
79
Mosse, R. and Sontheimen, LE. World Bank Technical paper no. 334, 1996. Performance
Monitoring Indicators Handbook.
Mosse, R. and Sontheimen, LE., 1996. World Bank Technical paper no. 334, Performance
Monitoring Indicators Handbook.
Newcomer, Kathryn E., 1994. "Using Statistics Appropriately," Handbook of Practical Program
Evaluation, edited by Joseph S. Wholey et al, Jossey-Bass Publishers: San Francisco, pp.
389-406.
Newcomer, Kathryn E., 1994. "Using Statistics Appropriately," Handbook of Practical Program
Evaluation, edited by Joseph S. Wholey et al, Jossey-Bass Publishers: San Francisco, pp.
389-406.
Patton, M. Utilisation-Focused Evaluation, 3rd ed., Thousand Oaks: Sage Publications, Inc.,
1997.
Pearson , R. and Kessler, S. 19-- “The Use of Rapid Assessment Procedures for Evaluation by
UNICEF,” UNICEF, New York, Rapid Assessment Methodologies.
SEED: A Methodology for Increasing Communication Awareness and Capacity. Pp. 20-23
UNICEF, New York. A UNICEF Guide for Monitoring and Evaluation: Making a Difference?
Evaluation Office, 1991.
USAID Center for Development Information and Evaluation, 1996. Performance Monitoring
and Evaluation TIPS. Number 5.
USAID Center for Development Information and Evaluation, 1996. Performance Monitoring
and Evaluation TIPS. Number 4.
USAID Center for Development Information and Evaluation, 1996. Performance Monitoring
and Evaluation TIPS. Number 2.
80
USAID, The Participation Forum Workshop Notes. Participatory Evaluation. No. 2, October
1995.
WHO, 1996, "Indicators for assessing Vitamin A Deficiency and their application in monitoring
and evaluating intervention programmes," WHO/Nut/96.10
WHO, 1996, "Indicators for assessing Vitamin A Deficiency and their application in monitoring
and evaluating intervention programmes," WHO/Nut/96.10
Worthen Blaine R. and Sanders, James R. Program Evaluation: Alternative Approaches and
Practical Guidelines, 2nd ed., White Plains, NY: Longman Inc., 1997.
Yin, Robert K. Designing case studies. In Case Study Research, Design and Methods, 2nd
edition, Thousand Oaks: Sage Publications, Inc., 1994.
a. Associações de Avaliação
http://www.apqc.org/
SAGE Publications
http://www.sagepub.com/