CADERNOS DE POL;ITICAS SOCIAIS

SÉRIE DOCUMENTOS PARA DISCUSSÃO

NÚMERO 10

FERRAMENTAS PARA O MONITORAMENTO

E AVALIAÇÃO DE PROGRAMAS E PROJETOS
SOCIAIS
Manuel Rojas Buvinich (1)

CSD 10

Outubro de 1999

Oficial de Políticas Sociais e Avaliação do Unicef Brasil mrbuvinich@unicef.org.br

Edição e revisão de texto: Freda Burger e Neisse Dobbin

As opiniões contidas no presente documento são da exclusiva responsabilidade do autor,

podendo ou não coincidir com as do Unicef
 2
SUMÁRIO DE CONTEÚDOS

1. Introdução……………………………………………………………………….……….Pag. 4

2. Sistemas de Monitoramento e Avaliação: Necessidade Crescente e a Prática

Atual………………………………………………………………………………..………..Pag. 5

3. Monitoramento e Avaliação: Conceitos, Funções e Diferenças /

Complementariedades……………………………………………………………..……….Pag. 7

3.1. A Gestão por Objetivos e por Processos………………………………….….Pag. 8

3.2. A Hierarquia Lógica de Análise……………………………………………..Pag. 10

3.2.1. Fornecendo os Insumos ou Meios…………………………..……..Pag. 14

3.2.2. Combinando os Meios para a Obtenção do (s) resultados(s) o

produto(s)……………………………………………………………….…Pag. 14

3.2.3. Os Efeitos e o Impacto……………………………………………..Pag. 14

3.3. Monitoramento e Avaliação…………………………………………………Pag. 18

3.4.Diferenças e Complementariedade entre Monitoramento e

Avaliação…………………………………………………………………………..Pag. 22

4. Relação entre Objetivos, Metas e Indicadores para Monitoramento e

Avaliação…………………………………………………………………………………..Pag. 26

4.1. Objetivos…………………………………………………………….………..Pag. 26

4.2. Metas e Indicadores…………………………………………………………..Pag. 28

4.2.1. Tipos e Características dos Indicadores…………………………..Pag. 28

5. Fontes e Métodos de Coleta de Informação para M&A……………………………..Pag. 30

6. Análises e Monitoramento e Avaliação de custos…………………………..………..Pag. 42

6.1. Análise Custo-Efetividade…………………………………………….……..Pag. 42

 6.2. Análise de Custo-Eficiência……………………………………….………..Pag. 44 3

6.3. Análise Custo-Beneficio……………………………………………….……..Pag. 45

6.4. Passos para Efetuar uma Análise Custo-Efetividade e ACB……….……..Pag. 46

7. O Uso e Comunicação dos Resultados da Avaliação………………………...……..Pag. 47

7.1. Uso dos Resultados………………………………………………….………..Pag. 47

7.2. Comunicação dos resultados………………………………….……………..Pag. 49

8. As Etapas para a Implementação de um Sistema de M&A……………………..…..Pag. 52

Anexo 1 - GLOSSÁRIO DE TERMOS USADOS EM MONITORAMENTO E

AVALIAÇÃO……………………………………………………………………………..Pag. 56

Anexo 2 - A METODOLOGIA DO MARCO LÓGICO DE ANÁLISE (MML)….....Pag. 65

Anexo 3 - BIBLIOGRAFIA E INTERNET SITES DE MONITORAMENTO E

AVALIAÇÃO……………………………………………………………………………..Pag. 80
1. INTRODUÇÃO

O limitado sucesso, a escassez de recursos e, na maioria das vezes, o desconhecimento

dos efeitos e impacto produzidos pelos investimentos realizados em programas e projetos de
desenvolvimento social nas últimas décadas, tem provocado um interesse crescente entre
governos, organizações não governamentais (ONGs) e, principalmente, agências internacionais
de cooperação e países doadores, pela inclusão de sistemas de Monitoramento e Avaliação
(M&A) para apoiar o gerenciamento e a formulação das políticas sociais.

Existe uma ampla gama de abordagens, métodos e modelos analíticos que, sem dúvida,
podem confundir os que se iniciam no campo do Monitoramento e Avaliação de programas e
projetos sociais. Nesta documento são explicados esses conceitos de forma aplicada e são
estabelecidas algumas diretrizes para facilitar o desenho e a operacionalização de sistemas de
M&A. A abordagem conceitual utilizada representa o consenso alcançado na última década
pelas instituições multilaterais de cooperação, particularmente o Banco Mundial, o Banco
Interamericano de Desenvolvimento e as agências do sistema das Nações Unidas. A aplicação
desses conceitos no desenho e operacionalização de sistemas de M&A recolhe as experiências e
lições aprendidas pelo autor em diversos cursos de treinamento, consultorias de avaliação para
instituições governamentais e agências de desenvolvimento e, principalmente, na coordenação e
condução de um significativo número de avaliações de projetos e programas na América Latina
e, particularmente, no Brasil.

Na primeira parte do documento são apresentadas as principais razões da crescente

importância que governos, organizações não governamentais, agências internacionais e grupos
da sociedade civil vêm dando às atividades de M&A na formulação e implementação das
políticas sociais. Também é apresentada uma reflexão sobre a atual prática de M&A das
organizações governamentais e ONGs que implementam políticas públicas.

O marco conceitual básico que permite definir e mostrar as diferenças entre

Monitoramento e Avaliação é discutido na segunda parte. Aqui também são assinaladas as
principais diferenças entre M&A e os diferentes tipos e momentos da avaliação.

Na terceira parte são definidos os diferentes tipos de indicadores utilizados em sistemas

de M&A mostra e também é discutida a importância do estabelecimento de metas e as
características dos bons indicadores.

Na quarta parte apresentam-se as principais fontes e métodos de coleta de informação

utilizados para constituir os diferentes tipos de indicadores. O monitoramento de custos e as
análises custo-efetividade, custo-eficiência e custo-beneficio são apresentadas na sexta parte do
documento.

Na sétima parte discute-se como a informação e os indicadores gerados pelo M&A

podem ser utilizados e comunicados para uma variedade de propósitos e por diferentes atores que
intervém, direta ou indiretamente, na formulação e implementação dos programas e projetos
sociais.
 Na oitava parte são apresentadas as diretrizes metodológicas para desenhar um sistema 5
de monitoramento e avaliação.

O Anexo 1 contém a metodologia do marco lógico, apresentada de forma esquemátrica,

com diagramas para fácil compreensão. Os Anexos 2 e 3 apresentam um glossário de termos
mais comumente usados em M&A e um conjunto de referências bibliográficas e sites na Internet
sobre os tópicos tratados no documento.

2. SISTEMAS DE MONITORAMENTO E AVALIAÇÃO: NECESSIDADE CRESCENTE

E A PRÁTICA ATUAL

As atividades de Monitoramento e Avaliação são disciplinas relativamente novas no

campo do desenvolvimento. Ainda que o Monitoramento seja tão antigo quanto a Administração,
a avaliação de programas começa a emergir dentro das agências das Nações Unidas e em alguns
países em desenvolvimento, a partir da década de 50. Desde então, tem havido uma evolução
lenta e descontínua. Inicialmente, os esforços de avaliação no sistema das Nações Unidas eram
limitados no conceito e escopo, restringindo-se mais à alocação e entrega de insumos e à
obtenção de produtos do que com os possíveis efeitos e impactos dos projetos de
desenvolvimento sobre a população beneficiada.

Freqüentemente, o conceito e as funções da avaliação são confundidas com as de

monitoramento e não existe um consenso quanto ao uso e significado de uma série de termos,
tais como, impacto, efeito, produtos, atividades, resultados, metas, sustentabilidade, entre outros.
Ao mesmo tempo, os termos monitoramento e avaliação (M&A) são usados numa variedade de
contextos, o que confunde e dificulta o desenho de sistemas de informação para M&A de
programas e projetos sociais. Por exemplo, o monitoramento ou a avaliação pode considerar o
nível mais amplo ou estratégico de uma macropolítica ou plano, ou o nível mais específico de
um programa, projeto ou atividade. Nesses níveis, o M&A pode focalizar tanto os aspectos
estratégicos como os institucionais relacionados com a estrutura organizacional e gerencial, ou
ainda, com a eficiência no uso dos recursos, ou a efetividade no alcance dos objetivos e metas. O
M&A ainda pode focalizar a contribuição que os recursos de uma instituição de apoio ao
desenvolvimento está conseguindo no alcance dos objetivos de uma política.

No caso particular do Brasil, a análise de indicadores para a definição de padrões de

qualidade e parâmetros de custos, desempenho, coberturas e avaliação da qualidade de
atendimento de serviços, eficiência, eficácia e efetividade das políticas sociais são uma prática
incipiente. A maior parte da experiência de avaliação tem sido dirigida para projetos de
investimento nos setores produtivos, onde os benefícios, na maioria das vezes tangíveis, podem
ser mais facilmente quantificados, e onde o mercado atua como mecanismo penalizador de
ineficiência na alocação dos recursos e ineficácia na obtenção dos resultados.

Via de regra, a grande gama de programas e projetos sociais desenhados para reduzir a
mortalidade na infância e melhorar as condições de saúde da população, da qualidade da
educação pré-escolar e fundamental, reduzir o trabalho infantil, gerar renda e oportunidades de
emprego para mulheres, fortalecer a capacidade e o empowerment individual ou coletivo de 6
grupos vulneráveis, reduzir ou evitar a violência e abuso sexual de crianças, entre tantos outros,
não têm tido um monitoramento sistemático e as avaliações realizadas raramente permitem traçar
a causalidade dos resultados e tirar lições que sirvam para melhorar o gerenciamento e aprender
para o desenho de novas intervenções.

Em termos gerais e, com raras exceções, pode-se assinalar que as políticas sociais e a
maioria dos programas e projetos que fazem parte destas não recebem nenhuma avaliação.
Quando, excepcionalmente, uma é realizada, trata-se, na sua maioria, de trabalhos descritivos
com escassa análise avaliativa que permita julgar os méritos de uma determinada intervenção e
tirar lições para ajustar e/ou reorientar os programas em andamento, ou melhorar o desenho de
futuras iniciativas. Em outros casos, as avaliações são desenvolvidas com metodologias
sofisticadas e um enfoque eminentemente acadêmico, fazendo com que, além da demora na
obtenção dos resultados, os mesmos sejam de pouca utilidade para orientar propostas
operacionalizáveis na definição de estratégias e tomadas de decisão. Geralmente, nas avaliações
feitas em programas governamentais, não são enfatizados os aspectos relacionados com os
efeitos (diretos e indiretos) e o impacto das intervenções sobre a população beneficiária, nem o
grau de sustentabilidade das mesmas. Na maioria dos programas implementados pelo governo,
não existe um mecanismo regulador que indique em que momento determinadas atividades,
embora eficientes no uso de recursos, têm deixado de ser eficazes no alcance dos objetivos.

O mais comum é mostrar os recursos implementados e as coberturas alcançadas, com

explicações ad hoc sobre as discrepâncias encontradas entre o programado (quando existe uma
boa programação) e o realizado. O monitoramento efetuado é do tipo mais financeiro,
tradicionalmente orientado para a prestações de contas e auditoria, e não para gerenciamento. Os
relatórios financeiros que mostram as despesas programadas e realizadas por rubrica de despesa
pouco ajudam para o gerenciamento, já que esse tipo de classificação esconde os custos das
atividades e dos produtos e serviços que os programas e projetos sociais entregam para os
beneficiários. Dessa forma, o gerente não tem uma idéia clara do custo dos processos, despesas
per capita por tipo de tratamento ou procedimento, serviço, etc. Ou seja, não possuem as
estimativas de custos dos processos e dos produtos e subprodutos que esses geram.

No monitoramento tradicional também se encontra uma clara desvinculação do uso dos

recursos com os objetivos maiores ou missão da instituição. Por exemplo, a prestação de contas e
os procedimentos de licitação de um determinado programa social podem estar de acordo com as
normas jurídico-legais exigidas em lei. Entretanto, os benefícios podem ter sido apropriados por
grupos e/ou regiões não contempladas originalmente no programa.

Porém, nos últimos anos tem havido um renovado interesse, no Brasil e nos países da
América Latina e Caribe, pelas técnicas de planejamento estratégico e de monitoramento e
avaliação das políticas públicas. Esse crescente interesse obedece a uma combinação de fatores e
circunstâncias que tem a ver com: (i) a aguda crise social vivida na região, que exerce uma
intensa demanda por projetos e programas sociais para satisfação das necessidades dos grupos
mais vulneráveis; (ii) a necessidade de conhecer e aprender sobre a complexidade e dinâmica dos
programas e projetos de desenvolvimento social que, além de serem multidimensionais, são
afetados por uma série de fatores fora do controle dos administradores e planejadores; (iii) o 7
limitado sucesso ou o fracasso das estratégias de desenvolvimento social, muitas vezes gerando
efeitos contrários aos esperados; (iv) a escassez de recursos disponíveis dos próprios governos,
dos países doadores e das agências de ajuda externa, para satisfazer as necessidades urgentes do
desenvolvimento social; (v) a necessidade de um planejamento e gerenciamento com maior e
melhor informação em todos os níveis para superar o conhecimento incompleto que se possui
dos efeitos e impacto das diferentes estratégias sobre os públicos-alvo; (vi) a necessidade de
alocar os recursos disponíveis com maior eficiência e eqüidade, para assegurar um maior grau de
efetividade e sustentabilidade no alcance dos objetivos das políticas sociais; (vii) a crescente
cobrança, por parte da sociedade civil, tanto nos países doadores como nos próprios países em
desenvolvimento, sobre o uso dos recursos e os resultados obtidos.

No caso do Brasil, esse último aspecto é particularmente importante devido ao

crescimento e fortalecimento que grupos da sociedade civil organizada e ONGs vêm tendo nos
processos de formulação e implementação de políticas públicas, especialmente pela capacidade
de atender e representar aqueles grupos mais marginalizados. Obviamente, esta nova fase de
participação de grupos organizados da sociedade civil e do setor privado (através de suas
fundações) se dá dentro de um meio ambiente de caráter aberto e democrático que favorece a
prática da avaliação participativa como mecanismo de controle social.

3. MONITORAMENTO E AVALIAÇÃO: CONCEITOS, FUNÇÕES E

DIFERENÇAS/COMPLEMENTARIEDADES

O monitoramento e a pesquisa avaliativa, como todo o trabalho científico, pressupõem a

obediência a um método que deve ser adaptável à natureza do objeto analisado, à conveniência
e/ou viabilidade, em termos de tempo e custos, e ao interesse mais teórico ou prático da
investigação. Na avaliação de uma política, programa ou projeto, não se dispõe de um caminho
único, ou que seja considerado o mais científico. Pelo contrário, existem diversos modelos
epistemológicos que, dependendo do tipo de problema a ser abordado, podem ser mais ou menos
adequados. Nesses modelos encontram-se as discussões sobre a objetividade do conhecimento
social e sobre os critérios de minimização da interferência da subjetividade no campo da
observação, que se refletem na escolha de métodos e procedimentos.

Não é objetivo deste documento entrar na velha discussão existente entre as diferentes
escolas de pensamento, quanto aos conceitos e diferentes métodos e técnicas da pesquisa
avaliativa. A experiência mostra que os métodos e as técnicas utilizados pelas diferentes escolas
de pensamento não são incompatíveis. Ao contrário, elas podem ser perfeitamente combinadas,
de forma complementar, dependendo dos propósitos e objetos da avaliação. Por exemplo, se há
necessidade de obter representatividade para verificar a magnitude na mudança de um
determinado indicador, o desenho amostral com base probabilística e questionários pré-
codificados é uma opção recomendada. Porém, para tentar explicar o porquê das mudanças, pode
ser necessário utilizar entrevistas de tipo mais qualitativo com informantes-chave, grupos de
discussão ou observação participante.
 Freqüentemente, o conceito e as funções da avaliação são confundidas com as de 8
monitoramento e não existe um consenso quanto ao uso e significado de uma série de termos,
tais como impacto, efeito, produtos, atividades, resultados, metas, sustentabilidade, entre outros.

Ao mesmo tempo, os termos monitoramento e avaliação (M&A) são usados numa

variedade de contextos, o que confunde e dificulta o desenho de sistemas de informação para
M&A de programas e projetos sociais. Por exemplo, o monitoramento ou a avaliação podem
considerar o nível mais amplo ou estratégico de uma macropolítica ou plano, ou o nível mais
específico de um programa, projeto ou atividade. Nesses níveis, M&A pode focalizar tanto os
aspectos estratégicos como os institucionais relacionados com a estrutura organizacional e
gerencial, ou ainda com a eficiência no uso dos recursos, ou a efetividade no alcance dos
objetivos e metas. Ainda, o M&A pode focalizar a contribuição que os recursos de uma
instituição de apoio ao desenvolvimento está conseguindo no alcance dos objetivos de uma
política.

3.1. A Gestão por Objetivos e por Processos

No planejamento e execução de programas e projetos de desenvolvimento social, podem

ser encontrados dois enfoques principais: a gestão por objetivos e a gestão por processos. No
primeiro, o planejamento está dirigido por
objetivos e metas que são predeterminadas,
enquanto que no segundo, o projeto ou As políticas sociais (educação, saúde,
programa vai sendo ajustado ou corrigido no assistência, habitação, emprego, previdência e
assistência social, entre outras) se operacionalizam
transcurso da implementação. O modelo da através de diversos programas, projetos e atividades
avaliação por objetivos baseia-se num enfoque que podem ser de índole setorial e/ou intersetorial e ter
dedutivo e orientado por hipóteses que precisam uma abrangência nacional, regional, estadual,
ser verificadas, enquanto que no modelo de municipal e local.
processos, o enfoque é eminentemente indutivo. O programa é constituído por um conjunto de
projetos e atividades que compartilham estratégias e
recursos para alcançar objetivos comuns. Na prática
No modelo por objetivos o princípio essas diferenças não são tão claras e erroneamente
fundamental é a formulação de hipóteses sobre muitos projetos são considerados programas e vice-
a base de uma teoria estabelecida (enfoque de versa. Por sua vez, entende-se como projeto o conjunto
direitos ou de necessidades básicas, por de atividades programadas para alcançar um ou mais
exemplo), que logo são transformadas em objetivos, dentro de um prazo e orçamento
determinados.
objetivos. Geralmente essas hipóteses são
mapeadas numa árvore de problemas e de
conseqüências, a qual é transformada numa árvore de objetivos. Nesse caso, e posteriormente, a
avaliação tenta verificar o alcance dos objetivos e testar as hipóteses por trás dos objetivos.

Uma vantagem desse enfoque é que toma como base o conhecimento e a experiência
existentes, o que facilita o M&A, principalmente na seleção de indicadores e fontes de
informação, e nas possibilidades de sua interpretação. A principal crítica a esse enfoque é que a
delimitação dos problemas e objetivos pode direcionar muito a avaliação, com o perigo de que
não sejam considerados os aspectos ou efeitos não previstos (efeitos secundários e outras
externalidades), que geralmente surgem na implementação de programas e projetos sociais.
Devido à complexidade e dinâmica dos programas sociais, a maioria dos projetos e programas 9
não possuem uma adequada definição dos objetivos e das metas esperadas, nem uma análise de
situação com suficiente informação que permita traçar a situação “antes” do início do projeto.
Isto, sem dúvida, faz com que esse enfoque possua sérias limitações práticas. Porém, nada
impede que o estabelecimento de objetivos e metas seja refinado, na medida em que a gerência e
os atores envolvidos no projeto ou programa tenham um maior conhecimento sobre a dinâmica e
rumo da iniciativa.

Ao contrário, o modelo de processos não estabelece um conjunto de hipóteses

transformadas em objetivos. Nesse caso, a avaliação começa com uma atitude aberta e
interrogante, onde as questões e os temas de análise vão surgindo sucessivamente e aumentando
o conhecimento e/ou explicação sobre os fatos relacionados com a intervenção. Esse modelo,
freqüentemente utilizado por antropólogos sociais, é muitas vezes o único meio para conseguir
um conhecimento mais aprofundado dos temas que vêm sendo avaliados. Aplica-se quando é
escasso ou não existe conhecimento sobre o fato que vem sendo avaliado. Esse enfoque é
demorado e tem como principal desvantagem os desvios subjetivos que o processo e os
resultados da avaliação podem tomar.

O gráfico abaixo ajuda na interpretação dos dois enfoques e mostra a necessidade da sua
complementação. Nele observa-se que a combinação de processos e metas é a melhor alternativa
para alcançar a situação do quadrante C (por exemplo, erradicação do trabalho infantil). Ou seja,
não adianta alcançar a meta de erradicar o trabalho infantil se não se desenvolvem processos
(fortalecimento institucional, por exemplo) que permitam garantir certa sustentabilidade dessa
meta. Tampouco adianta desenvolver ou ficar somente em processos que não levem ao alcance
de certas metas ou resultados. Ou seja, tanto no planejamento como na gestão e avaliação tem
que existir um certo equilíbrio entre esses enfoques. Daí surge a recomendação da necessidade
de trabalhar com objetivos e metas que podem ir sendo redefinidos/ajustados, na medida em que
novo conhecimento vai sendo incorporado, através da implementação. Isso permite assegurar
um certo grau de flexibilidade, tanto na gestão (estratégica) como na avaliação de eventos e
efeitos não previstos.
 Metas e Processos
10

Metas

Bom A C

Ruim
B D

Processos
Ruim Bom

Gestão por Metas Gestão por Processos

-Parte de hipótese/paradigmas/objetivos
-Considera o conhecimento acumulado
-Os problemas e as causas estão delimit.
-Os obj. e as metas estão mal definidos
-Efeitos não esperados/sustentabilidade
-Não se estabelecem hipóteses
-É indutivo
-Conhecimento em profundidade
-Pode ser subjetivo
-Prolongamento sem resultados

Maior aprofundamento desta questão é encontrado em Sulbrandt (1994), que faz uma
crítica aos modelos tradicionais de avaliação e propõe uma abordagem (avaliação global) que
trata de integrar os enfoques de metas e de processos, onde se incorporam os atores afetados
pelos programas e se utilizam os diferentes tipos de dados (qualitativo e quantitativo) e fontes e
métodos de coleta de informação.

3.2. A Hierarquia Lógica de Análise

O entendimento dos conceitos de M&A e a sua inter-relação de forma integrada podem

ser bem explicados através do marco lógico de análise (MLA), ferramenta que auxilia o
planejamento e que foi proposta inicialmente pela Agência dos Estados Unidos para o
Desenvolvimento (USAID) em 1970 e logo utilizada e adaptada pela Agência Alemã de
Cooperação (GTZ) para exercícios de planejamento participativo em países em
desenvolvimento. Atualmente o MLA é utilizado pelas agências bilaterais e multilaterais de
cooperação, tais como as do sistema das Nações Unidas, Banco Mundial (BIRD), Banco
Interamericano de Desenvolvimento (BID), Banco Asiático e Africano de Desenvolvimento e as
Agências de Cooperação dos Governos Danês, Britânico, Belga e Norueguês, entre muitas11
outras instituições e agências de cooperação internacional1.

O MLA (ou logframe), com suas categorias de classificação, ajuda nas fases de
planejamento e formulação de um projeto ou programa, facilitando a programação de atividades
e recursos e o desenho e a operacionalização dos sistemas de monitoramento e avaliação
(M&A). Como mostra o Diagrama 1, o MLA possui uma hierarquia lógica que considera que os
objetivos de um projeto ou programa são alcançados através de uma seqüência ou hierarquia
lógica no tempo, isto é, o alcance de um objetivo imediato conduzindo à consecução de um
objetivo intermediário que, por sua vez, levará ao alcance do objetivo de desenvolvimento ou de
mais longo prazo.
Ou seja, o primeiro passo dentro do MLA é ter um consenso entre os que participam do
projeto ou programa quanto aos problemas a serem abordados e a situação melhorada que se
quer conseguir. Isto fará possível chegar a um consenso quanto aos objetivos específico e geral
ou mais global do projeto. Portanto, no MLA é importante descrever a situação futura desejada,
para que seja possível posteriormente verificar qual é o grau de alcance desses objetivos nos
grupos-alvo.
No enfoque de MLA considera-se que a execução de um projeto é a consequência de um
conjunto de fatos com uma relação causal interna. Esses níveis são os insumos, as atividades, os
resultados ou produtos, os objetivos específicos e o global que se encontram interrelacionados,
onde cada nível será alcançado na medida em que certas hipótese foram cumpridas.
O grau de certeza na implementação das atividades e dos resultados é bastante elevado, já
que depende, em grande medida, do controle gerencial do projeto; porém, este grau diminui nos
níveis superiores, onde há mais incertezas ou fatores externos que escapam ao controle interno
do projeto ou programa. Cada nível desta hierarquia tem que ser verificável através de
indicadores que são constituídos, tendo uma ou mais fontes de informação (ou meio de
verificação). O diagrama abaixo mostra a interação entre os diferentes níveis e na tabela 1
observa-se, o modelo clássico de MLA resumido num exemplo em formato matricial.

1
No anexo 2, a metodologia do marco lógico de análise é apresentada em forma esquematizada. Este anexo foi
baseado na tradução e adaptação do material produzido pela OIT-Programa DelNet. Programa a Distancia de
Formación, Asistencia Técnica, información y Trabajo en Red en apoyo al Desarrollo Local. Turin 1999.
 Diagrama 1. Elementos e Inter-relação do MLA

Objetivo Fatores
O alcance do objetivo específico
Global Externos
levará, no mais longo prazo, a contri-
buir na consecussão do objetivo global
Objetivo Fatores
Específico Externos
Obtendo-se a resultados se alcançará
o objetivo específico
Fatores
Resultados
Externos
Se as atividades se implementam se
obterão os resultados
Fatores
Atividades
Externos
Se os insumos estão disponíveis, as
atividades se implementarão
Insumos Pre-condições
 Tabela 1. EXEMPLO DE MARCO LÓGICO DE ANÁLISE
Hierarquia Metas e Meios de Pressupostos
Vertical Indicadores Verificação
deObjetivos
Global: -Taxa de Registros da - As altas taxas de
Melhorar a mortalidade Secretaria de mortalidade, morbilidade e
Saúde materna Saúde do fertilidade devem-se à
Reproductiva reduzida em Estado falta de conhecimento e/ou
na Estado de 20% até acesso a serviços de
Ceará Dezembro qualidade.
31, 2002
- Espera-se que o Governo
-Taxa de estadual e os governos
Morbilidade municipais apoiarão os
materna programas e que os
reduzida em recursos serão aprovados e
20% até disponíveis.
Dezembro 31,
2002 - A estabilidade política e
econômica continuará
-Taxa de
mortalidade
infantil
reduzida em
15% até
Dezembro 31,
2002

- Casos de
DST/HIV/AI
DS
reduzida em
10% até
Dezembro 31,
2002
3.2.1. Fornecendo os Insumos ou Meios 14

O primeiro passo nesta seqüência ou objetivo imediato de qualquer projeto ou programa

de desenvolvimento social é fornecer os insumos ou meios, que são os recursos físicos,
financeiros e humanos requeridos para realizar determinadas atividades. Estes insumos são
implementados dentro de uma estrutura organizacional e administrativa que varia de acordo com
cada instituição ou entidade implementadora (ONGs, Ogs, empresas). No caso de programas
regulares, este é um processo contínuo, condicionado à programação anual de recursos.

Por exemplo, num programa de imunização os recursos materiais estão representados

pelas vacinas, disponibilidade de transporte, cadeias de frio para conservação das vacinas,
seringas, etc. Já os médicos, enfermeiras, auxiliares e motoristas representam os recursos
humanos disponíveis para o programa. Num projeto de erradicação dos meninos em situação de
rua, os recursos humanos são os monitores de rua, educadores, psicólogos, nutricionistas,
auxiliares administrativos, etc.

3.2.2. Combinando os Meios para a Obtenção do (s) Resultados(s) ou Produto(s)

Como foi observado no Diagrama 1, para que seja possível alcançar os objetivos do
programa ou projeto, o segundo passo é combinar os meios ou recursos humanos, materiais e
financeiros, através de atividades e subatividades para a obtenção de determinado(s) produto(s)
ou resultados. Ou seja, as atividades (e subatividades) seriam equivalentes a processos (e
subprocessos) produtivos, em que se combinam insumos em determinadas proporções (por uma
determinada tecnologia) para a obtenção dos produtos ou resultados. Por exemplo, em um
programa de imunização e de alimentação emergencial os produtos podem estar representados
pelas crianças e mães vacinadas, as cestas de alimentos, os litros de leite e os quilos de pão
distribuídos.

Se considerarmos que o resultado ou produto que queremos alcançar é a vacinação de um

determinado número de crianças em determinado período de tempo e área geográfica, temos
que implementar determinadas atividades que permitirão alcançar este produto.

Via de regra, para alcançar cada um dos produtos da intervenção é necessário

implementar mais de uma atividade. O importante é não confundir atividade com produto. Na
prática de programação é a partir da definição dos produtos que se identificam as atividades que
serão implementadas e dai os recursos necessários.

3.2.3. Os Efeitos e o Impacto

Supõe-se, então, que, a partir da consecussão dos resultados, ocorrerão efeitos

específicos que podem ser considerados como os objetivos mais imediatos do projeto ou
programa. No exemplo anterior, o que se procura com a implementação das atividades e a
vacinação das crianças é uma redução no número de óbitos devido à incidência do sarampo,15
doença imuno-prevenível. No caso de um programa de alimentação emergencial, a partir da
distribuição de cestas alimentares e pão e leite, pode-se esperar uma série de efeitos específicos
sobre a população de famílias carentes, tais como a melhoria da condição nutricional das
crianças e da família em geral, o aumento da renda não-monetária da família, a diminuição das
diarréias e da mortalidade infantil, entre outros. A maior cobertura de abastecimento de água
conseguida por um programa de saneamento básico pode trazer como efeito imediato uma menor
incidência de doenças de origem hídrica e maior tempo para as as mães, que geralmente tem a
função de carregar a água, se dedicarem ao lazer ou a outras atividades produtivas. Da mesma
forma, um programa de aplicação de medidas sócioeducativas e de orientação de famílias com
crianças infratoras pode resultar na reintegração das crianças ao seio da família e um retorno à
escola. Embora a relação entre os recursos necessários à obtenção dos produtos possa ser
conhecida ou mais fácil de estimar, as relações entre os produtos e os efeitos mais imediatos e o
impacto desejados são difíceis e, às vezes, impossíveis de prever. Em alguns casos, é comum que
existam vários programas atuando na mesma área geográfica e beneficiando as mesmas
populações. Em outras ocasiões, há uma série fatores fora de controle do programa ou projeto
(eventos políticos, mudanças em preços relativos, etc.) e elementos de incerteza ou situações
emergenciais, como a seca no Nordeste, que interagem de forma dinâmica com o programa.

Em programas ou projetos
multisetoriais com vários componentes não é Os efeitos secundários, muitas vezes não previstos
ou não considerados nas avaliações, podem ser mais
sempre possível separar esses efeitos importantes que os efeitos diretos ou imediatos.
específicos. Os diferentes resultados que Dependendo do projeto ou programa os efeitos
estão sendo gerados pelas diversas secundários podem ser de diferente índole
atividades do programa, e os efeitos (econômico, ambiental, cultural, demográfico, etc).
imediatos, provocam ou induzem efeitos por exemplo, a maior renda percebidas por famílias
beneficiadas por um programa de profissionalização
mais amplos, que podem ser classificados pode gerar renda e emprego em outros setores ao
como efeitos secundários ou indiretos. induzir uma produção adicional de bens de
Estes efeitos secundários podem afetar consumo. Um programa emergencial de distribuição
positiva ou negativamente a população de cestas básicas pode induzir a aumentos na
beneficiaria e também afetar outras regiões atividade processadora local ou de outros estados (se
a fonte de produção está for a do estado em que se
e grupos. Por exemplo, no caso de um implementa o programa). Outras externalidades de
programa de cestas familiares e distribuição tipo econômico podem ser a instalação de novas
de pão e leite para famílias carentes empresas, agências de serviços, incrementos da
implementado no Estado de Goiás, gerou-se atividade da construção, comércio, etc.
uma demanda por maior produção local,
induzindo a implantação de mini-usinas de leite e o aumento da capacidade de produção das
padarias existentes. A criação dessas mini-usinas e da capacidade das padarias também levou à
criação de maior número de empregos e renda em setores e grupos não diretamente beneficiados
pelo programa. Por outro lado, houve evidências de que a oferta de cestas alimentares para as
famílias carentes resultou numa menor atividade do comércio local onde as famílias pobres
residiam.

O conjunto dos efeitos acima caracterizados levaria, a médio e longo prazos, a conformar
o impacto do programa ou projeto, o qual pode ser definido como:
16
 HIERARQUIANOALCANCEDEOBJETIVOS

17

AnálisedeSituação Objetivos Objetivode

(problemas, causas, alternat) imediatos Desenvolvimento

INPUTS
Recursos Atividades/
físicos, fi- tarefas
nanceiros
ehumanos
organizados
emfunção Produtos/ Efeitos
deobjetivos. IMPACTO
Resultados diretos
Dentrode
umaestru-
turaorgani-
zacional ad-
ministrativa Efeitos
Secundários
T..n

Fatoresforadecontroledoprograma/projeto. Pressupostos

"O resultado total final, levando-se em consideração os efeitos diretos e indiretos onde se
consideram os efeitos de difusão e a imitação que produzem mudanças na comunidade como
um todo" (Casley e Lury 1982).

É importante então ressaltar que o impacto não é somente função do projeto ou

programa, mas de uma série de outras variáveis sobre as quais a gerência não tem maior
influência. O Diagrama 2 mostra a interrelação entre as categorias de insumos, atividades,
produtos, efeitos (diretos e indiretos) e impacto num programa ou projeto. Já no Diagrama 3
observam-se estas categorias num programa multisetorial.
 18
DIAGRAMA 2

Diagrama 3
Hierarquia Lógica no Alcance dos Objetivos de um
Programa Multisetorial
 19

Im

Efeitosde
Interação

Efeitos Ef
Fato Específicos Espe
res
 20

3. 3. Monitoramento e Avaliação

Inicialmente, deve ser observado que, embora o monitoramento e a avaliação estejam

intimamente relacionados, são atividades diferentes. A palavra monitoramento é de origem latina
“monere”, que significa alerta. Na língua inglesa transformou-se em monitoring, com o mesmo
significado. Em português tem-se traduzido como monitoria ou monitoramento e usada como
sinônimo de vigilância, acompanhamento, seguimento ou supervisão. O consenso alcançado
pelas diferentes agências de cooperação se expressa abaixo.

MONITORAMENTO envolve a coleta de informação sobre insumos, produtos,

atividades e circunstâncias que são críticas e relevantes para a efetiva
implementação do programa ou projeto. Através dessa informação, o monitoramento
analisa e verifica, num processo contínuo, se os recursos e as atividades se estão
implementando segundo o programado e se as metas sobre os resultados estão sendo
alcançadas ou não, indicando, ao mesmo tempo, as razões de sucesso e insucesso.
Em outras as palavras, o monitoramento fornece a informação e as sugestões
necessárias para que a gerência do programa verifique o progresso da
implementação, a fim de tomar as decisões cabíveis, no sentido de que as metas
programadas sejam alcançadas e/ou ajustadas.

De acordo com o anterior, o monitoramento se iniciaria juntamente com a etapa de

implementação do programa e teria a função de prover informação e alertar à gerência.

Já a avaliação é um juízo que se faz sobre o valor ou mérito do programa. Este juízo
pode ser feito com relação a uma pessoa, a um produto, a uma organização ou a qualquer outro
objeto que se queira avaliar. Porém, para efetuar estes juízos de valor ou de mérito, é necessário
que se estabeleçam critérios ou padrões a partir dos quais seja possível, por parte dos atores
interessados, efetuar avaliações mais objetivas sobre o objeto ou pessoa em questão. O consenso
existente quanto à avaliação de programas e projetos sociais é que estes critérios devem estar
orientados para verificar e analisar a pertinência ou relevância da intervenção, a sua eficácia (ou
efetividade) no alcance dos objetivos e metas (efeitos), a eficiência (econômica e financeira), o
impacto gerado e a sustentabilidade. Para cada um destes focos da avaliação existe uma
variedade de metodologias e formas de coleta de informação que dependem, em grande medida,
da natureza do problema abordado, das estratégias e tecnologias de intervenção, dos recursos
disponíveis e das populações-alvo e atores envolvidos. Abaixo temos uma definição de21
consenso que inclui os aspectos acima assinalados.

A AVALIAÇÃO é um processo conduzido antes (fala-se de avaliação ex-ante),

durante e/ou depois da implementação do projeto ou programa, onde se efetua um
juízo sobre seu valor ou mérito considerando: a relevância dos objetivos e
estratégias, a eficácia (ou efetividade) no alcance dos objetivos e metas esperados,
a eficiência no uso de recursos, o impacto e a sustentabilidade da intervenção.
Dessa forma, a avaliação trata de: (i) examinar novamente, com juízo crítico e face
às mudanças subseqüentes, a justificação lógica do programa em termos da
adequação dos seus objetivos e estratégias (relevância) para superar as limitações
identificadas; (ii) comparar a consecução das metas reais com as estabelecidas,
identificando as razões de sucesso e insucesso; (iii) verificar a eficiência dos
procedimentos utilizados na execução do programa e da qualidade do desempenho
gerencial; (iv) determinar a eficiência econômica do programa; (v) determinar e
traçar a causalidade dos efeitos e impacto do programa e, (vi) identificar as lições
aprendidas e propor recomendações, de modo a reforçar os acertos e/ou, se
necessário, ajustar, reorientar e modificar objetivos, metas, arranjos
organizacionais e recursos.

Se a avaliação é feita durante a implementação, denomina-se "avaliação durante ou

em processo (on-going)", permitindo que os ajustes se efetuem durante a implementação.
Quando a avaliação é feita após a implantação do programa ou projeto, denomina-se
"avaliação terminal", e tem como principal propósito fornecer informações a
administradores, planejadores e tomadores de decisão para a estruturação de futuras políticas,
programas e projetos. Se a avaliação é realizada num ponto do tempo, dois ou três anos após a
implantação do projeto, fala-se em ”avaliação de médio termo”. Quando a avaliação é feita
depois de vários anos de terminada a intervenção, denomina-se “avaliação ex-post”.

O maior problema que se apresenta na avaliação dos efeitos e impactos de um projeto é

a separação entre as mudanças induzidas por ele e aquelas causadas por uma série de fatores
totalmente fora do controle da gerência do programa, tais como as alterações bruscas na política
do setor e as mudanças na política macroeconômica, que podem afetar as relações dos preços
relativos dos insumos e produtos, assim como as mudanças políticas ou de lideranças, a
superposição de outros projetos/programas, etc. No Diagrama 4 podem ser observadas as
atividades de monitoramento e avaliação no contexto do ciclo do projeto e no Diiagrama 5,
registra-se um resumo dos principais conceitos analisados nesta seção.
 22
DIAGRAMA 4
 DIAGRAMA 5

3.4. Diferenças e Complementariedade entre Monitoramento e Avaliação

Embora o monitoramento e a avaliação sejam atividades interrelacionadas, elas são

diferentes. A principal articulação da avaliação com a monitoria é que a avaliação utiliza
extensivamente os dados gerados pelo sistema de monitoramento. Além dessa informação, a
avaliação utiliza diversas fontes de dados, visando estabelecer a causalidade dos efeitos
induzidos pelo projeto. Sem um bom monitoramento ou registro das informações sobre
recursos, atividades, produtos e ocorrências na implementação é muito dificil efetuar uma boa
avaliação.
No Diagrama 6 e Tabela 2 observam-se as principais diferenças e complementariedades
entre M&A.
MONITORAMENTO
24

- Processo sistemático que se ini

realiza junto coma implementa
umprojecto ou programa

- Coleta, sistematiza e analisa

informação:

- Sobre o avanço (P/I) no uso do

recursos financeiros, humanos
DIAGRAMA 6 25
 TABELA 2 26
COMPLEMENTARIEDADE ENTRE M & A

Itens Monitoramento Avaliação

Freqüencia Regular Episódico
Ação principal Acompanhamento/vigilância Apreciação, julgamento
Propósito Melhorar eficiência, Melhorar efetividade,
principal ajustar plano de trabalho impacto e programação
futura
Foco Insumos, produtos, Efetividade, relevância,
processos, efeitos, plano impacto, custo-
de trabalho Efetividade,
Fontes de Sistemas regulares, sítios As mesmas, mais estudos e
informação sentinelas, observação, pesquisas específicas
relatórios progresso,
apreciações
Realizadas por: Gerentes e coord. de Gerentes e coordenadores
programas, comunidade de programas,
(beneficiarios), supervisores,
supervisores, financiadores financiadores, avaliadores
externos, comunidade
(beneficiarios)
Informa a: Gerentes e coordenadores Gerentes e coordenadores
de programas, técnicos e de programas,
comunidade (beneficiarios), supervisores,
supervisores, financiadores financiadores, tomadores
de decisão, beneficiarios,
comunidade
 TABELA 3 27
RELAÇÃO ENTRE M&A

ƒ Monitoramento e avaliação são complementares

ƒ Sem o monitoramento, avaliação não pode ser bem
realizada
ƒ Monitoramento é necessário mas não é suficiente para a
avaliação. (Monitoramento facilita a avaliação, mas
avaliação utiliza informação adicional de outras fontes).
ƒ A avaliação de um programa pode levar a mudanças no
plano de trabalho do programa. Isto pode significar uma
mudança na coleta de informação para efeitos de
monitoramento.
4. RELAÇÃO ENTRE OBJETIVOS, METAS E INDICADORES PARA28
MONITORAMENTO E AVALIAÇÃO

4.1. Objetivos

De acordo com a hierarquia lógica de análise apresentada no capítulo 3, teriam-se os seguintes

tipos de objetivos que precisam ser considerados para fins de monitoramento e avaliação:

♦ Objetivo global, que também é denominado de geral, de desenvolvimento ou de longo

prazo. Só deve existir um objetivo global ao qual o programa ou projeto, espera-se,
contribua para seu alcance. Este deve ser definido como o estado desejado que se quer
alcançar e que, geralmente corresponde à situação contrária encontrada no início da
intervenção, ou seja, corresponde à solução do(s) problema(s) ou déficit(s) identificados.

♦ Objetivo(s) específico (s), que as vezes são chamados de propósitos, objetivos de efeitos ou
objetivos de curto prazo. Embora o Marco Lógico de Análise recomenda que se defina
somente um (01) objetivo específico por projeto, na prática isto não se cumpre e são
definidos vários objetivos específicos. O erro mais usual é que os objetivos específicos são
estabelecidos de forma muito ambígua/ampla e, na maioria das vezes, como objetivos-meio e,
não estados aos quais se quer chegar. Isto dificulta a definição de indicadores e posterior
avaliação. Por exemplo, o enunciado “fortalecer a capacidade do serviço de saúde
reprodutiva do centro de saúde x”, além de estar definido de forma ampla, é um objetivo-
meio. Ou seja, não fica claro o que significa fortalecer e, ao mesmo tempo, não permite saber
o estado a que ser quer chegar ou conseguir com este fortalecimento. Uma redação mais
recomendável seria: “melhorar a qualidade do atendimento das equipes de saúde reprodutiva
do município x”. Embora este objetivo ainda seja amplo, já que não especifica metas na sua
construção, o estado de melhoria da qualidade dos serviços que se pretende alcançar, obriga à
definição tanto de critérios ou padrões de qualidade como a indicadores para o seu
monitoramento e avaliação.

♦ Objetivos de Resultado (ou outputs), denominados simplemente de resultado ou produto

estes objetivos são comumente confundidos com os objetivos específicos e por isso é comum
que não se considerem como uma categoria. Os resultados correspondem à única categoria
que pode ser garantida pelo projeto ou programa. É a partir de uma correta definição dos
resultados que pode ser efetuada uma boa programação de atividades/subatividades e de
recursos. Ao contrário dos objetivos específicos e global, os resultados são expressos no
passado, ou seja, referindo-se ao fato de que estes tem que ser garantidos pela intervenção
(centros de saúde com pessoal capacitado no atendimento de saúde reprodutiva, escolas
construídas e devidamente equipadas, etc).

♦ As categorias de atividades/subatividades –que referem-se aos recursos necessários para

implementá-las – não são consideradas categorias de objetivos. Elas simplesmente
 representam processos onde se combinam recursos humanos, financeiros e materiais (que29
envolvem tecnologias e estruturas administrativo-organizacionais) necessários para sua
implementação.

Na definição das categorias existe a recomendação de que estes devem ser SMART, ou
seja: specifics (específicos), measurables (mensuráveis), appropriates (apropriados), relevants
(relevantes) e time-bounded (definidos dentro de um período de tempo).

Seguindo esta recomendação - e assumindo que o objetivo é apropriado para os recursos

que se possuem e relevante para o problema ou situação que se pretende melhorar ou eliminar - a
definição de um objetivo também deveria incluir a meta que se pretende alcançar em
determinado período de tempo, além de ser específico para os grupos de beneficiários de uma
determinada área geográfica. Seguindo esta recomendação, um objetivo teria que ser redigido da
seguinte forma: “melhorar o padrão de qualidade de atendimento das equipes de saúde
reprodutiva do município x do nível 5 para 8 no período de um ano”.

Neste caso pode-se notar que o objetivo é construído com metas embutidas dentro dele.
Embora seja mais fácil o monitoramento e avaliação de um objetivo construído desta forma, na
maioria das vezes não é possível defini-lo com esta precisão. A ausência de informação sobre a
situação inicial (linha de base) impede formular objetivos com metas na sua definição. Por
exemplo, o Plano Avança Brasil definiu uma série de objetivos e indicadores para o seu M&A,
porém sem metas embutidas, devido ao desconhecimento das situações iniciais a partir das quais
se definiu a intervenção.

Há também várias críticas sobre a recomendação de definir objetivos com metas

especificadas e mensuráveis. A primeira crítica é com a própria terminologia de objetivos e
metas que, para a maioria das pessoas, equipes e participantes de programas e projetos, é
desconhecida e difícil de vincular no dia a dia. Segundo Michael Quinn Patton (1982), principal
crítico da abordagem de metas, a exigência de objetivos e metas leva muitas vezes a definições
fictíçias que muitas vezes não correspondem à realidade do que realmente se quer alcançar. A
recomendação deste autor é que não se deve perguntar quais os objetivos e metas do programa.
Deve-se, sim, perguntar o que se quer alcançar com o programa?, quais são as mudanças
desejadas?, quais seriam as diferenças que vai fazer o programa?. Ou seja, é através destas
perguntas que as equipes e os usuários de programas formulariam os objetivos. A segunda
recomendação é a necessidade de separar o objetivo da meta. Na maioria das vezes é possível
definir os objetivos da forma recomendada, mas as metas são praticamente impossíveis de
estabelecer. Neste caso, deve-se definir o objetivo, deixando para estabelecer metas à medida que
o programa se implemente e se tenha um melhor conhecimento da realidade e da causalidade da
intervenção.

4.2. Metas e Indicadores

 Muitas vezes, quando se fala de objetivos entende-se que a meta está embutida no30
objetivo. Outras vezes, entende-se como meta os próprios objetivos, o que leva a confundir os
conceitos e dificultar a sua operacionalização.

No Brasil , via de regra, diferencia-se estes dois termos, considerando-se a meta como a
quantificação do objetivo. Ou seja, fala-se de objetivos a serem alcançados com suas respectivas
metas (quando for possível especificá-las). Nesta perspectiva, a meta seria o estágio desejado que
o objetivo teria que alcançar num período de tempo para um grupo de beneficiários e área
geográfica. Neste sentido, a meta é um standard ou parâmetro de desempenho contra o qual o
avanço do programa é comparado e medido. Como regra, as metas devem possuir uma
magnitude (valor), referir-se a uma área geográfica e/ou população-alvo e a um período de
tempo. Os valores das metas podem ser também definidos tendo como base normas, padrões ou
critérios (seguindo o exemplo: número desejado de pacientes que devem ser atendidos pelo
serviço de saúde reprodutivo).

Os indicadores, por outro lado, são as medidas (quantitativas e/ou qualitativas) que
permitem aferir o estado ou progresso dos objetivos, metas e critérios (padrões) de um programa,
projeto ou atividade. Ou seja, permitem assinalar em que medida uma mudança ou resultado
esperado ou planejado está sendo alcançado nos diferentes níveis da hierarquia de objetivos de
um programa.

4.2.1. Tipos e Características dos Indicadores

Em geral, os indicadores de M&A são denominados indicadores de desempenho, no

sentido de que é através deles que é possível verificar (mensurar) o possível impacto, os efeitos,
os resultados ou produtos, os processos e recursos de um programa ou projeto para monitorar
e/ou avaliar se os objetivos e metas estabelecidos estão ou não sendo alcançados. A partir da
definição de indicadores é possível definir identificar as fontes de dados e fluxos de informação
requeridos para efetuar as verificações/mensurações necessárias. Ou seja, tem-se as seguintes
categorias de indicadores:

(a) Indicadores de insumos ou de recursos

Mensuram a quantidade e qualidade dos recursos fornecidos para um programa ou
projeto (ex: financiamento, recursos humanos, treinamento, equipamentos, materiais,
capacidade organizacional).

(b) Indicadores de processo ou de atividades

Mensuram as atividades implementadas no dia-a-dia do projeto/programa para a
implementação dos recursos e outros processos na tomada de decisão.
 31

Um indicador é uma medida que é utilizada para mostrar a mudanças numa condição ou situação
específica num determinado período de tempo. Os indicadores nos permitem verificar o grau de alcance
ou progresso de um programa. Por esta razão eles são instrumentos essenciais para o monitoramento e
avaliação.
- Os indicadores podem ser medidas quantitativas (p.e. distância à escola mais próxima) e qualitativas
(p.e. centro de saúde funcionando bem).
- Os indicadores devem especificar: o grupo-alvo (para quem), quantidade (quanto), qualidade (se
está bem), tempo (dentro de que período) e área geográfica (onde)

(c) Indicadores de produtos ou resultados

Mensuram a quantidade e qualidade dos bens e serviços criados ou fornecidos através do
uso dos insumos. Ou seja, permitem verificar os resultados imediatos, tais como: crianças
vacinadas, grupos constituídos e funcinando, clínicas e escolas construídas, etc.

(d) Indicadores de efeito e impacto

Mensuram a qualidade e quantidade dos resultados alcançados através do fornecimento e
uso dos bens e serviços, tais como: mudanças na qualidade de vida, redução da incidência
de doenças, incremento de renda, redução da mortalidade infantil, etc.

É importante assinalar que os indicadores de processo podem ser instrumentos poderosos

para descobrir e explicar os problemas que podem estar ocorrendo na implementação de um
programa po projeto. Neste sentido, os indicadores de processos possuem uma série de vantagens
sobre os indicadores de efeitos e impacto. Eles são mais baratos de obter e, conseqüentemente,
podem ser medidos com maior freqüência. Ao mesmo tempo, os indicadores de processo podem
refletir as mudanças mais rapidamente que os indicadores de efeitos e impacto, permitindo uma
retroalimentação mais rápida para a gerência do programa, não tendo que esperar meses ou anos
para dar um feedback para os tomadores de decisão.

Um bom indicador deve apresentar as seguintes características:

ƒ Válido: que meça o que se supõe deve ser medido;

ƒ Confiável: que seja verificável;

ƒ Relevante: aos objetivos do programa/projeto;

ƒ Sensitivo: às mudanças da situação que é observada;

ƒ Aceitável: pela população em estudo e pelos que coletam a informação;

ƒ Especifico: adaptado aos objetivos do programa/projeto; 32

ƒ Oportuno: que possa ser constituído e reportado em tempo hábil;

ƒ Tecnicamente viável: que os dados requeridos possam ser coletados e mensuráveis (i.e., fácil

de coletar através de amostragem, disponibilidade de pessoal especializado, disponibilidade

transporte do equipamento necessário, etc), e

ƒ Custo-efetivo: que os dados requeridos possam ser coletados a um custo razoável (i.e., custos

de capital, pessoal, operacionais).

5. FONTES E MÉTODOS DE COLETA DE INFORMAÇÃO PARA M&A

No caso do monitoramento, as fontes de informação estão representadas principalmente

pelos registros e relatórios de progresso que tem que ser produzidos de forma regular para
garantir que a programação físico-financeira seja efetivamente implementada e para detectar e
corrigir desvios na programação. Via de regra, no monitoramento financeiro os relatórios estão
organizados por item de despesas dentro das categorias contábeis tradicionais, que não permitem
a possibilidade de estimar custos ou despesas por tipo de atividade ou custos por tipo de produto
e serviço oferecido. Como conseqüência, na maioria dos projetos e programas sociais não se
efetuam boas análises de eficiência, viabilidade financeira ou de custo-efetividade. Para um
gerente ou coordenador de um programa social pouco adianta saber o que foi programado e
implementado por item de despesa num determinado período, e sim como esses recursos foram
empregados nas diferentes atividades, produtos e serviços que oferece a instituição.

Com relação ao monitoramento, cabe enfatizar que um dos principais entraves para sua
operacionalização − e efetivo uso para a tomada de decisões de índole gerencial e como
fornecedor de informação básica para a avaliação − é a falta de um sistema computarizados de
gerenciamento que forneça, de forma amigável, um formato de entrada e leitura de informação
que permita ao usuário sistematizar os dados provenientes dos diferentes instrumentos e fontes
de informação, dentro de determinadas categorias conceituais para facilitar o processamento, a
geração de relatórios e análise.

Muitas vezes, as equipes ou os responsáveis pelas atividades de M&A se enfrentam, no

dia a dia, com uma enorme quantidade de dados que se encontram espalhados em planilhas,
tabelas, registros administrativo-financeiros e outros instrumentos de coleta de informação, o que
torna dificil e lentas as etapas de processamento e análise da informação para o seu uso oportuno
na tomada de decisões. Ou seja, e paradoxalmente, possui-se uma enorme quantidade de dados e,
ao mesmo tempo, pouca informação relevante para a tomada de decisão.
 Como já foi mencionado, a avaliação usa como insumo importante a informação gerada33
pelo monitoramento. Além desta informação, a avaliação também utiliza uma série de outras
fontes de dados primários e secundários. Os dados secundários geralmente provém dos diferentes
Censos (econômicos edemográfico), pesquisas anuais tais como as Pesquisas Nacionais por
Amostra de Domicílios (PNADS, IBGE), Pesquisa Médico-Sanitária, Pesquisa Municipal (esta
pesquisa, iniciada em 1999, coleta informações de todos os municípios sobre a oferta de
serviços), Pesquisa Mensal de Emprego (realizada em 6 regiões metropolitanas), e uma série de
outros levantamentos de informação, que são realizados pelos Institutos de Planejamento
Estaduais. Nesta categoria de fontes de informação cabe ressaltar os sistemas de informações
regulares dos Ministérios da Saúde e da Educação. Tanto em saúde com em educação, estes
ministérios tem feito enormes esforços para redesenhar, atualizar e melhorar a qualidade dos
dados coletados. Os sites de internet do DATASUS/RIPSA na saúde e do INEP na educação
permitem acessar informação atualizada em diferentes níveis de agregação (país, região, estado
e, em alguns casos, informação com desagregação municipal). Tabulações especiais podem ser
solicitadas ao IBGE e aos ministérios correspondentes. As agências internacionais presentes no
país também possuem sistemas de informações com indicadores relacionados com seus
respectivos mandatos. Cabe destacar os Boletins de Indicadores Sociais produzidos anualmente
pelo IBGE e UNICEF, o Relatório de Desenvolvimento Humano produzido pelo Programa das
Nações Unidas para o Desenvolvimento (PNUD) e IPEA, as estatísticas econômicas e sociais
produzidas pela Comissão Econômica para América Latina (CEPAL), os indicadores sobre
emprego da Organização Internacional do Trabalho (OIT), as estatísticas sobre alimentação e
produção alimentar da Organização das Nações Unidas para a Agricultura e Alimentação (FAO)
e o Instituto Interamericano de Cooperação para a Agricultura (IICA), os indicadores sobre o
estado de saúde da população da Organização Panamericana da Saúde (OPAS-OMS) e as
estatísticas e estudos sobre população produzidas pelo Fundo das Nações Unidas para a
População (FNUAP), entre as principais.

Além dos dados secundários e de monitoramento, a avaliação utiliza extensivamente uma

série de outros métodos para a coleta de informação. Não é objetivo deste documento analisar
detalhadamente cada método que pode ser utilizado no trabalho de avaliação. Porém, é
importante dar uma visão esquemática dos diferentes métodos, assinalando as suas principais
características e as situações em que é mais conveniente sua utilização.

Nesta direção, pode-se estabelecer uma diferenciação entre aqueles métodos mais formais
típicos da pesquisa acadêmica, que são bastante exigentes em termos de recursos e tempo, e
aqueles métodos mais simples e menos formais, que são mais rápidos e menos custosos de
realizar. As características e os prós e contras dos métodos formais são apresentados na Tabela 4.
Nas Tabelas 5 e 6 cada um dos métodos formais é analisado em termos de sua adequação e
limitação para diferente situações do trabalho avaliativo.

Na Tabela 7 apresenta-se uma caracterização dos métodos menos formais e nas Tabelas 8
a 11 uma descrição quanto a seu uso e condições requeridas. No Anexo 3 são indicadas as fontes
bibliográficas onde pode ser aprofundado o conhecimento sobre cada método2

2
Estas tabelas foram traduzidas e adaptadas de: Evaluación de Proyectos Sociales. NORAD, 1999
 TABELA 4 34
MÉTODOS FORMAIS DE COLETA DE INFORMAÇÃO PARA M&A

TIPO DESCRIÇÃO PRÓS E CONTRAS

PESQUISA FORMAL Inclui o uso de entrevistas e
(Censo, amostragem) questionários escritos e
orais para
Serem aplicados em várias
unidades amostrais
(pessoas, famílias,
comunidades, etc)
♦
OBSERVAÇÃO Observação em
PARTICIPANTE profundidade de um ou
alguns poucos casos
selecionados; a observação
pode ou não ser
participativa
+ Os dados podem ser
obtidos sobre a base
de perguntas e
questões abertas e
fechadas
- A coleta de dados é
um processo exigente
em tempo e recursos
+ Muito adequada
para compreender
processos e formular
hipóteses que serão
contrastadas
posteriormente.
+ Pode proporcionar
uma descrição
exaustiva e muito
detalhada
- Menos adequada
para a generalização.
TABELA 5. CONDIÇÕES PARA A REALIZAÇÃO DA PESQUISA FORMAL (POR
AMOSTRAGEM)

É O MÉTODO MAIS ADEQUADO ‰ Quando precisa-se de uma informação

precisa, generalizável e quantitativa.
‰ Quando não é possível ou apropriado incluir
a população total.
‰ Quando a finalidade é conhecer um grau de
variação ou desvio em uma população.
‰ Quando existe a necessidade de verificar
hipóteses ou opiniões estereotipadas de
forma qualitativa.
♦
É IMPORTANTE LEVAR-SE EM ‰ A formulação de uma pesquisa
CONTA representativa requer um fundamento sólido
de conhecimento acerca das condições
socioculturais locais.
‰ A capacitação meticulosa dos entrevistadores
é importante, a fim de reduzir o número de
erros no registro e interpretação.
‰ Os questionários devem ser previamente
revisados, para se controlar uma possível
ambigüidade, ver se as perguntas são
compreendidas da mesma forma e se cobrem
todos os aspectos que serão estudados.
‰ Deve-se ter cuidado no desenho amostral ,
para se ter certeza na inclusão de todos os
grupos relevantes e também de todos aqueles
que não são facilmente acessíveis.
‰ O critérios de seleção e tipo de amostragem,
deverão ser devidamente explicados.Assim
como qualquer limitação estatística em
relação à amostra.
 TABELA 6
CONDIÇÕES PARA A REALIZAÇÃO DA OBSERVAÇÃO PARTICIPANTE

É O MÉTODO MAIS ADEQUADO ‰ Para se obter uma visão mais profunda

das condições socioculturais, dos
processos e do padrões de conduta.
‰ Quando existe a necessidade de um
conhecimento de base que permita a
interpretação dos dados existentes
recolhidos por outros métodos.
‰ Para estudar efeitos e processos
imprevistos que não foram levados em
conta na formulação do projeto.
‰ Para evitar que o recolhimento de dados
influa em sua qualidade.
♦
É IMPORTANTE LEVAR-SE EM ‰ A observação é um método que
CONTA consume muito tempo; o trabalho deve
começar de forma que os resultados
estejam disponíveis quando necessário.
‰ Desde o primeiro momento deve-se
considerar se a presença do observador
representa ou não uma fonte importante
de erro.
‰ A utilização de vários informantes e
observadores independentes pode
ajudar a corrigir uma possível
informação errônea.
‰ Deve-se reservar tempo suficiente para
discutir e interpretar os resultados.
‰ A posterior correção dos erros pode ser
feita discutindo-se os resultados com
aqueles que foram estudados; por
exemplo, por entrevistas com um grupo
focal.

TABELA 7
CONDIÇÕES PARA A REALIZAÇÃO DOS MÉTODOS NÃO FORMAIS, MAIS
SIMPLIFICADOS COMUMENTE UTILIZADOS
MÉTODO DESCRIÇÃO
ENTREVISTAS Proporciona informação geral
COM descritiva procedente de vários
INFORMANTES indivíduos envolvidos. Útil
CLAVE para a verificação e geração de
idéias
ENTREVISTAS DE Gera informação em nível local
GRUPO relativa a projetos e medidas
que afetam muitas pessoas.
ENTREVISTAS Para a análise de problemas
COM GRUPO específicos e/ou complexos;
FOCAL para identificar atitudes e
prioridades em grupos menores.
OBSERVAÇÃO Implica inspeção, visitas de
DIRETA campo, observação para
compreender processos, infra-
estrutura e serviços e sua
utilização.
PESQUISA Implica pesquisas quantitativas
INFORMAIS de pequenas amostras;
procedimentos de amostragem
probabilísticos ou intencionais.
37
PRÓS E CONTRAS
+ Enfoque flexível e
profundo.
+ Fácil de se levar a cabo.
- Risco de apresentação e de
interpretação dos informantes
e do entrevistador por um só
ângulo.
+ Baixo custo, eficiente.
+ Os mesmos participantes
verificam a informação.
+ Contato direto com os
afetados.
- As discussões pode ser
facilmente manipuladas por
líderes ou grupos locais.
- Os temas controvertidos são
a miúde excluídos.
+ Razoável, eficiente.
+ Estimula a geração de novas
idéias.
- Um método muito exigente
- Risco de pontos de vista
parciais por parte dos
participantes e da pessoa que
dirige.
+ Adequado para
proporcionar visões mais
profundas.
+ Método simples, que requer
escassa preparação prévia.
- Depende da compreensão e
interpretação do observador.
+ Meio razoável e rápido de
obtenção de dados quant.
- Risco de erros e desvios das
amostras.
- Menos adequado para a
generalização.
 TABELA 8
CONDIÇÕES PARA A REALIZAÇÃO ENTREVISTAS COM INFORMANTES
CHAVES

É O MÉTODO MAIS ADEQUADO ‰ Para produzir informação geral,

descritiva.
‰ Para compreender melhor os motivos e
atitudes das diferentes partes
‰ Para interpretar dados quantitativos
disponíveis.
‰ Para desenvolver perguntas, hipóteses e
propostas para posterior comprovação e
elaboração.
♦
É IMPORTANTE LEVAR-SE EM ‰ Os informantes deverão ser
CONTA selecionados sobre a base de seu papel,
função ou especial perspicácia.
‰ Os principais grupos de interesse
deverão estar representados.
‰ As entrevistas devem ser preparadas de
maneira que os informantes se
confrontem com real conhecimento
(substancial e experiência prática.
‰ As entrevistas deverão se desenrolar em
uma atmosfera aberta e informal.
‰ A medida em que se obtém uma
informação nova pode ser útil contatar
o mesmo informante várias vezes no
decorrer da avaliação.
‰ O entrevistados deverá tomar notas
detalhadas das entrevistas.
‰ Os critérios utilizados na seleção dos
informantes devem ser especificados no
informe.
 TABELA 9 39
CONDIÇÕES PARA A REALIZAÇÃO ENTREVISTAS DE GRUPO

É O MÉTODO MAIS ADEQUADO ‰ Para recolher dados em nível da

comunidade.
‰ Para determinar o grau de apoio
popular com o qual uma iniciativa
específica conta.
‰ Para obter informação sobre as
necessidades e prioridades das pessoas.
‰ Na avaliação de iniciativas de
desenvolvimento que afetam um grande
número de pessoas.
♦
É IMPORTANTE LEVAR-SE EM ‰ Os participantes devem constituir uma
CONTA amostra representativa em termos de
gênero, status, distribuição de papéis
etc.
‰ O entrevistados deve ter um
conhecimento do tema e da
comunidade local, assim como
experiência na condução de entrevistas
comunitárias.
‰ Um plano de entrevista deve ser
preparado com antecedência.
‰ As perguntas devem ser formuladas de
forma precisa e individualizada.
‰ O entrevistados deve provocar uma
participação ampla e barrar qualquer
tendência que algumas tenham de
predominar.
‰ Todos os que quiserem expressar uma
opinião deve ter a oportunidade de
fazê-lo antes que a pergunta seguinte
seja feita.
‰ A utilização de perguntas do tipo “sim”
ou “não” de categorias definidas
proporciona uma certa possibilidade de
se obter alguns dados quantitativos.
‰ A informação obtida durante as
entrevistas comunitárias deve ser
meticulosamente registrada..
 TABELA 10 40
CONDIÇÕES PARA A REALIZAÇÃO ENTREVISTAS COM GRUPOS FOCAIS

É O MÉTODO MAIS ADEQUADO ‰ Para gerar idéias e hipóteses para uma

análise posterior.
‰ Para provocar reações a distintas
sugestões e recomendações.
‰ Para conseguir explicações sobre as
escolhas e prioridades do grupo.
‰ Para a análise de áreas de problema
complexas e compostas de vários
elementos.
‰ Para alcançar um acordo em torno às
conclusões e recomendações.
♦
É IMPORTANTE LEVAR-SE EM ‰ O grupo deveria ser homogêneo em
CONTA termos de interesses e limitado de oito a
doze participantes.
‰ As discussões de grupo devem ser
conduzidas por um moderador
experiência que é responsável por
manter uma discussão organizada.
‰ Técnicas de visualização podem ser
utilizadas com proveito.
‰ O moderador deve permanecer neutro,
mas deve conhecer profundamente o
tema da discussão.
‰ Deve-se enfocar somente um tema por
vez. É desejável que se chegue a um
consenso antes de passar ao tema
seguinte.
‰ Deve-se tomar notas detalhadas.
 41
TABELA 11
CONDIÇÕES PARA A REALIZAÇÃO DE OBSERVAÇÃO DIRETA

É O MÉTODO MAIS ADEQUADO ‰ Para proporcionar informação de

fenômenos físicos.
‰ Para recolher informação sobre a
adequação e utilização de serviços
públicos e privados, infra-estrutura etc.
‰ Para obter informações preliminares,
descritivas.
‰ Para compreender fenômenos,
processos e como as coisas se
organizam e se levam a cabo.
♦
É IMPORTANTE LEVAR-SE EM ‰ Qualquer que seja o objeto da
CONTA observação – uma amostra ou um
processo – deve ser representativa da
população total ou o assunto em
questão.
‰ A observação deve ser sistemática, com
listas de comprovação, registro das
observações etc.
‰ Os erros sistemáticos podem ser
evitados utilizando vários observadores
independentes.
‰ Os observadores devem contar com
uma formação minuciosa do tema em
estudo.
‰ Deve-se levar em conta os possíveis
sesgos na observação; por exemplo,
que a observação possa em si mesma
influir no que está sendo observado.
 42

TABELA 12
CONDIÇÕES PARA A REALIZAÇÃO DE PESQUISAS INFORMAIS

É O MÉTODO MAIS ADEQUADO ‰ Para gerar informação quantitativa

acerca de um grupo relativamente
homogêneo; por exemplo, sobre
atitudes, opiniões e reações.
‰ Nos casos em que se consumiria muito
tempo e em que seria muito cara a
utilização de uma amostra aleatória
representativa.
‰ Para complementar a informação
quantitativa existente.
♦
É IMPORTANTE LEVAR-SE EM ‰ A pesquisa deverá ser elaborada
CONTA baseada em estudos prévios e dentro do
conhecimento existente do tema em
questão.
‰ O número de perguntas deveria limitar-
se entre dez e vinte.
‰ O número de entrevistados deverá
também ser limitado, entre trinta e
cinqüenta.
‰ Antes de realizar a pesquisa, o
questionário deve ser testado com uma
amostra menor.
‰ Os entrevistadores deverão conhecer
bem o tema que se pretende estudar,
assim como ter experiência na
utilização deste método.
‰ Os critérios de amostragem e quaisquer
limitações que resultem da seleção têm
de ser especificados no relatório.
6. MONITORAMENTO E AVALIAÇÃO DE CUSTOS 43

No presente capítulo são apresentadas algumas noções sobre as análises mais comumente
utilizadas no monitoramento e avaliação de programas e projetos sociais que dizem respeito à
análise custo-efetividade, análise custo-eficiência e análise custo-benefício.

É importante ressaltar que para o entendimento destes métodos e seu uso no contexto do
monitoramento e avaliação, é fundamental possuir um conhecimento básico de definição de
recursos e tipos de custos (capital, operacionais, médios, marginais, incrementais, variáveis e
fixos, monetários e imputados, diretos e indiretos, custos de oportunidade, financeiros e
econômicos, etc), assim como sobre os métodos de preparação de orçamentos e as diferenças
entre a análise financeira e econômica.

Os três tipos de análises de custos que serão apresentadas podem ser realizadas no
diversos momentos do ciclo do programa ou projeto, ou seja, no início, para selecionar entre as
alternativas de intervenção, durante a implementação para verificar desvios e, numa etapa
posterior, para efetuar recomendações a futuros programas. Quando a análise de custos é
realizada na etapa de desenho, os custos são estimados em função de avaliações prévias de
programas similares. Em geral, nos programas sociais os custos são elevados na fase inicial de
execução do programa, dada a inversão que deve ser realizada na infraestrutura e nas equipes.
Posteriormente, diminuem, concentrando-se em custos associados às remunerações da equipe
técnica e de apoio administrativo e outras despesas correntes de operação. Por esta razão, estas
análises são realizadas dentro de um horizonte de implementação que leva em consideração a
vida útil média do investimento realizado e o fluxo de geração de benefícios. O fato de trabalhar
com um horizonte de análise para contemplar estas diferenças nos fluxos de custos e benefícios
obriga a trabalhar com o conceito de valor de dinheiro no tempo, que implica na atualização dos
valores de custos e de benefícios (quando estes podem ser expressos em termos monetários) por
uma taxa de desconto que corresponde ao custo de oportunidade do capital no mercado.

6.1.Análise Custo-Efetividade

Esta análise compara diferentes alternativas de intervenção que produzem o mesmo

efeito, porém cada uma com custos diferentes. Efetividade refere-se ao grau de alcance dos
objetivos e, conseqüentemente, o custo-efetividade representa o custo para alcançar o objetivo.
Nesta análise compara-se os custos por unidade de objetivo dos programas, por exemplo, x R$
por caso evitado de sarampo pela vacinação. Na comparação de várias alternativas de
intervenção seleciona-se a melhor em termos de relação custo-efetividade. Por exemplo, para
combater a malária na Amazônia, as autoridades de saúde poderiam examinar o custo-
efetividade de cada uma das seguintes estratégias em termos de custo por caso ou por morte
evitada:

ƒ DDT spray
ƒ distribuição de profiláticos
ƒ distribuição de redes para mosquitos impregnadas com inseticida
ƒ venda subsidiada de profiláticos 44
ƒ venda subsidiada de redes para mosquitos impregnadas com inseticida
ƒ treinamento de agentes comunitários de saúde para promover a erradicação do mosquito

As medidas de custo-efetividade representam somente a relação entre os custos e os

objetivos dos programas, não considerando as externalidades positivas e/ou negativas que
possam ser induzidas. Eventualmente, as estratégias de intervenção podem possuir desvantagens
com alto custo social no curto ou no longo prazo que não estão incluídas (ou não é possível
incluir nos custos). Por exemplo, o uso de DDT impregnado nas redes pode ser prejudicial para
as crianças se qualquer resíduo for ingerido. Daí que os resultados da análise de custo-
efetividade devem contemplar uma análise dos prós e contras de cada alternativa, incluindo os
efeitos secundários que estas podem gerar.

Para ilustrar este tipo de análise, a seguir apresenta-se um exemplo direcionado a uma
atividade de treinamento que tem como resultado Agentes Comunitários de Saúde treinados, e
para o qual existem três alternativas de implementação.

EXEMPLO DE RESULTADOS DE UMA ANÁLISE CUSTO-

EFETIVIDADE

Treinamento de Agentes Comunitários de Saúde (ACS) em procedimentos

sanitários

Alternativas Custo
por ACS treinado
1: Enviar uma equipe a cada comunidade para treinar os ACS R$50

2: Trazer os ACS das comunidades ao centro de treinamento do R$40

município,

3: Enviar aos ACS a serem treinados no hospital do distrito R$42

Considerando que todas estas alternativas têm as mesmas vantagens e desvantagens

associadas, se selecionaria a alternativa 2, que apresenta o menor custo por ACS treinado. Neste
caso, é uma atividade simples com um resultado bem concreto e que se realiza num curto
período de tempo, que é o mesmo para as três alternativas. Ou seja, não é necessário atualizar os
custos de cada alternativa para poder efetuar a comparação. Simplesmente, para cada alternativa
há que efetuar uma estimativa dos diferentes custos (de investimento e operação) envolvidos. O
total destes custos dividido pelo número de ACS a serem treinados possíbilita termos o custo por
unidade de resultado para esta atividade.

6.2 Análise de Custo-Eficiência

 Este segundo tipo de análise compara alternativas que possuem o mesmo custo, mas45
que produzem diferentes resultados. Neste caso, a relação custo-eficiência é medida pela
comparação de custos totais e unitários entre as diferentes intervenções, ou de uma dada
intervenção através do tempo. Nesta análise, os custos podem ser desagregados de diferentes
formas para obter diferentes medidas de eficiência. Por exemplo, o custo unitário de um aluno
entre diferentes escolas que possuem o mesmo orçamento alocado, pode ajudar o gerenciamento
dos recursos dos municípios ou da própria escola. As diferenças nas medidas de custo-eficiência
podem indicar a existência de economias de escala (menores custos devido a maior capacidade
de atendimento de um serviço), economias de uso (menores custos por maior quantidade de
serviços prestados numa mesma unidade) e maior ou menor produtividade da equipe, etc.

EXEMPLO DE RESULTADOS DE UMA ANÁLISE CUSTO-EFICIÊNCIA

Alternativas Número de ACS

treinados
. 1: Enviar a equipe a cada comunidade para treinar os ACS 200

2: Trazer os ACS das comunidades ao centro de treinamento do município, 250

3: Enviar aos ACS a serem treinados no hospital do distrito 238

Usando o mesmo exemplo anterior, e supondo que o total de recursos disponíveis para
cada alternativa fosse de R$ 10.000, teria-se um maior número de Agentes Comunitários de
Saúde treinados na alternativa 2, porque o custo unitário por ACS é de R$ 40.
 6.3. Análise Custo-Beneficio 46

A análise custo-benefício (ACB) se baseia na quantificação dos custos e benefícios

monetários atualizados de uma intervenção social, num determinado horizonte temporal. Em
alguns casos, a aplicação da metodologia de custo-benefício a programas sociais apresenta
algumas limitações devido à dificuldade de monetarizar adequadamente os benefícios sociais.
ACB compara formas alternativas para alcançar os mesmos ou diferentes efeitos, cada
alternativa com diferentes custos.

Basicamente ACB mede a relação entre os custos de um projeto ou programa e

seus beneficios expressos em termos monetários (em valores atualizados). Pressupondo que os
beneficios possam ser expressos monetariamente, ACB é um instrumento poderoso para
comparar alternativas de intervenção que possuem tanto custos como efeitos diferentes. Por
exemplo, o propósito de redução da pobreza numa determinada região pode considerar diferentes
estratégias. Uma pode ser a expansão de crédito para o setor informal, enquanto a outra pode ser
o treinamento profissional para satisfazer as necessidades da indústria processadora local. Neste
caso, a maior taxa interna de retorno e/ou relação beneficio-custo da inversão em cada
alternativa, será o critério para decidir sobre a alternativa a ser selecionada. Embora exista
grande discussão nos círculos acadêmicos, é amplamente reconhecido que os atuais métodos de
estimação de “preços sombra” usados na ACB não capta os efeitos secundários ou
multiplicadores que surgem nas intervenções e que, muitas vezes, podem ser mais importantes
que os próprios efeitos diretos..

Utilizando o exemplo anterior e pressupondo que o treinamento dado aos ACS vai
possibilitar o atendimento de um maior número de famílias − estimado em 20 a mais por ano, e
que o custo do atendimento é de R$ 5,8/ano, qual seria a alternativa a ser escolhida? Para
simplificar a análise, considera-se o mesmo tempo de duração (1 ano) e, que não existe custo de
oportunidade do capital.

EXEMPLO DE RESULTADOS DE UMA ANÁLISE CUSTO-BENEFICIO

Alternativa Fundos disponíveis Número ACS

Treinados
11. Enviar a quipe a cada comunidade para treinar os R$10,000 200
ACS
2: Trazer os ACS das comunidades ao centro de R$9,000 225
treinamento do município,
3: Enviar aos ACS a serem treinados no hospital do R$21,000 500
distrito

♦ Alternativa 1,
Relação Beneficio-Custo = (200*20)*R$ 5.8/R$10.000 =2,32
 47
♦ Alternativa 2
Relação Beneficio-Custo = (225*20)*R$ 5.8/R$9.000 =2.90

♦ Alternativa 3
Relação Beneficio-Custo = (500*20)*R$ 5.8/R$ 21.000 =2.76

De acordo com os resultados desta análise pode-se observar que a alternativa 2, possue a
maior relação beneficio-custo (2,90). Isto significa que os beneficios desta alternativa estão
cobrindo os custos e ainda apresenta um excedente equivalente a 1,90 vezes o custo total da
alternativa. Embora as outras alternativas também cubram amplamente os seus custos, o
excedente que apresentam é menor que a alternativa 2.

6.4. Passos para Efetuar uma Análise Custo-Efetividade e ACB

Os seguintes etapas sequenciais são recomendadas para a aplicação destes

métodos de análise de custos:

♦ Definir os objetivos do programa ou projeto: se os objetivos são

definidos de forma precisa, fica mais fácil efetuar estas análises porque os custos e beneficios
poderão ser mais claramente definidos, facilitando sua mensuração e interpretação;

♦ Identificar as alternativas para alcançar os objetivos: para que estas

análises possam ter maior utilidade é preciso identificar duas ou mais alternativas. É importante
lembrar que estas alternativas representam as possíveis tecnologias ou soluções para o problema;

♦ Identificar e mensurar os custos de cada alternativa: para cada

alternativa selecionada devem ser identificados e medidos os custos que incluem os de
investimento e de operação;

♦ Identificar e medir a efetividade de cada alternativa: para cada

alternativa devem ser mensurados os efeitos expressos em unidades tais como: pessoas, famílias,
casos evitados, mortes evitadas, etc. No caso da ACB os beneficios devem ser expressos em
unidades monetárias;

♦ Calcular as medidas de resultados da análise: para cada alternativa

devem ser calculadas as relações custo-beneficio e custo-efetividade, além das taxas internas de
retorno, valor presente das receitas líquidas, pay-back period (as duas últimas na ACB). Quando
há variações importantes nos custos e beneficios pode-se realizar uma análise de sensibilidade
que permite estimar as medidas anteriores nas piores e melhores situações;

♦ Interpretar os resultados da análise: tendo estabelecido quais as

alternativas mais custo-efetivas ou com as maiores relações de beneficio-custo e taxa interna de
retorno, um passo importante é a interpretação das diferenças entre as mesmas. Esta
interpretação pode conduzir a modificações importantes no desenho do programa.
 48

7. O USO E COMUNICAÇÃO DOS RESULTADOS DA AVALIAÇÃO

7.1. Uso dos Resultados

Uma das mais importantes características de uma efetiva avaliação é que forneça
informação que realmente possa ser utilizada. Ou seja, que os diferentes atores participantes do
programa possam utilizar a informação gerada para a tomada de decisões relacionada com o
programa. Obviamente, um relatório de avaliação que é simplesmente deixado na estante ou
numa gaveta dificilmente pode conduzir à melhoria do desenho do programa ou à tomada de
decisões. Processos e resultados da avaliação são úteis quando contribuem para decisões
informadas, esclarecem as opções de tomada de decisão, identificam os pontos fortes e fracos, e
fornecem lições aprendidas e recomendações para melhorar o programa, políticas e estratégias.

É mais provável que a equipe do programa ou projeto e os atores participantes (inclusive

a população beneficiária) usem os resultados e as recomendações da avaliação se eles entendem
e se apropriam do processo de avaliação. Portanto, quanto maior o número de pessoas envolvidas
ativamente no processo avaliativo, mais fácil será o uso dos resultados e recomendações para a
melhoria do programa.

A experiência mostra que os resultados da avaliação possuem mais chances de serem

utilizados quando o monitoramento e a avaliação são parte integral do gerenciamento do
programa e quando estes são conduzidos de forma permanente (on-going) pela gerência do
mesmo. Porém, algumas vezes é importante incorporar avaliadores externos ou facilitadores na
avaliação. A distância e neutralidade destes avaliadores é importante para oferecer uma
perspectiva fresca, que muitas vezes os atores internos não são capaces de enxergar pelo seu
comprometimento com o programa.

Em ambos os casos, aqueles que usam os resultados das avaliações precisam saber o que
eles realmente querem da avaliação, para que isto seja comunicado claramente ao avaliador,
fazendo com que as expectativas de ambos sejam aceitas pelos dois lados. Muitas vezes uma
avaliação não preenche as expectativas simplesmente porque os diferentes atores têm percepção
diferente do que a avaliação tem ou pode produzir. Por isso é que o planejamento do
monitoramento e avaliação em consulta com os usuários é imperativo. É importante assinalar
que os usos específicos da avaliação dependerão do propósito mais amplo da avaliação e das
questões que querem ser respondidas.

Os quadros abaixo sumarizam os principais propósitos da avaliação.

 49

Melhoria do Programa
O propósito de toda avaliação deve ser a melhoria do programa. Os resultados da avaliação
devem apoiar as decisões e ações para conseguir este propósito da melhor forma possível.
Resultados mais específicos podem ser utilizados para identificar os pontos fracos e fortalezas
do programa ou oferecer estratégias para melhoria continuada.

Custo-efetividade do Programa
Nos casos em que o propósito principal é avaliar o custo-efetividade do programa, os
resultados da avaliação devem apoiar as decisões sobre accountability no uso dos recursos e
no controle da qualidade. Os resultados da avaliação podem ser utilizados para decidir sobre o
futuro do programa, determinar a possibilidade de continuar seu financiamento ou efetuar
decisões sobre a expansão do mesmo.

GMMMeneratin knowledge
Geração de Conhecimentos
Outro propósito da avaliação é descobrir novos conhecimentos sobre as práticas mais efetivas
(melhores práticas). Resultados e descobertas deste tipo fornecem informação importante
sobre os princípios gerais de melhores práticas, tecnologias de intervenção mais efetivas e
novas relações teoria/ prática, o que em algumas ocasiões pode conduzir a mais aprimoradas
teorias sobre desnvolvimento organizacional e humano. Mais ainda, estes resultados podem
ser utilizados para colaborar e trocar conhecimento entre programas e iniciativas com
princípios e temas comuns. Este tipo de conhecimento é essencial à formulação de políticas
públicas.

No quadro abaixo são apontadas cinco recomendações que permitem um maior uso dos
resultados da avaliação.
 50

1. A preocupação com o uso dos resultados da avaliação deve ser a força condutora numa avaliação.

2. Uma avaliação deve ser orientada para o usuário. Deve estar dirigida aos interesses e
necessidades de audiências bem específicas de usuários,

3. Os interesses ao redor de uma avaliação são múltiplos e variados. Porém, uma avaliação não pode
satisfazer as expectativas de todos os atores. Antes que a avaliação comece todos os
interessados e atores devem formar um consenso em relação àqueles aspectos que serão
prioritários.

4. É importante possuir uma visão ampla do uso potencial da avaliação. Isto significa considerar
tanto os tópicos de curto como de longo prazos.

5. O uso dos resultados da avaliação envolve a necessidade de recursos (fundos e tempo da equipe).
Estes custos não devem ser subestimados e devem constar explicitamente dos planos de M&A.

7.2. Comunicação dos Resultados

A comunicação dos resultados do monitoramento e avaliação pode ser escrita ou verbal.

Para ser mais eficiente, os relatórios escritos devem ser simples, diretos e livres de jargões. A
ênfase deve estar em resultados importantes e recomendações, e não na metodologia e nas fontes
dos dados. Esse último pode ser colocado em anexos, se estes existirem.

Os canais de comunicação de resultados e recomendações de M&A mais eficientes são as

reuniões comuns da equipe ou do comitê coordenador. A vantagem é que, assim, os resultados
podem ser ativamente partilhados com os que podem tomar ações imediatas, quando necessário.
Além disso, a equipe de M&A tem retorno imediato e os erros, se existirem, podem ser
corrigidos. O tato deve ser usado quando forem lidadas questões de natureza "sensível". Isso é
mais apropriado em reuniões privadas com os interessados, e não em reuniões amplas ou
relatórios largamente distribuídos.

Na comunicação dos resultados da avaliação é importante diferenciar as seguintes

categorias: resultados, conclusõs, recomendaçõeso, e lições aprendidas, onde:

Resultados: correspondem a fatos encontrados (tais como "a taxa de incremento do acceso foi de
35%").

Conclusão: corresponde a uma síntese dos fatos encontrados numa circunstância específica (tais
como "a política de bolsa-escola não conseguiu alcançar os seus objetivos")
Recomendação: corresponde a uma prescrição do que deve ser feito em uma circunstância51
específica. Por exemplo, “para incrementar a taxa de acesso é necessário …" .

Lições Aprendidas: é uma generalização que não se refere a uma condição ou circunstância
específica, mas a uma classe ou categoria de situações, tais como: os projetos de prevenção e
erradicação do trabalho infantil, as abordagens de atuação junto à família tem mostrado… . Uma
lição aprendida deve assinalar o que provavelmente acontecerá ou o que deve ser feito para que
alguma coisa aconteça ou seja evitada. Lições aprendidas não correspondem a experiências. Uma
lição aprendida é o resultado de um processo de aprendizagem que requer uma reflexão sobre as
boas e más experiências.

Os principais tópicos que devem ser incluídas num relatório de avaliação podem
ser observados no quadro abaixo:

PRINCIPAIS TÓPICOS NUM RELATÓRIO DE AVALIAÇÃO

Capa Título do relatório, autores, instituições

patrocinadoras/participantes, lugar e data.
Sumário de conteúdo Capítulos e subcapítulos do relatório
Créditos Parágrafo de agradecimento a todas aquelas instituições/pessoas
que prestaram assistência especial ou que fizeram o estudo
possível
Resumo Executivo Resumo (1-4 páginas) dos aspectos mais significativos da avaliação,
enfatizando os objetivos da mesma, os principais resultados, as
lições aprendidas e as recomendações para melhoria do programa.
O sumário executivo é particularmente importante porque a
maioria das pessoas provavelmente não lerão todo o documento.
Introdução Contexto e antecedentes da avaliação: caracteriação do problema,
justificativa, questões-chave, circunstâncias especiais.
Objetivos Parágrafos concisos do que a avaliação deverá medir e entregar.
Metodologia Desenho da avaliação: coleta de informação, procedimentos
analíticos e limitações. É desejável que a seção de metodologia seja
curta e inclua um anexo técnico com maiores detalhes sobre os
métodos de coleta e de análise estatística (cálculo do tamanho da
amostra, etc).
Resultados Fatos encontrados, incluindo tabelas, gráficos e diagramas.
Conclusões Uma síntese dos fatos encontrados, que correspondem às
circunstâncias específicas do estudo.
Recomendações Uma prescrição do que deve ser feito nas circunstâncias
específicas.
O nível de detalhe das recomendações vai depender do propósito e
do usuário do relatório (os tomadores de decisão precisam de
recomendações de índole geral, enquanto os níveis de gerência
 52
precisam de recomendações mais operacionais ou práticas).
Lições Aprendidas Generalização que aponta o que provavelmente acontecerá e/ou
deve ser feito para que algo desejado ocorra ou seja evitado. As
lições aprendidas não são somente experiências, mas o resultado de
um processo de aprendizagem (que implica reflexão).
Referências e Bibliografia Relação de citações que foram usadas para realizar o estudo ou
referidas no relatório.
Anexos Instrumentos de avaliação (questionários): procedimentos
metodológicos, dados adicionaios ou com maior desagregação, e
outra documentação relevante de apoio.

Com relação ao estilo e forma os seguintes elementos devem ser considerados:

ELEMENTOS DE UM RELATÓRIO ORIENTADO PARA A AÇÃO

1. Estrutura número de relatórios: vários segundo usuário

escopo: focalizado
tamanho curto
resumo executivo: sempre
sumário de conteúdo: algumas vezes
anexos: as vezes
2. Estilo tono: envolvente
tempo: primeira ou segunda pessoa
escrita: com exemplos e fotos
3. Conteúdo Antecedentes: breve
hipóteses: não
metodologia: breve
analises: abordagem global
resultados: selecionados
gráficos e diagramas: muitos
4. Perspectiva ponto de vista: da audiencia
autor ideal: interno ao projeto
5. Outros aspectos conclusões: sim
interpretações: sim
recomendações: sim
disseminação: primeiro informalmente
 53
8. AS ETAPAS PARA A IMPLEMENTAÇÃO DE UM SISTEMA DE M&A
Enquanto a abordagem conceitual de M&A vem sendo progressivamente entendida, o lado
prático, ou seja, como delinear e implementar esses sistemas, enfrenta várias dificuldades.
Embora não existam receitas prontas para o delineamento de sistemas de M&A que sejam
simples e que, com requerimentos mínimos de informação, possam dar um efetivo e rápido
"feedback" para os diversos níveis de tomada de decisão, as experiências passadas permitem
estabelecer algumas etapas que facilitam este processo.

♦ A recomendação, de ordem mais geral, é que projetos e programa com objetivos específicos
e metas claramente estabelecidas, facilitam consideravelmente o delineamento de sistemas de
M&A, ao permitir um melhor direcionamento na seleção de indicadores e na identificação de
fontes de informação e formas de coleta, processamento e análise;

♦ Isto significa dizer que o primeiro passo no delineamento de um sistema de M&A deve estar
orientado para definir e estabelecer a seqüência de objetivos e metas que se espera sejam
alcançados durante o período de implementação do projeto. Paralelamente a esta tarefa, é preciso
que sejam identificados, em ordem de prioridade, os "consumidores" desta informação e seus
requerimentos específicos. A experiência assinala que a coleta de dados e sua posterior análise,
sem ter, "a priori", identificado os possíveis usuários da informação gerada, representa um
esforço de duvidosa utilidade;

♦ A partir da definição da hierarquia de objetivos e metas será possível, então, selecionar os

indicadores (quantitativos e qualitativos) que permitirão verificar e analisar o andamento do
projeto. Ao mesmo tempo, deverão ser identificadas as fontes, formas de coleta e fluxos de dados
necessários para constituir os indicadores de M&A selecionados. O monitoramento terá,
basicamente, como fonte principal de informação os registros e relatórios provenientes das
diversas agências executoras, as quais farão referência aos meios alocados, às atividades
desenvolvidas e aos produto(s) que vem sendo alcançado(s). A avaliação, como já foi assinalado,
além de fazer uso da informação coletada e produzida pelo monitoramento, precisa de várias
outras fontes, tais como: censos econômicos e demográficos, séries históricas de estatísticas de
produção, consumo, rendimentos, preços, relatórios de pesquisa realizados nas áreas-alvo, etc.).

♦ Se as etapas anteriores são realizadas de forma efetiva, facilita significativamente o

processamento e análise da informação coletada. No caso do monitoramento, o processamento e a
análise são relativamente simples. Os dados específicos sobre os meios e produtos para cada
componente do projeto são agrupados em tabelas-síntese de avanço, onde se indica se as metas
programadas para estes níveis (em termos absolutos e relativos) estão sendo alcançadas ou não.
Na análise, o monitoramento tenta identificar as razões e circunstâncias que estão impedindo/
dificultando, tanto o alcance das metas programadas em cada nível, como afetando a qualidade
das ações desenvolvidas. O tipo de processamento vai estar diretamente relacionado com o da
análise que precisa ser efetuada. Por exemplo, se são requeridas medidas de cálculo simples, tais
como freqüências absoluta e relativa, médias aritméticas e ponderadas, taxas geométricas,
coeficientes técnicos médios, etc, a experiência indica que o processamento manual, através de
mapas de tabulação, é a alternativa mais recomendável. Porém, quando é necessário utilizar
técnicas estatísticas (análises de variação, fatorial e discriminante, diversos testes de hipóteses,54
etc.) e diferentes modelos os (econométricos, insumo-produto e outros), o uso do computador é
indispensável. Por último, deve ser observado que, em muitos casos, significativos esforços
realizados na coleta de dados para avaliação têm sido inúteis devido, principalmente, a que desde
o início não se tem uma idéia clara da informação que deve ser coletada, para que, e como esta
deve ser analisada. Sendo assim, a única recomendação que pode ser dada neste sentido, é a
necessidade de formar equipes multidisciplinares altamente capacitadas. As etapas anteriores são
ilustradas nos Diagramas 4 e 5.

Diagrama 4.

Etapas para Definir Indicadores de M &A

Definir a linha de base (Io) Qual é o status do problem a e, de

onde com eçamos? (AS)

Ter claro os objetivos e Qué querem os alcançar?

metas

Consenso nos indicadores e Cómo devemos m edir a

metas mudança? (processo articipatório)

Ter claro as atividades, Cómo vam os a alcançar os

objetivos/efeitos (programação)
produtos e insumos

Acordo nos indicadores de Qué querem os m onitorar?

monitoramento
Cómo vam os a usar-los?
Análise, uso e reporting
 55
Diagrama 5.

Etapas no Desenho de um Sistema de M & A

• Estabelecimento da hierarquia de objetivos e metas

• Seleção e definição dos indicadores para os diferentes
níveis de objetivos, resultados, atividades e recursos
• Identificação das fontes, formas de coleta, fluxos de
informação, periodicidade e responsabilidades
institucionais
• Formas de análise e interpretação
• Reporting para os diferentes níveis de tomada de
decisão e comunicação/ divulgação

Para fechar este capítulo na tabela abaixo se apresenta um resumo com as questões chaves para
orientar o desenvolvimento de sistemas de M&A.
 QUESTÕES-CHAVE E PRINCIPAIS DIRETRIZES PARA M&A 56

QUESTÕES MONITORAMENTO AVALIAÇÃO

Quem precisa Identificar os usuários potenciais, Identificar os usuários potenciais,
da informação? especialmente os tomadores de especialmente os tomadores de decisão da
decisão da informação gerada pelo informação gerada pela avaliação. Devem
monitoramento. Devem ser incluídos os ser incluídos os beneficiários e o público
beneficiários em geral.

Que Identique que informação eles Estabeleça o escopo e o foco da avaliação

informação? precisam e selecione os indicadores. e as questões que a avaliação deve
Os melhores indicadores são aqueles responder.
que limitam e focalizam a coleta de
dados.
Por que? Averigue o propósito da monitoria na Averigue as decisões que serão feitas com
tomada de decisão. base na avaliação.
Como a Observações, entrevistas, relatórios e A escolha dos métodos de coleta
informação registros regulares, sítios sentinelas dependem do propósito da avaliação e dos
deve ser são os métodos para coleta de recursos disponíveis.
coletada? informação. Use quanto possível os
dados existentes nos sistemas
regulares.
Quem deve A equipe do projeto ou do programa Pode ser feita internamente ao projeto ou
conduzir a nos diferentes níveis. com o apoio de um facilitador ou avaliador
coleta de externo. Porém, esta decisão depende do
informação? propósito da avaliação.

Quando? Diferente informação pode ser Avaliações serão apropriadas em

requerida em momentos diferentes. momentos diferentes do ciclo do projeto
ou programa (plano).

De que forma? A informação do monitoramento pode Os relatórios de avaliação podem variar de

ser apresentada num relatório escrito um documento analítico a um breve
ou numa tabela-resumo de indicadores. resumo, dependendo da necessidade do
Vai depender de como a informação vai usuário.
ser usada e por quem.
 57

Anexo 1

GLOSSÁRIO DE TERMOS USADOS

EM MONITORAMENTO E AVALIAÇÃO
Acompanhamento: muita vezes confunde-se com monitoramento e é entendido como o58
exame contínuo ou periódico, por parte da administração, em todos os seus níveis hierárquicos,
da execução de uma atividade, para assegurar que as entregas de insumos, os calendários de
trabalho, os produtos esperados, estão de acordo com as metas estabelecidas e desenvolvendo-se
segundo o plano de trabalho definido.

Análise de alternativas: é o exame crítico das diferentes tecnologias de intervenção e estratégias

para alcançar os objetivos do projeto. Através de critérios previamente formulados, esta análise
deve permitir selecionar a melhor alternativa de intervenção que se planeja e operacionaliza
através do projeto.

Análise de situação: envolve a análise e priorização dos problemas que estão afetando
determinada área geográfica e/ou grupos populacionais, assim como a determinação das suas
causas e consequências. A análise da situação faz parte do estágio inicial do ciclo de
desenvolvimento do projeto e serve como linha de base para posteriormente aferir os avanços
conseguidos pelo mesmo.

Árvore de problemas: é a representação gráfica de uma situação-problema (tronco), suas

principais causas (raízes) e os efeitos negativos que ela provoca na população-alvo do projeto
(galhos e folhas).

Árvore de objetivos: é a representação gráfica do objetivo central do projeto (tronco), dos meios
para alcançá-lo (raízes) e dos efeitos positivos que o alcance dos objetivos provoca na
população-alvo (galhos e folhas).

Atividade: entende-se como um processo no qual, usando uma determinada tecnologia,

combinam-se insumos ou recursos para contribuir à geração de um ou mais produtos. Cada
atividade, por sua vez, pode exigir a realização de uma série sub-atividades ou tarefas. Quando
uma atividade é permanente e sua suspensão interrompe um processo, está-se frente a uma
função e não a uma atividade.

Avaliação: é o processo de análise e interpretação sistemática e objetiva da relevância,

eficiência, efetividade, impacto e sustentabilidade do projeto, à luz de seus objetivos. Quando
este processo é feito durante a implementação do projeto/ programa denomina-se de avaliação
em processo ou somativa. Se realizada ao final do desenvolvimento do mesmo chama-se de
avaliação ex-post ou formativa que fornece subsídios para o planejamento, programação e
tomada de decisão futuras. Muitas vezes quando um projeto é submetido a uma avaliação antes
de iniciar sua implementação fala-se de avaliação ex-ante.

Avaliação durante ou em processo (on-going): realiza-se durante a implementação do projeto,

fornecendo informações aos gerentes sobre possíveis ajustes nos objetivos, estratégias de
implementação e demais elementos do projeto. Examina também se os pressupostos e hipóteses
formulados no estágio inicial permanecem válidos ou requerem ajustes para assegurar o alcance
dos objetivos globais do mesmo (relevância). Em alguns casos, os pressupostos iniciais poderiam
ser impróprios; em outros, fatores imprevisíveis, de origem interna ou externa, podem exigir59
uma revisão dos pressupostos e hipóteses.

Avaliação ex-ante: é o exame crítico do documento inicial do projeto, que analisa a relevância,
viabilidade técnica, financeira, institucional, social da(s) alternativa(s) de intervenção
selecionada. Nesta avaliação busca-se contribuir para o processo decisório, possibilitando a
obtenção e análise de informações sobre as vantagens e viabilidade do projeto.

Avaliação ex-post: é realizada após o pleno desenvolvimento do projeto, considerando um

período de tempo suficiente para que os benefícios e impactos se manifestem e possam ser
aferidos. A avaliação ex-post verifica e explica em que medida os objetivos ou efeitos imediatos,
e o global foram ou não alcançados e se devem ou não à intervenção. Como avaliação formativa
procura identificar as lições aprendidas para aprimorar a tomada de decisões e planejamento
futuro em termos de desenho, implementação, monitoramento e avaliação das atividades de
desenvolvimento. Em uma avaliação ex-post são confrontados os resultados do processo de
transformação da realidade, tais como custos, produtos e resultados, com parâmetros de juízo,
objetivos propostos, de forma a obter conclusões sobre a margem de acerto ou fracasso
alcançado, inferir suas causas e realimentar os ciclos sequenciais do processo.

Beneficiários: todos os projetos/programas sociais são formulados tendo em mente instituições

ou grupos-alvos como beneficiários diretos ou primários. São denominados beneficiários diretos
ou primários aqueles que recebem diretamente os bens e serviços proporcionados pelo projeto.
Entretanto, as intervenções sociais também podem afetar positivamente a outras pessoas, grupos
ou instituições que podem ou não estar dentro do grupo-alvo. Estes grupos ou instituições são
denominados de beneficiários indiretos que podem ser considerados legítimos, se favorecê-los
está de acordo com o espírito do projeto ou, ilegítimos se são outras populações ou grupos que
encontram-se fora dos critérios de inclusão. É o caso, por exemplo, de membros das classes
média e alta, que tem acesso a subsídios orientados aos grupos carentes.

Ciclo do projeto: refere-se à sequência de etapas pela qual passa um projeto, desde a sua
concepção até a execução. Embora com algumas diferenças considera-se as seguintes etapas
como fazendo parte do ciclo: concepção da ideía, análise da situação, seleção das alternativas de
intervenção (estudo de viabilidade), preparação do projeto, avaliação ex-ante (appraisal),
execução, monitoramento e avaliação.

Cobertura: representa a proporção da população afetada pelo problema e que será beneficiada
pelo projeto. Ou a proporção que existe entre a população que forma parte do grupo-alvo, tem a
necessidade e recebe os serviços, dividida pela população total do grupo-meta, que tem a
necessidade que o projeto pretende atender.

Componente: representa uma parte ou um segmento que faz parte de um todo. Geralmente
referem-se a um grupo de atividades dentro de um projeto ou programa.

Custo/beneficio: é uma forma de avaliação econômica, onde são estimados os fluxos monetários
de benefícios e custos para uma ou mais alternativas de investimento social ou produtivo, ambos
fluxos descontados por uma taxa de desconto representada pelo custo de oportunidade do60
capital. As dificuldades de estimar os fluxos de beneficios faz com que na maioria das vezes a
análise custo/beneficio se veja reduzido aqueles custos e beneficios que são fáceis de expressar
em termos monetários. Se esta análise é feita com preços de mercado fala-se de análise privada.
Se os preços de mercado são corrigidos para representar o verdadeiro beneficio e custo social
fala-se de análise econômica ou social.

Custo-efetividade: é uma forma de avaliação de custo-beneficio que quantifica os beneficios

sem traduzi-los em termos monetários. Este tipo de análise permite comparar diferentes
alternativas para alcançar os objetivos imediatos dos projetos e selecionar aquela alternativa que
permite o alcance dos mesmos ao menor custo.

Diagnóstico: é o exame crítico de uma situação social, visando identificar suas causas e efeitos,
distribuição e incidência na população, bem como os atores envolvidos e as alternativas possíveis
de evolução da situação;
.
Efeitos: são os outcomes ou resultados diretos do uso ou adoção dos produtos do projeto. Ou
seja, os efeitos são os resultados mais imediatos que idealmente deveriam equivaler aos objetivos
específicos almejados. Deve-se diferenciar entre objetivos e efeitos. Os objetivos constituem a
situação ou estado desejado que se pretende atingir com a realização do projeto. Porém, os
efeitos somente são verificados durante ou depois da implementação do mesmo. Podem, ser
distinguidos efeitos que ocorrem durante a realização do projeto e finais que equivalem à
transformação verificada na população-alvo depois da implementação do mesmo. Existem ainda
aqueles efeitos que são perseguidos ou previstos e aqueles efeitos indiretos, secundários, não
previstos, denominados também de secundários, externalidades ou indiretos e que de alguma
forma podem ter sido induzidos ou ocorrerram como consequência do projeto. Os efeitos
perseguidos são em certa medida positivos (pois não seria lógico elaborar projetos para
conseguir resultados negativos à luz da imagem-alvo). Porém os efeitos secundários ou
imprevistos podem ser negativos e surgem em decorrência de limitações do conhecimento
disponível, por fatores fora do controle da gerência ou por desinformação daqueles que
elaboraram o projeto.

Efetividade ou eficácia é um termo utilizado para expressar o grau de consecussão dos objetivos
específicos de um projeto. Ou seja, em que medida os recursos, atividades e produtos estão
conseguindo os efeitos diretos almejados pelo projeto em um determinado período de tempo,
independentemente dos custos implicados. A definição tem dois aspectos fundamentais: metas e
tempo. A programação é realizada sobre a base de normas ou padrões, que determinam a
alocação de recursos para a consecução das metas. Em cada uma das relações anteriores supõe-se
que a programação está corretamente realizada. Se os padrões forem inadequados ou os cálculos
de tempo errôneos, as metas serão arbitrárias e, portanto, o cálculo do grau de eficácia para
atingi-las terá a mesma validade que o dos tempos e metas, a partir dos quais foi determinada.

Eficiência: é a consecução dos objetivos do programa/projeto com o menor custo e/ou maior
beneficio. O conceito de eficiência pode ser considerado a partir de duas perspectivas
complementares: se a quantidade de produto está pré-determinada, procura-se minimizar o custo
total ou o meio que se requer para sua geração; se o gasto total está previamente fixado,61
procura-se otimizar a combinação de insumos para maximizar o produto. Os insumos requeridos
por um projeto podem ser expressos em unidades monetárias. A partir disso, a eficiência pode
ser definida como a relação existente entre os produtos e os custos dos insumos. Portanto, o
resultado será sempre o custo de uma unidade de produto final recebida por um beneficiário em
certa unidade de tempo. Eficiência e produtividade são conceitos semelhantes, dado que
relacionam recursos com resultados. Mas a produtividade considera os recursos em unidades
físicas (do mesmo modo que o ótimo na análise econômica), enquanto que a eficiência traduz os
insumos em unidades monetárias.

Focalização: é um critério utilizado para a formulação de projetos, que identifica, com a maior
precisão possível, o conjunto dos beneficiários potenciais. Para tanto, requer o conhecimento
detalhado das características do grupo-alvo. Nesse sentido, focalizar implica estabelecer uma
oferta de bens e/ou serviços orientada a determinados grupos ou populações-alvos selecionados
através de determinados critérios (geográficos, sócioeconômicos, etários ou institucionais). A
focalização, que muita vezes é justificada pela limitação de recursos e pela necessidade de
aumentar a eficácia dos projetos, é uma forma de priorização ou seleção de um ou vários grupos
sociais que se quer beneficiar pelo projeto.

Formulação: é a etapa em que são identificados os problemas e desenhadas as alternativas de

um projeto, ou seja, as opções tecnicamente viáveis para solucioná-lo. Estas alternativas surgem
da teoria disponível e do conhecimento derivado das avaliações ex-post, realizadas previamente
sobre projetos análogos.

Impacto: é o resultado dos efeitos diretos do projeto, mais os secundários por ele induzidos,
juntamente com os causados por eventos fora do controle do projeto. São os resultados mais
amplos relacionados com os objetivos mais gerais daquele. Podem se manifestar a nível
individual e domiciliar ou nacional. Alguns elementos de impacto podem surgir durante a
implementação (aumento do nível de emprego ou nutrição). Outros, porém, vão se manifestar
após o pleno desenvolvimento do projeto como, por exemplo, alterações na taxa de
alfabetização, capacidade de desenvolvimento auto-sustentável, etc. A determinação e explicação
do impacto exige o estabelecimento de objetivos operacionais e de um modelo causal que
permita vincular o projeto com os efeitos resultantes de sua implementação. Há autores que
distinguem os resultados brutos (RB), que são as modificações verificadas na população-alvo,
depois que o projeto esteve funcionando durante um tempo suficientemente longo para que tais
modificações sejam visíveis e, os resultados líquidos (RL) são as alterações no grupo-alvo, que
podem ser atribuídos única e exclusivamente ao projeto.

Indicador: é uma medida quantitativa ou qualitativa utilizada para verificar o alcance dos
insumos, implementação de processos, bem como para aferir as mudanças e objetivos de um
programa/projeto em termos de quantidade, qualidade e tempo. Os indicadores podem ser
classificados em indicadores de insumo, processo, produtos, efeitos e impacto.

Insumo (input): é o conjunto de recursos humanos, financeiros, materiais e organizacionais que

combinados através de atividades levam à obtenção de um ou vários produtos. São fluxos
associados aos estoques utilizados no processo de implementação do projeto e constituem62
elementos necessários para conseguir um resultado. São bens, serviços, mão-de-obra, recursos
técnicos e outros fornecidos para a realização das atividades do projeto.

Linha de base (ou situação inicial): é a análise que descreve a situação antes da implementação
de uma intervenção e serve como ponto de referência para a comparação de indicadores nas
situações antes/depois, com/sem o projeto.

Meta: é a quantificação e qualificação do objetivo que se quer alcançar. Sua formulação deve
incluir tempo, quantidade, área geográfica e, se possível e necessário, qualidade e grupo-alvo.
Exemplo: a meta de um projeto de educação é reduzir, por exemplo, em 2 %, em dois anos, a
repetência escolar em cada uma das escolas municipais onde é realizada a intervenção. É preciso
distinguir as metas do projeto das normas técnicas de implementação. As primeiras
correspondem ao processo de quantificação dos objetivos. As normas na realidade são as
exigências técnicas que devem ser cumpridas para atingir o objetivo.

Monitoramento: é o processo contínuo e sistemático de supervisão e revisão do gerenciamento

da implementação de uma atividade, com o objetivo de assegurar que os insumos distribuídos no
cronograma de trabalho e os produtos esperados estejam de acordo com o planejado. O propósito
do monitoramento é garantir a eficiência e a efetividade no gerenciamento, permitindo a
melhoria do plano operacional, bem como a tomada de ações corretivas durante o andamento do
projeto. O monitoramento faz parte do sistema de gerenciamento da informação, sendo, portanto,
uma atividade interna ao projeto. Deve ser conduzido pelos responsáveis da implementação do
programa/projeto, em todos os níveis da hierarquia gerencial. Ele se relaciona diretamente com a
gestão administrativa e consiste em um exame contínuo ou periódico que efetua a administração
durante a etapa de operacionalização do projeto. É realizado com o objetivo de controlar o
cumprimento dos prazos nas atividades programadas, bem como a provisão de insumos para
determinar se eles foram entregues nos prazos, quantidades, qualidades e preços previstos e se os
produtos responderam às especificações (quantidade, qualidade e tempo) em função da
programação prevista.

Objetivos: representam o estado desejado para ser alcançado ou esperados de programas e

projetos de desenvolvimento. Podem ser hierarquizados em diferentes níveis, tais como objetivos
de curto, médio e longo prazo; ou específicos/imediatos, intermediários e de desenvolvimento;
ou global/geral. Um objetivo geral, global ou de desenvolvimento é a situação de longo prazo
que o programa ou projeto quer alcançar em sinérgia com outras intervenções. Os objetivos
específicos ou de curto prazo são os resultados mais imediatos que querem ser alcançados com o
projeto. O conjunto dos objetivos adota a forma de uma "corrente", partindo do geral aos mais
específicos. Isto implica que, além da coerência lógica na desagregação, deve existir também
coerência "real", isto é‚ congruência entre a lógica dedutiva e o comportamento da realidade. É
comum que os projetos tenham mais de um objetivo, e que estes sejam de natureza diferente. A
lógica subjacente é a existência de projetos com objetivos múltiplos‚ que tenham pelo menos
algum grau de complementaridade. Existem também objetivos complementares, competitivos e
indiferentes: os objetivos são complementares quando atingir um deles implica na consecução
dos demais ou incrementa a probabilidade de conseguí-los. Nos competitivos, pelo contrário,
 63

conseguir algum implica em sacrificar ou dificultar os outros. Os objetivos são indiferentes

quando a consecução de um não altera a probabilidade de ter êxito com os demais. O problema
aparece quando um projeto tem vários objetivos competitivos entre si, o que obriga a definir
prioridades que são expressas no modelo de alocação dos recursos do projeto.

Planejamento: é a tentativa organizada e inteligente de selecionar a melhor alternativa

disponível para alcançar metas especificas. Consiste também na aplicação sistemática do
conhecimento humano para prever e avaliar custos alternativos de ação, visando a tomada de
decisões adequadas e racionais, que sirvam de base para ação futura.

Plano, programa e projeto: são documentos na forma de relatórios, contendo todas as

informações necessárias à implantação, execução e controle das proposições feitas no processo
de planejamento. A distinção entre plano, programa e projeto está baseada no nível hierárquico
de tomada das decisões. Em um processo ideal de planejamento, os projetos constituem a
unidade básica onde se operacionalizam os planos e programas globais/setoriais e/ou
nacionais/regionais. Um plano é a soma de programas que procuram objetivos comuns, ordena
os objetivos gerais e os desagrega em específicos, que constituirão, por sua vez, os objetivos
gerais dos programas. Ele determina o modelo de alocação de recursos, resultante da decisão
política e dispõe as ações programáticas em uma sequência temporal, de acordo com a
racionalidade técnica das mesmas e as prioridades de atendimento. No planejamento da área
social é imprescindível observar que raramente existe algo que possa ser denominado
"planejamento social global". As prioridades mais gerais se limitam, na prática, à alocação de
proporções variáveis do gasto público social aos distintos setores sociais. Uma vez localizados
no campo dos setores sociais, cumprida a sequência lógica de planos, programas e projetos,
mesmo que o plano esteja ausente, sempre existirão os outros dois elos da cadeia.

Premissa: é o suposto ou condição externa necessária para a realização do projeto e alcance dos
seus objetivos que, contudo, não estão sob o controle direto do gerente do projeto.

Produto (output): são os resultados obtidos pela implementação das atividades. É o conjunto de
resultados concretos produzidos através do gerenciamento e administração dos insumos. Certas
atividades podem gerar produtos intermediários, que podem servir como insumos para outras
atividades. Segundo seu caráter de materialidade, pode-se distinguir bens produzidos (ou
resultados materiais) e serviços prestados. Costuma-se distinguir os produtos dos efeitos e do
impacto. Os efeitos são resultados da utilização dos produtos do projeto.

Programa: é o conjunto organizado de atividades, projetos, processos ou serviços destinados ao

alcance de objetivos específicos. É a cooperação em um setor social ou de forma intersetorial, e
em área geográfica específica, sendo definido a partir de efeitos e impactos pré-estabelecidos.

Projeto: é o trabalho planejado, constituído por um conjunto de atividades interrelacionadas e

coordenadas, orientadas para o alcance de determinados objetivos específicos, dentro de um
orçamento e período de tempo definidos. Geralmente os projetos fazem parte de um programa ou
subprograma. É a unidade operacional que vincula recursos, atividades e produtos durante um64
período determinado e com uma localização definida, para resolver problemas ou necessidades
da população-alvo. Quando realizados por organismos públicos ou através de convênios com
estes, os projetos são, em geral, as unidades mínimas através das quais se materializam e
executam os programas e políticas sociais.

Produtividade: derivada da relação existente entre um produto e um insumo. Depende, portanto,

da tecnologia, da organização, do comportamento dos atores sociais envolvidos, etc. Como o
produto, normalmente é consequência da combinação de vários insumos, costuma referir-se à
contribuição de cada um deles na geração do resultado. Sempre se associa à unidade de tempo
em que o insumo é aplicado.

Recursos: são o estoque previsto para a realização de uma atividade, com a qual se espera obter
determinados produtos e atingir os objetivos de um projeto. Em muitas ocasiões‚ é utilizado
como sinônimo de insumos. A diferença está em que "recursos" se usa no âmbito de uma
organização relativamente estável, enquanto que "insumos" costuma estar ligado a processos que
carecem de permanência. Por isso, o primeiro conceito está mais associado a projetos
permanentes e o segundo àqueles que têm uma existência mais precária.

Sustentabilidade: é o grau de continuidade na mobilização de insumos, obtenção de produtos e

alcance dos objetivos de um projeto, após a finalização da assistência/apoio dado por uma
agência ou entidade de cooperação. Dependendo dos fatores que a determinam fala-se de
sustentabilidade financeira, político-institucional e técnica. Portanto, pode-se considerar a
sustentabilidade como o conjunto de fatores que permitem que os benefícios imediatos e o
impacto alcançados pelo projeto na população-alvo terão longa duração ou serão conservados
por um tempo mínimo razoável.

Utilização: é o uso efetivo que se faz de um recurso que se encontra disponível. Nesse sentido,
poderia ser definido um coeficiente de utilização como a relação existente entre os recursos
efetivamente utilizados e os disponíveis para uma atividade do programa em certa unidade de
tempo.
 65

Anexo 2

A METODOLOGIA DO MARCO
LÓGICO DE ANÁLISE
(MML)3

3
Traduzido e adaptado de: OIT-Programa DelNet. Programa a Distancia de Formación, Asistencia Técnica,
información y Trabajo en Red en apoyo al Desarrollo Local. Turin 1999.
 66

EM QUE CONSISTE A
MML?

É um instrumento desenvolvido para:

facilitar o desenho, a gestão e a avaliação de

programas e projetos de desenvolvimento;

favorecer mecanismos de discussão e trabalho

transparentes, participativos, estruturados e
flexíveis;

facilitar a análise, o intercâmbio de

experiências, a reflexão, a eleição entre
diferentes opções e relacionar a análise com a
ação.
 67

POR QUÊ APLICAR A

MML?

 Facilita a comunicação com as instituições e

atores que participam do programa.
Instrumento utilizado por importantes
instituições, tais como: USAID, Nações
Unidas, GTZ, DANIDA, NORIDA, AECI, União
Européia, Banco Mundial, etc..).

Utilizada em forma correta, a MML favorece

o diálogo e a criação de consensos entre os
atores políticos, sociais e econômicos do
âmbito interno e externo do programa.

 Facilita o enfoque participativo no desenho

das estratégias de desenvolvimento local, dos
programas e projetos.

 Assegura que as questões fundamentais

com relação ao planejamento e desenho de
programas e projetos sociais sejam analisadas
em função dos problemas e se estabeleçam e
definam prioridades e objetivos.
 68

POR QUÊ APLICAR A

MML?

 Ajuda a realizar uma análise sistemática e

lógica de problemas e elementos que estão
inter-relacionados.

Facilita a inter-relação e a continuidade entre

planos de desenvolvimento social e as
iniciativas (tais como programas e/ou projetos).

Facilita o monitoramento e avaliação de

planos, programas e projetos.
 69

Árvore de Problemas

Problema

EFEITOS Problema
do Problema
problema Problema
focal

Problema
focal
Problema
CAUSAS
do
Problema
problema
Problema focal

Problema
 Exemplo de uma Árvore de 70

Problemas

Diminuição
Desemprego
da renda
per capita

Baixo nivel
de
atividade
econômica

Apoio
Setores insuficiente
tradicionais para a criação de
da economia novas empresas
local em
reestruturação
 71

Árvore de objetivos (após priorização

e definição da estratégia)

Criação
de
emprego

Incremento
da
atividade
econômica

Apoio
à criação de
novas
empresas
 72

A matriz do
marco lógico

M eios de Pressupostos
H ierarquia Indicadores Verificação (hipóteses, riscos)
O bjetivo G eral (de
desenvolvim ento ou
global)

O bjetivo (s) específicos

(im ediatos)

Resultados

Atividades

Insum os
 73

Definições (1)

{ PROBLEMAS devem ser formulados

assinalando possíveis soluções.

Nunca formular os problemas:

Como falta de… (“Total carência de

atividade econômica”).

Como alguma coisa sobre o que não

se pode fazer nada.
 Definições (2)
74

{ OBJETIVO GERAL (de desenvolvimento

ou global): o objetivo de mais longo prazo ao
qual o programa e/ou projeto vão contribuir.

| OBJETIVOS ESPECíFICOS (imediatos): as

mudanças que o programa e/ou projeto vão
conseguir se forem implementados com sucesso
e em tempo.

Os objetivos imediatos devem ser: específicos,

mensuráveis, precisos, realistas e
alcançáveis no tempo.

É melhor formulá-los usando verbos claros e

conclusivos no infinito: “Incrementar a
capacidade técnica das estruturas de apoio à
criação de empresas”.
75
 76

Anexo 3

BIBLIOGRAFIA E INTERNET SITES DE

MONITORAMENTO E AVALIAÇÃO
77
 78

Adkisson, Steve. "Oversight in UNICEF: Programme Audit," PREviews, Dec. 1997, Vol. 1-4.
Campos, Jennie and Francoise Coupal, Participatory Evaluation, UNDP, 1996:4.

Chambers, R., 1983. "Short-Cut Methods in Social Information Gathering for Rural
Development Projects," Putting People First, edited by Michael Cernea. Washington,
DC: World Bank).

CIDA, 1996, The Why and How of Gender Sensitive Indicators: A Project Level Handbook.

CIDA, 1996, The Why and How of Gender Sensitive Indicators: A Project Level Handbook.

Dube, L., June 9-12, 1997. "How Can We Systematically Investigate, Develop Indicators and
Monitor Child Labour: Lessons from Childwatch International’s Zimbabwe Indicators
Project," Urban Childhood Conference, Trondheim, Norway.

Feuerstein, Marie-Therese, Partners in Evaluation: Evaluating Development and Community

Programmes with Participants, London, McMillan, pp. 194, 1986.

Fisher, A. et al., 1991. Handbook for Family Planning Operations Research Design, Second
Edition, The Population Council: New York, pp. 64-65.

Fisher, A. et al., 1991. Handbook for Family Planning Operations Research Design, Second
Edition, The Population Council: New York, pp. 64-65.

Gosling, L. and Edwards, M. Toolkits: A practical guide to assessment, monitoring, review and
evaluation. Save The Children Development Manual No. 5, 1995.

Gosling, L. and Edwards, M., 1995. Toolkits: A practical guide to assessment, monitoring,
review and evaluation. Save the Children/UK Development Manual No. 5.

Habicht, JP, Victora, CG, Vaughan, JP. Linking Evaluation Needs to Design Choices. UNICEF
Staff Working Papers, Evaluation and Research Series No. EVL-97-003.

Hendricks, M., 1994:549-575. "Making a Splash: Reporting Evaluation Results Effectively"

Handbook of Practical Program Evaluation, edited by Joseph S. Wholey, et. al., Jossey-
Bass Publishers: San Francisco.

ITAD, 1992. Project Monitoring , Reporting and Evaluation, World Food Programme, Self-
Briefing Materials, Module 3.

ITAD, 1992. Project Monitoring , Reporting and Evaluation, World Food Programme, Self-
Briefing Materials, Module 3.
ITAD, 1996, Monitoring and the Use of Indicators.

Kliksberg, Bernardo (Organizador), Pobreza: Uma Questão Inadiável. ENAP, Brasília-DF. 1994.
 79

Mosse, R. and Sontheimen, LE. World Bank Technical paper no. 334, 1996. Performance
Monitoring Indicators Handbook.

Mosse, R. and Sontheimen, LE., 1996. World Bank Technical paper no. 334, Performance
Monitoring Indicators Handbook.

Newcomer, Kathryn E., 1994. "Using Statistics Appropriately," Handbook of Practical Program
Evaluation, edited by Joseph S. Wholey et al, Jossey-Bass Publishers: San Francisco, pp.
389-406.

Newcomer, Kathryn E., 1994. "Using Statistics Appropriately," Handbook of Practical Program
Evaluation, edited by Joseph S. Wholey et al, Jossey-Bass Publishers: San Francisco, pp.
389-406.

OIT-Centro Internacional de Formación de la OIT. Programa a Distancia de Formación,

Asistencia Técnica, Información y Trabajo en Red en apoyo al Desarrollo Local.
Turin, Itália. 1999.

Patton, M. Utilisation-Focused Evaluation, 3rd ed., Thousand Oaks: Sage Publications, Inc.,
1997.

Pearson , R. and Kessler, S. 19-- “The Use of Rapid Assessment Procedures for Evaluation by
UNICEF,” UNICEF, New York, Rapid Assessment Methodologies.

Rebien, Claus C. "Development assistance evaluation and the foundations of programme

evaluation," Evaluation Review, vol. 21(4): 438-460, 1997.

SEED: A Methodology for Increasing Communication Awareness and Capacity. Pp. 20-23

Senge, P. The Fifth Discipline Fieldbook. New York: Doubleday, 1994.

UNICEF Regional Training Workshop on Sentinel Community Surveillance, June 1996.

"Putting the Community Voice into Planning, " UNICEF ROSA, Kathmandu workshop
report: Kathmandu, Nepal.

UNICEF, New York. A UNICEF Guide for Monitoring and Evaluation: Making a Difference?
Evaluation Office, 1991.

USAID Center for Development Information and Evaluation, 1996. Performance Monitoring
and Evaluation TIPS. Number 5.

USAID Center for Development Information and Evaluation, 1996. Performance Monitoring
and Evaluation TIPS. Number 4.

USAID Center for Development Information and Evaluation, 1996. Performance Monitoring
and Evaluation TIPS. Number 2.
 80

USAID, 1996. Performance Monitoring and Evaluation TIPS "Selecting Performance

Indicators," No. 6.

USAID, The Participation Forum Workshop Notes. Participatory Evaluation. No. 2, October
1995.

WHO, 1996, "Indicators for assessing Vitamin A Deficiency and their application in monitoring
and evaluating intervention programmes," WHO/Nut/96.10

WHO, 1996, "Indicators for assessing Vitamin A Deficiency and their application in monitoring
and evaluating intervention programmes," WHO/Nut/96.10

Worthen Blaine R. and Sanders, James R. Program Evaluation: Alternative Approaches and
Practical Guidelines, 2nd ed., White Plains, NY: Longman Inc., 1997.

Yin, Robert K. Designing case studies. In Case Study Research, Design and Methods, 2nd
edition, Thousand Oaks: Sage Publications, Inc., 1994.

SITES DA INTERNET RELACIONADOS COM AVALIAÇÃO:

a. Associações de Avaliação

American Evaluation Society

http://www.eval.org/

Canadian Evaluation Society

http://www.evaluationcanada.ca/

American Educational Research Association

http://aera.ucsb.edu/

Australasian Evaluation Society

http://www.parklane.com.au/aes/

Grantmakers Evaluation Network

http://hogg1.lac.utexas.edu/Gen/

National Legislative Program Evaluation Society

http://www.oppaga.state.fl.us/nlpes/

The American Marketing Association

http://www.ama.org/

American Productivity and Quality Centre

 81

http://www.apqc.org/

American Society for Quality

http://www.asqc.org/

b. Recursos para Avaliações

GAO -- General Accounting Office/US Government -- searchable databases/resources

http://www.gao.gov

ERIC Clearinghouse on Assessment and Evaluation in Education

http://www.cua.edu/www/eric_ae

Juran Institute -- Online Articles on Quality

http://www.juran.com/

National Quality Institute

http://www.nqi.org/

Performance Management Network -- performance measures

http://www.pmn.net/

The Evaluation Centre -- primarily educational evaluation

http://www.wmich.edu/evalctr

The Local Government Institute

http://www.hsd.uvic.ca:8080/PADM/research/lgi/lgi.htm

The Measurement Group -- performance measures

http://www.tmg-web.com/

The Urban Institute -- government and nonprofits

http://www.urban.org/

Municipal Research and Services Centre of Washington

http://www.mrsc.org/

Oregon Progress Board Home Page --performance measurement

http://www.econ.state.or.us/opb/

Bill Trochim’s Centre for Social Research Methods

http://trochim.human.cornell.edu/

InnoNet Toolbox -- resources for nonprofits

http://www.inetwork.org/main.html
 82

The Program Manager’s Guide to Evaluation

http://207.153.212.104/ftprgev1.htm

The National Performance Review -- Al Gore’s “reinventing government” site

http://www.npr.gov/

The International & Cross-Cultural Evaluation Topical Interest Group

http://www.netins.net/showcase/evaluation/icce/

United Way of America -- Resource Network on Outcome Measurement

http://www.unitedway.org/outcomes/

The World Bank

http://www.worldbank.org

UNICEF Monitoring & Evaluation

http://www.unicef.org/reseval/

SAGE Publications
http://www.sagepub.com/

c. Para outros Links

Electronic Resources for Evaluators http://www.luc.edu/faculty/eposava/resource.htm

83