SISTEMAS DE MONITORAMENTO E

AVALIAO NA ADMINISTRAO
PBLICA
Humberto Falco Martins
Rio de Janeiro, outubro de 2007

Definies de Partida

Monitoramento informaes sobre o andamento (follow up) e

desempenho
Avaliao informaes sobre desempenho e explicao de suas
causas
Monitoramento & Avaliao so instrumentos de

Accountability vertical (rgos de controle) ou horizontal (sociedade civil), que

busca responsabilizar agentes pblicos pelo uso de recursos pblicos
Aprendizado gerencial aprimorar o processo decisrio, a qualidade do gasto,
os resultados de polticas pblicas

Sistema de M&A

conjunto estruturado de aes, sob um domnio institucional demarcvel, que

gera de forma regular/estvel informaes sobre o desempenho de
projetos, programas, organizaes, servios etc. e busca inseri-las nos
processos decisrios de formuladores e implementadores em tempo hbil
(feedbacks curtos) como forma de (re)orient-las.

O Estudo

Estudo Comparado (13 pases) sobre Sistemas de Avaliao e

Monitoramento no Setor Pblico na Amrica Latina, Banco
Mundial/CLAD
Brasil:

O enfoque

Sistema de Monitoramento e Avaliao do Plano Plurianual

Sistema de Monitoramento de Metas Presidenciais
Sistema de Monitoramento e Avaliao de Polticas e Programas Sociais
Sistema de Avaliao Externa de Programas Governamentais
Qualidade e uso da informao
Integrao entre sistemas de M&A
Comparaes e analises do conjunto

A metodologia

Entrevistas e conversas
Documentos
Validao

Amplitude e sobreposio dos

sistemas
Sistema de
Monitoramento
e Avaliao do
PPA

Sistema de
Monitoramento
de Metas
Presidenciais

AO
GOVERNAMENTAL

Sistema de
Avaliao Externa
de Programas
de Governo

Sistema de
Monitoramento
e Avaliao de
Programas e
Polticas Sociais

Sistema de Monitoramento e
Avaliao do PPA
Secretaria de Planejamento e Investimentos Estratgicos
do Ministrio do Planejamento, Oramento e Gesto.
Comisso de Monitoramento e Avaliao do PPA (CMA) e
de Unidades de Monitoramento e Avaliao (UMAs) em
cada rgo setorial (ministrios).
Monitora e avalia anualmente cerca de 370 programas do
PPA (programa, ministrios e PPA) e programas
selecionados (ex ante).
As avaliaes so auto-avaliaes segundo roteiro prprio.
Instrumento: roteiros no SIGPLAN
Alocao de recursos

Sistema de Monitoramento de
Metas Presidenciais
Subchefia de Articulao e Monitoramento da Casa Civil
da Presidncia da Repblica.
Gerentes das metas (Ministrios setoriais), Monitores
SAM (Casa Civil), e Monitores parceiros (SPI/MPOG,
Subchefia de Assuntos Parlamentares -SUPAR e
Subchefia de Acompanhamento da Ao
Governamental-SAG, as duas ultimas na Casa Civil).
Monitora mensalmente cerca de 80 Metas Presidenciais
e a remoo de obstculos para o seu alcance.
Instrumento: SMP/SIGOV
Coordenao governamental

Sistema de Monitoramento e Avaliao

de Programas e Polticas Sociais
Secretaria de Avaliao e Gesto da Informao (SAGI) do
Ministrio do Desenvolvimento Social.
Mdulo de Monitoramento e Mdulo de Avaliao.
Monitora em bases anuais a execuo fsico-financeira dos
21 programas sociais das secretarias finalsticas do MDS.
Instrumentos: a Matriz de Informaes Sociais (MI Social)
e o Dicionrio de Variveis e Indicadores de Programas
(DICI-VIP).e
Avalia, por meio de pesquisas externas, os resultados dos
programas, segundo metodologias sob medida para cada
caso. H 29 estudos realizados.
Planejamento setorial

Sistema de Avaliao Externa de

Programas de Governo
Secretaria de Fiscalizao e Avaliao de Programas de
Governo, ligada Secretaria Geral de Controle Externo
do TCU.
O sistema avalia anualmente uma carteira de cerca de
30 programas de governo.
Metodologia prpria de avaliaes rpidas
proporcionando uma anlise abrangente da concepo
ponta implementadora (atingindo usurios e partes
locais envolvidas)
Aprendizado

Integrao
Sistema de Monitoramento e
Avaliao do PPA
A integrao intra-(MPUMAS) sistema
burocratizada.
Integrao direta com
oramento.
No integra com as demais
unidades (gesto, RH,
logstica e tecnologia da
informao).
A integrao com outros
sistemas de M&A dinmica
e aberta, com fcil
interlocuo tcnica.

Sistema de Monitoramento
de Metas Presidenciais
A integrao intra (SAMGerentes) burocratizada,
exceto em relao gesto
de obstculos.

Sistema de Monitoramento e Sistema de Avaliao Externa

Avaliao de Programas e
de Programas de Governo
Polticas Sociais
A integrao intra (SAGIMDS) fluda, aberta e
dinmica.

A integrao com outros

Integra equipes e
sistemas de M&A dinmica
sistemascom SMA PPA.
e aberta, com fcil
No integra diretamente com interlocuo tcnica.
nveis subnacionais.
No integra diretamente com
nveis subnacionais.
Integrao direta com
oramento.

No integra com as demais

unidades (gesto, RH,
logstica e tecnologia da
No integra diretamente com informao).
nveis subnacionais.

Interao fluda com

planejamento e pontual com
oramento.

A interao intra-(SEPROGTCU) fluda, mas

potencialmente tensa
(punio x aprendizado).
Integra diretamente com
nveis subnacionais.
A integrao com outros
sistemas de M&A dinmica
e aberta, com fcil
interlocuo tcnica,
incluindo o Controle Interno
(CGU).
Integrao direta com
planejamento.
No integra com as demais
unidades (gesto, RH,
logstica e tecnologia da
informao).

Qualidade da Informao e Acesso

Sistema de Monitoramento e
Avaliao do PPA
Combinaes e verificaes com
outras fontes so essenciais.
Percepo geral de que a qualidade
limitada porque maioria dos
programas no corresponde
realidade das aes de governo.
Fatores crticos: a) da qualidade dos
instrumentos e detalhamentos
metodolgicos; b) equipes tcnicas
envolvidas e da forma como
processam a interlocuo com as
unidades setoriais; c) da adeso das
unidades setoriais e seu grau de
maturidade gerencial; e d) articulao
com elementos da ponta.
O acesso online e amplo (sob
permisso) dentro e fora do Poder
Executivo.

Sistema de
Monitoramento de
Metas Presidenciais

Sistema de Monitoramento
e Avaliao de Programas e
Polticas Sociais

Proximidade SAGI-MDSe
Combinaes e
verificaes com outras instituies externas
contribuem para a
fontes so essenciais.
credibilidade da
Percepo geral de
informao.
que a qualidade
limitada porque
informaes dos
ministrios em geral
no confivel.
A informao est
restrita Presidncia
da Repblica e ao
Ministrio do
Planejamento, que a
acessa online.

Problema de qualidade dos

dados oriundos de
instncias subnacionais.
O acesso online e amplo
dentro e fora do Poder
Executivo.

Sistema de Avaliao
Externa de Programas de
Governo
As avaliaes relmpago
(rapid assessment)
coletam e tratam
informaes de maior
qualidade porque so as
nicas que chegam
ponta, ouvindo atores
diretamente envolvidos
com a entrega do
programa, inclusive o
beneficirio.
O acesso online e amplo
dentro e fora do Poder
Legislativo.

O uso e apropriao da informao

Sistema de Monitoramento
e Avaliao do PPA
1. A prpria SPI. O
sistema serve ao PPA.
2. Os demais sistemas de
M&A, que combinam
e testam a
consistncia das
informaes.
3. As reas de
oramento
(SOF/ MPOG) e
finanas (STN/ MF)
4. As reas setoriais
5. O congresso e a
sociedade civil
apresentam um
baixssimo grau de
consumo

Sistema de Monitoramento
de Metas Presidenciais
1. Casa Civil e,
indiretamente e
esporadicamente, o
Presidente, com
muitas limitaes.
2. Sistema de M&A do
PPA

Sistema de Monitoramento
e Avaliao de Programas e
Polticas Sociais
1. Secretarias finalsticas
do MDS
2. Demais sistemas de
M&A.
3. Academia, que se
beneficia dos
microdados
4. Organizaes nogovernamentais que
atuam na defesa de
direitos e monitoram
o desempenho social
do Governo.

Sistema de Avaliao Externa de

Programas de Governo
1. organizaes/ programas
avaliados e os auditores
do TCU.
2. Demais sistemas de M&A.
3. Organizaes nogovernamentais e
cidados interessados em
conhecer o desempenho
do Governo.

Pontos Fortes e Resultados

Sistema de Monitoramento e
Avaliao do PPA
Abrangncia, viso geral e
regularidade (dados
peridicos dentro de um
padro aceitvel).
Integrao planejamentooramento
Demarcou um espao da
avaliao no processo de
gesto para resultados.
Melhorou a gesto do PPA,
proporcionando um melhor
redesenho e seleo de
programas
Pouco impacto junto gesto
diuturna dos projetos, nas
unidades setoriais

Sistema de Monitoramento
de Metas Presidenciais
Foco e seletividade.
Interatividade com as
instncias coordenadas,
proporcionando a remoo
de obstculos.
Facilitou o dilogo na cpula
de governo e contribuiu para
melhorar a coordenao
governamental e o exerccio
da liderana executiva
principal em bases mais
tcnicas e efetivas.

Sistema de Monitoramento e Sistema de Avaliao Externa

de Programas de Governo
Avaliao de Programas e
Polticas Sociais
Qualidade customizada das
avaliaes.
Promoveu a melhoria e a
focalizao de programas e
polticas sociais.
Proporcionou valiosos dados
para que pesquisas
acadmicas.
Produz elementos para
responder e ou enunciar
questes relevantes de
polticas sociais.
H rigor, confiabilidade e
transparncia.

Penetrao na ponta
implementadora, envolvendo
atores locais e beneficirios e
promovendo ampla
divulgao.
Gerou aprendizado na ponta
e dentro do prprio TCU,
diminuindo e pautando a
orientao punitiva.

Limitaes
Sistema de Monitoramento e
Avaliao do PPA
Exclusividade da
autoavaliao.
Qualidade da informao na
ponta.
Pouca abertura sociedade
civil.
Abrangncia (falta de foco e
seletividade) e mito do
controle absoluto).
Concepo de gesto de
projetos (rigidez e orientao
para tarefa).
Centralismo e dirigismo da
SPI
Relao gerente x estrutura.

Sistema de Monitoramento
de Metas Presidenciais
Perfis de liderana executiva
do Presidente e da ministra
da CC impedem um melhor
aproveitamento das
informaes.

Sistema de Monitoramento e Sistema de Avaliao Externa

Avaliao de Programas e
de Programas de Governo
Polticas Sociais
Lcus institucional: no faz
sentido uma Secretaria
Nacional para avaliao de
programas no mbito do
prprio Ministrio.

As informaes geradas
servem a propsitos de
auditoria e geram
desconfiana por parte das
unidades implementadoras.

Desafios
Sistema de Monitoramento e
Avaliao do PPA

Sistema de Monitoramento de
Metas Presidenciais

flexibilizao do modelo de
gesto do PPA.

Aprofundar as conexes
Fortelecer a coordenao
macro-governamental em bases com as pontas nas
unidades subnacionais.
mais estruturadas.

Fortalecer a micro-gerncia
Introduzir mecanismos de
avaliao mltipla, com a
participao de outros atores,
principalmente usurios,
diminuindo as restries da
auto-avaliao (que tende
autolerncia).
Alinhar o PPA estratgia de
desenvolvimento de longo
prazo.
Abrir o sistema, sem restries
e sem permisses, a qualquer
interessado.
Melhorar a integrao com os
demais sistemas de M&A.

Integrar o processo de avaliao

mecanismos (instncias) de
coordenao: cmaras de
governo, comits, foras-tarefa
etc., inclusive com a participao
de interessados externos.
Proporcionar uma efetiva gesto
do PAC.
Melhorar a integrao com os
demais sistemas de M&A.

Sistema de Monitoramento Sistema de Avaliao

e Avaliao de Programas e Externa de Programas de
Polticas Sociais
Governo
Aumentar a quantidade
de programas avaliados.

Expandir os objetos de
avaliao para fora do
domnio do MDS.

Investir em metaavaliao, certificando as

demais entidades
avaliadoras.

Melhorar a integrao com

os demais sistemas de
M&A.

Melhorar a integrao
com os demais sistemas
de M&A.

Questes gerais e reflexes finais

Os limites da sobreposio: integrao ou
fragmentao?
Diversos sistemas integrados permitem uma melhor avaliao que um
sistema isolado
Se complementam e se integram mais para reduzir suas falhas
Se se fortalecem, se institucionalizam demais e se tornem capazes de
resolver suas falhas e inconsistncias isoladamente, a tendncia
fragmentria predominaria

Custo absoluto insignificante (aprox. R$ 24,1

milhes/ano ou 0,0058% do oramento), mas a questo
obter maior benefcio

Questes gerais e reflexes finais

Integrao dos sistemas informatizados
(interoperabilidade; bancos de dados consolidados para
pblicos especficos)
Sistemas legados (Sigplan) x solues exgenas (Sigov): falta de
flexibilidade e customizao
Os sistemas se mostram e se abrem uns aos outros, mas no se
integram

Avaliaes conjuntas (hbridas), comparativas e

concomitantes de um rol seleto de objetos e questes
dinmicas
Objetos multifacetados e dinmicos
H objetos coincidentes, mas no h avaliaes integradas, nem em
carter experimental
PAC

Questes gerais e reflexes finais

Qual a melhor estratgia de institucionalizao: pela
oferta ou pela demanda?
Pela oferta! Criando demanda. Isto requer experimentos, iniciativa,
aprendizado, meta-avaliaes e divulgao
Os sistemas so uma condio necessria, mas no suficiente, para
gerao de uma cultura de avaliao e aprendizado... que um
aprendizado gerencial mais complexo e est na base do bom
aproveitamento das ofertas e da gerao de demandas
Start simple and improve: SAMPPS, SAEPG, SMMP
Tratar os sistemas como episdios de polticas de gesto para
compreender melhor sua gnese