AVALIAÇÃO EM

SAÚDE
Ana Cristina Reis
Cátia Martins de Oliveira
AVALIAÇÃO EM SAÚDE
CARGA HORÁRIA:
32 HORAS | 4 SEMANAS
Autores:
Ana Cristina Reis
Cátia Martins de Oliveira
Reitor
Sidney Luiz de Matos Mello
Vice-reitor
Antônio Cláudio Lucas da Nóbrega
Pró-Reitoria de Graduação - Prograd
Pró-reitor: Renato Crespo Pereira
Coordenação de Educação a Distância - CEAD | UFF
Regina Célia Moreth Bragança

Curso Micropolítica da Gestão e Trabalho em Saúde

Coordenação do Projeto: Ana Lúcia Abrahão | Túlio Batista Franco
Coordenação Pedagógica: Ândrea Cardoso de Souza | Benedito C. Cordeiro | Camilla Maia Franco | Elisete
Casotti | Luiz Carlos Hubner Moreira | Magda de Souza Chagas | Monica Gouvea

Revisão técnica
Camilla Maia Franco
Revisão de Conteúdo
Camila Louzada e Nathália de Ornelas
Projeto Gráfico
Daniele da Costa Pereira
Diagramação
Marcos Maurity e Paulo Carvalho
Autor
Túlio Batista Franco
Autores
Ana Lúcia Fontes Eppinghaus | Luiz Carlos Hubner Moreira | Maria Amelia Costa | Rozidaili dos Santos Santana
Penido

DVD
Edição e Produção
Marco Charret Brandt

©2014. Coordenação de Educação a Distância - CEAD | UFF. Todos os direitos reservados.

A responsabilidade pelo conteúdo e imagem desta obra é do(s) respectivo(s) autor(es). O conteúdo desta obra foi licenciado
temporária e gratuitamente para utilização no âmbito do Ministério da Saúde, através da UFF. O leitor se compromete a
utilizar o conteúdo desta obra para aprendizado pessoal, sendo que a reprodução e distribuíção ficarão limitadas ao âmbito
interno dos cursos. A citação desta obra em trabalhos acadêmicos e/ou profissionais poderá ser feita com indicação da
fonte. A cópia desta obra sem autorização expressa ou com intuito de lucro constitui crime contra a propriedade intelectual,
com sanções previstas no Código Penal, artigo 184, Parágrafos 1° ao 3°, sem prejuízo das sanções cíveis cabíveis à espécie.

E641 Organizado por: Abrahão, Ana Lúcia; Franco, Túlio Batista e Franco, Camilla Maia
e Casotti, Elisete.
Autoras: Reis, Ana Cristina; Oliveira, Cátia Martins de.
Micropolítica da Gestão e Trabalho em Saúde / Abrahão, Ana Lúcia; Casotti,
Elisete; Franco, Túlio Batista; Franco, Camilla Maia; Oliveira, Cátia Martins de; Reis,
Ana Cristina. Niterói: UFF. CEAD, 2018.
36p.

ISBN:

1. Avaliação Em Saúde 2. Saúde. Título.

 EMENTA
Micropolítica e saúde; produção do cuidado, gestão, formação e trabalho em
saúde; o trabalho em saúde e suas tecnologias de cuidado; tensões constitutivas do
mundo do trabalho e seus conceitos-ferramentas, os sujeitos do cuidado em saúde;
linhas de cuidado e redes vivas.

METAS
Oferecer subsídios teóricos e metodológicos na temática do monitoramento e
da avaliação em saúde, tendo como eixo norteador o processo de regionalização da
atenção à saúde em curso no país.

OBJETIVOS
1. Compreender as diferenças e similaridades entre monitoramento e avaliação em
saúde.
2. Conhecer as etapas de um processo avaliativo, com a perspectiva de sedimentar
e fortalecer os conhecimentos dos profissionais envolvidos com intervenções em
saúde pública.
3. Apresentar as bases teóricas e conceituais da institucionalização da avaliação em
saúde, estimulando a incorporação no cotidiano dos gestores.
4. Discutir experiências que almejam a incorporação da avaliação ao sistema
como eixo norteador e atividade intrínseca à rotina dos serviços, das ações, dos
programas e das políticas de saúde.
 Tópicos de aulas:

Esta unidade de aprendizagem será trabalhada em quatro semanas. No quadro

abaixo estão listados os temas a serem abordados.

Semana Temática/conteúdo
AULA 1 - Breve histórico da avaliação em saúde; Objetivos e usos da
1
avaliação em saúde
AULA 2 - Monitoramento e avaliação: diferenças e similaridades. A
2
Intervenção
3 AULA 3 - Etapas do processo avaliativo em saúde
4 AULA 4 - Institucionalização da avaliação

6 AVALIAÇÃO EM SAÚDE
 SUMÁRIO
AULA 1 – BREVE HISTÓRICO DA AVALIAÇÃO EM SAÚDE; OBJETIVOS
E USOS DA AVALIAÇÃO EM SAÚDE 11

AULA 2 – MONITORAMENTO E AVALIAÇÃO: DIFERENÇAS E
SIMILARIDADES. A INTERVENÇÃO 15

AULA 3 – ETAPAS DO PROCESSO AVALIATIVO EM SAÚDE 21

AULA 4 – INSTITUCIONALIZAÇÃO DA AVALIAÇÃO 27

AVALIAÇÃO EM SAÚDE
 APRESENTAÇÃO DA UNIDADE DE APRENDIZAGEM
Esta Unidade de Aprendizagem foi produzida com a intenção de discutir com
você, gestor, alguns pontos relevantes no campo da avaliação em saúde, entre eles:
as diferenças e similaridades entre monitoramento e avaliação, os objetivos e usos
da avaliação, as etapas do processo avaliativo, bem como os avanços e desafios da
institucionalização da avaliação em saúde no Brasil.
O tema é apresentado ao longo das aulas como uma ação inerente e indissociável
ao processo de gestão, tendo como eixo norteador a estruturação das redes de atenção
à saúde em curso nos país, reconhecidas como um modelo organizativo que busca a
consolidação dos princípios e diretrizes do SUS.
No entanto, não podemos deixar de mencionar que, mesmo a avaliação sendo
apontada como uma importante ferramenta de gestão, tanto do setor público quanto
privado, ela ainda é utilizada de forma muito incipiente e marginal nos processos de
decisão. Portanto, um dos grandes desafios para a disseminação da cultura avaliativa
é, sem dúvida, encontrar formas de mensurar os efeitos das intervenções e fornecer
informações úteis que permitam subsidiar a tomada de decisão de forma oportuna
e efetiva. À luz dessa discussão, iremos debater sobre algumas questões apreendidas
com as práticas avaliativas, com o intuito de produzir informações cientificamente
válidas e socialmente legítimas que gerem aumento da capacidade de reflexividade
e de julgamento para melhoria da atenção à saúde.
Esta unidade faz parte de uma série de esforços que vem se consolidando no
país para ampliar, entre os profissionais inseridos no SUS, a cultura do monitoramento e
da avaliação como prioridade para melhoria dos sistemas de saúde. E é com satisfação
que convidamos você a participar dessa jornada de reflexão no campo da avaliação em
saúde, em busca de um SUS efetivamente universal, equânime e integral.

Bom trabalho!

8 AVALIAÇÃO EM SAÚDE
 BIBLIOTECA VIRTUAL
Esta é a biblioteca virtual da Unidade de Aprendizagem de Avaliação em Saúde.
Nela, sugerimos artigos, teses e livros que irão ajudar você a realizar as atividades
apresentadas ao longo das aulas. Consideramos que o estudo do material on-line
e a leitura dos textos de referência são fundamentais para que você amplie seus
conhecimentos sobre essa temática.
Lembre-se: é muito importante que você estabeleça uma rotina semanal de
estudos para que possa se dedicar às leituras, aos fóruns e às atividades programadas
para esta unidade.
Esperamos que você possa aproveitar bem este espaço! Bom estudo!

AVALIAÇÃO EM SAÚDE
9
 CONCEPÇÕES TEÓRICAS E METODOLÓGICAS DA
AVALIAÇÃO EM SAÚDE
Aqui serão apresentadas as concepções teórico-metodológicas do campo da
avaliação em saúde, com ênfase nas diferenças e similaridades entre monitoramento
e avaliação, seus objetivos e as etapas do processo avaliativo. Serão abordados o
uso do modelo lógico para descrever a intervenção, a elaboração de perguntas
avaliativas, e da matriz de relevância e de julgamento, bem como a importância da
disseminação das informações produzidas durante o processo avaliativo.
As intervenções, isto é, as políticas, os programas, os serviços e/ou as
tecnologias de saúde são tratados como objeto-alvo da avaliação. Sendo assim,
ao avaliar uma intervenção, também é necessário identificar qual foi a situação-
problema que a originou, em que contexto a intervenção está inserida e quais são
os efeitos esperados para aquela intervenção.
Desse exercício resultou a definição de cinco temas articulados entre si, com os
quais você irá interagir, e que estão apresentados no Quadro 1. É importante ressaltar
que, na organização curricular da UA, os temas representam “partes” que abrigam
as aulas e oferecem um conjunto sistematizado de conhecimentos que irão ajudar
você a compreender melhor as concepções teóricas e os desafios de um sistema de
avaliação em saúde no Brasil.

10 AVALIAÇÃO EM SAÚDE
 1

Aula
BREVE HISTÓRICO DA
AVALIAÇÃO EM SAÚDE,
OBJETIVOS E USOS DA
AVALIAÇÃO EM SAÚDE

AVALIAÇÃO EM SAÚDE
11
 1) BREVE HISTÓRICO DA AVALIAÇÃO EM SAÚDE
Nesta aula, apresentamos o período em que a prática avaliativa surgiu e como ela
vem se modificando ao longo dos tempos, assim como seus objetivos e usos no campo
da saúde.

As mudanças foram, por um lado, impulsionadas pelos avanços técnico-

científicos, ao serem desenvolvidas novas ferramentas de análise e novos conceitos,
tanto no campo das Ciências Sociais e da Epidemiologia quanto na própria
Avaliação. Por outro lado, as mudanças ocorreram para se ajustar às necessidades
dos interessados na avaliação. Guba & Lincoln (2011) identificaram quatro gerações
que caracterizam os estágios de desenvolvimento do campo da avaliação em saúde.
Ao longo dos períodos, pode-se perceber que as avaliações foram se tornando cada
vez mais completas.

Quadro1: Evolução do pensamento avaliativo

Fonte: Egon G.Guba & Yonna S.Lincoln, Atingindo a Maioridade

In: Avaliação de Quarta Geração Campinas, 2011[1989] p.27-58

1ª geração: Medida (1900-1930)

O campo da avaliação como prática sistemática surgiu na área de educação, na
Europa e na América do Norte, por volta de 1910, com o intuito de medir a qualidade do
sistema escolar. Nesse período, avaliar significava medir, e o avaliador era o técnico res-
ponsável pela aplicação dos instrumentos de medição. Nos exemplos abaixo, percebe-
se que o foco da avaliação eram os indivíduos

• Teste de conhecimentos dos estudantes.

• Teste de Inteligência (QI).

12 AVALIAÇÃO EM SAÚDE
 • Produtividade dos trabalhadores.

2ª geração: Descrição (1930-1960)

Na década de 40, logo após a Segunda Guerra Mundial, surgiu o conceito de
avaliação de programas sociais. Nessa época, o contexto político e social atribuía
ao Estado papel de provedor de bens sociais. Contudo, o cenário econômico era
de escassez de recursos financeiros, o que aumentou a necessidade por melhores
resultados, ou seja, por programas mais efetivos e com melhor custo-benefício.
Nesse estágio, avaliar equi- valia a descrever como os programas funcionam e quais
resultados foram alcançados.

• Descreve em que medida os programas alcaçaram os seus objetivos.

• Transferência do foco dos sujeitos para o programa.

3ª geração: Julgamento (1960 -1990)

Percebe-se, neste período, dois grandes momentos em relação ao modelo de
avaliação com foco na descrição. O primeiro tipo de avaliação limita-se a descrever
o grau de alcance dos objetivos traçados, e o segundo refere-se ao momento da
avaliação que costuma acontecer a posteriori, ou seja, os problemas só são conhecidos
depois que já aconteceram sem questionamento do seu valor e relevância, não
observando, portanto, as lacunas dos programas. Nesse momento, o avaliador passa
a assumir o papel de juiz e fica responsável por reunir e explorar todas as informações
necessárias para avaliar o valor e o mérito dos programas sociais. Surgem, nessa
época, a institucionalização das práticas avaliativas e a emergência das iniciativas de
profissionalização.

• A avaliação deve permitir durante o curso da intervenção fazer um julgamento

sobre a intervenção para ajudar na tomada de decisões.
• O avaliador assume o papel de juiz – introdução do julgamento.

4ª geração: Negociação (1990 até os nossos dias)

Nesse estágio, a avaliação passa a considerar nos seus julgamentos os diferentes
valores, percepções e necessidades dos demais atores envolvidos, devido ao fato de a
intervenção ser objeto da avaliação ou poder ser afetada pelos resultados da avaliação.

• A avaliação passa a ser instrumento de negociação entre todos os atores

envolvidos na intervenção (gestores, trabalhadores, financiadores, clientes, etc.) e de
fortaleci- mento do poder (empoderamento).

Essas gerações não devem ser consideradas antagônicas, excludentes e muito

menos encerradas. Outras gerações ainda estão por vir (Cruz e Reis, 2011).

• Objetivos e usos da avaliação no campo da saúde

Existe em nossa sociedade uma preocupação cada vez maior com a complexi-
dade dos problemas existentes e com os esforços que se estabelecem para resolvê-
los. Porém, a implementação dessas intervenções, para responder também de forma

AVALIAÇÃO EM SAÚDE
13
 oportuna e eficiente, exige recursos financeiros, e o gestor, muito frequentemente,
se vê comprometido com os déficits orçamentários, precisando de informações
precisas sobre a necessidade de manutenção da intervenção, seus custos e
necessidade de adaptações. Nesse sentido, a avaliação como função gestora tem
por finalidade qualificar a tomada de decisão por meio de informações baseadas no
acompanhamento sistemático das intervenções ou no julgamento reflexivo sobre as
intervenções.

Worthen e colaboradores (2004) apresentam quatro grandes objetivos da avalia-

ção em saúde. São eles:

1. Ajudar no planejamento e na elaboração de uma intervenção – objetivo

estratégico.

2. Fornecer informações oportunas para o aprimoramento de uma intervenção

ainda no decorrer da sua implantação – objetivo formativo.

3. Determinar o mérito dos efeitos de uma intervenção para decidir se ela deve
ser mantida, modificada ou interrompida – objetivo somativo.

4. Contribuir para o desenvolvimento do conhecimento, para a elaboração

teórica – objetivo fundamental.

Quanto aos usos da avaliação, vários autores têm destacado a sua importância
para demonstrar os resultados às partes interessadas (financiadores, clientes, gestores,
trabalhadores etc.), proporcionando maior transparência às ações, bem como para
produzir comparações entre programas e decidir qual deve ser mantido, examinar
intervenções efetivas para replicação em outros locais, favorecer o aprendizado como
oportunidade de reflexão e disseminação do conhecimento. Porém, para identificar
os usos esperados de uma avaliação, é importante saber quem são os interessados e
ouvi-los, a fim de verificar o que eles querem saber do processo avaliativo, auxiliando

Para Refletir...

Qual o seu entendimento sobre objetivos e usos da avaliação?

Você está envolvido em alguma atividade de monitoramento ou
avaliação no âmbito da gestão?
Qual a relevância dessas práticas para a gestão em saúde?
Quais são as dificuldades que você identifica para incorporar o monitora-
mento e avaliação em seu ambiente de trabalho?
Leve suas reflexões para o fórum dessa Unidade e troque ideias com seus
colegas e tutor. Você também pode registrá-las no Caderno de Notas.

14 AVALIAÇÃO EM SAÚDE
 2
Aula

MONITORAMENTO E
AVALIAÇÃO: DIFERENÇAS E
SIMILARIDADES. A
INTERVENÇÃO
 Nesta aula apresentaremos o monitoramento e avaliação (M&A) como
funções gestoras em saúde, bem como o seu objeto: a intervenção. Ambos são
processos organizativos que visam à melhoria das atividades em andamento,
agregar informações para prestação de contas, além de produzir evidências válidas
e fidedignas sobre a efetividade e a eficiência das intervenções. No entanto, existem
algumas diferenças que destacamos abaixo.

O que é Monitoramento em saúde?

O monitoramento visa ao acompanhamento rotineiro de informações

prioritárias para o gestor verificar se a intervenção está se desenvolvendo de acordo
com o planejado, ou seja, se os resultados esperados foram alcançados, gerando
possíveis explicações a partir da comparação entre o resultado esperado e o resultado
alcançado. Um bom sistema de monitoramento possibilita a disponibilização de
informações em tempo oportuno para a tomada de decisão, porém nesse sistema
não há aprofundamento explicativo, nem tampouco o uso de padrões de referência
de qualidade (Cruz e Reis, 2011).

O que é avaliação em saúde?

Usualmente, as avaliações são mais complexas, dependendo, é claro, do tipo

de intervenção que está sendo avaliada (tecnologia, atividades/ações, programas
ou políticas) e de suas múltiplas e possíveis interações com o contexto. No âmbito
do sistema de saúde, a avaliação pode ser entendida como uma atividade que
envolve a geração de conhecimento e de reflexividade para emissão de juízos de
valor sobre diversas situações e processos, como projetos de investimento, políticas
públicas, programas sociais, etc. A avaliação pode ser realizada por especialistas
contratados, que serão agentes externos, mas também pelos próprios participantes
da intervenção.
Você já percebeu que ambas as atividades institucionais, a avaliação e o
monitoramento, têm custo e consomem esforço da equipe. Consequentemente,
suas definições e atribuições precisam ser bem compreendidas, no intuito de
contribuir para a melhoria do desempenho das equipes de saúde, para a qualidade

Para Refletir...
Você identifica uma política ou programa de saúde que tenha sido
avaliado nos últimos anos em seu estado ou em seu município?
A avaliação foi conduzida pela equipe da própria secretaria de saúde
ou por agentes externos?
Qual a contribuição dessa avaliação para a gestão em saúde? Leve
suas reflexões para o fórum dessa Unidade e troque ideias com seus colegas
e tutor.

16 AVALIAÇÃO EM SAÚDE
 O Objeto do M&A: a intervenção
Para dar início ao monitoramento ou a uma avaliação, a primeira coisa a se
fazer é conhecer todas as características da intervenção, que serão o objeto-alvo do
processo avaliativo. Começaremos pela descrição da situação-problema que deu
origem à intervenção, para, em seguida, descrever os processos envolvidos em sua
configuração.

• O que entendemos por situação-problema?

Refere-se a uma realidade insatisfatória e superável que permite um intercâmbio

favorável com outra realidade. Um problema suscita uma intervenção, mas necessita
ser declarado como problema por um ator disposto e capaz de enfrentá-lo.

Figura 1: Relação entre situação-problema e a intervenção

Fonte: Manual de Capacitação em M&A, 2009

Cabe ressaltar que nem todo problema de saúde é um problema de saúde

pública, ou seja, os problemas de saúde pública usualmente são aqueles com
magnitude epidemiológica e relevância social. Você já se aproximou dessa discussão
na unidade de Planejamento e Gestão, analisando um ponto fundamental que é
como priorizar problema, ou seja, quais são as técnicas necessárias para selecionar
aquele ou aqueles que dificultam ou impedem mais fortemente o alcance de uma
realidade futura.

O que entendemos por intervenção?

Uma intervenção pode ser concebida como um sistema organizado de ação que
visa, em um determinado ambiente e durante um determinado período, a modificar o
curso previsível de um fenômeno/agravo para mudar uma situação-problema. (CHAM-
PAGNE, et al2011).

AVALIAÇÃO EM SAÚDE
17
 Exemplos de intervenções:

• Uma técnica (kit pedagógico para educação permanente);

• Um tratamento (procedimento ou um conjunto de procedimentos);

• Um protocolo de cuidado de saúde (protocolo de acolhimento);

• Uma organização (hospital, um centro de desintoxicação);

• Um programa (programa de controle da tuberculose);

• Um sistema (sistema de informação em saúde);

• Uma política (política de expansão da estratégia de saúde da família).

• Os processos envolvidos na configuração de uma intervenção

O pleno desenvolvimento de uma intervenção envolve quatro processos que, di-

daticamente, são estudados em separado, mais durante o curso natural de uma inter-
venção. Esses processos estão imbricados. São eles: o planejamento, a implantação, a
sustentabilidade e a avaliação.

Figura 2: Processos envolvidos na intervenção

18 AVALIAÇÃO EM SAÚDE
 • Planejamento: é um processo que diz respeito à formulação dos
objetivos e das ações orientadas para tornar realidade um objetivo futuro.
Considera aspectos como prazo, os custos, a qualidade, a segurança, o
desempenho e outros condicionantes. Nessa etapa formula-se a estratégia de
ação da intervenção.

• Implantação: é o processo de mobilização dos atores envolvidos na

intervenção para a execução, a adaptação e o ajuste do planejamento, de acordo
com os diferentes contextos nos quais a intervenção se insere. Nessa etapa, a
intervenção planejada é colocada em prática.

• Reflexividade (M&A): está relacionada à capacidade dos processos

avaliativos de retratar as interações entre a intervenção e o contexto no qual ela se
insere. Ou seja, habilidade em ajustar a intervenção de acordo com as informações
pertinentes.

• Sustentabilidade: os processos de sustentabilidade buscam fortalecer

as conexões existentes ou criam novas conexões para garantir a consolidação
da intervenção. Nessa etapa, busca-se a continuidade da intervenção de forma
adequada.

AVALIAÇÃO EM SAÚDE
19
20 AVALIAÇÃO EM SAÚDE
 3

Aula
ETAPAS DO
PROCESSO AVALIATIVO
 Agora que você, gestor, já conheceu um pouco mais sobre monitoramento e ava-
liação e se apropriou dos seus conceitos, usos, diferenças e similaridades, está convidado
a percorrer conosco as etapas de um estudo avaliativo sistemático.

Figura 3: Etapas de um estudo avaliativo sistemático

Figura 4: Relação entre contexto, identificação do problema e

intervenção

Fonte: Adaptado de Manual de Capacitação em M&A, 2009

22 AVALIAÇÃO EM SAÚDE
 Por que usar o modelo lógico para descrever a intervenção? Porque ele?

• Direciona as atividades de avaliação do programa, ao identificar as questões

avaliativas apropriadas e os dados relevantes necessários;

• Contribui para a definição clara e plausível dos objetivos do programa;

• Permite a identificação de indicadores relevantes para o monitoramento

do desempenho do programa.

Quais são os componentes do modelo lógico de uma intervenção?

• Insumos: são os recursos previamente disponíveis para a execução das

atividades de uma intervenção. Incluem recursos humanos, informacionais,
técnicos, financeiros e imobiliários.

• Atividades: são os procedimentos pelos quais os insumos são mobilizados,

visando à obtenção dos efeitos esperados.

• Produtos: estão diretamente relacionados com as atividades, ou seja, cada

atividade tem um efeito/resultado imediato.

• Resultados: são frequentemente de curto e médio prazo, podendo focar

em mudanças no nível de conhecimento e comportamento da população-
alvo ou ainda mudanças no desempenho da intervenção.

• Impactos: são, em sua maioria, em longo prazo, podendo focar em

mudanças no nível de saúde da população geral, e podem ser influenciados
pelos efeitos de outros programas.

A modelização de uma intervenção deve envolver também a descrição dos fa-

tores de contexto que precisam ser analisados, levando-se em consideração os aspec-
tos que podem ter influência positiva ou negativa sobre a intervenção.

• Quais os fatores de contexto que podem afetar a intervenção?

• Qual tipo de alteração a intervenção pode sofrer por conta de mudanças no

contexto?

Mas, afinal, o que é o contexto no qual a intervenção se insere? É a situação

real na qual as ações organizadas da intervenção ocorrem. Os fatores contextuais
são elementos políticos, organizacionais, sociais, econômicos, culturais,
simbólicos que influenciam na implantação e nos efeitos esperados da intervenção.
Ou seja, fatores que podem facilitar ou dificultar a implantação, o desenvolvimento
ou a continuidade da intervenção.

AVALIAÇÃO EM SAÚDE
23
 Figura 5: Modelo lógico das ações de estruturação de uma rede
de atenção em saúde com foco no Fortalecimento da AB

Qual é o papel das perguntas avaliativas no processo avaliativo?

• Apontam o foco da avaliação.

• Como o programa está funcionado? (avaliação de processo).
• Quanto do efeito observado pode ser atribuído ao programa? (avaliação
de resultado).
• Identificam aspectos da intervenção que serão observados em
profundidade.
• As ações de controle de tuberculose se acomodam aos direitos assistenciais
dos usuários? (acomodação).
• As ações de controle da hanseníase estão ocorrendo em conformidade
com as normas técnicas? (conformidade técnica).
• Indicam qual conjunto de informações será necessário para proceder o
julgamento da intervenção.

a) Foco e Desenho da avaliação

Avaliação de Processo:
Usualmente, é equivalente à análise de implantação/implementação.
Complementa ou explica como os recursos foram mobilizados e/ou como as
atividades foram realizadas.
Responde a questões do tipo:
As ações de controle estão ocorrendo em conformidade com as normas
técnicas? Os insumos necessários para realização das ações estão disponíveis?
As ações se acomodam aos direitos assistenciais dos usuários? São
convenientes?
Avaliação de Resultado:
Contempla ou explica as razões pelas quais as atividades do programa
alcançaram ou não os seus resultados. Enfatiza as relações causais entre o
programa e o seu efeito na população-alvo.

24 AVALIAÇÃO EM SAÚDE
Responde a questões do tipo:
O programa foi responsável pelo aumento da taxa de cura? Quais fatores
influen- ciam esse aumento?
Em que medida o modo de organização das ações influencia o grau de
satisfação dos usuários do programa?

Avaliação de Impacto:
Analisa as relações entre as tendências epidemiológicas da doença e os
programas de controle e outros fatores associados. A avaliação de impacto,
além de exigir um certo tempo de consolidação da intervenção e ter foco na
população geral, requer um desenho ainda mais complexo, usualmente de
alto custo, e, por isso não é realizada com tanta frequência.

Responde a questões do tipo:

A Estratégia de Saúde da Família foi responsável pela redução da mortalidade
infantil?

b) Julgamento da avaliação

Os julgamentos são declarações sobre o mérito do programa, sua validade

e seu significado. Eles são formados quando as evidências coletadas e
interpretadas são comparadas com um ou mais padrões selecionados para a
avaliação. Esses padrões podem ser as próprias normas técnicas da intervenção
ou padrões estabelecidos por evidências científicas baseadas em consenso de
especialistas, em revisões sistemáticas e experiências exitosas.

Os padrões de julgamento nada mais são do que os valores de referência para

a mensuração do grau de valoração da intervenção, considerados como ideais,
podendo ou não ser expressos numericamente. Os padrões de julgamento
utilizados para determinar o sucesso ou insucesso de uma intervenção são
baseados em:

• Teoria;
• Experiências anteriores;
• Recursos técnicos-científicos disponíveis;
• Interesses de diferentes grupos sociais.

c) Disseminação e garantia da utilização dos resultados da avaliação

O uso da avaliação passa pela forma como as orientações são explicitadas, ou

seja, como são traduzidos os resultados para nortear as decisões políticas. A
avaliação só terá o seu valor assegurado à medida que for utilizada, de forma a
contribuir para a reflexividade organizacional e para a melhoria das práticas e
programas de saúde. Faz-se necessário ressaltar que, mesmo com informações
produzidas de forma sistemática e com rigor metodológico, não significa
que os resultados produzidos pelos processos avaliativos serão naturalmente
utilizados pelos tomadores de decisão. Variados e legítimos aspectos
(interesses, valores, motivações, recursos) implicam decisões políticas e uso
de avaliações para tomada de decisões, isso é inegável. (Figueiró et al, 2012;
Worthen, 2008). No entanto, o ato de avaliar só irá agregar valor quando o
conhecimento e o uso das informações produzidas geram, efetivamente,
aprimoramento institucional e profissional.

AVALIAÇÃO EM SAÚDE
25
26 AVALIAÇÃO EM SAÚDE
 4

Aula
INSTITUCIONALIZAÇÃO
DA AVALIAÇÃO EM SAÚDE
 Nesta aula, você irá refletir sobre os limites e desafios da incorporação da avaliação
no sistema de saúde, no intuito de produzir respostas mais oportunas e efetivas para
qualificar os processos de planejamento e gestão das políticas e programas.
A ênfase será dada em uma abordagem de avaliação orientada para a tomada
de decisão, visando a apoiar os gestores locais no desenvolvimento de linhas de ação
que produzam melhoria na atenção prestada à população. Com efeito, cria-se uma
oportunidade de aprendizado participativo, interdisciplinar e dialógico (FIGUEIRÓ et
al, 2010;, FELISBERTO, 2006).
Serão apresentados os pressupostos teóricos da institucionalização da
avaliação e um breve resgate de como esse movimento reverberou no Brasil,
destacando alguns exemplos de estudos avaliativos, com vistas ao fortalecimento
da capacidade de gestão do sistema, principalmente se considerarmos o processo
de regionalização de redes de atenção à saúde em curso no país.
É importante ressaltarmos que a institucionalização da avaliação tem como pre-
missa refletir a realidade, por meio de ferramentas que auxiliem o aprimoramento
das ações de cuidado em saúde, incorporando-as no cotidiano de gestores e
profissionais. Esse processo, que pode ser reconhecido como “fator qualificador do
processo de gestão” (HARTZ & CONTADRIOPOULOS, 2006), vem sendo desenvolvido
em diversos países, tais como Estados Unidos, Inglaterra, Canadá e França, desde os
anos 70, associado à expansão da atenção à saúde e ao desenvolvimento científico e
tecnológico em saúde (TANAKA & TAKAMI, 2012; CARVALHO, 2012).
No Quadro 2, estão destacados os temas e objetivos que irão ajudar você a
compreender melhor a dinâmica apresentada nesta disciplina, visando à produção
de conhecimento, no âmbito da avaliação em saúde, que poderá apoiar pessoas,
organizações e grupos sociais a fazerem escolhas mais consistentes na busca de
resultados mais efetivos.
a) Institucionalização da avaliação em saúde: bases teóricas e conceituais
Ninguém poderá jamais aperfeiçoar-se se não tiver o mundo como mestre.
A experiência se adquire na prática
(William Shakespeare)
Mesmo reconhecendo que a capacidade de avaliação contribui para a gestão,
a sua incorporação ocorre ainda de forma muito incipiente e marginal nos processos
de decisão, em função, principalmente, da dinâmica dos serviços e da necessidade
de recursos e tempo. Os gestores, assoberbados com as tarefas do dia a dia, precisam
lidar com o excesso de burocracia e a dificuldade de obtenção de recursos e estão
assumindo cada vez mais novas atribuições, principalmente com o processo de
regionalização da atenção à saúde, que adquire espaço crescente na agenda do SUS
(TANAKA e TAMAKI, 2012).
É nesse sentido que a avaliação precisa que seu poder de indução de mudanças
possa ser percebido para dar respostas às situações que estão sendo vivenciadas no
âmbito da gestão, tanto para aqueles que ocupam cargos de direção quanto para os
responsáveis pela implementação de ações decorrentes da decisão tomada.
Em outras palavras...
É preciso despertar nesses atores o interesse em avaliar o seu processo de
trabalho, de forma a torná-los mais motivados a fortalecer as suas práticas e a influir
no aperfeiçoamento da gestão do SUS. Além disso, o envolvimento da audiência na
avaliação contribui para o seu êxito, pois assegura maior credibilidade e legitimidade
(CHAMPAGNE, 2011).

28 AVALIAÇÃO EM SAÚDE
 Então, o que é institucionalizar a avaliação?
De acordo com Tanaka (2006), é importante nos remeter ao dicionário
para entender o significado de institucionalizar que é, segundo o Aurélio,
“dar começo, estabelecer, fazer comum”.

Veja, no quadro, que existe uma diversidade de concepções relacionadas

ao tema da institucionalização da avaliação em saúde, demonstrando um intenso
debate técnico-científico que o acompanha (FELISBERTO, 2010).

Institucionalização da avaliação
• Dar começo a uma prática inerente às ações e às organizações de saúde,
visando a à qualificação dos processos (TANAKA, 2006)
• Incorporar a avaliação ao sistema, possibilitando monitorar a
capacidade dos serviços em responder as necessidades de saúde
(TAKEDA e TALBOT, 2006).
• Criar uma cultura de avalição, permitindo que qualquer decisão seja
tomada com bases em evidências (CONTANDRIOPOULOS, 2006)
Fonte: Samico et al, 2010.

Esses autores destacam que ter um sistema de avaliação instituído pode gerar
maior garantia na utilização dos recursos, estimular que as atividades se realizem de
maneira oportuna e assegurar maior acesso aos serviços demandados pela população.
A gestão pública se fortalece tomando suas decisões a partir da observação das
evidências, do desempenho e, em alguns casos, do impacto resultante das ações
implementadas (TAMAKI, 2012; CONNIL, 2012).
Note que, ao discutir sobre institucionalização da avaliação em saúde, não
estamos queremos querendo, necessariamente, criar uma nova função, um outro
departamento e novos papéis profissionais com regras de decisão diferenciadas. A
proposta consiste em estabelecer um movimento que incorpore a prática avaliativa
de forma transversal aos processos de trabalho em saúde já desenvolvidos, tornando
distintos atores partícipes e interessados pelos resultados da avaliação (FELISBERTO,
2006).
O que estamos querendo dizer com isso?
Que esse processo, para se legitimar, pressupõe o envolvimento e a dis-
posição de diversos atores em participar de processos avaliativos que pro-
movam a capacidade de reflexividade para produção social do conhecimento
Esse envolvimento será o caminho para o uso da avaliação na gestão dos servi
ços de saúde, visando à incorporação de práticas inovadoras à forma habitual
de trabalho das pessoas e da organização (TANAKA e TAMAKI, 2012).
Tendo em vista esses aspectos, é importante destacarmos que a incorporação da
avaliação deve acontecer sem estar atrelada ao poder de cobrança de compromissos
ou perseguição de metas e produtividade, mas com a intenção de redirecionar as
prioridades no âmbito da gestão do cuidado. Segundo Felisberto (2006), é muito
comum os processos avaliativos ficarem subordinados à prestação de contas a
organismos financeiros ou medição de resultados das intervenções para atender
aos formuladores de programas ou políticas setoriais. A institucionalização deve
extrapolar esses limites e se afirmar como uma ação que dialoga com os sujeitos do

AVALIAÇÃO EM SAÚDE
29
 sistema, para a formação de novas práticas de gestão que sejam coerentes com as
necessidades da população.

Para Refletir...
Quais fatores podem facilitar ou dificultar a institucionalização
da avaliação em saúde?

Registre suas reflexões no Caderno de Notas. Você também pode levá-

las para o fórum de discussão da Unidade.

E o circuito de decisões? O que esse fator tem a ver com a cultura

avaliativa?
O circuito de decisões está atrelado, principalmente, aos níveis de influência dos
envolvidos no processo avaliativo, de forma a garantir o seu uso. Quem é o portador
da responsabilidade e do poder de decidir como os resultados serão utilizados
poderá gerar um maior ganho no uso das informações para melhor qualificar a
atenção à saúde. No entanto, existem relações e interesses distintos em jogo. Logo,
identificar quem são os atores é um passo estratégico para mapear suas lógicas e
linguagens, além de possíveis conflitos de interesse (CHAMPAGNE, 2011). Segundo
Sisson (2007), “a complexidade e a precisão da avaliação vão depender de quem
toma as decisões e dos tipos de decisão gerados como consequência dos achados”.
A breve discussão aqui apresentada aponta algumas pistas de como a cultura
avaliativa se revela um campo fértil para uma dinâmica dialógica de negociação
entre gestores, trabalhadores e usuários, no sentido de promover mudanças nas
práticas institucionais na direção de novos sentidos e significados na atenção à saúde
(Carvalho et al, 2012; Miranda et al, 2012). Aproveite a leitura do texto de referência
dos autores Oswaldo Yoshimi Tanaka e Edson Mamoru Tamaki, intitulado O
papel da avaliação para a tomada de decisão na gestão de serviços de saúde, para
enriquecer seus comentários junto aos colegas do curso no fórum de debates virtual.

Para Refletir...

O que você entendeu por institucionalização da avaliação?

Pense no seu local de atuação e reflita sobre esse processo na cultura
organizacional. Quais são os desafios de incorporação da cultura avaliativa?
Analise os fatores relacionados com a institucionalização da avaliação. De que
maneira os resultados de uma avaliação podem ser utilizados para qualificar a
gestão em saúde?
Leve suas reflexões para o fórum dessa Unidade e troque ideias com seus
colegas e tutor.

30 AVALIAÇÃO EM SAÚDE
Atividade de Avaliação UA 6

1) Considerando o desenvolvimento do seu TCC em

curso, como você pretende inserir o monitoramento e
a avaliação no projeto de intervenção previsto?
Selecione os indicadores (quali e/ou quantitativos
para o acompanhamento do plano de intervenção.
Descreva também qual será sistemática de
acompanhamento do plano de intervenção
(forma, periodicidade, atores, espaços etc)

AVALIAÇÃO EM SAÚDE
31
 Referências
ANDERSEN, R. Revisiting the behavioral model and access to medical care: does it matter?
Journal of Health and Social Behavior vol. 36:1-10, 1995.
Ayres JRCM 2004. Cuidado e reconstrução das práticas de saúde. Interface –
Comunicação, Saúde, Educação 8(14):73-91
BEZERRA, L. C. A; CAZARIN, G.; ALVES, A. K. A. Modelagem de programas: da teoria à
operacionalização In: Samico, I; Felisberto, E; Figueiró, AC; Frias, PG (Orgs) Avaliação em
Saúde: Bases Conceituais e Operacionais. Rio de Janeiro: MedBook, 2010.
BODSTEIN, R. Processo decisório e avaliação em saúde: ampliando o debate sobre o
Programa Saúde da Família. Cien Saude Colet, v. 14, n. supl. 1, p. 1336-45, 2009.
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção
Básica. Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica
(PMAQ): manual instrutivo. Brasília: Ministério da Saúde, 2012a. 62 p.
_______ Ministério da Saúde. Proposta de Avaliação de Desempenho do Sistema
de Saúde (PROADESS). Disponível em:http://www.proadess.cict.fiocruz.br. Acesso em:
14 de março de 2012.
_______ Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção
Básica. Autoavaliação para a Melhoria do Acesso e da Qualidade da Atenção
Básica: AMAQ. Brasília: Ministério da Saúde, 2012a. (Série B. Textos básicos de saúde)
[ links ]
_______ Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção
Básica. Instrumento de Avaliação Externa do Saúde Mais Perto de Você – Acesso
e Qualidade: Programa Nacional de Melhoria do Acesso e da Qualidade da
Atenção Básica. Brasília: Ministério da Saúde, 2012c. (Série A. Normas e manuais
técnicos). [ Links ]
_______. Ministério da Saúde. Avaliação da Atenção Básica em Saúde: caminhos da
institucionalização. Brasília: Ministério da Saúde, 2005a. [ Links ]
BRITO, T.A. &JESUS,C.S. Avaliação de serviços de saúde: aspectos conceituais e
metodológicos. Revista Digital [periódico na Internet]. 2009 Dez [acessado2014jan
14]139. Disponível em: http://www.efdeportes.com/efd139/avaliacao-de-servicos-
desaude.htm
CAMPOS, C.E.A. Estratégias de avaliação e melhoria contínua da qualidade no contexto
da Atenção Primária à Saúde. Rev Bras Saúde Mater Infant, v. 5, n. suppl. 1, p. s63-s69,
2005. [ Links ]
CARVALHO, A.L.B; SOUZA, M.F.; SHIMIZU, H.E.; SENRA, I.M.V.B.; OLIVEIRA, K. C. A gestão
do SUS e as práticas de monitoramento e avaliação: possibilidades e desafios para a
construçãode uma agenda estratégica. Ciência & Saúde Coletiva, 17(4):901-911, 2012.
CAZARIN, G; MENDES, M.F.M; ALBUQUERQUE, K.M. Perguntas Avaliativas. In: SAMICO, I;
FELISBERTO, E; FIGUEIRÓ, A.C; FRIAS, P.G (Orgs.). Avaliação em Saúde: Bases Conceituais
e Operacionais. Rio de Janeiro: MedBook, 2010, p: 79-87.
CHAMPAGNE, F.; BROUSELLE, A.; HARTZ, Z.; CONTANDRIOPOULOS, A.P. Modelizar as
intervenções. In: BROUSELLEet al (Org.).Avaliação: Conceitos e métodos. Rio de
Janeiro: Editora Fiocruz, 2011, p. 61-74.

32 AVALIAÇÃO EM SAÚDE
CHAMPAGNE, F.; CONTANDRIOPOULOS, A.P.; BROUSELLE, A.; HARTZ, Z; DENIS,
J.L. A Avaliação no Campo da Saúde: Conceitos e Métodos. In: BROUSSELLE et al
(Org.).Avaliação: Conceitos e métodos. Rio de Janeiro: Editora Fiocruz, 2011, p. 19-40.
CONILL, Eleonor Minho. Sobre os impasses dos usos da avaliação para a gestão: não é
preciso inventar, nem basta simplificar. Ciênc. saúde coletiva [online]. 2012, vol.17, n.4,
pp. 834-836. ISSN 1413-8123.
CONTANDRIOPOULOS, A.P. Avaliando a institucionalização da avaliação. Ciência &
Saúde Coletiva, Set 2006, vol.11, no.3, p.705-711.
CRUZ, M. M. & REIS, A. Monitoramento e Avaliação como uma das funções gestoras do
Sistema Único de Saúde. In: OLIVEIRA, Roberta Gondim de; GRABOIS, Victor; MENDES
JÚNIOR, Walter Vieira. (Org.). Qualificação de Gestores do SUS. Rio de Janeiro: EAD/Ensp
– Fiocruz, 2009, v. , p. 21-34
DONABEDIAN, A. The seven pillars of quality. Archives of Pathology and Laboratory
Medicine, 114 (11):1115-1118, 1990.
FELISBERTO, E. Da teoria à formulação de uma Política Nacional de Avaliação em Saúde.
Ciência e Saúde Coletiva, 2006; 11(3):553-563.
FELISBERTO,E.;ALVES,C.K.A&BEZERRA,L.C.A.InstitucionalizaçãodaAvaliação.In:SAMICO,
I.;FELISBERTO,E.;FIGUEIRÓ,A.C&FRIAS,P.G. Avaliação em Saúde: Bases Conceituais e
Operacionais. Rio de Janeiro: MedBook, 2010.
FERREIRA, H.; CASSIOLATO, M.; GONZALEZ, R. Como Elaborar Modelo Lógico de
Programa: um roteiro básico. Nota Técnica, IPEA. Brasília, 2007.
FIGUEIRÓ, A.C; FRIAS, P.G; NAVARRO, L.M. Avaliação em saúde: conceitos básicos para a
prática nas instituições. In: SAMICO, I.; FELISBERTO, E.; FIGUEIRÓ, FRENK, J. El concepto y la
mecidion de accesibilidad. Rev. Saúde Pública do México, 27(5):438-453, 1985.
Guba, E; Lincoln, Y. Avaliação de quarta geração. Campinas: Editora da Unicamp, 2011.
Hartz ZA, organizadora. Avaliação em saúde: dos modelos conceituais à prática na
análise de implantação de programas. Rio de Janeiro: Editora Fiocruz; 2000
HORTALE, V.A.; PEDROZA, M.; ROSA, M.L.G. Operacionalizando as categorias acesso e
descentralização na análise de sistemas de saúde. Cad. Saúde Pública, 16(1):231-239,
jan-mar, 2000, Rio de Janeiro.
JEAN-LOUIS, D. Institucionalização da avaliação na administração pública. Rev Bras
Saúde Mater Infant 2012;10 (supp.1):229-333.
LAST, J. A. Dictionary of Epidemiology. New York, Oxford University Press, 2ª ed., 1998.
LIMA, R. T. & SILVA, E. P. Avaliação na Práxis da Saúde: Histórico, Enfoques Teóricos e
Fortalecimento da Institucionalização. Revista Brasileira de Ciências da Saúde, Vol.
15, Número 1, Páginas 103-114 2011.
MEDINA, M.G.; SILVA, G.A.P.; AQUINO, R. & Hartz, ZMA. Usos de Modelos Teóricos na
Avaliação em Saúde: Aspectos Conceituais e Operacionais. In: Avaliação em Saúde:
dos modelos teóricos à prática na avaliação de programas e sistemas de saúde
(Hartz, ZMA. & Silva, LMV., Orgs.). Salvador: EDUFBA, Rio de Janeiro: FIOCRUZ, 2005.
MENDES, A.&TANAKA, O. Áquilas Mendes e Oswaldo Tanaka defendem IDSUS. Blog
SaúdeBrasil,acesso:http://susbrasil.net/2012/03/21/aquilas-mendes-e-oswaldo-tanaka-

AVALIAÇÃO EM SAÚDE
33
 defendem-idsus/em 14/04/20012.
MUNRO, A. C. M. Divergências entre as expectativas do usuário e a percepção
dagerência em relação a qualidade do serviço. 1994. Dissertação (Mestrado em
Marketing)—UFRGS,PortoAlegre.Disponívelem:<www.cesusp.ufrgs.br/PPGA/mktres.
htm#15>. Acesso em: 20 abr. 2004.
NOVAES, HMD. Avaliação de programas, serviços e tecnologias em saúde. Rev Saude
Pública, 2000; 24(5):547-559.
OPAS. ORGANIZAÇÃO PAN AMERICANA DE SAÚDE. Padrões e Indicadores de
Qualidade para Hospitais (Brasil), OPAS/HSS,1994.
OVRETVEIT,J.Evaluatinghealthinterventions.Buckingham:OpenUniversityPress,1998.
PALADINI, E. P. Gestão da qualidade no processo: a qualidade na produção de bense
serviços. São Paulo: Atlas, 1995. 286 p.
PALOS, C.M.C.; BRANDÃO, D.B.;SILVA, R.R. Da construção de capacidade avaliatória em
iniciativas sociais: algumas reflexões. Ensino-Avaliação e Políticas Pública sem
Educação 2005; 13(48):361-374.
Patton, Q. M. (1997). Utilization Focused Evaluation: The New Century Text (3rd Ed.),
London: Sage Publications
PENCHANSKY, D.B.A. &THOMAS, J.W. The Concept of Acess. Medical Care, february,
19:127-40, vol. XIX, 2, 1981.
PISCO, L.A. Avaliação como instrumento de mudança. Ciência & Saúde Coletiva, 2006;
11(3):566-568.
SERAPIONI,M.Avaliaçãodaqualidadeemsaúde.Reflexõesteórico-metodológicasparauma
abordagem multidimensional. Revista Crítica de Ciências Sociais, 85: 65-82, junho 2009.
SILVA, R.R & BRANDÃO, D.B. Os quatro elementos da avaliação. Olho Mágico 2003;
10(2):59-66.
TAKEDA, S. e YVES T. Avaliar, uma responsabilidade. Ciência e Saúde Coletiva 2006;
11(3):569-571.
TAMAKI, E. M. et al. Metodologia de construção de um painel de indicadores para o
monitoramento e a avaliação da gestão do SUS. Ciência e saúde coletiva [online]. 2012,
vol.17, n.4, pp. 839-849. ISSN 1413-8123.
TANAKA, O.Y. & TAMAKI, E.M. O papel da avaliação para a tomada de decisão na gestão
de serviços de saúde. Ciência & Saúde Coletiva, 17(4):901-911, 2012.
TANAKA, O.Y. Caminhos alternativos para a institucionalização da avaliação em saúde.
Ciência e Saúde Coletiva 2006; 11(3):564-576.
UCHIMORA, K.Y; BOSI, M.L.M. Qualidade e subjetividade na avaliação de programas e
serviços de saúde. Cad. Saúde Pública 2002; 18(6):1561-1569.
VUORI, H. A Qualidade da saúde. Divulgação em Saúde para Debate, 1991; 3:17-24.
VIACAVA, F.;ALMEIDA, C., CAETANO, R.;FAUSTO, M.; MACINKO, J., MARTINS,
M.;NORONHA,J.C.;NOVAES, H.M.D.;OLIVEIRA, E.S.;PORTO, S.M.;SILVA, L.M.V.;
SZWARCWALD,C.L. Uma metodologia de avaliação do desempenho do sistema de saúde
brasileiro. Ciência e Saúde Coletiva 2004; 9(3):711-724.

34 AVALIAÇÃO EM SAÚDE
VIEIRA DA SILVA, L. M. Conceitos, Abordagens e Estratégias para a Avaliação em Saúde.
In: HARTZ, Z. M. A. & VIEIRA DA SILVA, L. M. (Orgs.). Avaliação em Saúde: dos modelos
teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro/
Salvador: Editora Fiocruz/Edufba, pp. 15 – 39, 2005.
WALDMAN, E. A. Usos da vigilância e da monitorização em saúde pública. In: ARREAZA,
A. L. V.; MORAES, J. C. Vigilância da saúde: fundamentos, interfaces e tendências. Ciência
& Saúde Coletiva, 15 (4): 2215-2228, 2010
World Health Organization (WHO). Quality assessment and assurance in primary health
care. Programme Statement Geneve; World Health Organization, 1989.
WORTHEN, B.R.; SANDERS, J.R. &FITZPATRICK, J.L. Como Avaliar Avaliações In: Avaliação
de Programas: Concepções e Práticas. São Paulo: Editora Gente, 2004, p. 593-617.

AVALIAÇÃO EM SAÚDE
35