AVALIAO

Suely F. Deslandes IFF-FIOCRUZ

O que Avaliao ?
Avaliao,

enquanto estratgia investigativa, um processo sistemtico de fazer perguntas sobre o mrito e a relevncia de determinado assunto, proposta ou programa.

Dimenses da avaliao (Penna

Firme, 2003)
Utilidade Viabilidade

tica
Preciso da tcnica

Historicidade das Abordagens de avaliao (Guba & Licoln, 1989)

1900-1930 Primeira Gerao

Mensurao (inicia-se com o desempenho de escolares,

produtividade)

1930-1950 Segunda Gerao

Nasce a avaliao de programas Descrever como o programa atinge (ou no) seus resultados

1950-1980 Terceira Gerao

Mensurar, descrever, mas a finalidade julgar o mrito do

programa

1980 - .... Quarta Gerao

Negociar parmetros de avaliao com os envolvidos

(stakeholders) /Avaliaes participativas

2000- (??) avaliaes por triangulaes de mtodos

Definies e sua historicidade

a atividade que consiste em fazer julgamento sobre uma interveno, comparando os recursos empregados e sua organizao (estrutura), os servios e os bens produzidos (processo) e os resultados obtidos, com critrios e normas (Contandriopoulos et al, 1997, 37).

A avaliao uma forma de pesquisa social aplicada(*), sistemtica, planejada e dirigida; destinada a identificar, obter e proporcionar de maneira vlida e confivel dados e informao suficiente e relevante para apoiar um juzo sobre o mrito e o valor dos diferentes componentes de um programa ou de um conjunto de atividades especficas que se realizam, foram realizadas ou se realizaro, ()comprovando a extenso e o grau em que se deram essas conquistas, de forma tal que sirva de base ou guia para a tomada de decises (Aguilar & Ander-Egg, 1994)

(*) H diferenas entre pesquisa e avaliao

Entendemos avaliao como a elaborao, a negociao, a aplicao de critrios explcitos de anlise, em um exerccio metodolgico cuidadoso e preciso, com vistas a conhecer, medir, determinar e julgar o contexto, o mrito, o valor ou o estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de pessoas e organizaes(Silva e Brando, 2003)

uma boa avaliao visa a reduzir incertezas,

a melhorar a efetividade das aes e a propiciar a tomada de decises relevantes, guia-se por quatro objetivos: oferecer respostas aos beneficirios, sociedade e ao governo sobre o emprego dos recursos pblicos; orientar os investidores sobre os frutos de sua aplicao; responder aos interesses das instituies, de seus gestores e de seus tcnicos; buscar sempre uma melhor adequao de suas atividades.

Uma avaliao poder levar em conta: a adequao entre os objetivos e estratgias propostas e recursos utilizados ; a adequao da estrutura organizacional para realizar o trabalho proposto; o quanto e como os objetivos e metas foram atingidos; a qualidade dos servios prestados e dos resultados; a sustentabilidade da ao ou projeto.

TIPOLOGIAS DE AVALIAO
Quanto metodologia: Avaliao qualitativa (no de qualidade) Avaliao quantitativa contribui para estabelecer as relaes causais entre as variveis independentes (interveno, exposio) e dependentes (resposta ou de desfecho). Avaliaes por triangulao de mtodos

Metodologias Qualitativas

Objeto de estudo de pesquisa qualitativa = ao social e os significados atribudos pelos seus agentes (instituies, grupos, indivduos, movimentos sociais) .

Propsito comum em analisar o significado atribudo pelos sujeitos aos fatos, relaes e prticas, isto , interpretando tanto as interpretaes quanto as prticas dos sujeitos.

Pressuposto:

relao dinmica entre mundo

objetivo e (inter) subjetivo.

Concepes, valores, crenas que so referncias naquela cultura estaro presentes na tomada de decises, nas aes concretas dos sujeitos.

Abordagens qualitativas de avaliao

Condies e Interaes Sociais

Atribuio de Significados
BASE PARA AO

Vivncias Culturais

Avaliao qualitativa

Estar sempre presente quando o avaliador desejar compreender quais os significados que os sujeitos atribuem a qualquer uma das dimenses do programa (definio da demanda, objetivos, estratgias, metas, resultados, sustentabilidade etc) ou como se d, na prtica e no cotidiano, a interface entre a realizao das aes do programa e os discursos/concepes sobre estas aes

Usos correntes da avaliao qualitativa (Patton, 1987)

Descries detalhadas das demandas/expectativas/o bstculos para a implementao do programa

Anlise de processos Descrio dos diferentes tipos e participao e seus papis

Anlise de como o programa afeta seus participantes Anlise dos efeitos, impactos e mudanas observadas (ou sua ausncia)
Anlise das fraquezas e dos facilitadores do programa

Usos correntes da avaliao qualitativa

Expectativas dos sujeitos

Determinado servio se coadunaria ou no aos valores culturais e expectativas dos vrios atores sociais envolvidos, assim como s suas realidades scio-econmicas ? (Atkinson, 1993).

Usos correntes da avaliao qualitativa

A dinmicas das relaes- Anlise de processos A realizao de qualquer programa ou servio um processo que possui movimento, uma dinmica prpria. Envolve a ao de atores distintos que se aliam e se contrapem. A avaliao qualitativa, portanto, tambm busca compreender antagonismos e consensos que acontecem no cotidiano da execuo dos programas/servios e que podem ser elementos favorveis ou obstculos a sua realizao.

Anlise de como o programa afeta a identidade de seus participantes Os programas envolvem de forma mais ou menos direta a vida e a auto-imagem de seus participantes. No raro a participao como agente ou usurio de determinado programa pode significar uma considervel mudana de status daquela pessoa diante de seus familiares e comunidade (seja de forma positiva ou negativa).

Anlise dos efeitos, impactos e mudanas observadas (ou sua ausncia) A avaliao de programas sociais envolve sempre a perspectiva de mudana de uma situao, comportamentos ou problemas. Incluir no rol da anlise as interpretaes dos sujeitos sobre as mudanas percebidas, confrontando com aquelas inicialmente esperadas pelo programa item indispensvel avaliao qualitativa.

Anlise das fraquezas e dos facilitadores do programa

Toda boa avaliao desencadeia um processo interno de discusso, de debate sobre os obstculos encontrados;
. O quanto cada fator, cada ator e conjuntura (poltica, administrativa etc) colaboraram para o projeto atingir (ou no) seus propsitos? H, nesse processo, um ganho de reflexo crtica.

Anlise das fraquezas e dos facilitadores do programa

Sujeitos - balano crtico- sugestes para melhor realizar as aes. Estas interpretaes devem sofrer as crticas dos avaliadores e o confronto do que se tem como consenso do que seja uma boa prtica. Aprender com as lies, com os acertos e erros, com a criatividade dos envolvidos - patrimnio precioso para todos os que atuam nos programas.

Avaliao como campo polissmico

(apud Novaes, 2000; Patton, 2004)

Classificaes podem variar quanto:

Objetivos da avaliao
Diagnstico Levantamento de demandas Monitoramento Tomada de decises

Interno/Externo
Posio do avaliador
Negociador/ Tcnico

Compactua critrios/ determina critrios

Implantao Implementao Resultados

Perodo

Quanto ao momento da realizao avaliao em relao existncia da ao avaliada

Ex-ante Ex-post

(a) anlise diagnstica situacional inicial; (b) uma avaliao da implantao e da implementao (c) apreciao dos resultados, valorizando tambm o processo e as tendncias, entendendo que os efeitos das intervenes sociais no findam quando ela cessa.

A avaliao da implantao observa todos os passos necessrios efetivao da interveno. Visa (1) verificar a extenso do alcance do programa para a populao alvo; (2) monitorar a dose do programa, ou seja, a freqncia da sua aplicao e a participao dos sujeitos envolvidos nas atividades previstas; (3) avaliar a variabilidade do contexto organizacional ou situacional na qual o programa se implementa; (4) correlacionar a extenso na qual os programas so implementados e as metas propostas e (5) mensurar o seu custo de implementao (McGraw et al, 1989 apud Minayo, 2006).

O estudo sobre a implementao de um programa, realizado in loco, visa (1) anlise da extenso com que ele alcana a populao-alvo; (2) a freqncia e a intensidade de aplicao da proposta e a participao dos sujeitos envolvidos; (3) as questes organizacionais e administrativas; (4) a viabilidade e variabilidade das metas propostas e (5) a formao da equipe de interveno nos diferentes nveis.

A avaliao de resultados visa a dimensionar, qualitativa e quantitativamente, as diferenas entre o momento inicial e as metas/objetivos atingidos ao final de uma interveno

TRIANGULAO de MTODOS EM AVALIAO

Triangulao de abordagens
Campos disciplinares

Racionalidades cientficas

Pesquisadores

Metodologias
Tcnicas

Triangulao um termo que significa: a combinao e o cruzamento de mltiplos pontos de vista; a tarefa conjunta de pesquisadores com formao diferenciada; a viso de vrios informantes o emprego de uma variedade de tcnicas de coleta de dados que acompanha o trabalho de investigao

Condies

Primeiro a existncia de uma equipe formada por profissionais de vrias reas que desejem trabalhar de forma solidria A segunda condio a competncia disciplinar de cada componente do grupo.

Quanti-Quali

a compreenso/explicao em profundidade
a explicao em extenso

princpios para a anlise

Causalidade complexa, que se ope viso de linearidade entre causa-efeito. Destacam-se: as relaes em uma viso hologramtica no sentido de que o todo contm as partes, a parte contm o todo, mas parte e todo tm caractersticas e propriedades especficas; a inseparabilidade da ordem e da desordem em qualquer projeto, proposta ou organizao; a irredutibilidade do acaso, da incerteza e do inacabado em todos os fenmenos sociais.

Etapas da avaliao
(1) Formulao do objeto e do planejamento da avaliao (2) Elaborao de indicadores (3) Escolha das fontes de informao (4) Construo dos instrumentos (5)Trabalho de campo (6)Anlise (7) Elaborao do informe relatrio (8)Devoluo e debate dos dados

Os indicadores, como o prprio nome designa, so somente uma indicao sobre determinada situao, ou reflexo dessa situao, e so usados para medir alteraes, efeitos e resultados de uma situao social ou projeto especfico (OMS, 1980). Os indicadores ideais so aqueles considerados vlidos, objetivos, sensveis e especficos. Contudo, na prtica, poucos indicadores preenchem todos esses quesitos. No podemos esquecer que so medidas indiretas ou parciais de uma situao complexa e no explicam inteiramente a realidade (OMS, 1980). Funcionam como guias, pistas fundamentais para avaliar alteraes, direes, efeitos e resultados dos projetos.

INDICADORES

Transformar

os objetivos em itens capazes de mensurar/expressar as mudanas devidas a uma interveno social .

Indicadores
Indicadores
Indicadores

quantitativos qualitativos

Indicador quantitativo
Exemplo: COBERTURA Indicador1 : Proporo de indivduos da populao-alvo captada pelo projeto PIPACP = NIPACP/ TIPA Onde: PIPACP = proporo de indivduos da populao alvo, captada pelo projeto NIPACP = nmero de indivduos da populao alvo captados pelo projeto TIPA = total de indivduos da populao alvo Definio: nmero de indivduos da populao alvo captados pelo projeto, expresso como percentual do total de indivduos da populao alvo do projeto. Obs: considera-se indivduo captado pelo projeto aquele que participou de 3 atividades educativas Propsito: este indicador visa saber a proporo de indivduos da populao alvo captada pelo projeto

Indicador qualitativo
Exemplos: Ganho de capacidade de argumentao para o reconhecimento de direitos Atitudes em relao a determinada questo Articulao comunicacional Ampliao e conectividade da rede de suporte social

Por que investir em avaliao?

ganho de legitimidade pblica e institucional. ganho de competncia tcnica e gerencial. ganho de reflexo crtica . possibilita o compartilhamento de saberes e experincias. maior competitividade na busca de recursos cada vez mais limitados de financiamento

Se quem planeja governa melhor, quem avalia aumenta sua governabilidade

fim
desland@iff.fiocruz.br