Avaliao de Projetos Sociais: A Rede, os Ns e a Teia

Autoria: Jairo Jos Assumpo, Lucila Maria de Souza Campos

Resumo Questes sociais como desemprego, analfabetismo, violncia, sade pblica, meio ambiente, diferenas sociais, entre outras, permeiam em forma de desafio a nossa sociedade. O poder pblico, as organizaes privadas e a sociedade civil organizada tentam, atravs da realizao de projetos sociais, minimizar tais desafios, que se apresentam cada vez mais complexos. Nesse contexto, surgem questes do tipo: Como identificar os impactos e a efetividade dos projetos sociais e das aes desenvolvidas? Como saber se os recursos esto sendo empregados corretamente? Quais seriam os modelos de avaliaes que poderiam ser utilizados como forma de avaliar os projetos sociais? O objetivo deste artigo fazer uma reviso das diferentes abordagens de avaliao, abordagens estas, com ampla experincia e aplicabilidade no campo educacional e que esto sendo adaptadas e utilizadas em avaliaes de projetos sociais. Para tal, a metfora da rede, do n e da teia pretende facilitar a compreenso ao estabelecer que a complexidade das avaliaes de projetos sociais uma rede que desembaraada pode dar respostas aos questionamentos apontados anteriormente. Por outro lado, para que isso acontea precisa-se desatar o n ocasionado pela ausncia de modelos de avaliaes gerados das cincias sociais e construir uma teia, por exemplo, a partir das abordagens de avaliao de projetos sociais selecionadas neste estudo. Trata-se, portanto, de um artigo terico, com intuito de se contribuir para que, num futuro prximo, os ns desapaream e a teia se organize, transformando-se em uma rede de informaes que possibilite a interao e cooperao entre os diversos agentes sociais. 1. Introduo A atuao das Organizaes do Terceiro Setor (OTS) tem sido fundamental para a reduo dos desequilbrios sociais que predominam no Pas. Em funo de sua especificidade, completamente diferente do Estado (Primeiro Setor) e das empresas privadas (Segundo Setor), a avaliao e monitoramento de projetos sociais, bem como impacto e execuo, de difcil consecuo, em funo da carncia de metodologia que possam transformar a subjetividade (RAMOS, 1989) em fato concreto. Essa limitao gera, em termos tericos, um debate muito grande em torno da questo e em termos prticos pouca discusso entre os atores sociais no sentido de prover material emprico que aborde o tema de forma didtica e aprofundada acerca da efetividade da avaliao. Nesse contexto, surgem questes do tipo: Como identificar os impactos e a efetividade dos projetos sociais e das aes desenvolvidas? Como saber se os recursos esto sendo empregados corretamente? Quais seriam os modelos de avaliaes que poderiam ser utilizados como forma de avaliar os projetos sociais? Visando contribuir neste campo e buscando maiores subsdios para a transparncia no processo de gesto de projetos, o objetivo deste artigo fazer uma reviso das diferentes abordagens de avaliao, abordagens estas, com ampla experincia e aplicabilidade no campo educacional e que esto sendo adaptadas e utilizadas em avaliaes de projetos sociais. Para tanto, este ensaio est estruturado em mais quatro partes, alm desta. A primeira parte identifica os ns decorrentes da ausncia de um modelo de avaliao de projetos sociais. Na segunda parte busca-se identificar uma rede de seis abordagens de modelos de avaliao. A terceira parte faz uma comparao entre as abordagens escolhidas, sob cinco diferentes aspectos: i) finalidade da avaliao; ii) distino entre suas caractersticas preponderantes; iii) principais critrios de julgamentos; iv) principais vantagens; e v) principais limitaes. Finalmente, na quarta parte, so apresentadas algumas consideraes finais sobre o artigo. 1

2. Avaliaes em projetos sociais os ns A avaliao em projetos sociais amplamente debatida e pouco aplicada em sua essncia. Quando aplicada, limita-se a controlar investimentos financeiros realizados ou simplesmente servir como relatrio das atividades desenvolvidas, no refletindo em efetividade para atribuir valor ou mrito da ao social. Agrava-se ainda mais a situao ao se constatar a falta de amplo material que ajude, de forma aprofundada e didtica, os atores sociais a desempenharam suas funes. Avaliaes desempenham diversos papis, mas tm apenas uma meta, conforme conceito utilizado por este estudo: determinar o valor ou mrito do objeto avaliado. Nesse sentido, Scriven (1974, p. 23) distinguiu dois papis principais para a realizao de uma avaliao. O primeiro tem carter formativo e feito, de forma freqente, para fornecer informaes avaliatrias equipe que coordena o projeto e cujo objetivo melhorar a qualidade da interveno (SCRIVEN, 1974, p. 25). J a avaliao somativa realizada e torna pblica, de forma no freqente, para dar aos tomadores de deciso e interessados informaes de julgamentos de valor e de mrito acerca da interveno realizada (SCRIVEN, 1974, p. 25). Esse papel da avaliao nos remete, principalmente, s predilees metodolgicas distintas em que a mesma se assenta quando realizada. Os aspectos considerados relevantes ao se avaliar uma interveno social devem ir alm daqueles considerados importantes sob a lgica da objetividade: economia, eficincia e eficcia. Outros aspectos como eqidade, participao, emponderamento, advocacy e impacto da interveno tornam o exerccio da avaliao mais desafiador. Por exemplo, enquanto um pr-requisito para uma abordagem sistemtica de avaliao com foco em economia, eficincia e eficcia estabelecer as relaes entre custo e conseqncias, um pr-requisito para avaliao de impacto a qualidade da interveno social e o nvel de emponderamento obtido em mdio e longo prazo. Essas divergentes vises da avaliao resultaram em uma diversidade de modelos, pois os mesmos so derivados de crenas filosficas e ideolgicas; predilees metodolgicas distintas; opes prticas do avaliador e vnculos e interesses de clientes. Quanto s crenas filosficas e ideolgicas, Baker e Niemi (1996) sugerem que existem quatro fontes distintas em que se baseia o pensamento sobre a avaliao: experimentao, mensurao, anlise sistmica e abordagens interpretativas (WORTHEN; SANDERS; FITZPATRICK, 2004, p. 106). Essas fontes filosficas e ideolgicas podem ser caracterizadas conforme duas vertentes conceituais. Por um lado, Rebollo Cataln (1993, p. 39) agrupou-as em trs tipos de modelos: objetivista, subjetivista e crtico. Os autores afirmam que os modelos crticos ainda no esto suficientemente desenvolvidos e conceituam-no como sendo um processo de recolha de informaes que fomenta a reflexo crtica dos processos e conduz a tomadas de deciso pertinentes em cada situao especfica. Logo, com conotao de papel formativo muito forte. Assim, os modelos caracterizados como objetivistas requerem que as informaes avaliatrias sejam cientificamente objetivas (HOUSE, 1983; REBOLLO CATALN, 1993), ou seja, que usem tcnicas de coleta e anlise de dados e que forneam resultados gerados por testes estatsticos, assegurando com isso o rigor cientfico e possibilitando a sua verificao e reproduo. So modelos objetivistas de avaliao aqueles que buscam determinar de forma causal e utilitria, o que acontece com o objeto avaliado. Na extremidade oposta s avaliaes objetivistas, esto as avaliaes com abordagens pluralista que se baseiam no conceito de que o valor depende do impacto da interveno sobre cada cidado, individualmente, portanto, com uma concepo subjetivista para alcanar a compreenso dos impactos ocasionados. Assim, o maior bem possvel requer que se d ateno aos benefcios recebidos por cada indivduo (WORTHEN; SANDERS; FITZPATRICK, 2004, p. 109). Para House (1983, p. 50), o critrio final do que bom e certo definido pelos sentimentos ou apreenses individuais de cada participante. 2

Assim, os modelos subjetivistas esto preocupados em compreender o objeto avaliado por meio das percepes, da relevncia, da formao e das qualificaes do avaliador. Enquanto os modelos objetivistas possuem procedimentos externalizados, os modelos subjetivistas lidam com percepes internalizadas, portanto de difcil reproduo (HOUSE, 1983). O grande debate que se constitui entre estas duas vertentes de modelo est ligado, de um lado, questo da reproduo dos modelos objetivistas que possibilitam a determinao factual e de outro, experincia acumulada pelo avaliador o qual possibilita compreender, de forma complexa, o objeto avaliado. Portanto, enquanto os modelos objetivistas possuem procedimentos externalizados, os modelos subjetivistas lidam com percepes internalizadas, portanto de difcil reproduo. Alm disso, conforme a crena filosfica e ideolgica dos avaliadores pode-se estabelecer uma relao em funo da atribuio de valores de uma avaliao. Nesse sentido, conforme House, (1983, p.49), existe uma distino relacionada s concepes objetivas e subjetivas da avaliao, podendo as mesmas serem utilitarista ou intuicionista-pluralista. Uma avaliao utilitarista est relacionada idia de maximizar a felicidade na sociedade. Assim, sugere que a definio de valor est atrelada a constatao de que o maior bem aquele que vai beneficiar o maior nmero de indivduos. (WORTHEN; SANDERS; FITZPATRICK, 2004, p. 109), logo, com uma concepo objetivista de determinao de valor. Por outro lado, as concepes intuicionista-pluralista se baseiam na premissa de que existe uma pluralidade de critrios de juzos e o avaliador no se restringe a estabelecer mdias de forma imparcial para emitir juzo e relevncia, mas, se caracteriza como algum que compreende e descreve diferentes valores e necessidades. S por meio do envolvimento de todos os participantes e grupos envolvidos no processo de avaliao que esses objetivos sero alcanados. A figura 1 sintetiza uma relao entre as abordagens propostas e as atribuies de valores de uma avaliao. Nos pontos extremos, esto as abordagens que tm caractersticas puramente utilitaristas ou intuicionistas-pluralistas. As demais abordagens se afastam de cada ponto demonstrando uma diminuio do grau de atribuio de valor relacionada.

Figura 1: Modelos de avaliao versus preferncias metodolgicas e atribuio de valores. Fonte: Adaptado de Worthen, Sanders e Fitzpatrick (2004).

Com relao s preferncias metodolgicas que influenciam os diversos mtodos de avaliao, podem-se citar as abordagens quantitativas e qualitativas de coleta e anlise de dados. Na primeira, e mais usual, esto mtodos cujos modos de anlise baseiam-se no racionalismo encontrado em ferramentas e conceitos modelados nas cincias naturais de tradio positivista e cujos resultados se assentam em critrios especificados e objetivos. A segunda busca fundamentar as concluses em critrio mais subjetivistas por meio de metodologias construtivistas e participativas (KENDALL; KNAPP; FORDER, 2006). Mais do que aumentar o caloroso debate entre a utilizao de um mtodo ou de outro, de forma excludente, vamos buscar em Worthen, Sanders e Fitzpatrick (2004, p. 118) o caminho ideal: a integrao inteligente de ambos os mtodos [...] num nico estudo avaliatrio tem agora a aceitao to grande que parece que o debate perdeu o sentido. [...] a maioria dos estudiosos 3

de avaliao acha que usar ambos [...] faz com que esta (a avaliao) se torne mais completa. Portanto, uma terceira abordagem nasce ao se conjugarem as duas anteriores. Com relao ao momento em que realizada, a avaliao de um projeto social pode ser caracterizada de trs formas: antes (ex-ante) do incio, durante (in-itineri) e depois (expost) do projeto executado. Na primeira, a avaliao ex-ante, a agenda poltica e institucional permite escolher as melhores estratgias para a consecuo dos objetivos do projeto. Nesse momento, as avaliaes tm papel formativo, e conceitual pois preferncias, formulao e pesquisa de opinio iro estabelecer e identificar as necessidades e o planejamento para a implementao do projeto. J o momento in-itineri busca avaliar e monitorar o projeto em curso. O ex-post tem papel somativo e avalia o projeto j realizado para estabelecer decises de continuidade e alteraes, bem como estabelecer o impacto da ao. A anlise dentro desses trs momentos facilita para que se possam melhorar os modelos, visando a eficincia e melhoria contnua e incremental dos projetos a serem desenvolvidos. Finalmente, quanto ao design de uma avaliao, de uma forma geral, um processo de avaliao sistemtico precisa que uma srie de questionamentos sejam pontuados antecipadamente. Stufflebeam (1968) assevera que existem oito questes, que, ao serem respondidas, devem nortear um processo avaliativo eficiente: 1) O qu avaliao? 2) Para qu as informaes da avaliao devem servir? 3) Que perguntas de avaliao devem ser feitas? 4) Que informaes a avaliao deve fornecer? 5) A quem os resultados da avaliao devem servir (Quem so os stakeholders)? 6) Quem deve fazer a avaliao? 7) Como a avaliao deve ser conduzida? 8) Sob quais padres (critrios) os dados da avaliao devem ser julgados? As respostas a tais questionamentos caracterizaro um norte consecuo do planejamento bsico de um projeto de avaliao sistemtico. 3. Os modelos tericos de avaliao a teia Foi nesse cenrio de diferentes vises filosficas e ideolgicas, preferncias metodolgicas distintas, bem como opes prticas do avaliador e vnculos e interesses de clientes que surgiram diversos modelos de avaliao. Autores como Gephart (1969) insistiam em sintetizar tais modelos para melhor compreend-los. Por outro lado, autores como Raizen e Rossi (1981) lutavam para que no houvesse inibio de modelos, pois isso levaria a uma restrio ao desenvolvimento do campo da avaliao. Justamente, no cerne desse debate, centrado em restringir os atuais modelos ou pela incapacidade de gerar um modelo ideal, que Worthen; Sanders; Fitzpatrick (2004) buscaram classificar as diversas abordagens em seis categorias objetivando facilitar o estudo e aplicao dos modelos existentes. Diversas formas de classificao e taxonomias foram propostas anteriormente, como Stake (1967), Scriven (1974), Guba e Lincoln (1981, 1989), House (1983), Madaus, Scriven e Stufflebean (1983), sendo que, cada uma delas selecionou uma ou mais dimenses ou caractersticas consideradas adequadas ao tipo de classificao proposta. Payne (1994), por exemplo, agrupou os modelos de avaliao em quatro abordagens: administrativa, judicial, consumidor e antropolgico. Nesse estudo, por considerar ser mais completa, ser utilizada a categorizao proposta por Worthen; Sanders; Fitzpatrick (2004, p. 125) os quais agruparam os modelos, em abordagens, conforme caractersticas similares. Para os autores, uma avaliao pode ser centrada: 1) em objetivos; 2) na administrao; 3) no consumidor; 4) em especialistas; 5) nos adversrios; 6) nos participantes; as quais, a seguir, sero devidamente detalhadas. 3.1 Avaliaes centradas em objetivos A caracterstica principal desses tipos de avaliaes est centrada na determinao do propsito da atividade, e a avaliao concentra-se justamente nas medidas em que esses propsitos foram atingidos. Assim, as avaliaes centradas em objetivos se concentram na 4

especificao de metas e objetivos e na determinao da medida em que esses foram atingidos. Diversos autores (TYLER, 1971, MAGER, 1972; METFESSEL e MICHAEL, 1967; BLOOM; HASTINGS MADAUS, 1971, SCRIVEN, 1974) contriburam para a evoluo desses modelos a partir dos estudos e experincias de Tyler (1971). As avaliaes centradas nesta abordagem, basicamente, buscam identificar se o que foi planejado foi atingido. Cabe ressaltar que esse tipo de avaliao tem uma sria restrio quando utilizada no campo social: normalmente o alcance do trabalho realizado ultrapassa os limites dos seus objetivos. Nesse caso, podem surgir outros resultados e ocorrerem mudanas nos projetos que levam a diferentes resultados, a novas perspectivas no previstas inicialmente (WORTHEN; SANDERS; FITZPATRICK, 2004). Assim, essa abordagem de avaliao, quando utilizada de forma isolada, no permite olhar para esses novos contornos em funo de suas restries para alterar metas e objetivos, perdendo com isso a oportunidade de explorar outros aspectos relevantes da realidade social. Os principais modelos de avaliaes centradas em objetivos so: a) Modelo Tyler de avaliao: Tyler foi o primeiro a desenvolver um mtodo sistemtico de avaliao de projetos. Esse modelo, desenvolvido, em parceria com Crombach, foi utilizado durante o Estudo de Oito Anos no final da dcada de 1930, sendo um mtodo orientado para a tomada de decises. Essas decises devem basear-se na coincidncia entre os objetivos definidos e resultados obtidos. Assim, de forma experimental, busca determinar, ao final do processo de ensino, se o estudante capaz de demonstrar a realizao dos objetivos previstos e declarados (WORTHEN; SANDERS; FITZPATRICK, 2004). Os objetivos gerais so estabelecidos a partir das expectativas da sociedade, sendo rejeitada a anlise das caractersticas especficas do indivduo, tais como os seus interesses e modos especficos de pensar e aprender. A mais importante caracterstica da avaliao passa a ser a descrio de padres e critrios relativos ao sucesso ou fracasso de objetivos previamente estabelecidos. Tyler (1971) via a avaliao como um processo de determinao da medida em que os objetivos eram alcanados. Assim desenvolveu os seguintes passos: 1) estabelecer metas e objetivos gerais; 2) classificar as metas ou objetivos; 3) definir os objetivos em termos comportamentais; 4) descobrir situaes que possibilitem comprovar que os objetivos foram alcanados; 5) criar ou selecionar tcnicas de mensurao; 6) coletar dados relativos ao desempenho; 7) comparar os dados do desempenho com os objetivos formulados de forma comportamental (WORTHEN; SANDERS; FITZPATRICK, 2004). A coleta de dados para os testes (quase sempre em estudantes) tinha como objetivo verificar, por meio do nvel de acerto em questes de mltipla escolha, a qualidade de projetos especficos, programas ou mesmo de professores individualmente. Infere-se que os resultados positivos ou negativos so reflexos diretos da qualidade dos projetos. Assim, conforme Worthen, Sanders e Fitzpatrick, (2004, p. 132) sua abordagem considerou tanto o mtodo lgico, quanto o emprico para avaliar metas. Quanto ao mtodo lgico, o objetivo era examinar o poder de persuaso ao argumentar ou explicar cada objetivo, examinar suas conseqncias e considerar os valores como poltica, harmonia e princpios morais da sociedade para contrastar se os objetivos e metas podem gerar conflitos sociais. Por outro lado, os mtodos empricos so caracterizados pela coleta de dados dos interessados para emitir juzo de valor sobre a meta ou objetivo, utilizar especialistas para avaliar tais metas e objetivos, realizar pesquisa documental e, finalmente, prever estudo piloto para verificar a realizao da meta ou objetivo (WORTHEN; SANDERS; FITZPATRICK, 2004). Portanto, a base do modelo de Tyler era a discusso das metas (consideradas como alvos a serem alcanados) e a verificao entre o desempenho e os objetivos alcanados. Tais objetivos orientam os critrios e normas e, assim, a avaliao consiste em determinar as coincidncias e discrepncias entre o planejado e o efetivado. 5

b) Modelo Metfessel e Michael de avaliao: Seguindo a tradio de avaliao Tyleriana, Metfessel e Michael (1967) adaptaram um modelo profundamente influenciado por essa tradio. A principal contribuio dos autores foi expandir os instrumentos alternativos de coleta de dados gerado aps a contribuio de Tyler. Propuseram oito passos para o processo de avaliao, a saber: 1) envolver os interessados como facilitadores da avaliao; 2) formular um modelo coerente de metas e objetivos especficos; 3) traduzir objetivos especficos de forma comunicvel; 4) selecionar ou construir instrumentos para fornecer medidas que permitam inferncias sobre a efetividade do projeto; 5) realizar observaes peridicas usando testes de contedo vlidos, escala e outras medidas comportamentais; 6) analisar os dados usando os mtodos apropriados; 7) interpretar os dados usando modelos de desempenho; 8) fazer recomendaes para implementao, modificao e reviso posteriores de metas gerais e objetivos especficos (WORTHEN; SANDERS; FITZPATRICK, 2004). Portanto, esse modelo de avaliao basicamente uma adaptao do modelo Tyler, diferenciando-se ao expandir o contexto para uma avaliao com papel formativo. c) Modelo de avaliao da discrepncia de Provus: Malcolm Provus (1973) criou uma abordagem, ainda sob a influncia de Tyler, considerando como princpio bsico que a avaliao seja um processo contnuo de gerenciamento de informaes destinado a servir de guardio da administrao e como um servo dos administradores no gerenciamento da implantao de um projeto por meio de um processo eficaz de tomada de decises (PROVUS, 1973, p. 186). Um projeto na viso de Provus (1973) passa por cinco fases distintas: 1) definio; 2) instalao; 3) processo; 4) produto; 5) anlise de custo e benefcio. Essas fases so similares as fases do ciclo de vida dos projetos sociais tratados anteriormente. A definio ou concepo est centrada na determinao dos objetivos, processos e atividades envolvidas. Na instalao, os processos identificados na definio so usados para julgar a operacionalizao do projeto. No estgio do processo, o foco a coleta de dados para determinar o progresso dos interessados para determinar alteraes comportamentais. No estgio produto, o foco da avaliao a constatao ou no se os objetivos foram alcanados. E, finalmente, na etapa anlise de custo e benefcio, o foco est centrado na comparao dos resultados em relao aos custos despendidos. Em todas as fases as discrepncias determinam o andamento do projeto. O principal foco do modelo o uso dessas discrepncias para ajudar administradores a determinar a medida em que o desenvolvimento do projeto est avanando no sentido de alcanar os objetivos estipulados (WORTHEN; SANDERS; FITZPATRICK, 2004). d) Modelo do cubo de Hammond: Em 1973, Hammond apresentou uma metfora como modelo para avaliao utilizando trs dimenses de anlise. No modelo do cubo original os construtos necessidades dos jovens, idade e assistncia eram apresentados de forma tridimensional para se avaliar os objetivos de um projeto comunitrio. Esse mesmo modelo foi utilizado por Carroll (1979) na apresentao dos modelos de responsabilidade social corporativa. Assim como nos construtos utilizados por Hammond, Carroll utilizou a filosofia em Responsabilidade Social (RS), categorias de RS e questes sociais envolvidas como dimenses a serem analisadas. Portanto, o modelo do cubo inicialmente criado para anlise de um programa educacional facilmente adaptvel conforme a necessidade. Atualmente, na rea social, os modelos centrados em objetivos so utilizados como requisito para definies dos padres comportamentais, seleo e criao de situaes de teste que evocam esses padres e em termos de compreenso para que os resultados sejam utilizados de forma construtiva. Ou seja, hoje, podem ser utilizados com papel formativo para corrigir discrepncias entre os objetivos almejados e os alcanados em determinada etapa do projeto. Tem como principal contribuio a conceituao de avaliao, a mensurao do desempenho antes e depois, bem como a obrigao de definio antecipada dos objetivos e metas. 6

3.2 Avaliaes centradas na administrao A caracterstica principal dessa abordagem ajudar as pessoas a tomar decises e, portanto, as informaes avaliatrias so parte essencial das decises inteligentes. Nesse sentido, as avaliaes centradas na administrao tm interesse especial na identificao e no atendimento das necessidades de informaes dos administradores. As avaliaes se sustentam na viso gerencialista, que defende a racionalidade nos processos de tomada de deciso e, com isso, quanto mais informaes disposio do administrador maior a possibilidade de uma deciso eficiente. Conforme Stufflebeam (1968, p. 5), nesse caso, a avaliao um processo de coleta de informaes teis tomada de deciso e, sendo assim, o objetivo do processo aumentar o grau de acerto nas decises tomadas. A seguir sero descritos os principais modelos centrados em Administrao. a) Modelo de avaliao CIPP (contexto, insumos, processo e produto) de Stufflebeam: Esse modelo, que surgiu na dcada de 1960, nasce da viso de Stufflebeam (1968, p. 6) de que a avaliao um processo poltico de delinear, obter e fornecer informaes confiveis para que os administradores possam tomar decises. Assim, contexto, insumos, processo e produto, os quais originaram a sigla CIPP, transformam-se em construtos ideais para estruturar, aos gerentes, informaes que levem tomada de deciso adequada (STUFFLEBEAM, 1968). A avaliao do contexto planejar serve para subsidiar informaes para decises de planejamento do projeto, por meio da identificao das necessidades para se atingir o objetivo e metas propostas. Nesse caso, indicadores como qualidade de vida (sade, segurana, estrutura familiar, valores, treinamento e desenvolvimento, moradia, habitao, entre outros) e configuraes da comunidade (recursos da organizao, emprego, economia, servios, clima poltico) so informaes relevantes para anlise. Tm como objetivo a definio do contexto institucional, a identificao dos interessados diretos e suas respectivas necessidades, bem como diagnosticar problemas subjacentes a essas necessidades e julgar os objetivos propostos. O mtodo utilizado a anlise de sistema, observao, exame de documentos, interrogatrio, entrevistas e testes de diagnstico (STUFFLEBEAM, 1968). A avaliao do insumo necessidades de recursos busca subsidiar informaes necessrias para as decises de estruturao do projeto e, com isso, dar forma s propostas. Por meio da identificao da capacidade do sistema, estratgias de projetos alternativos e criao de procedimentos, a avaliao de insumos inventaria e analisa os recursos necessrios a consecuo dos objetivos pretendidos. Alm disso, busca identificar a relevncia, a viabilidade e a economia do projeto. Nesse caso, duas etapas so imprescindveis: planejamento (clarificao dos valores, foco nas necessidades prioritrias, anlise de ativos e de polticas, definio do grupo alvo e de metas, entre outras) e preparao (definio de polticas, comprometimento dos recursos, oramento, arranjos polticos, colaborao e publicidade) (STUFFLEBEAM, 1968). A avaliao do processo ao busca subsidiar informaes acerca das decises de implementao, por meio da identificao, por exemplo, das revises necessrias e procedimentos de refinao da interveno. Assim, objetiva identificar e prever os problemas do processo, da criao dos procedimentos, do oramento e cronograma de realizao. Os processos de uma avaliao podem ser divididos em: superviso (programao, orientao e treinamento de pessoal, dirigir, controlar, performance e implementao); gesto de recursos (aquisio de bens e servios, salvaguardas contra erros, utilizao dos recursos, custos, segurana e manuteno); controle da qualidade (inspeo, avaliao interna, relatrios, planos de trabalho, reviso e melhoria dos planos, registro dos progressos); e, relaes externas (colaboradores e relaes pblicas) (STUFFLEBEAM, 1968). A avaliao do produto resultados busca subsidiar informaes para tomada de decises somativas. Ou seja, coletar descries e julgamentos de resultados e relacion-los 7

com as informaes geradas nos processos de contexto, insumo e processo, bem como com os objetivos estabelecidos. O julgamento realizado por meio de anlises quantitativas e qualitativas e tem foco: no impacto da avaliao (beneficirios, percentual de atendimento, efeitos na comunidade, abandonos, entre outros); na eficcia da avaliao (amplitude dos resultados, amplitude dos efeitos, qualidade e significncia dos efeitos, resultados a curto e longo prazo e involuntrios, diagnsticos de falhas e prmios, entre outros); e na viabilidade e sustentabilidade da avaliao (institucionalizao, planos e aes, viabilidade financeira e de pessoal, ameaas); e finalmente, a transportabilidade (potencialidades e realidades adotadas, inquritos e vistorias) (STUFFLEBEAM, 1968). b) Modelo de avaliao da UCLA: O precursor deste modelo foi Alkin (1969), que criou um tipo de avaliao muito semelhante ao modelo de CIPP de Stufflebem. Para Alkin (1969, p. 2), a avaliao um processo de definio das reas de deciso em pauta, de seleo de informaes apropriadas e coleta e anlise das informaes a fim de apresentar um resumo til para as pessoas que tomam decises. Similar ao contexto do modelo CIPP, a estimativa do sistema busca dar informaes pertinentes sobre os sistemas envolvidos na avaliao. J o planejamento do programa ajuda na seleo e atendimento das necessidades, de forma similar ao insumo do modelo CIPP. A implementao e melhoria do programa, nada mais do que o processo do modelo anterior e busca dar informaes relevantes acerca da eficincia do projeto e sugerir melhorias e adaptaes baseadas nos resultados alcanados. E, finalmente, a certificao do programa objetiva realizar um juzo e mrito a respeito do projeto, e com isso, possibilitar sua replicao, neste caso bastante semelhante ao produto da avaliao CIPP. Para Alkin (1991, p. 94), o seu modelo de avaliao baseia-se em quatro premissas: 1) coletar de informaes, 2) serem usadas para a tomada de deciso, 3) serem apresentadas a quem toma a deciso, 4) diferentes decises exigem diferentes procedimentos de avaliao. Portanto, as avaliaes centradas na Administrao buscam fornecer aos administradores informaes confiveis para a tomada de deciso. Tm como caractersticas principais ajudar na tomada de decises racionais em todos os estgios de criao do projeto. 3.3 Avaliaes centradas nos consumidores O objetivo principal desses modelos de avaliao o fornecimento de informaes avaliatrias sobre produtos, portanto com papel fortemente somativo. Ao optar pela criao de listas de verificao, os estudiosos descobriram que a avaliao tambm poderia ser utilizada como um papel formativo, para melhorar o produto, ainda durante o processo de criao, e com isso atender de forma mais eficiente o consumidor (WORTHEN; SANDERS; FITZPATRICK, 2004). Como as informaes originadas da avaliao iro possibilitar a escolha para usos de diferentes produtos, servios e similares, esses modelos levam em considerao a necessidade, o mercado, o desempenho e a utilidade do objeto avaliado. Mais que um modelo especfico, as listas de verificaes so instrumentos de fcil adaptabilidade para prover informaes diversas aos consumidores. A seguir sero descritos os principais modelos centrados nos consumidores. a) Listas de verificaes de Scriven: As listas de verificaes criadas por Scriven (1974) so instrumentos avaliativos que consideram os diversos atributos para modelar o produto de forma a atender s necessidades do consumidor. Assim, a lista composta de: 1) necessidade (nmero, relevncia, evidncias, etc); 2) mercado (tamanho, disseminao) 3) desempenho (experimentos de campo, consumidores autntico, comparaes crticas, efeitos colaterais, processo, modelo causal, estatstica, relevncia social, educacional) 4) custo-benefcio e, 5) ampliao da base de apoio (WORTHEN; SANDERS; FITZPATRICK, 2004). b) Modelo CMAS Sistema de anlise de material de currculo: O modelo de lista do CMAS sugere os seguintes passos: 1) descreva as caractersticas do produto; 2) analise os fundamentos lgicos e seus objetivos; 3) considere as condies anteriores ao uso desse 8

produto; 4) avalie seu contedo; 5) reflita sobre as teorias e estratgias usadas nesse produto; 6) forme juzos globais (WORTHEN; SANDERS; FITZPATRICK, 2004). Diversas outras listas de verificao foram adaptadas e utilizadas de forma eficiente para anlise de projetos, rgos pblicos e empresas privadas. Basicamente essas listas de verificao so utilizadas para dar informaes sobre os produtos e ajudar na tomada de decises sobre compras ou escolhas de servios, pois as mesmas tm caractersticas de anlise, teste e de informaes para subsidiar a tomada de deciso do consumidor. 3.4 Avaliaes centradas em especialistas A avaliao centrada em especialistas, a mais antiga e a mais usada na avaliao de projetos sociais, depende exclusivamente dos especialistas e da qualificao profissional dos avaliadores para julgar a qualidade de qualquer atividade que esteja sendo avaliada. Vrios processos especficos de avaliao no campo acadmico so variantes da abordagem centrada em especialistas, como por exemplo, exames de doutoramento, pareceres especficos, painis para reviso de projetos, entre outros (WORTHEN; SANDERS; FITZPATRICK, 2004). A seguir, so citados alguns tipos de sistemas deste tipo de avaliao: a) Sistemas formais de pareceres profissionais (padro pblico): So assim definidos por possurem uma estrutura ou organizao consolidada para dar pareceres peridicos, e por possurem um padro pblico de estruturao e vinculadas a associaes profissionais. Seus pareceres tm uma periodicidade predeterminada, por exemplo de trs em trs anos (WORTHEN; SANDERS; FITZPATRICK, 2004). O principal modelo a acreditao que se utiliza em termos contemporneos de: 1) padres pblicos; 2) auto-avaliao; 3) equipe de assessores externos; 4) visitas peridicas ao local avaliado; 5) relatrios dessas visitas; 6) estudo do relatrio feito por especialistas; 7) relatrio final e deciso relativa acreditao (aprovao ou no). b) Sistemas informais de pareceres profissionais: Distingue-se dos sistemas formais por no ter um padro pblico e no haver periodicidade predeterminada. Normalmente, esses pareceres seguem estruturas e procedimentos vagamente institucionalizados. (WORTHEN; SANDERS; FITZPATRICK, 2004). Por exemplo, a aprovao de artigos para publicao se caracteriza como um sistema informal de parecer. c) Pareceres ad-hoc de grupos altamente especializados e individuais: Apesar de ser realizado tambm por pessoas altamente especializadas, este modelo, ao contrrio do pareceres formais e informais, acontece de forma irregular e quando as circunstncias assim o exigem. So, na maioria das vezes, realizadas apenas uma vez, por necessidades particulares e momentneas (WORTHEN; SANDERS; FITZPATRICK, 2004). Esse tipo de avaliao comumente utilizado por organizaes sem fins lucrativos, utilizando-se de agentes voluntrios, com ampla experincia e conhecimento em reas especficas de suas profisses para emitir pareceres acerca de projetos de cunho comunitrios. Tais pareceres podem ser emitidos por grupos especialistas ou por um nico especialista. d) Connaisseur crtico: Nascida da experincia adquirida em crticas de arte e literria, a avaliao por meio de um connaisseur foi levada rea educacional e social em funo da fcil transposio do conhecimento em forma de crtica como forma de atribuir valor. Esse modelo, tambm conhecido como avaliao artstica de Eisner (1991). Para o autor, a avaliao necessita de um connaisseur e um crtico, pois o primeiro um artista da avaliao e como tal, faz seus julgamentos pelas percepes. J o segundo consegue revelar as qualidades dos eventos ou objetos, por meio de um processo educativo a fim de possibilitar aos indivduos o reconhecimento de qualidade e caractersticas que de outro modo passariam despercebidas. Eisner v essa experincia como importante recurso qualitativo, humanista e no cientfico de mtodo de avaliao, portanto como complemento na utilizao de outras abordagens. 9

Em suma, esses modelos buscam oferecer julgamentos profissionais adequados e tm como caractersticas principais o fato de se basearem em juzos emanados dos conhecimentos e experincias profissionais buscando padres consensuais. 3.5 Avaliaes centradas em adversrios Ao contrrio do cerne dos modelos de avaliao que objetivam eliminar a tendenciosidade, esse tipo de avaliao busca equilibrar as diferenas por meio da posio antagnica entre grupos distintos, objetivando buscar o consenso (WORTHEN; SANDERS; FITZPATRICK, 2004). A controvrsia o foco dessa oposio estruturada e planejada em termos de ponto de vista (prs e contras) e est centrada na possibilidade de ampla discusso como ponto de partida para a busca do consenso. Assim, ao considerar-se que os avaliadores necessitam interpretar informaes, formular concluses e determinar valor ou mrito, a avaliao centrada em adversrio se presta a possibilitar um estudo mais complexo e participativo das questes que esto sendo avaliadas. Nesse sentido, um modelo geral deriva para algumas adaptaes que sero motivos de anlise. O principal modelo centrado em adversrios descrito a seguir. a) Modelo de Owens: Owens (1973) apresentou uma lista de caractersticas que entendeu serem apropriadas (de forma adaptada) para aplicao em avaliao de projetos. Basicamente essa lista orienta que as regras devam ser flexveis, que a evidncia precisa ser relevante para o juiz, as testemunhas podem fornecer depoimentos e provas; utilizam-se especialistas para dar depoimentos e grupos de interesse podem participar (WORTHEN; SANDERS; FITZPATRICK, 2004). O modelo consiste em quatro estgios: 1) gerao de pontos de debate por meio da identificao e desenvolvimento de possveis questes a serem tratadas; 2) selees de pontos de debate com a eliminao de questes que no esto em jogo e seleo das questes de debate; 3) preparao da argumentao com coleta de evidncias e sntese de dados; 4) audincia por meio de sesses para exame das alegaes, avaliao das evidncias e deciso do corpo de jurado (WORTHEN; SANDERS; FITZPATRICK, 2004). E usado como metfora de avaliao e no como simples reproduo do modelo judicial de julgamento. Essa dinmica em forma de julgamento no precisa ser padronizada, podendo-se utilizar formas mais flexveis para emitir juzo sem deixar de apresentar caractersticas de um julgamento forense. Assim, a finalidade de modelos de avaliao centrada nos adversrios est focada em oferecer um exame equilibrado de todos os lados de questes controvrsias enfatizando tanto seus pontos fortes como seus pontos fracos. Tm como caracterstica a utilizao de metforas de formas forenses e judiciais de audincias pblicas, enfatizando pontos de vistas contrrios e suas decises so baseadas em argumentos ouvidos durante todo o processo. 3.6 Avaliaes centradas nos participantes Esse tipo de avaliao responde reao dos tericos aos padres mecanicistas e insensveis de avaliaes. Em conseqncia dessa reao, nasce um tipo de abordagem de avaliao que passa a enfatizar a experincia por meio da observao e identificao de todas as preocupaes, problemas e conseqncias inerentes as aes da rea social. Em suma, uma avaliao puramente intuicionista-pluralista. Esses modelos, portanto, caracterizam-se por um mtodo de pesquisa que est crescendo em pases em desenvolvimento, pois focam iniciativas que envolvem a comunidade no projeto que est sendo avaliado. Esto principalmente preocupados em: 1) criar um processo mais igualitrio onde a perspectiva do avaliador determinada pelas prioridades dos outros stakeholders, inclusive aqueles que participam diretamente do projeto; 2) prope que o processo de avaliao e seus resultados sejam pertinentes e teis a quem se beneficia com o projeto e seus stakeholders, incluindo ambos ativamente no processo de avaliao (W. K. KELLOGG FOUNDATION, 1998). 10

A primeira grande contribuio em avaliaes centradas no participante foram os dois princpios bsicos defendidos por Stake (1967). Para o autor (STAKE, p. 9) a avaliao um processo de julgamento com foco na descrio e no processamento de julgamento dos participantes. Para Stake, as etapas de uma avaliao, so as seguintes: contexto, justificativa e descrio do fundamento lgico do projeto; lista de antecedentes, transaes e resultados; registrar tudo; definir os padres de julgamento; registrar os julgamentos (STAKE, 1967). As duas faces da avaliao (descrio e julgamento) so consideradas as principais atividades de um objeto avaliado. Descrever sucintamente e produzir julgamentos completos acerca do objeto avaliado ajuda o avaliador a organizar a coleta e a interpretao dos dados. Assim, a estrutura de duas faces de Stake fornece aos avaliadores um quadro referencial para refletir sobre as necessidades de dados de uma avaliao (antecedncias, transaes e resultados) (WORTHEN; SANDERS; FITZPATRICK, 2004). Outros autores que contriburam para essa abordagem de avaliao foram: Guba e Lincoln (1989, p. 9) a avaliao um processo de julgamento e meio de emponderar os participantes; Patton (1975, 1986) a avaliao deve colher o pluralismo dos valores para ser til ao processo decisrio. Foi, porm, a partir dos dois princpios bsicos de Stake (descrio e julgamento), que alguns modelos se destacaram e sero descritos a seguir. a) Avaliao iluminadora de Parlett e Hamilton: O desenvolvimento desse modelo est ligado Antropologia Social e surgiu em meados da dcada de 70, em desacordo com o paradigma clssico da avaliao (objetivista). A sua finalidade no a da medio, mas antes, a da descrio e interpretao dos processos. Somente assim poder-se-ia iluminar (PARLETT; HAMILTON, 1976) questes, problemas e caractersticas do projeto (WORTHEN; SANDERS; FITZPATRICK, 2004). Nesse mtodo, a tarefa do avaliador deve centrar-se em facilitar uma compreenso holstica, da realidade, que complexa em sua natureza. O avaliador deve abster-se de emitir juzos de valor, remetendo-se ao papel de descobrir, compreender e gerar interpretaes. Esse modelo tem trs estgios bsicos: 1) observao, pois explorar e familiarizar-se com o ambiente a ser estudado essencial para embasar percepes; 2) aprofundar a pesquisa focando o estudo profundo das questes selecionadas; 3) explanao, a fim de explicar as matrizes observadas e relaes de causa e efeito (PARLETT; HAMILTON, 1976). Todos esses estgios dependem dos dados provenientes de observaes, entrevistas, questionrios, testes e fontes diversificadas de dados. Tais informaes exigem mais tempo em campo, na coleta de dados e uma triangulao na anlise desses dados. b) Avaliao responsiva de Stake: O foco principal desse modelo, adaptado das duas faces da avaliao (STAKE, 1967), justamente discutir as preocupaes e os problemas dos envolvidos no projeto. Um avaliador responsivo pode dar respostas com relao aos resultados de um projeto, sobre alternativas para melhorar certo processo ou se a implementao do projeto est sendo realizada corretamente. Stake (1967, p.1) afirmou que no estava propondo um novo modelo, mas sim conceituando o que as pessoas fazem naturalmente, pois via essa abordagem como uma tentativa de desenvolver uma tecnologia para melhorar e focalizar o comportamento natural do avaliador, qual seja, observar e reagir. Afirma, tambm, que uma avaliao responsiva quando (STAKE, 1967, p.14) se volta mais diretamente para as atividades do programa do que para as suas intenes e quando responde s exigncias de informaes dos interessados. Guba e Lincoln (1989), a partir da proposta de Stake, criaram uma abordagem alternativa inserindo o construtivismo em sua forma de avaliar. Denominaram responsive constructivist evaluation (avaliao responsiva e construtivista): responsiva, pois pretendem que seja sensvel s reivindicaes e questes dos interessados pelos projetos e, construtivista, porque baseada no paradigma construtivista para o qual a realidade uma construo social, inclusive o objeto da avaliao. 11

c) Avaliao naturalista: Tambm conhecida por construtivista, essa abordagem nasceu para contrapor aos mtodos cientficos tradicionais baseando o parmetro investigativo em mtodos como o interpretativo e a hermenutica. A base dessa abordagem a inverso do papel do avaliador, que passa a ser neutro no processo. As informaes fluem de forma natural e conforme preconiza Huxley (1982, p. 272) a melhor forma de descobrir as coisas no fazer qualquer pergunta. Seguindo a mesma linha de raciocnio, House (1983, p. 57) informa que uma avaliao naturalista um estudo que tem por objetivo uma generalizao natural, baseada na experincia do pblico-alvo. Guba e Lincoln (1989, p. 18) afirmam que avaliaes naturalistas esto enraizadas em mtodos como a etnografia e a fenomenologia, pois levam em conta as diferentes perspectivas valorativas de seus membros. Ao utilizar-se de uma abordagem naturalista, o avaliador estuda o projeto in situ, ou tal como acontece, sem confin-lo, manipul-lo nem control-lo. A consistncia das informaes corroborada por meio da triangulao ou da checagem de fontes conflitantes. d) Avaliao emponderante: A partir de 1994, David Fetterman props um tipo de avaliao centrada no somente na anlise para atribuio de valor ou mrito de um projeto social. Fetterman (1997) advoga que uma avaliao pode possibilitar a emancipao, libertao e esclarecimento dos interessados diretos pelo projeto. Ou seja, a avaliao, nesse caso, ir se constituir em uma importante contribuio para a sociedade em funo de seu direcionamento ao emponderamento dos mais necessitados. Esse tipo de avaliao pode ser considerado semelhante estratgia de pesquisa do tipo pesquisa-ao, pois a avaliao se transforma em ao prtica, reflexiva e pragmtica, sempre buscando apontar solues para problemas complexos dando voz aos interessados que se tornam-se co-participantes e colaboradores do processo. Para tal, sugere 10 princpios norteadores para a avaliao: 1) melhoria contnua; 2) objetiva melhorias na comunidade; 3) promove a incluso; 4) tem participao democrtica; 5) promove a justia social; 6) o conhecimento gerado e disseminado na comunidade; 7) estratgias e evidncias baseadas na comunidade; 8) promove a construo de potencialidades comunitrias; 9) promove a aprendizagem organizacional; 10) dissemina a responsabilidade (Accountability) (FETTERMAN; KAFTARIAN; WANDERSMAN, 1996). Portanto, a finalidade da avaliao centrada nos participantes est em compreender e retratar as complexidades de uma atividade, respondendo s necessidades de informaes de determinado pblico, utilizando-se de planos de avaliao, raciocnio indutivo e de reconhecimento de mltiplas realidades. 4. Anlise comparativa entre os modelos de avaliao e sua aplicabilidade em projetos sociais a rede O Quadro 1, a seguir, apresenta as principais caractersticas de cada abordagem, sob cinco aspectos: i) finalidade da avaliao; ii) distino entre suas caractersticas preponderantes; iii) principais critrios de julgamentos; iv) principais vantagens; e v) principais limitaes.
Centrada em objetivos busca determinar o grau em que os objetivos foram alcanados Centrada na administrao possibilita gerar informaes teis para ajudar na tomada de decises Finalidade da avaliao Centrada nos Centrada em consumidores especialistas possibilita gerar busca oferecer informaes julgamentos sobre o produto profissionais de ou servio qualidade objetivando ajudar na tomada de deciso para compra ou escolha de Centrada em adversrios oferece um exame equilibrado de todos os lados de questes controvertidas, pontuando tanto seus pontos fortes como Centrada nos participantes busca compreender e retratar as complexidades de uma atividade avaliada objetivando a cooperao e o entendimento

12

servio Distino entre suas caractersticas Centrada em Centrada na Centrada nos Centrada em objetivos administrao consumidores especialistas necessita definir foca na tomada utiliza listas de utiliza juzos de objetivos de deciso verificaes de conhecimentos e mensurveis, racional em critrios para experincias usar todos os estgios analisar e testar individuais instrumentos de criao do produtos, buscando utilizar objetivos de projeto possibilitando padres de coleta de dados e subsidiar consenso para procurar informaes aos emitir julgamento discrepncias consumidores entre objetivos e desempenhos Principais critrios de julgamentos Centrada em Centrada na Centrada nos Centrada em objetivos administrao consumidores especialistas mensurabilidade determinao da eliminao da utilizao de dos objetivos, utilidade, tendenciosidade, padres mensurao da viabilidade, bem como reconhecidos e confiabilidade e propriedade e identificao da qualificaes de da validade do solidez tcnica solidez tcnica e especialistas para do projeto evidncias de gerar projeto necessidades e julgamentos a respeito do efetividade requerida projeto Principais vantagens Centrada nos Centrada em consumidores especialistas a sua nfase est a possibilidade nas necessidades de cobertura de informaes ampla e sua do consumidor, eficincia (fcil influncia sobre de implementar) os criadores do produto e preocupao com a relao custo-benefcio e utilidade Principais limitaes Centrada nos Centrada em consumidores especialistas a principal a limitao que o reprodutibilidade, custo e falta de vulnerabilidade e financiamento, preferncias podem limitar a pessoais. Por criatividade e a outro lado, a inovao. Da escassez de mesma forma, documentao no possibilita o para servir de debate nem base s pontos de vista concluses e contrrios possibilidades de conflitos de interesses gera

fracos Centrada em adversrios utiliza audincias pblicas e pontos de vistas contrastantes para gerar debate acerca dos argumentos defendidos durante o processo Centrada em adversrios identificao do equilbrio, equidade, publicidade e oportunidade de verificao dos pontos conflitantes como forma de julgar o objeto avaliado Centrada em adversrios o uso de grande variedade de informaes, lanando luz sobre diferentes posies e com foco dirigido para uma avaliao com papel somativo Centrada em adversrios o grande consumo de tempo, a dependncia da capacidade de investigao e de comunicao dos envolvidos, a polarizao superficial, e as irrelevncias potenciais geradas Centrada nos participantes busca refletir sobre realidades mltiplas usando o raciocnio e a concluso indutiva.

Centrada nos participantes a preocupao reside na credibilidade, adequao, auditabilidade e confirmabilidade do julgamento gerado

Centrada em objetivos facilidade de usar o seu foco em resultados e a grande aceitabilidade, bem como a obrigao da definio de objetivos

Centrada na administrao a sua abrangncia e a sensibilidade s necessidades de informaes daqueles que lideram, bem como a sua abordagem de carter sistmico Centrada na administrao excessiva nfase na eficincia organizacional e no modelo de produo, utilizando premissas de ordem e previsibilidade para a tomada de decises. Tm foco estreito nas preocupaes do lder e custo alto

Centrada nos participantes o interesse pelo contexto, pluralista, o uso de raciocnio indutivo e a nfase na compreenso

Centrada em objetivos so exageradamente simplificadas e voltadas exclusivamente para resultados com foco reducionista

Centrada nos participantes condio de no ser diretiva, da generalizao de hipteses, do risco de no chegar a concluses e do custo elevado

13

uma viso limitada do contexto Quadro 1: Anlise comparativa das abordagens propostas por Worhen, Sanders e Fitzpatrick, 2004

para administrar e manter

A comparao das principais caractersticas dos modelos analisados constituem-se um apanhado sinttico das principais caractersticas de cada grupo de modelo, objetivando subsidiar informaes que possibilitem a adequao de um modelo que atenda s necessidades de entidades em avaliar seus projetos sociais. Assim, a identificao dos principais pesquisadores em cada abordagem, as caractersticas, vantagens e limitaes servem como subsdios para uma anlise emprica acerca do processo avaliativo de projetos sociais em ONGs no Brasil. 5. Consideraes Finais O objetivo central deste artigo foi fazer uma reviso das diferentes abordagens de avaliao, abordagens estas, com ampla experincia e aplicabilidade no campo educacional e que esto sendo adaptadas e utilizadas em avaliaes de projetos sociais. Buscou-se com isso procurar evoluir no sentido de responder s seguintes perguntas: Como identificar os impactos e a efetividade dos projetos sociais e das aes desenvolvidas? Como saber se os recursos esto sendo empregados corretamente? Quais seriam os modelos de avaliaes poderiam ser utilizados como forma de avaliar os projetos sociais? Tal problema foi expresso por uma metfora que atribuiu rede a constatao da necessidade de se criar entre os atores sociais uma conscincia de que a avaliao um processo poltico e, portanto necessrio estabelecer um modelo que realmente expresse os impactos decorrentes de uma ao social como forma de possibilitar informaes, julgamentos e aes. Esse modelo pode emergir a partir da teia de seis abordagens de modelos de avaliaes tratados neste ensaio. Da mesma forma, para desatar o n e com isso responder a estas questes buscou-se resgatar questes ideolgicas como elementos motivadores ou restringentes dos processos avaliativos. Essa temtica teve origem ao se estabelecer as bases analticas para explicitar os dois enfoques constitutivos e independentes que norteiam os processos avaliativos na prxis: avaliaes com enfoque objetivistas (utilitaristas) e com enfoques subjetivistas (intucionista-pluralistas). No meio desses dois extremos, emergiram modelos que ora tentavam se afastar de um enfoque utilitarista buscando aliar a frieza de indicadores numricos, compreenso e interpretao em relao ao atendimento das necessidades dos beneficirios; e ora aliar ao excesso de indicadores substantivos, indicadores objetivos que possibilitassem comprovar, com rigor cientfico, os benefcios gerados e conseqentemente a sua reutilizao. Assim, independentemente das crenas filosficas e ideolgicas, bem como predilees metodolgicas dos gestores que coordenam tais avaliaes, identificou-se que o objetivo central da avaliao nada mais do que: informar, julgar e atuar (GUBA; LINCON, 1989). Tal objetivo fica evidenciado nas palavras de Ristoff (2000) ao afirmar que a avaliao precisa ser espelho e lmpada, precisa no apenas refletir a realidade, mas ilumin-la, criando enfoques e perspectivas, mostrando relaes e atribuindo significados s aes e aos resultados. Portanto, um processo poltico que deve subsidiar julgamentos adequados, informaes fidedignas e aes efetivas. Finalmente a questo de utilizao de um modelo ou outro est, justamente, centrado nas fontes fisiolgicas e ideolgicas e predilees metodolgicas bem com nas caractersticas de atribuio de valor e que influenciam uma avaliao mais utilitarista ou intuicionistapluralista. Assim, entidades que operam projetos sociais podem, em funo das crenas ideolgicas, utilizarem modelos mais objetivistas sem se esquecer de aliar critrios mais subjetivistas e vice-versa. Em resumo surge uma nova questo: a voz emana somente dos gestores que coordenam o processo de avaliao ou ela emana da participao de todos os 14

agentes sociais envolvidos no projeto? A resposta, com certeza determinar o modelo a ser utilizado. Todas essas questes sugerem a complexidade decorrente dessa temtica e este ensaio no teve a pretenso de tirar concluses definitivas. Destaca que no se trata de seguir uma metodologia especfica ou um conjunto de regras para avaliar os projetos sociais, apoiados por modelos especficos, mas, sim, de colocar em prtica alguns princpios orientadores fundamentais para acompanhar o processo e avaliar de maneira efetiva buscando a construo de uma sociedade mais justa e igualitria, por meio de intervenes sociais, apoiadas por tecnologias que considerem efetivamente o beneficirio de tal interveno. Assim, essa preocupao com os procedimentos metodolgicos e bases ideolgicas do processo avaliativo objetiva dar um norte a futuras pesquisas a serem realizadas e, com isso, facilitar a interveno emprica, por meio da intensificao do processo poltico de avaliar focando na fidedignidade, transparncia, credibilidade e impacto das informaes geradas. Isso possibilitar uma compreenso mais complexa do fenmeno estudado, buscando a efetivao e institucionalizao do processo avaliativo. Referncias ALKIN, M. C. Evaluation theory development. Evaluation comment. Chicago: University of Chicago Press. v. 2, p. 2-7, 1969. BAKER, E. L.; NIEMI, D. School and program evaluation. In Handbook of education psychology. New York: Macmillan, 1996. Disponvel em: http://books.google.com/books?hl=ptBR&lr=&id=tNMTKjUjuHEC&oi=fnd&pg=PA15&dq=%22Handbook+of+education+psych ology%22&ots=24EomkfNyo&sig=cOhbFEBDj-WNeRP-GcMIYLLs3tI#PPA16,M1> Acesso em: 05 de janeiro de 2009. BLOOM, B. S., HASTINGS, J., T.; MADAUS, G. F. Handbook on formative and summative evaluation of student learning. New York: McGraw-Hill, 1971. CARROLL, A. B. A three-dimensional conceptual model of corporate social performance. Georgia: Academy of Management Review, v. 4, p. 497-505, 1979. EISNER, E. W. The use of qualitative forms de evaluation for improving education practice. Chicago: Educational evaluation and policy analyses, 1991. FETTERMAN, D. M., KAFTARIAN, S., and WANDERSMAN, A. Empowerment evaluation: knowledge and tools for self-assessment and accountability. Thousand Oaks, Califrnia: Sage Publications, 1996. FETTERMAN, D. M. Empowerment evaluation and accreditation in higher education. In CHELIMSKY,E.; SHADISH, W. (Eds.), Evaluation for the 21st Century: Thousand Oaks, Califrnia: Sage Publications, p. 381-395, 1997. GEPHART, W. J. The Eight General Research Methodologies: a facet analysis of the research process. Bloomington, In.: Phi Delta Kappa Research Service Center. Bloomington, 1969. GUBA, E. G.; LINCOLN, Y. S. Effective evaluation. San Francisco: Jossey-bass, 1981. GUBA, E. G.; LINCOLN, Y. S. Fourth generation evaluation. Newbury Park CA: Sage Publications, 1989. HAMMOND, R. L. Evaluation at the local level. In. WORTHEN, B.R.; SANDERS, J. R. Education evaluation: theory and practice. Belmont, CA: Wadsworth, 1973. HOUSE, E. R. Philosofy of evaluation. New Directions for program evaluation. n. 19, San Francisco: SAGE, 1983. 15

HUXLEY, E. The flame trees of thika: memories of an African childhood. London: Chatto e Windus, 1982. KENDAL, J.; KNAPP, M.; FORDER, J. Social care and the nonprofit sector in the western developed world. In: POWELL, W. W.; ESTEINBERG, R. The nonprofit sector: a research handbook. 2. ed. Yale: Yale University Press New Haven & London, p. 415 431, 2006. MADAUS, G.F; SCRIVEN, M.; STUFFLEBEAM, D. L. Evaluation models: viewpoints on educational and human services evaluation. Boston: Kluwer-Nijhoff, 1983. MAGER, R. F. Objetivos para o ensino efetivo. Rio de Janeiro: SENAI, 1972. METFESSEL, N. S.; MICHAEL, W. B. A paradgma involving multiple criterion measures for the evaluation of the effectiveness of school programs. In. Education and psychological measurement, Stanford: Sage Plublications, v. 27, p. 195-213, 1967. OWENS, T. R. Education evaluation by adversary proceeding. In House, School evaluation: the politics of program evaluation. Newbury Park, CA: SAGE, 1973. PARLETT, M. HAMILTON, D. Evaluation as illumination: a new approach to the study of innovatory programs. Beverly Hills, CA: Sage Plublications, 1976. PATTON, M. Q. Alternative evaluation research paradigm. Grand Forks: North Dakota Study Group on Evaluation, 1975. PATTON, M. Q. Utilization-focused evaluation. Beverly Hills, CA: Sage Publications, 1986. PAYNE, D. A. Designing educational project and program evaluations: a practical overview based on research and experience. Boston, MA: Kluwer Academic Publishers, 1994. PROVUS, M. Discrepancy evaluation. Berkeley: McCutchan Publishing Corporation, 1973. RAIZEN, S. A.; ROSSI, P. H. Program evaluation in education: when? how? to what ends? Washington, DC: National Academy Press, 1981. RAMOS, A. G. A nova cincia das organizaes: reconceituao da riqueza das naes. 2 ed. Rio de Janeiro: Editora da Fundao Getlio Vargas, 1989. REBOLLO CATALN, M.A. Modelos de evaluacin: concepto y tipos, In: COLS BRAVO, M. P. e REBOLLO CATALN, M. A., Evaluacin de Programas. Sevilha: Editora Kronos, 1993. RISTOFF, D. I. Universidade desconstruda: avaliao institucional e resistncia. Florianpolis: Insular, 2000. SCRIVEN, M. Evaluation perspectives and procedures. In. POPHAN, W. J. Education research. Berkeley, CA: McCutchan, 1974. STAKE, R. E. The countenance of educational evaluation. Teachers College Columbus: Record, 1967. STUFFLEBEAM, D. L. Evaluation as enlightenment for decision making. Columbus: Ohio State University Evaluation Center, 1968. TYLER, R. W. Basic principles of curriculum and curriculum and instruction. Chicago: University of Chicago Press, 1971. WORTHEN, B. R., SANDERS, J. R. e FITZPATRICK, J. L. Avaliao de programas: concepes prticas. So Paulo: Edusp, 2004. W. K. KELLOGG FOUNDATION: Evaluation Handbook: philosophy and expectations. Michigan: Battle Creek, 1998. Disponvel em: <http://www.wkkf.org/Pubs/Tools/Evaluation/Pub770.pdf>. Acesso em: 07 de janeiro de 2009.

16