102

ARTIGO ARTICLE

A elaborao participativa de indicadores para a avaliao em sade mental Participatory development of indicators for assessing mental health La elaboracin participativa de indicadores para la evaluacin en salud mental

Juarez Pereira Furtado 1 Rosana Teresa Onocko-Campos Maria Ins Badar Moreira 2 Thiago Lavras Trap 1

Abstract
Departamento de Sade, Educao Sociedade, Universidade Federal de So Paulo, Santos, Brasil. 2 Faculdade de Cincias Mdicas, Universidade Estadual de Campinas, Campinas, Brasil.
1

Resumo
A insero de diferentes grupos de interesses em pesquisas avaliativas, genericamente referida como avaliao participativa frequentemente citada na literatura especializada. No entanto, faltam discusses de base emprica sobre os modos de operar e, sobretudo, qualificar a referida participao. No presente artigo, realizamos discusso sobre a elaborao participativa de indicadores em sade mental, dirigidos aos Centros de Ateno Psicossocial (CAPS). O processo contou com a participao de 58 trabalhadores e gestores de 26 CAPS por meio de encontros peridicos ao longo de um ano. Tais encontros foram intermediados por um curso sobre avaliao em sade mental e oficinas em subgrupos, apoiadas por facilitadores ao longo do ano. A criao de espaos para a qualificao da participao, por meio do curso e outros trabalhos coletivos, mostrou-se eficaz na garantia de efetiva participao nos vrios nveis do processo, como definio de questes, pr-testes dos indicadores e anlise dos dados, alm de estimular apropriao do produto final pelos participantes. Sade Mental; Indicadores Bsicos de Sude; Avaliao em Sade

Correspondncia R. T. Onocko-Campos Departamento de Sade Coletiva, Faculdade de Cincias Mdicas, Universidade Estadual de Campinas. Rua Tesslia Vieira de Camargo 126, Campinas, SP 13083-887, Brasil. rosana.onocko@pq.cnpq.br

The specialized literature frequently cites the inclusion of different interest groups in evaluative research, referred to generically as participatory evaluation. However, there is a lack of an empirical basis for discussion on ways to operate and (especially) qualify such participation. This article discusses the participatory development of mental health indicators for use in the Centers for Psychosocial Care (CAPS) in Brazil. The process included participation by 58 health workers and managers from 26 CAPS through regular meetings over a year. The meetings were intermediated by a course on mental health evaluation and workshops in subgroups, supported by facilitators throughout the year. The creation of spaces for the qualification of their participation, through the course and other collective activities, proved effective for guaranteeing participation at various levels in the process (such as definition of issues, pre-test indicators, and data analysis) as well as for stimulating ownership of the final product by the participants. Mental Health; Health Status Indicators; Health Evaluation

Cad. Sade Pblica, Rio de Janeiro, 29(1):102-110, jan, 2013

INDICADORES EM SADE MENTAL

103

O problema
O recente affaire em torno do ndice de Desempenho do Sistema nico de Sade (IDSUS) evidencia o quo controversas podem ser as repercusses de iniciativas destinadas a constituir parmetros para valorar o que vem sendo feito em nosso SUS. Nesse caso, mltiplas vozes se levantaram para colocar em questo aspectos metodolgicos ou at mesmo para questionar a legitimidade da proposta como um todo 1. A avaliao em sade mental pode encontrar os mesmos obstculos e questionamentos que iniciativas similares vm encontrando no setor sade em geral, acrescido de algumas peculiaridades. A tradio de indicadores em sade mental mais restrita quando comparada s outras reas, como a ateno bsica e a ateno hospitalar. Some-se a isso o carter fortemente tico e poltico da reforma psiquitrica e a consequente dificuldade em estabelecer consensos em torno de alguns parmetros e indicadores mnimos dentre atores sociais inseridos em plos distintos. Outra explicao a ser agregada para explicar a menor permeabilidade seria proveniente do prprio objeto de que se ocupam os trabalhadores da sade mental, constitudo em boa parte pelas questes subjetivas das clientelas que acompanham. Envolvidos com os esforos de relativizao e de compreenso do particular e do singular, os trabalhadores inseridos nessa rea podem apresentar dificuldades de diversas ordens s tentativas de objetivao e sistematizao requerida por um processo avaliativo, seja ele baseado em referencial qualitativo ou quantitativo. A despeito disso, vimos desenvolvendo esforos voltados sistematizao da avaliao em torno dos equipamentos que constituem o novo modelo de ateno em sade mental no Brasil, como os Centros de Ateno Psicossocial (CAPS) 2,3,4, Servios Residenciais Teraputicos 5,6, ateno primria sade 7 e uso de medicao psiquitrica 8. Por meio de pesquisa financiada pela Fundao de Apoio Pesquisa do Estado de So Paulo (FAPESP), edital PP-SUS, e Aliana de Pesquisa Comunidade-Universidade (Aruc-Canad), aprovada pelo comit de tica da Universidade Federal de So Paulo (UNIFESP; CEP 0299/11), desenvolvemos extenso trabalho junto a diversos profissionais da quase totalidade dos CAPS do tipo III do Estado de So Paulo (CAPS III), servios comunitrios de ateno em sade mental com funcionamento diuturno, 24 horas por dia, sete dias por semana, responsveis inclusive pelo acompanhamento intensivo de eventuais pero-

dos de crise de sua clientela contando com leitos para seu acolhimento noturno. Nossa investigao teve como objetivo desenvolver, de maneira participativa, um sistema de avaliao para esses CAPS (incluindo aes ligadas assistncia deficincia intelectual), baseado em indicadores. Outro propsito importante foi o de constituir massa crtica nesses servios, de modo a perenizar prticas avaliativas. Dessa forma, pretendemos por meio desse artigo, apresentar e discutir as estratgias utilizadas para o enfrentamento dos desafios ao desenvolvimento de instrumental avaliativo dessa rea da sade pouco familiarizada com a temtica. Somem-se a isso, nossos propsitos de dotar o processo de carter participativo e, sobretudo, o nosso intento em qualificar essa participao, oferecendo aos trabalhadores oportunidades para o domnio de conceitos e bases para a realizao de trocas o menos verticalizadas possvel e de espaos de encontro e tempo suficientes para a efetivao de colaboraes. Discutiremos como a insero de trabalhadores na maior parte do processo possibilitou atenuar resistncias e dificuldades insero de perguntas avaliativas, catalisando o desenvolvimento de indicadores de avaliao para esses importantes servios de assistncia em sade mental do SUS.

Participao: antecedentes
A noo de participao polissmica e envolve diferentes perspectivas, com insero em campos distintos, como o da poltica e da produo de conhecimentos, dentre outros possveis. Em nosso pas, a participao no mbito propriamente poltico tem se ampliado desde a Constituio Federal de 1988, sobretudo no que concerne ao vnculo entre participao e polticas pblicas, destacando-se no setor sade 9. O iderio participativo, surgido a partir dos anos 1960 sobre a noo de participao e emancipao popular, assumiu contornos mais amplos e fluidos nas disputas travadas por ocasio da constituinte. Nesse momento, os atores engajados com a participao popular reelaboraram seu discurso absorvendo contedos liberal-democrticos, surgindo da a noo de participao cidad, hoje recorrente 10. Inserida principalmente nos conselhos de vrios nveis (locais, municipais, estaduais e federais), a relao entre polticas pblicas e participao vem se institucionalizando no Brasil 11. Conforme afirmamos em outro momento 12 ainda que a participao popular constitua elemento decisivo para evitar a degradao e manipulao das iniciativas oriundas de polticas p-

Cad. Sade Pblica, Rio de Janeiro, 29(1):102-110, jan, 2013

104

Furtado JP et al.

blicas, outras formas de participao necessitam ser criadas, direcionadas aos processos de produo de conhecimento e avaliao dessas polticas. Carecemos ampliar a efetiva participao dos agentes que conduzem boa parte dos programas e servios ligados s polticas pblicas, estabelecendo novos espaos alm dos conselhos. Espaos de participao que tenham como ponto de partida o conhecimento a ser gerado pela avaliao do prprio servio ou programa a que os participantes estejam de alguma forma ligados, seja como trabalhadores, gestores, usurios ou familiares, dentre outros. Contamos com tradies importantes no compartilhamento entre especialistas e no especialistas na pesquisa em geral, como na pesquisa-ao e pesquisa participante 13,14,15. Na pesquisa avaliativa em particular, tem havido crescente interesse pela insero de no especialistas em processos de avaliao 16,17,18,19, comumente chamados de grupos de interesse ou steakholders. Alis, convergncias entre pesquisa-ao e avaliao participativa, como o envolvimento consistente de agentes na busca de conhecimento e solues para os seus problemas, instaurao de processos de planejar-agirobservar-refletir foram apontados por King 20. Estreitando o foco em nosso objeto, poderamos afirmar que a avaliao participativa significa a entrada de outros agentes alm de avaliadores no processo de avaliao 21, como gestores, trabalhadores do programa ou servio, parceiros de outros servios e setores, usurios e mesmo segmentos mais distantes como clientelas no abordadas ou mal atendidas pelo objeto avaliado. Nos Estados Unidos, podemos identificar as origens da avaliao participativa na tentativa de superar avaliaes inflexveis, centradas em averiguar o quanto os objetivos iniciais foram ou no atingidos. Os trabalhos de Stake 22 na rea da avaliao escolar, no final dos anos 1960 e incio dos 1970, lanaram bases para uma avaliao mais voltada s atividades propriamente ditas do programa do que s suas intenes iniciais, de modo a responder s necessidades de informaes dos interessados, aumentando a compreenso da entidade avaliada por parte de seu pblico 23. Mais frente, Guba & Lincoln 16 potencializaram o desenvolvimento dessas avaliaes permeveis, centradas nos participantes, encorajando avaliadores a envolverem diversos grupos de interesses (alm de gestores e financiadores) no planejamento e conduo das mesmas, de modo a obter as respostas que os chamados stakeholders desejavam sobre um programa ou servio. No Brasil, influenciado pelas produes da Amrica do Norte e tambm pelas tradies sul-americanas,

tem havido discusses e prticas de avaliao participativa 18,24,25,26. Porm, o relativamente amplo consenso, atualmente existente, no que concerne ao compartilhamento de parte ou mesmo de todo o processo de pesquisa avaliativa, torna fundamental qualificar melhor o que se tem caracterizado como participao. Afinal, sob o significante participao podemos encontrar muitas e distintas prticas, que oscilam desde perspectivas pragmticas at aquelas emancipadoras, passando por outras voltadas abordagem de grupos multifacetados e plurais 27, alm de outras utilizadas equivocadamente ou mesmo de maneira distorcida 17. Participao: amplitude e profundidade Para Baron & Monnier 28, os processos participativos podem ser diferenciados segundo duas dimenses: sua amplitude e profundidade. Por amplitude, entende-se a diversidade de atores sociais envolvidos, que pode ir desde um mnimo esperado (gestores e trabalhadores diretos) at representantes da sociedade civil mais geral. Por profundidade, entende-se o grau de implicao dos grupos de interesses nas diferentes fases do processo, que vai da definio das questes ao julgamento, passando pela coleta e anlise dos dados. Podemos analisar distintos tipos de avaliao, situando-as em relao amplitude e profundidade da participao dos grupos de interesses e a qualidade e intensidade do envolvimento dos participantes. A profundidade da participao se torna mais forte medida que os envolvidos opinam e interferem nas fases tradicionalmente refratrias incluso de no especialistas, como a anlise de dados e a elaborao de recomendaes 29. Poderamos dizer que a amplitude tem a ver com a diversidade de agentes envolvidos e a profundidade refere-se potencial capacidade de interao e interveno desses mesmos agentes nos vrios aspectos do processo avaliativo (formulao de questes, definio do instrumental, anlise etc.). importante ressaltar que a amplitude de grupos de interesse participantes baseia-se no tipo de representao pretendida: utilizadores potenciais (e mais interessados) ou diversidade de pontos de vista (e representatividade democrtica). Em uma abordagem preocupada com a utilizao da avaliao, no sentido cunhado por Patton 30 os critrios para participar favorecem os agentes com mais interesse e governabilidade para utilizarem os resultados da avaliao. Por outro lado, a abordagem pluralista 16 favorece os princpios de diversidade de perspectivas e representatividade democrtica na composio dos grupos participantes. Por seu turno, a profundidade pode ser qualificada pelo

Cad. Sade Pblica, Rio de Janeiro, 29(1):102-110, jan, 2013

INDICADORES EM SADE MENTAL

105

grau em que esses mesmos grupos interagem e interferem em aspectos como controle de decises tcnicas, definies de questes, anlise dos dados, dentre outros 27. Do ponto de vista epistemolgico, nossa opo por um caminho participativo tem origem na considerao do objeto da avaliao como fruto de exerccio dialgico no qual se negociam objetivaes sempre provisrias 31 sendo os agentes considerados conhecedores por excelncia da realidade estudada. Em nosso caso, privilegiamos o grupo de interesse detentor de maiores chances de fazer uso do conjunto de indicadores que seriam elaborados. Focalizamos a participao nos trabalhadores da assistncia e gerentes dos CAPS, considerando a posio privilegiada dos mesmos na interface entre os usurios e gestores, bem como sua localizao entre proposies e efetiva ao nos equipamentos de sade mental no Brasil. Alm disso, o intento de construir indicadores que respondessem s reais necessidades do servio exigia o compartilhamento de saberes do grupo responsvel pela conduo cotidiana dos CAPS. Se, por um lado, perdemos em representatividade, por outro, ganhamos em especificidade sobre temticas que atravessam o servio, como gesto, conduo de grupos, elaborao de projetos teraputicos, alm de outros temas no pensados, que foram levantados posteriormente pelos participantes. No que tange profundidade, devemos ressaltar que o percurso aqui analisado foi principalmente de elaborao conjunta de indicadores para futura utilizao pelos CAPS envolvidos. Nesse sentido, inserimos a participao em fase normalmente refratria incluso de no especialistas em avaliao: a definio e elaborao dos indicadores. Percurso, por isso mesmo, voltado definio dos aspectos a serem avaliados (as questes), elaborao e teste de verses iniciais dos indicadores ao longo de um ano, possibilitando significativa e profunda participao de dezenas de profissionais dos servios juntamente com a equipe de pesquisadores avaliadores. No entanto, tal nvel de aprofundamento requer a constituio de um espao de participao que v alm dos comits de acompanhamento normalmente constitudos para esse fim. A grande questo foi elaborar um conjunto de indicadores para acompanhamento e avaliao dos CAPS III em estreita colaborao com os responsveis pela conduo diria, superando vieses comuns a processos participativos, como o desnvel inicial entre os grupos, a utilizao dos colaboradores apenas como fornecedores de informaes, dentre outros 32,33,34. Por isso, optamos pelo oferecimento de um espao de trocas e discusses especialmente estru-

turado para a elaborao de indicadores. Tal espao deveria, inclusive, possibilitar intervenes no previstas a partir de subsdios gerados pela confrontao dos indicadores iniciais com a realidade no interior dos servios, alm de oferecer tempo e espao para encontros sistemticos que viabilizassem de fato a colaborao. Para isso, formulamos a proposta de um curso de avaliao em sade mental e de Grupos de Apreciao Partilhada (GAPs) como mediadores privilegiados da participao proposta, como discutiremos a seguir. Qualificando e aprofundando a participao: o curso e os GAPs De modo a potencializar os efeitos do prprio processo avaliativo, referido na literatura como process use 35, o projeto foi apresentado aos diversos municpios e servios, aberta inscrio para trabalhadores e realizado processo seletivo pelos pesquisadores, que levaram em conta disponibilidade de tempo e potencial capacidade em perenizar as discusses nos servios. Alm de trabalhadores, estimulamos a participao dos gerentes dos CAPS e de articuladores de sade mental dos Departamentos Regionais de Sade (DRS) da Secretaria Estadual de Sade de So Paulo. Ao final, participaram 58 trabalhadores de 25 dos 26 CAPS III paulistas existentes poca, mais trs articuladores de sade mental de diferentes DRS. Esse coletivo constituiu duas turmas, sendo que metade acompanhou o curso na Faculdade de Medicina da Universidade Estadual de Campinas (FCMUNICAMP) e a outra metade na UNIFESP , campus Baixada Santista. O critrio para seguir o curso em uma ou outra universidade foi o de proximidade geogrfica entre o CAPS e o local dos encontros. O curso teve durao de 11 meses, totalizando 120horas/aulas. No primeiro ms, os encontros foram semanais, tornando-se quinzenais ao longo do primeiro semestre e mensais no segundo e ltimo semestre. O curso foi estruturado de modo a garantir que os principais temas que envolvem o cotidiano, a gesto e a clnica dos CAPS III fossem abordados, tendo como referencial um leque de indicadores, dispositivos e proposies de boas prticas oriundos de pesquisa avaliativa de CAPS III do Municpio de Campinas, realizada anteriormente 2. Foram abordados, respectivamente em cada um dos 14 encontros, os seguintes temas: (1) avaliao de programas e servios em sade; (2) implicaes subjetivas e institucionais da avaliao; (3) avaliao e participao; (4) a pesquisa avaliativa da rede de CAPS III de Campinas; (5) a elaborao e uso de indicadores em sade; (6) projetos teraputicos individuais; (7) deficincia intelectual; (8) a gesto dos CAPS III; (9) a formao para o trabalho em sade mental; (10) ateno

Cad. Sade Pblica, Rio de Janeiro, 29(1):102-110, jan, 2013

106

Furtado JP et al.

crise; (11) o trabalho com grupos nos CAPS; (12) reabilitao psicossocial e assistncia no territrio; (13) o uso de medicao psiquitrica; (14) moradia para portadores de transtorno mental grave. Tais temas eram abordados de maneira coletiva, pela manh e, tarde, aprofundava-se a discusso e elaboravam-se indicadores em subgrupos, totalizando 14 GAPs. Ao final, houve dois encontros aglutinando as duas turmas de alunos para a elaborao de uma proposta conjunta e final de indicadores. Os GAPs surgem da constatao de que um programa ou servio no pode ser reduzido aos documentos escritos ou ao que foi preconizado por aqueles que os conceberam ou gerenciam, mas que outras fontes devem ser consideradas, incluindo a palavra que circula de maneira informal, no deixando rastro definido 36. Nesse sentido e com vistas a consolidar a ao de organismos comunitrios e seus trabalhadores que Jalbert et al. 37 propuseram e experimentaram o que chamaram de GAP (Groupes DApprciation Partage), de modo a permitir a consolidao do sentimento de participao e assegurando, por sua vez, a expresso do maior nmero possvel de membros em torno da reflexo e avaliao da ao empreendida e a especial considerao da palavra e dos afetos relativos essa mesma ao. Trata-se de, por meio dos GAPs, de levar diferentes atores envolvidos com o programa ou servio (trabalhadores, voluntrios, usurios etc.) a partilharem a anlise da ao que realizam no servio, contribuindo assim com a construo e aprimoramento dessa ao coletiva. Parece-nos uma forma original para fomentar a reflexo dos organismos e sua auto-avaliao 36 (p. 11). Concebidos para desenvolver processos autoavaliativos em servios comunitrios de AIDS na provncia de Quebec, Canad, e utilizados no Brasil no interior da Amaznia por Laperrire 38 os GAPs nos remetem, numa primeira aproximao, aos grupos focais. No entanto, diferem radicalmente desses ltimos ao buscarem relaes horizontalizadas e bidirecionais e de transferncia do controle do grupo para si prprio. Alm disso, os GAPs permitem desenvolver julgamentos de iniciativas, servios e programas e formular eventuais ajustes nos mesmos 37. Os GAPs se fundam na ideia de que a avaliao deve ser interna (realizada pelos atores diretamente envolvidos) e contnua, constituindo tentativa de melhor enraizar as prticas avaliativas nos servios. Essa estratgia possibilita superar limitaes de pesquisas avaliativas tradicionais, nas quais comum ouvirmos perguntas oriundas dos avaliadores do tipo: O que vocs desejam saber?, Este caminho responderia s questes de vocs?, ou da

parte dos trabalhadores e outros atores: Quando teremos um retorno?, Quando teremos acesso ao relatrio final?. Tais questes ilustram posicionamentos estanques e estereotipados tanto da parte dos pesquisadores quanto dos outros agentes envolvidos, com baixa interao e ignorando que justamente da interseco entre os dois ou mais lados que poder surgir mais conhecimento e efetiva avaliao de um dado programa ou servio. Em nossa pesquisa, os GAPs foram constitudos por aproximadamente dez alunos do curso (compostos por trabalhadores e gerentes de distintos servios e municpios) acompanhados ao longo de todo o ano por um mesmo apoiador e um relator, ambos integrantes do grupo de pesquisa. Aps exposies dialogadas pela manh, conduzidas por convidados de reconhecido domnio no tema, eram realizados os GAPs no perodo da tarde. Desse modo, por exemplo, aps a discusso realizada pela manh sobre ateno crise, aprofundava-se o tema nos GAPs com base nas experincias cotidianas dos alunos e fazia-se o exerccio de formulao de indicadores sobre esse mesmo tema. Os perodos de disperso eram essencialmente caracterizados pelo teste dos indicadores propostos nos GAPs, coleta de dados, informaes e outros subsdios ao prximo encontro, alm do compartilhamento das discusses feitas no curso junto s respectivas equipes dos alunos. Em nosso processo, os GAPs ocuparam centralidade, na medida em que acentuavam o espao de participao j presente nas atividades da manh, durante as exposies dialogadas. O processo de discusso era registrado, formando importante documentao da investigao. Os apoiadores tinham como tarefa estimular as trocas, lembrar as regras contratadas e assegurar coerncia e articulao entre o grupo e sua tarefa. Alm disso, apoiador e grupo deveriam discutir e articular suas produes s outras geradas nos outros GAPs transformando-o em um potente dispositivo de consenso.

Resultados e discusso
A ideia de participao frequentemente preconizada, mas h que se considerar alguns desafios e entraves em sua prtica efetiva. Supor que trabalhadores, grupos de interesses ou atores sociais estejam vidos por participarem, sendo suficiente um convite por parte dos pesquisadores, pode ser um equvoco. O convite participao, inicialmente formulado pelos pesquisadores, disputar espao na agenda dos convidados e dever realmente atrair o interesse, uma vez que exigir importantes esforos e trabalhos ao longo do tempo.

Cad. Sade Pblica, Rio de Janeiro, 29(1):102-110, jan, 2013

INDICADORES EM SADE MENTAL

107

Nesse sentido, a proposta do curso se mostrou eficaz se considerados os critrios de efetiva participao no curso, empenho na realizao das tarefas e produo final de um conjunto de indicadores. A frequncia mdia dos alunos aos encontros do curso foi de 90% do total e, alm disso, o levantamento de dados sobre os servios, teste dos indicadores e outras tarefas da fase de disperso foram feitos a contento e nos prazos adequados, segundo os apoiadores dos GAPs. Avaliaes informais (no contato a cada encontro) e formais (por meio de respostas a questionrio semiestruturado aplicado no transcorrer do processo) apontaram elevado grau de satisfao com o contedo e forma do curso. Finalmente, a produo de 22 indicadores sobre os temas atendimento crise, atendimento em grupos, aes no territrio, gesto dos CAPS, projeto teraputico individual, deficincia intelectual, uso de medicao psiquitrica e formao continuada, de maneira articulada e consensual, atestam a efetividade da proposta na consecuo dos objetivos iniciais. Ao ofertar a possibilidade de aquisio de novos conhecimentos sistematizados na forma de curso certificado por duas universidades, pudemos iniciar os contatos com uma proposta a que os trabalhadores esto familiarizados: a educao permanente em sade, alm de fortalecer e articular a trade acadmica ensino-pesquisa-extenso. Atrelado a isso, dispnhamos de recursos para custear o deslocamento dos alunos at o local de realizao dos encontros. Embora cientes do projeto como um todo, desde o incio, os alunos inicialmente assimilaram somente a proposta de curso e s mais tarde, medida que se estabelecia maior confiana entre membros dos servios e da academia, que a participao, entendida como efetiva troca entre os vrios grupos, ocorreu de fato. Ou seja, alm de disputar espao nas agendas, o convite participao deve enfrentar resistncias justificveis, dadas a restrita tradio dessa prtica em nosso pas e a desconfiana que o termo avaliao frequentemente suscita 31. Resistncia cuja superao exige tal extenso e intensidade possveis apenas por meio de vrios e longos encontros que o formato de curso nos possibilitou. Como afirmado por Laperrire et al. 39: A viso de participao baseada em contrato formal supe o estabelecimento de confiana pelo simples fato de que os parceiros respondam algumas questes. Porm, a construo de parceria inter-organizacional exige mais do que a formulao de um contrato. A solidariedade exige confiana oriunda da vivncia do compartilhamento (p. 14). Outra questo a ser considerada que inserir distintos grupos de interesse significa ampliar o cronograma de pesquisa, aumentar os inves-

timentos e reduzir o controle sobre muitos dos aspectos envolvidos. Compreendida a democracia como convvio das diferenas e no como homogeneizao, a decorrncia inevitvel e mesmo requerida pela via da participao o incremento da complexidade e do impondervel. Por essa razo, temticas no previstas foram inseridas no curso, novos indicadores foram propostos e alguns suprimidos. Favorecer a explicitao de diferenas, administrar os efeitos desse afloramento sem coibi-lo ou minimiz-lo, mantendo acesa a chama do interesse e efetiva participao de grupos distintos (em intensidade e qualidade) demandou grande esforo. Sendo assim, tempo e recursos podero ser requeridos em quantidades extras, certamente maiores do que nas avaliaes convencionais para que a participao possa ser levada a bom termo 6. O propsito inicial de que os participantes constitussem pontes entre o curso e suas equipes de origem foi atingido parcialmente. Por meio de questes sobre o curso, respondidas pelos participantes ao final do processo, pudemos constatar que a maior dentre as dificuldades encontradas pelos mesmos foi a interface com a equipe, sendo a maioria justificada por falta de tempo, ilustrada pela excessiva carga de pautas a serem processadas nos respectivos servios. Alm disso, os participantes expuseram situaes de fragilidade e desmotivao das equipes que no partilhavam dos encaminhamentos e tarefas advindos das reflexes feitas durante o curso. Por outro lado, tambm do ponto de vista dos participantes, os GAPs foram enriquecedores ao promover o encontro de profissionais e o dilogo entre realidades to diferentes dos vrios servios. O modo de debater nos GAPs trouxe tona a necessidade de realizar e sistematizar encontros entre as equipes nos quais se possa analisar e constituir novos horizontes para os CAPS III a partir das vivncias de problemas mais ou menos comuns. Para os trabalhadores, pensar sobre as questes polticas que esto envolvidas e sustentam a prtica implicou sair de uma concepo mistificadora e idealizada de CAPS. De modo geral, os trabalhadores relataram ganhos ao participar destes encontros, por olhar para os servios da perspectiva da reflexo e avaliao. Para os participantes, os debates nos GAPs se tornaram espao para redirecionamento de suas prticas. Esses relatos apontaram tambm para uma nova posio dos envolvidos, que reconheceram a necessidade de transformao. Houve relatos de angstia e desconforto, pois os questionamentos sobre o cotidiano do trabalho se estenderam para outros sobre a prpria reforma psiquitrica. O que pudemos verificar, ento, foi que a angstia paralisante inicial de insatisfao com o que estava

Cad. Sade Pblica, Rio de Janeiro, 29(1):102-110, jan, 2013

108

Furtado JP et al.

sendo produzido nos servios, no s foi compartilhada, como tambm pode ser transformada em busca de sadas. Movimentos de mudana foram relatados por todos os participantes. E isso se deu em parte pela aproximao com os temas debatidos nas aulas tericas, que serviram para dar a necessria fundamentao (e s vezes at nomear) o que estavam vivenciando no dia-a-dia do trabalho. Assim, os participantes puderam produzir aproximao com o universo acadmico e utiliz-la para superar queixas e lamrias sobre os servios, assumindo proposies. Podemos ver que o tipo de transformaes que se escondem sob a definio de participao requer espao, cuidado e continuidade, condio necessria para que a mudana de si ocorra 40. Propiciando um espao contnuo e confivel, nossos GAPs pareceram ter permitido essa transformao. Cousins 41, comparando perspectivas de dezenas de avaliadores e no avaliadores, que participaram de um projeto avaliativo participativo de envergadura, mostrou significativa convergncia entre os dois grupos sobre a importncia de iniciativas colaborativas para maior conhecimento e utilizao da avaliao. Nesse sentido, pudemos constatar em nosso estudo grande convergncia entre os membros da academia e aqueles oriundos dos CAPS, sobretudo em relao ao aumento de conhecimento sobre os servios, mudana de posturas em relao avaliao e percepo de situaes cotidianas que requerem mudanas importantes. Situao provavelmente decorrente da insero, em etapas precoces da avaliao, conforme preconizado por Bilodeau et al. 21 e Jacob & Ouvrard 33, uma vez que os trabalhadores puderam definir questes e colaborar na elaborao dos instrumentos e indicadores, algo ainda pouco comum em processos ditos participativos 23. Por outro lado, a circunscrio dos participantes aos trabalhadores e gerentes dos CAPS constitui limitao do presente estudo, dada a mirade de questes e enfoques potenciais da ampliao da extenso dos tipos de participantes, conforme atestam os trabalhos de Ziga & Luly 36 e Laperrire et al. 39. Devemos ressaltar que o trabalho desenvolvido constituiu uma primeira etapa e pouco usual do que vir a ser uma avaliao participativa. Tudo o que vimos discutindo e apresentando at o momento constituiu o processo de construo de instrumentos, no caso um conjunto de indicadores, a serem futuramente aplicados para a avaliao dos CAPS III. Futuras avaliaes a serem realizadas, utilizando-se o conjunto de vinte e dois indicadores propostos, podero contar com trabalhadores familiarizados com a temtica da avaliao e com os prprios indicadores, dos quais mais

que fornecedores de informaes, constituramse coautores dos mesmos. Situao que permitir ampliar a participao no conjunto de aspectos que compem uma avaliao participativa, desde a definio de questes, a produo de dados, o estabelecimento de critrios, a construo de julgamento e as tomadas de decises, conforme propem Bilodeau et al. 21 como etapas estratgicas da avaliao.

Concluso
A criao de uma instncia participativa, constituda em torno da proposta de curso de avaliao em sade mental, permitiu superar as limitaes apresentadas pelos Comits de Acompanhamento da Pesquisa, propiciando espao simultaneamente para o aprendizado, domnio de conceitos bsicos, trocas entre os participantes, elaborao dos indicadores, confrontao dos mesmos com a realidade dos servios e definio coletiva de 22 indicadores direcionados a diversas reas e aspectos constituintes dos CAPS III envolvidos no processo. Vale ressaltar que o processo parece ter possibilitado deflagrar diferentes modos de operar clinicamente e de se fazer gesto. A homogeneidade dos participantes esteve somente na figura que representavam (CAPS III), amide o que se notou foi uma complexa diferenciao entre conceitos e prticas que puderam ser discutidos e alinhados, mas sem suprimir sua singularidade. A possibilidade de aprender ativamente, com a prtica e o saber alheio, s se tornou possvel em espao democrtico e de relaes horizontais. Em um mundo caracterizado pela instantaneidade, h que se cuidar do provimento de tempo e espao suficientes para o desenvolvimento efetivo da participao, aqui representado pela proposta de um curso como intermediao e, dentro dele, dos GAPs. As diferenas de interesses, expectativas e saberes exigem recursos condizentes para que a colaborao e participao superem a condio de prescrio politicamente correta ou de novos nomes para velhas prticas.

Cad. Sade Pblica, Rio de Janeiro, 29(1):102-110, jan, 2013

INDICADORES EM SADE MENTAL

109

Resumen
La insercin de diferentes grupos de intereses en estudios de evaluacin, genricamente denominada evaluacin participativa, se cita frecuentemente en la literatura especializada. No obstante, faltan discusiones de base emprica sobre los modos de operar y, sobre todo, de calificar la referida participacin. En el presente artculo, realizamos una discusin sobre la elaboracin participativa de indicadores en salud mental, dirigidos a los Centros de Atencin Psicosocial (CAPS). El proceso cont con la participacin de 58 trabajadores y gestores de 26 CAPS, mediante encuentros peridicos a lo largo de un ao. Tales encuentros fueron realizados tras asistir a un curso sobre evaluacin en salud mental y talleres en subgrupos, organizados por personal de apoyo especializado, a lo largo del ao. La creacin de espacios para la calificacin de la participacin, mediante el curso y otros trabajos colectivos, se mostr eficaz para garantizar la participacin efectiva en los diferentes niveles del proceso como: la definicin de preguntas, pre-testes de los indicadores y anlisis de los datos, adems de estimular la apropiacin por parte de los participantes del producto final. Salud Mental; Indicadores de Salud; Evaluacin en Salud

Colaboradores
R. T. Onocko-Campos e J. P . Furtado participaram do desenho da pesquisa, da confeco do artigo e de sua reviso final. M. I. B. Moreira e T. L. Trap colaboraram em todas as fases de confeco do presente artigo.

Agradecimentos
Os autores agradecem a todos os trabalhadores e gestores que participaram da presente pesquisa e compartilharam generosamente conosco suas inquietaes. Fundao de Amparo Pesquisa do Estado de So Paulo (FAPESP) e International Development Research Centre (IDRC) do Canad, pelo financiamento.

Referncias
1. Centro Brasileiro de Estudos de Sade. IDSUS nmeros sem epidemiologia: como prestar um desservio ao SUS e aos bons gestores. http:// www.cebes.org.br/verBlog.asp?idConteudo=2370 &idSubCategoria=56 (acessado em 15/Mar/2012). Onocko-Campos R, Furtado JP , Passos E, Ferrer AL, Miranda L, Gama CAP . Avaliao da rede de Centros de Ateno Psicossocial: entre a sade coletiva e a sade mental. Rev Sade Pblica 2009; 43 Suppl 1:16-22. Onocko-Campos R, Furtado JP , Passos E, Benevides R. Pesquisa avaliativa em sade mental: desenho participativo e efeitos da narratividade. So Paulo: Editora Hucitec; 2008. Onocko-Campos R, Furtado JP . Entre a sade coletiva e sade mental: um instrumental metodolgico para a avaliao da rede de Centros de Ateno Psicossocial (CAPS) do SUS. Cad Sade Pblica 2006; 22:1053-62. Furtado JP, Nakamura E, Generoso C, Guerra A, Campos FB, Tugny A. Insero social e habitao: um caminho para a avaliao da situao de moradia de portadores de transtorno mental grave no Brasil. Interface Comun Sade Educ 2010; 14: 389-400. 6. Furtado JP . Avaliao da situao atual dos servios residenciais teraputicos existentes no SUS. Cinc Sade Coletiva 2006; 11:785-95. 7. Onocko-Campos R, Campos GWS, Ferrer AL, Corra CRS, Madureira PR, Gama CAP, et al. Avaliao de estratgias inovadoras na organizao da ateno primria sade. Rev Sade Pblica 2012; 46:43-50. 8. Onocko-Campos R. A avaliao do uso de psicotrpicos no programa de sade da famlia no Municpio de Campinas/SP . Campinas: Universidade Estadual de Campinas; 2012. 9. Avritzer L. A qualidade da democracia e a questo da efetividade da participao: mapeando o debate. In: Pires RR, organizador. Efetividade das instituies participativas no Brasil: estratgias de avaliao. Braslia: Instituto de Pesquisa Econmica Aplicada; 2011. p. 13-28. 10. Lavalle AG. Participao: valor, utilidade, efeitos e causa. In: Pires RR, organizador. Efetividade das instituies participativas no Brasil: estratgias de avaliao. Braslia: Instituto de Pesquisa Econmica Aplicada; 2011. p. 33-42.

2.

3.

4.

5.

Cad. Sade Pblica, Rio de Janeiro, 29(1):102-110, jan, 2013

110

Furtado JP et al.

11. Pires RR, organizador. Efetividade das instituies participativas no Brasil: estratgias de avaliao. Braslia: Instituto de Pesquisa Econmica Aplicada; 2011. 12. Furtado JP , Onocko-Campos R. Participao, produo de conhecimento e pesquisa avaliativa: a insero de diferentes atores em uma investigao em sade mental. Cad Sade Pblica 2008; 24:2671-80. 13. Brando C, Streck DR. Pesquisa participante. Aparecida: Editora Idias & Letras; 2006. 14. Thiollent M. Metodologia da pesquisa-ao. So Paulo: Cortez Editora; 2004. 15. Brose M. Metodologia participativa. Porto Alegre: Tomo Editorial; 2005. 16. Guba EG, Lincoln YS. Avaliao de quarta gerao. Campinas: Editora da Unicamp; 2011. 17. Furtado JP . Avaliao participativa. In: Otero MR, organizador. Contexto e prtica da avaliao de iniciativas sociais no Brasil: temas atuais. So Paulo: Editora Peirpolis; 2012. p. 21-41. 18. Bosi MLM, Mercado F, organizadores. Avaliao qualitativa de programas de sade: enfoques emergentes. Petrpolis: Editora Vozes; 2006. 19. Minayo MCS, Assis SG, Souza ER. Avaliao por triangulao de mtodos: abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz; 2005. 20. King JA. Participatory evaluation. In: Mathison S, editor. Encylopedia of evaluation. Thousand Oaks: Sage Publications; 2005. p. 291-4. 21. Bilodeau A, Allard D, Gendron S, Potvin L. Les dispositifs de la participation aux tapes stratgiques de lvaluation. Canadian Journal of Program Evaluation 2006; 21:257-82. 22. Stake RE. The countenance of educational evaluation. Teach Coll Rec 1967; 68:523-40. 23. Worthen BR, Sanders JR, Fitzpatrick JL. Avaliao de programas: concepes e prticas. So Paulo: Edusp; 2004. 24. Onocko-Campos R, Furtado JP . Os desafios da avaliao de programas e servios em sade. Campinas: Editora da Unicamp; 2011. 25. Bosi MLM, Uchimura KY. Avaliao da qualidade ou avaliao qualitativa da ateno? Elementos para uma demarcao conceitual. Rev Sade Publica 2007; 41:150-3. 26. Furtado JP . Um mtodo construtivista para a avaliao em sade. Cinc Sade Coletiva 2001; 6: 165-81. 27. Weaver L, Cousins JB. Unpacking the participatory process. Journal of MultiDisciplinariy Evaluation 2004; 1:19-40. 28. Baron G, Monnier E. Une approche pluraliste et participative: coproduire lvaluation avec la socit civil. Informations Sociales 2003; 6:120-9.

29. Ridde V. Suggestion dameliorations dun cadreconceptual de lvaluation participative. Canadian Journal of Program Evaluation 2006; 21:1-24. 30. Patton MQ. Utilization-focused evaluation. Beverly Hills: Sage Publications; 1997. 31. Furtado JP . A avaliao de programas e servios. In: Campos GWS, Minayo MCS, organizadores. Tratado de sade coletiva. So Paulo: Editora Hucitec; 2006. p. 715-40. 32. Bosi MLM, Mercado FJM. Modelos avaliativos e reforma sanitria brasileira: enfoque qualitativoparticipativo. Rev Sade Pblica 2010; 44:566-70. 33. Jacob S, Ouvrard L. Lvaluation participative. Avantages et difficults dune pratique innovante. Qubec: PerfEval; 2009. (Cahiers de la Performance et de lvaluation, 1). 34. Laperrire H, Ziga R. Cuando la comunidad gua la accin: hacia una evaluacin comunitaria alternativa, Psicol Soc 2007; 19:39-45. 35. Preskill H, Zuckerman B, Matthews B. An exploratory study of process use: findings and implications for future research. American Journal of Evaluation 2003; 24:423-42. 36. Ziga R, Luly MH Savoir-faire et savoir-dire: un guide dvaluation communautaire. Qubec: Coalition des Organismes de Lutte Contre le SIDA; 2005. 37. Jalbert Y, Pinault L, Renaud G, Ziga R. Guide dauto-valuation des organismes communautaires. Qubec: Coalition des Organismes de Lutte Contre le SIDA; 1997. 38. Laperrire H. (2008). O caso de uma comunidade avaliativa emergente: re-apropriao pelos paresmultiplicadores da apreciao de suas prprias aes preventivas contra DST/HIV/AIDS, Amazonas, Brasil. InterfaceComun Sade Educ 2008; 12:527-40. 39. Laperrire H, Potvin L, Zuniga R. Lvaluabilit sociopolitique dans les rapports inter-organisationnels: la tension entre les planifications centralises et laction communautaire locale. In: Aubry F, Potvin L, editors. Construire lespace socio-sanitaire. Expriences et pratiques de recherche dans la production locale de la sant. Montral: PUM; in press. 40. Winnicott DW. Realidad y juego. Barcelona: Gedisa; 1971. 41. Cousins JB. Do evaluator and program practitioner perspectives converge in collaborative evaluation? Canadian Journal of Program Evaluation 2001; 16:113-33. Recebido em 07/Mai/2012 Verso final reapresentada em 24/Jul/2012 Aprovado em 30/Ago/2012

Cad. Sade Pblica, Rio de Janeiro, 29(1):102-110, jan, 2013