REVISTA TOXICODEPENDNCIAS | EDIO IDT | VOLUME 16 | NMERO 3 | 2010 | pp.

67-78

67

Trilhos Desenvolvimento de competncias pessoais e sociais. Reflexes sobre a metodologia de avaliao

Ins Abrao, Ana Tavares

Artigo recebido em 26/05/10; verso final aceite em 02/11/10.

RESUMO O artigo apresenta o Programa Trilhos Desenvolvimento de Com petncias Pessoais e Sociais e a discusso sobre a metodologia de avaliao. O Trilhos um programa de preveno compreensivo e de interveno em contexto escolar com a durao de 3 anos lectivos, abrangendo 4 componentes: informativa, tomada de deciso e reso luo de problemas, regulao emocional e competncias de comunicao. Tem como objectivo reduzir o nmero de alunos que inicia o consumo de tabaco, lcool e cannabis antes dos 15 anos de idade. As autoras apresentam e discutem os resultados do programa para uma amostra de 128 alunos do 3 ciclo de uma escola do distrito do Porto. Neste artigo faz-se uma reflexo sobre os procedimentos e meto dologia de avaliao e alguns dos constrangimentos encontrados. Palavras-chave: Preveno; Meio Escolar; Competncias Pessoais e Sociais; Avaliao. RSUM Larticle prsente le TRILHOS dveloppement de comptences personnelles et sociales et la discussion sur la mthodologie dvaluation de programme. Le TRILHOS est un programme de prvention et dintervention dans milieu scolaire avec une dure de 3 ans, couvrant les 4 composants: informative, prise de dcisions et rsolution de problmes, rgulation motionnel et communication. Vise rduire le nombre dlves qui commencent utiliser du tabac, de alcool et de cannabis avant lge de 15 ans. Les auteurs prsentent et discutent des rsultats du programme pour 128 tudiants de 3e cycle dtudes dune cole du district de Porto. Cet article est une rflexion sur les procdures et mthodologie dvaluation et certaines des contraintes rencontres. Mots-cl: Prvention; Milieu Scolaire; Les Comptences Personnelles et Sociales; valuation.

ABSTRACT The article presents the program TRILHOS Developing personal and social skills and the discussion on the evaluation methodology. The TRILHOS is a comprehensive programme of prevention and intervention in the school setting within a 3 years period, considering 4 components: informative, decision-making and problem-solving, emotional regulation and communication skills. Aims to reduce the number of students who start using tobacco, alcohol and cannabis before the age of 15. The authors present and discuss the results of the programme for a sample of 128 students from the 3rd cycle of studies, in a school from Porto district. This article is a discussion on the procedures and evaluation methodology and about some of the constraints found. Key Words: Prevention; School Intervention; Personal and Social Skills; Evaluation. RESUMEN El artculo presenta el Programa Trilhos Desenvolvimento de Com petncias Pessoais e Sociais bien como la discusion sobre la metodologia de evaluacion. Trilhos es un programa de prevencin comprehensivo y de intervencin en contexto escolar con la duracin de 3 aos lectivos, abarcando 4 componentes: informativa, tomada de decisin y resolucin de problemas, regulacin emocional y competencias de comunicacin. Tiene como objetivo reducir el nmero de alumnos que empieza el consumo de tabaco, alcohol y cannabis antes de los 15 aos de edad. Las autoras presentan y discuten los resultados del programa para una muestra de 128 alumnos del 3 ciclo de una escuela del distrito de Oporto. En este artculo se hace una reflexin sobre los procedimientos y metodologa de evaluacin de los constreimientos encontrados. Palabras Clave: Prevencin; Medio Escolar; Competencias Perso nales y Sociales; Evaluacin.

68

Trilhos Desenvolvimento de competncias pessoais e sociais. Reflexes sobre a metodologia de avaliao

1 Introduo O presente trabalho tem como objectivo apresentar e analisar os resultados de Trilhos Programa de Desen volvimento de Competncias Pessoais e Sociais. A criao do programa Trilhos correspondeu a uma necessidade da comunidade, tendo sido, portanto, desen volvido e implementado a partir de um pedido, formulado por uma escola, pelo que o processo de implementao e a definio da metodologia de avaliao devero entender-se nesse contexto. Assim, embora o objectivo inicial no se centrasse no desenvolvimento de uma investigao, dada a importncia que a avaliao de projectos preventivos assume, no s para avaliar a eficcia dum programa, mas tambm por ser a nica forma de tornar visveis os resultados do investimento realizado na preveno e at mesmo por questes ticas j que se sabe poderem as intervenes ter efeitos iatrognicos (Santos, E. R; Baptista, T. & Bellis, M., 2010) decidiuse, ento, a par da construo do programa, ponderar tambm a forma como poderia ser avaliado. Dada a escassez de trabalhos de avaliao na rea das intervenes preventivas, pretendeu-se desta forma dar um contributo nesta rea, apesar de todas as limitaes inerentes a quem parte da interveno no terreno e no de um contexto de pura investigao, j que o investimento realizado na avaliao que permite perceber o que contribui para a eficcia das intervenes (Santos, E. R; Baptista, T. & Bellis, M., 2010). Os resultados apresentados neste artigo referem-se assim a uma amostra que foi escolhida a partir da aplicao do programa durante 3 anos, numa escola EB2,3 do concelho de Vila Nova de Gaia. Comearemos, no entanto, por fazer uma breve apresentao e enquadramento do programa, sendo que o Trilhos um programa de promoo de competncias pessoais e sociais dirigido a adolescentes e planeado para ser implementado em contexto escolar. 2 DESCRIO DO PROGRAMA O Trilhos um programa que se enquadra na preveno universal, preconizando a utilizao de estratgias que passam pela promoo de competncias de vida.

Tendo sido originalmente criado para ser implementado em contexto escolar, com este programa pretendese fornecer ferramentas como as competncias de resoluo de problemas, as competncias de comunicao e as competncias de gesto emocional, que se sabe contriburem para a resilincia e potenciarem um desenvolvimento saudvel. Destina-se a jovens numa faixa etria que tem sido indicada como alvo preferencial de programas preventivos, por se encontrar prxima do momento em que a adopo dos comportamentos de risco pode ter incio (Hawkins, Catalano & Arthur, 2002; Becoa Iglesias, 2001; Negreiros, 1998). Trata-se de um programa compreensivo (que integra vrios conceitos ou dimenses que interferem no desenvolvimento do indivduo) e a escolha das componentes baseia-se nas avaliaes efectuadas sobre os programas preventivos mais eficazes (Becoa Iglesias, 2001; Negreiros, 1998), nas recomendaes do National Institute of Drug Abuse (1997) e inscreve-se nas boas prticas definidas pelo Observatrio Europeu para a interveno universal em meio escolar, nomeadamente no que concerne: Aos efeitos benficos dos programas baseados em competncias de vida, quer ao nvel das variveis mediadoras como o conhecimento sobre drogas, a auto-estima, a tomada de deciso ou a resistncia presso de pares, quer nos resultados finais em termos de comportamento de consumo (Faggiano et al., 2005); incluso, num programa de competncias mais amplo, de uma componente baseada no conhecimento, que se inscreve numa abordagem mais global da sade (Hawks et al., 2002); Ao facto do programa se desenvolver ao longo de trs anos lectivos, que pressupe o reforo das competncias adquiridas, sendo que a existncia de sesses de reforo apontado pelos autores como tornando os programas mais eficazes e os seus efeitos mais duradouros (Hawks et al., 2002; McGrath et al., 2006); E, finalmente, utilizao de tcnicas interactivas, j que os autores referem que os programas

REVISTA TOXICODEPENDNCIAS | EDIO IDT | VOLUME 16 | NMERO 3 | 2010 | pp. 67-78

69

interactivos em meio escolar, ou seja, aqueles que envolvem a participao activa de professores e alunos atravs de tcnicas como o role-play ou as discusses em grupo, tm efeitos preventivos no comportamento de consumo e apontam para resultados superiores a programas no interactivos (Buehler & Kroeger, 2006; McGrath et al., 2006; Canning et al., 2004; Hawks et al., 2002, Faggiano et al., 2006). O objectivo geral do Trilhos Desenvolvimento de Competncias Pessoais e Sociais reduzir, no prazo de trs anos, o nmero de alunos que inicia o consumo de tabaco, lcool e cannabis antes dos 15 anos de idade. Este objectivo enquadra-se nos objectivos gerais ao nvel da preveno das toxicodependncias, que se tm centrado em diminuir o uso e abuso de drogas e/ou em retardar o incio destes consumos, apontados por alguns como drogas de entrada (Hawkins, Catalano & Arthur, 2002; Becoa Iglesias, 2001; Negreiros, 1998). Para alm disso, a investigao aponta para a necessidade de incluir nos programas preventivos as substncias legais, nomeadamente o tabaco e o lcool (Becoa Iglesias, 2001). O programa tem ainda como objectivos especficos: Promover o conhecimento dos comportamentos que pem em risco a sade. Desenvolver competncias de resoluo de problemas. Desenvolver a capacidade de reconhecer e lidar com os sentimentos do prprio e dos outros. Desenvolver competncias de comunicao e as sertividade. 3 ESTRUTURA DO PROGRAMA O Trilhos Desenvolvimento de Competncias Pessoais e Sociais composto por um total de 50 sesses, sendo que 20 se destinam a serem implementadas no 7 ano de escolaridade, estando previstas 15 sesses de reforo em cada um dos dois anos subsequentes - 8 e 9 anos de escolaridade. As sesses organizamse em torno de quatro componentes fundamentais: a componente informativa, a componente de resoluo

de problemas e tomada de deciso, a componente de regulao emocional e a componente de competncias de comunicao. Este programa foi planeado para alunos do 3 ciclo, a ser implementado pelos professores, nos 45 minutos semanais dedicados disciplina de Formao Cvica. Idealmente, o professor deveria manter-se ao longo dos trs anos, o que permitiria a continuidade da relao estabelecida e a familiaridade de professor e aluno com as tcnicas e materiais utilizados. No entanto, a sua aplicao poder ser adaptada a outras situaes e contextos. A implementao implica uma fase prvia de formao aos professores que os capacite para a interveno, formao essa que se deve manter ao longo do programa, no sentido de ir fornecendo alguma superviso e apoio tcnico sua implementao. O material est organizado por sesso, apresentandose para cada uma delas: os objectivos especficos, a descrio das actividades que a compem e o tempo previsto para a sua realizao; algumas orientaes que o professor dever ter em considerao ao implementar as actividades, e os materiais que serviro de suporte ao trabalho desenvolvido pelos alunos. Na Componente Informativa so trabalhados alguns conceitos relacionados com a sade e com o risco para a sade (sade entendida de uma forma global, nas dimenses fsica, psicolgica e social). Apesar da investigao mostrar que a informao quando usada isoladamente tem uma eficcia muito limitada (Buehler & Kroeger, 2006), no deixa de ser importante quando abordada no contexto global da sade e quando conjugada com outro tipo de estratgias (Hawks et al., 2002). Nas sesses previstas para o 7 ano de escolaridade, o consumo de drogas no focado de forma distinta, mas enquadrado na questo mais global da sade e dos comportamentos de risco. Esta opo prende-se com o facto de ser uma componente introdutria ao programa, prevendo-se sesses de reforo desta componente nos 8 e 9 anos de escolaridade, nas quais a questo especfica dos consumos de drogas ilcitas abordada. Parece-nos conduzir a melhores efeitos de adeso ao programa que os comportamentos de risco a

70

Trilhos Desenvolvimento de competncias pessoais e sociais. Reflexes sobre a metodologia de avaliao

serem trabalhados sejam sugeridos pelos alunos, o que abre a possibilidade das actividades das sesses serem adaptadas a grupos com diferentes necessidades. Se a questo do consumo de drogas ilcitas for sentida como uma necessidade logo no 7 ano de escolaridade, ir emergir como um tema a ser discutido. Os objectivos especficos da componente informativa so: Analisar e clarificar o conceito de sade; Definir e analisar comportamentos que comprometem a sade; Debater e ponderar os motivos que levam adopo ou no de comportamentos de risco; Encontrar formas saudveis e alternativas aos comportamentos de risco; Aumentar o conhecimento sobre os riscos associados ao consumo de substncias. Promover a participao activa na criao de estilos de vida saudveis. A incluso de uma Componente de Tomada de De ciso e Resoluo de Problemas justifica-se pelas referncias encontradas na literatura especfica, que indicam estas competncias enquanto factor protector, contribuindo o seu desenvolvimento para a reduo da impulsividade e para a promoo de outras competncias de vida, nomeadamente a auto-estima, as crenas de auto-eficcia, locus de controlo interno, percepo de controlo sobre a prpria vida e expectativas de sucesso mais realistas (Becoa Iglesias, 2002; Abrao, 1999; Constantine, Benard e Diaz, 1999; IOM, 1994). Os objectivos especficos desta componente so: Compreender o que decidir; Distinguir decises de actos impulsivos; Distinguir diferentes tipos de decises, conforme a complexidade e o tipo de consequncias envolvidas; Analisar os factores envolvidos nas decises; Compreender o papel dos valores nas decises; Desenvolver competncias cognitivas de resoluo de problemas. Na Componente Regulao Emocional pretende-se desenvolver a diferenciao emocional, isto , desen-

volver a capacidade do sujeito perceber, expressar e gerir emoes. Para alm das vantagens que estes aspectos trazem para o relacionamento do sujeito consigo prprio e com os outros, o desenvolvimento deste processo de regulao emocional permite ao sujeito desenvolver maior tolerncia frustrao, resolver conflitos internos, lidar com emoes negativas e adquirir um sentido de controlo sobre o seu mundo interno. Por outro lado, ao desenvolver a literacia emocional, o sujeito torna-se mais emptico, sendo que a empatia tem sido descrita como uma das caractersticas dos indivduos resilientes (Becoa Iglesias, 2002; Abrao, 1999; Constantine, Benard e Diaz, 1999; IOM, 1994). Os objectivos especficos desta componente so: Desenvolver a capacidade de identificar sentimentos nos outros; Desenvolver a capacidade de identificar, expressar e lidar com os seus prprios sentimentos; Desenvolver a capacidade de expressar sentimentos negativos, utilizando mensagens na primeira pessoa; Desenvolver a capacidade de distinguir entre pensamentos, sentimentos e comportamentos. A incluso de uma Componente de Competncias de Comunicao prende-se com o facto de que estas, nomeadamente as competncias de comunicao assertiva, tm consistentemente sido referidas como factor protector, enquanto dificuldades a este nvel esto associadas a um ndice de risco mais elevado (Becoa Iglesias, 2002; Abrao, 1999; Constantine, Benard e Diaz, 1999). O desenvolvimento desta competncia interfere positivamente no estabelecimento e manuteno das relaes interpessoais, na capacidade de aceitar crticas, de pedir ajuda e de resistncia presso dos pares (Becoa Iglesias, 2002; Abrao, 1999; Constantine, Benard e Diaz, 1999; IOM, 1994). A assertividade contribui tambm, em consonncia com outras competncias, para uma melhor auto-estima e sentido de auto-eficcia, enquanto dificuldades a este nvel podem potenciar a rejeio e o isolamento social. Esta componente tem como objectivos especficos: Compreender os elementos envolvidos na comunicao;

REVISTA TOXICODEPENDNCIAS | EDIO IDT | VOLUME 16 | NMERO 3 | 2010 | pp. 67-78

71

Compreender a importncia da comunicao no verbal; Desenvolver competncias de escuta e de conversao; Diferenciar os estilos de comunicao: passivo, assertivo e agressivo; Compreender as consequncias pessoais e relacionais de cada um dos estilos; Desenvolver as competncias de comunicao assertiva utilizadas para a realizao de pedidos, recusar pedidos, lidar com as crticas, aceitar ordens e pedir desculpa.

4 METODOLOGIA DE AVALIAO O programa prev procedimentos de avaliao de processo e de avaliao de resultados. A avaliao do processo de implementao do programa inclui a recolha de dados relativos ao decurso de cada sesso, no caso dos professores, e de cada componente, no caso dos alunos. Atravs destes ins trumentos ser possvel analisar se o programa se desenvolveu tal como previsto ou se houve alteraes que devam ser consideradas ao fazer a anlise dos resultados obtidos (OEDT, 2001). A avaliao de resultados ser realizada atravs da anlise dos dados resultantes do preenchimento de um questionrio pelos alunos, onde se avaliam os seguintes indicadores: Percepo do risco associado a comportamentos que comprometem a sade; Frequncia de comportamentos de risco (ao longo da vida, nos ltimos 12 meses, nos ltimos 30 dias); Competncias de assertividade; Competncias de tomada de deciso; Estratgias de coping emocional. A recolha de dados realizada atravs da metodologia pr e ps-teste, mais concretamente numa sesso prvia ao incio da interveno e no final dos trs anos lectivos. Durante o ano lectivo 2005/2006 iniciou-se uma primeira implementao do programa Trilhos Desen volvimento de Competncias Pessoais e Sociais junto

dos alunos do 7 ano de escolaridade de uma escola do concelho de Vila Nova de Gaia, com o objectivo de testar a aplicabilidade do mesmo e proceder ao ensaio quer do programa, quer dos procedimentos de avaliao. Os dados apresentados remetem para a comparao dos resultados iniciais (ano lectivo 2005/2006) e finais (ano lectivo 2007/2008) apenas para um grupo experimental, seleccionado como amostra, dado que no foi possvel a comparao com um grupo de controlo. A opo pela no constituio de um grupo de controlo deve-se ao facto do programa Trilhos ter sido adoptado pela escola para ser aplicado a todos os alunos, pelo que a excluso de uma turma para que servisse de grupo de controlo levantaria vrios problemas, at de natureza tica. Numa breve descrio dos alunos que participaram neste programa, apresentamos agora os dados relativos distribuio por sexo, idade e ano de escolaridade. O grupo que vai ser analisado corresponde a 128 alunos, distribudos 67 pelo 7ano (52,3%) e 61 (47,7%) pelo 9 ano de escolaridade. A distribuio por sexo apresenta-se no quadro se guinte:
FIGURA 1 Distribuio por sexo 7 e 9 anos.

40 35 30 25 20 15 10 5 0

37

37

29 23

7 ano Masculino Feminino NR

9 ano

A mdia de idades dos alunos de 7 ano de 14 anos, com a seguinte distribuio:

72

Trilhos Desenvolvimento de competncias pessoais e sociais. Reflexes sobre a metodologia de avaliao

FIGURA 2 Distribuio por idade 7 ano.

7%

1%

10%

33% 12 13 14 15 12% 16

A mdia de idades dos alunos de 9 ano de 16,5 anos, com a seguinte distribuio:
FIGURA 3 Distribuio por idade 9 ano.

6%

2%

61% 31% 15 16 17 18

no mbito da avaliao de resultados deste projecto que surge a necessidade de construo de um instrumento de avaliao, cuja anlise de resultados tambm apresentamos. 5 CONSTRUO DO QUESTIONRIO Para que fosse possvel avaliar os resultados da implementao do programa Trilhos Desenvolvimento de Competncias Pessoais e Sociais comeou por se proceder definio de variveis a medir e que decorrem dos objectivos do programa (OEDT, 2001). Assim, partindo do objectivo geral teramos que caracterizar a populao-alvo quanto idade e medir os comporta-

mentos de consumo de tabaco, lcool e cannabis. Para cada um dos objectivos especficos seria necessrio avaliar a varivel mediadora subjacente a cada componente, nomeadamente, a percepo do risco associado aos comportamentos que comprometem a sade, as competncias de tomada de deciso e de resoluo de problemas, as competncias de coping emocional e as competncias de comunicao. Numa primeira fase procedeu-se, ento, a uma pesquisa de instrumentos de avaliao disponveis que permitissem avaliar as variveis referidas, com o intuito de os seleccionar. Desta pesquisa resultou a recolha de alguns materiais que serviram de suporte construo do questionrio que a seguir analisamos, j que nenhum dos instrumentos encontrados correspondia na totalidade s necessidades de avaliao. Relativamente avaliao do objectivo geral do programa reduzir, no prazo de trs anos, o nmero de alunos que inicia o consumo de tabaco, lcool e cannabis antes dos 15 anos de idade a partir dos instrumentos ESPAD European School Survey Project on Alcohol and Other Drugs, do Grupo Pompidou do Conselho da Europa (2000) e do Inqurito Nacional em Meio Escolar 2001, do Instituto Portugus da Droga e da Toxicodependncia, e tendo em considerao que o questionrio no poderia ser muito extenso, optou-se por elaborar trs questes que permitissem avaliar o nmero de vezes em que alguns dos comportamentos de risco ocorreram ao longo da vida, no ltimo ano e no ltimo ms, mantendo assim a estrutura das medidas habitualmente utilizadas para o consumo de substncias, mas alargando a questo a outros comportamentos. Quanto avaliao do primeiro objectivo especfico promover o conhecimento dos comportamentos que pem em risco a sade utilizou-se a formulao proposta por Jorge Negreiros (2001) que permite avaliar a percepo do risco, aplicando-a a alguns dos comportamentos que comprometem a sade e que so trabalhados ao longo do programa mantendo, na base destes itens, os mesmos comportamentos para os quais se questiona a frequncia para a avaliao do objectivo geral. Para avaliar as competncias de tomada de deciso e de resoluo de problemas, dadas as dificuldades

REVISTA TOXICODEPENDNCIAS | EDIO IDT | VOLUME 16 | NMERO 3 | 2010 | pp. 67-78

73

encontradas para estas ltimas, optou-se por avaliar apenas as competncias de tomada de deciso, com base nos itens propostos para tal pelo Observatrio Europeu de Drogas e Toxicodependncia, no Banco de Instrumentos para la Evaluacin de Intervenciones Preventivas (2002). No mbito das estratgias de coping emocional no foram encontrados instrumentos de avaliao, pelo que os itens foram construdos tendo em considerao alguns dos sentimentos que so trabalhados pelo programa, e apresentando para cada um deles dois itens que traduziriam uma forma mais desadequada de lidar com o sentimento em causa e uma estratgia de coping adequada. Finalmente, para avaliar as competncias de comunicao recorreu-se adaptao dos itens propostos por Maria Odete Fachada (1998) para medir a assertividade, reduzindo-se igual nmero de itens nas afirmaes relativas a cada um dos estilos de comunicao passivo, agressivo e assertivo e eliminando-se os itens relativos ao estilo manipulativo, por este no ser abordado no programa. Analisaremos, de seguida, os indicadores seleccionados para a construo do questionrio em termos estatsticos ao nvel da sua fiabilidade e validade e ao nvel dos resultados. 6 ANLISE DA FIABILIDADE E DA VALIDADE DO QUESTIONRIO As questes relativas percepo do risco, s competncias de assertividade, s competncias de tomada de deciso e s estratgias de coping emocional, podero ser entendidas como medidas de variveis latentes, pelo que sero analisadas as correlaes entre itens e itens-total, bem como se procurar avaliar o instrumento quanto sua fiabilidade e sua validade. Na construo de um questionrio para medir variveis latentes deve-se, para alm de analisar a correlao entre itens e itens-total, que nos esclarece se os itens medem algo comum, estimar tambm a sua fiabilidade e validade (Hill & Hill, 2002). Neste caso, a avaliao da fiabilidade ser realizada atravs da avaliao da consistncia interna (alpha de cronbach) e procederse- anlise da validade, atravs da anlise factorial

utilizando o mtodo das componentes principais. Relativamente s questes que medem a frequncia de comportamentos de risco ao longo da vida, nos ltimos 12 meses e nos ltimos 30 dias, no ser efectuado este tipo de anlise, j que cada item mede o autorelato de um comportamento especfico que importa analisar, no se tratando portanto de variveis latentes. No entanto, apresentaremos os seus resultados. 6.1 Percepo do risco associado a comportamentos que comprometem a sade Da anlise da correlao entre os itens que compem esta escala observam-se valores mais elevados entre os itens que medem a percepo do risco de comportamentos de consumo de substncias e do comportamento sexual desprotegido (correlaes entre 0,48 e os 0,88), e valores fracos ente os itens relativos percepo do risco de comportamentos alimentares e restantes itens (correlaes entre 0,09 e 0,34). As correlaes item-total so relativamente fortes (entre 0,41 e 0,72) o que sugere que os diferentes itens medem algo em comum, ou seja, todos contribuem para a medio de uma varivel latente percepo de risco com boa fiabilidade interna (aplicao do alpha de cronbach estandardizado (0,89)). Da anlise das correlaes entre itens e item-total possvel concluir que esta escala mede uma varivel latente a percepo do risco com boa fiabilidade interna (alpha = 0,89). Atravs da anlise factorial extraem-se duas componentes principais, a primeira que agrupa os itens relativos percepo do risco do consumo de substncias e relao sexual desprotegida, remetendo os restantes itens para o segundo factor. De acordo com a anlise factorial e com os dados relativos anlise das correlaes entre os itens, poderemos supor que a percepo do risco associado ao consumo de substncias e relao sexual desprotegida se distingue de uma percepo de risco mais global associada aos restantes comportamentos que, embora sendo percepcionados como tambm contendo risco, no esto socialmente conotados como tal. Com base na mdia dos itens que compem esta escala, foi calculado um ndice de Percepo de Risco Global,

74

Trilhos Desenvolvimento de competncias pessoais e sociais. Reflexes sobre a metodologia de avaliao

assim como dois outros ndices de Percepo de Risco (Comportamentos de risco e outros comportamentos).
TABELA 1

ndice de Percepo de Risco (Ks de Risco) ndice de Percepo de Risco (Outros Ks) ndice de Percepo de Risco Global

Ano de Escolaridade 7 Ano 4,63 4,48 4,59 9 Ano 4,47 4,36 4,41

Dos resultados obtidos verifica-se que no existem diferenas significativas entre os grupos:
TABELA 2

6.2 Frequncia de comportamentos de risco (ao longo da vida, nos ltimos 12 meses, nos ltimos 30 dias) Relativamente anlise destes itens optou-se por no fazer a anlise de fiabilidade e validade para os itens que constituem cada questo j que cada um mede o auto-relato de um comportamento especfico que importa ser avaliado e no uma varivel latente. No dispondo de um grupo de controlo no possvel comparar os resultados obtidos com um grupo equivalente. No entanto, optamos por comparar a prevalncia de consumo ao longo da vida, no ltimo ano e no ltimo ms com os dados obtidos no Inqurito Nacional em Meio Escolar 2006, para a populao do 3 ciclo do concelho de V. N. Gaia, como se apresentam no quadro seguinte:

PREVALNCIA LONGO DA VIDA Tabaco lcool Cannabis LTIMOS 12 MESES Tabaco lcool Cannabis LTIMOS 30 DIAS Tabaco lcool Cannabis

INME 06 (GPorto) 33,3% 50,9% 6,1% 21,6% 39,8% 5,2% 13,7% 25,3% 3,5%

INME 06 (Gaia) 32,6% 48,1% 4,9% 20,8% 41,2% 3,9% 13,1% 2,6%

TRILHOS (9 ano) 21,3% 47,6% 3,2% 16,4% 27,8% 3,2% 13,0% 21,3% 3,2%

Ainda que com as devidas reservas, por se tratar de estudos diferentes e no de comparao de grupos equivalentes, os resultados obtidos parecem apontar no sentido de ser possvel atingir o objectivo geral atravs da implementao deste programa. 6.3 Competncias de assertividade A anlise desta escala, no seu conjunto, levanta problemas quer ao nvel da fiabilidade como da validade, que nos parecem ser introduzidas pelos itens que medem os estilos de comunicao passivo e agressivo. A sub-escala relacionada com o estilo de comunicao assertivo, embora ainda com problemas, estes so

menores, pelo que se torna possvel realizar uma anlise de um ndice de assertividade. Assim, para os itens desta sub-escala (itens b, h, j, m, p) verifica-se que algumas correlaes entre itens so fracas (entre 0,13 e 0,44), bem como algumas das correlaes item-total quando o item excludo (entre 0,30 e 0,51). Os valores obtidos para alpha aps a excluso do item, embora se apresentem relativamente baixos (entre 0,54 e 0,63) diminuem com a retirada do item face ao alpha de cronbach estandardizado (0,65), o que pode indicar que todos contribuem para a medio da varivel latente. Da anlise factorial dos itens desta sub-escala, atravs

REVISTA TOXICODEPENDNCIAS | EDIO IDT | VOLUME 16 | NMERO 3 | 2010 | pp. 67-78

75

do mtodo das componentes principais, extrai-se apenas um factor, que explica 42% da varincia total dos dados, sendo que os pesos de cada varivel so todos superiores a 0,5, o que significa que todos contribuem para a definio do factor. Assim, embora a escala quando analisada no seu conjunto levante problemas, a sub-escala relativa ao estilo assertivo poder ser usada para clculo de um ndice de assertividade, a partir da mdia destes itens, que permita avaliar se existem diferenas no final da implementao do programa. Em relao sub-escala da assertividade e ndice de assertividade global no se verificam diferenas significativas entre os dois grupos, como se v no quadro seguinte:
TABELA 3

Os resultados obtidos para o ndice total da escala tomada de deciso revelam que no existem diferenas significativas entre os dois grupos:
TABELA 4

ndice de Tomada de Deciso ndice de Tomada de Deciso Global

Ano de Escolaridade 7 Ano 3,85 3,60 9 Ano 3,79 3,54

ndice de Assertividade ndice de Assertividade Global

Ano de Escolaridade 7 Ano 3,36 3,62 9 Ano 3,41 3,36

6.4 Competncias de tomada de deciso O estudo da fiabilidade desta medida apresenta valores baixos quer para a escala analisada no seu conjunto quer para a sub-escala (alpha de cronbach=0,4354) relativa sua capacidade pessoal para tomar decises com base em critrios racionais. A anlise factorial desta escala pode ser realizada j que apresenta valores razoveis (KMO=0,629 e sig.=0,000 para o Bartletts test of sphericity), gerando duas componentes principais que explicam 45% da varincia dos dados. Da anlise factorial ressaltam dois factores que, genericamente, agrupam os itens referentes capacidade de tomar decises com base em critrios racionais (factor 2) e os itens que implicam maior impulsividade (factor 1). Ainda que com as devidas reservas por no se conseguir estimar a fiabilidade da escala, poder-se- ponderar a criao de um ndice de capacidade de tomar decises com base em critrios racionais a partir da mdia dos quatro itens (a, b, d, e) que no colocam problemas na anlise factorial.

6.5 Estratgias de coping emocional O estudo da fiabilidade desta medida apresenta, tal como a anterior, valores baixos quer para a escala analisada no seu conjunto (alpha de cronbach=0,4048) quer para a subescala (alpha de cronbach=0,4690) constituda pelos itens que se referem a estratgias de coping adequadas. Nos testes de validade da anlise factorial da sub-escala constituda pelos itens (b, e, f, h, j) que se referem a estratgias de coping adequadas verifica-se um valor razovel da medida de adequabilidade KMO (0,641) e um valor de sig. de 0,000 no Bartletts test of sphericity, o que significa que se cumprem os pressupostos para que a anlise seja realizada. Desta anlise extrai-se apenas um factor que explica uma percentagem reduzida da varincia total dos dados (33,2%). Atendendo a que o estudo da fiabilidade e da validade desta escala apresenta dificuldades, a interpretao de um ndice calculado a partir da mdia dos itens da subescala referente s estratgias de coping adequadas dever ser feita com reserva. A anlise realizada para esta escala, considerando o ndice total, demonstra a no existncia de diferenas significativas face s mdias, como se pode ver no quadro seguintes:
TABELA 5

ndice Coping Emocional ndice Coping Emocional Global

Ano de Escolaridade 7 Ano 3,75 3,28 9 Ano 3,65 3,35

76

Trilhos Desenvolvimento de competncias pessoais e sociais. Reflexes sobre a metodologia de avaliao

7 CONCLUSES GERAIS 7.1 Da validade e fiabilidade do questionrio Da anlise efectuada, verificamos que o questionrio levanta alguns problemas ao nvel da fiabilidade e, portanto, quanto s concluses que se podem retirar a partir dos dados que produz. No entanto, partindo dos dados tratados at ao momento, possvel retirar algumas pistas para anlise dos resultados finais. No nos iremos deter, por agora, sobre as trs questes para a avaliao do objectivo geral do programa, j que medem a frequncia dos comportamentos que importa analisar separadamente, no se colocando por isso a questo da fiabilidade interna que necessrio considerar quando se trata da criao de uma medida de uma varivel latente, como o caso dos outros grupos de questes que pretendem avaliar as variveis mediadoras. Neste segundo grupo, a escala que mede a percepo do risco associado a comportamentos que comprometem a sade apresenta valores quer ao nvel da fiabilidade interna, quer ao nvel da validade, que permitem a sua utilizao sem qualquer tipo de restrio. A partir desta escala ainda possvel calcular dois ndices que nos do acesso a duas vertentes da percepo do risco, sendo que uma delas se relaciona mais directamente com um conjunto de comportamentos de risco, nomeadamente o consumo de substncias e os comportamentos sexuais de risco. Nas restantes trs medidas assertividade, tomada de deciso e regulao emocional todas apresentam problemas ao nvel da fiabilidade interna, com valores baixos ao nvel das correlaes entre itens, das correlaes item-total e do valor alpha de cronbach. No entanto, tambm para todas elas, partindo dos resultados da anlise factorial, possvel agrupar itens que nos do acesso a um ndice que permite medir a competncia pretendida, uma vez que so sobretudo os itens referentes ausncia da competncia que geram maior confuso. Assim, ainda que as dificuldades encontradas ao nvel da fiabilidade das escalas no seu conjunto condicionem a validade das medidas (Hill, M. M. & Hill, A., 2002) optamos por manter estes ndices como forma de avaliao da competncia, j que no dispomos de outros indicadores. No podemos deixar de referir que por limitaes de

tempo e de recursos, a construo deste questionrio falhou uma fase importante dos procedimentos de validao, que seria testar uma primeira verso junto de uma populao equivalente, mas no a populao alvo da interveno. Para cada escala seria necessrio produzir um nmero de itens superior a partir dos quais se seleccionariam os que melhor contribussem para uma medio fivel da varivel latente. No entanto, a exigncia de um trabalho deste tipo constituir-se-ia em si mesmo como um estudo autnomo de criao/ aferio de instrumentos de avaliao em contexto de investigao. No deixa, no entanto, de ser importante realar a importncia deste trabalho dado a dificuldade de encontrar instrumentos de avaliao aferidos para a populao portuguesa, o que dificulta a avaliao de qualquer programa de interveno. Por fim, consideramos importante no futuro propor a alterao de alguns dos itens que nos parecem produzir maior rudo, procurando que uma formulao mais clara e mais simples desses itens que contribua para uma melhoria geral do instrumento, a testar junto de outra populao-alvo. Considera-se tambm a possibilidade de reformulao do questionrio e de concretizar as etapas em falta no processo de validao do mesmo. 7.2 Da avaliao de processo A metodologia de planeamento da avaliao de processo est adequada interveno, sendo que a implementao dos questionrios de avaliao de processo no levantam dvidas nem dificuldades ao nvel do preenchimento. No entanto, o facto de no serem preenchidos sistematicamente induz que a anlise destes resultados no se possa fazer formalmente e apenas se utilizem como instrumentos indicativos para a superviso e correco de alguns procedimentos face implementao. Os constrangimentos encontrados remetem, ento, sobretudo para o acompanhamento e implementao do programa a dois nveis de anlise o da superviso e o da implementao dos instrumentos de avaliao de processo. No que se refere superviso, so vrias as limitaes com que os intervenientes se deparam, na medida em que o programa implica uma continuidade (no mnimo

REVISTA TOXICODEPENDNCIAS | EDIO IDT | VOLUME 16 | NMERO 3 | 2010 | pp. 67-78

77

trs anos), as reunies de superviso so espaadas no tempo e o acompanhamento se realiza simultaneamente com outras actividades. Da parte dos supervisores decorrente do grande perodo de tempo de implementao do programa, a dificuldade da monitorizao de todos os detalhes de avaliao considervel. Da parte dos professores, as responsabilidades decorrentes da sua prtica profissional (por exemplo, serem directores de turma), acaba por interferir com a realizao das actividades tal como previstas em planeamento. Tratar de assuntos da turma, por vezes, sobrepe-se ao prprio andamento regular do programa. Estes factos dificultam os momentos de superviso, na medida em que se encontram em momentos de implementao diferentes j para no mencionar que, com frequncia, so muitas as dificuldades para encontrar momentos comuns para as reunies de superviso. 7.3 Da avaliao de resultados Os constrangimentos j referenciados ao nvel da fiabilidade e validade do questionrio de avaliao dos resultados, assim como as questes j levantadas sobre a avaliao do processo condicionam a anlise de resultados e consequentemente a sua generalizao. Por sua vez, a comparabilidade dos dados e dos resultados limitada pelo facto de, como j foi referido anteriormente, no final de cada ano lectivo nem todas as turmas completarem o nmero previsto de sesses para o seu ano de escolaridade. Outra limitao anlise dos resultados passa pela no introduo de um cdigo nos questionrios que permitisse o seu emparelhamento, o que limita o tipo de anlise estatstica que se pode aplicar. A no introduo deste cdigo prendeu-se, por um lado, com a preocupao face ao anonimato e confidencialidade dos questionrios, e, por outro, com a dificuldade de criao de um cdigo que os alunos pudessem memorizar ao longo dos trs anos da implementao. Ainda em relao amostra, a no constituio de um grupo de controlo passou por uma opo de no excluso do programa de turmas que pudessem constituir esse mesmo grupo. Neste caso, privilegiou-se a interveno em detrimento do desenho experimental de investigao.

O preenchimento do instrumento de avaliao dos resultados pr e ps-teste por vezes condicionado pelo mesmo tipo de constrangimentos referenciados na avaliao de processo, ou seja, algumas das turmas onde foi implementado o programa, no final do ano lectivo, j no tiveram tempo para completar o processo de avaliao. 7.4 Para Finalizar. Apesar dos constrangimentos apresentados, os resultados apontam para a tangibilidade do objectivo geral atravs da implementao do programa, considerando os resultados apresentados no Inqurito Nacional em Meio Escolar (Feijo, 2006). O Trilhos foi desenvolvido numa lgica de trabalho de terreno, partindo das necessidades da comunidade. Assim, o que norteou a construo deste programa foi a perspectiva de sistematizar num s documento um conjunto de materiais que se constitussem como meios e instrumentos no desenvolvimento de competncias em grupo. Ao mesmo tempo, ao facilitar o acesso de tcnicos e agentes educativos a actividades estruturadas com base em objectivos de preveno, promove-se um maior rigor tcnico-cientfico e confere-se sustentabilidade s intervenes desenvolvidas nestes contextos. Privilegiando a intencionalidade e a continuidade das aces desenvolvidas, atravs de estratgias de preveno de comportamentos de risco, mais especificamente do consumo de substncias psicoactivas, garante-se uma maior eficcia e eficincia das intervenes preventivas. A existncia de poucos materiais preventivos, mais es pe cificamente, programas preventivos eficazes e cientifi camente validados, est na base do interesse cientfico que a validao deste programa e da sua meto dologia de avaliao poder trazer ao estado da arte actual. Podendo ser um programa de preveno validado constituir um instrumento valioso para profissionais que trabalham com adolescentes, no mbito da preveno de comportamentos de risco, mais especificamente preveno da toxicodependncia. O potencial de validao cientfica do programa Trilhos enquadra-se nos pontos-chave resultantes de uma metanlise e reviso bibliogrfica de vrios programas de preveno (McGarth et al., 2006). Deste modo, a

78

Trilhos Desenvolvimento de competncias pessoais e sociais. Reflexes sobre a metodologia de avaliao

abordagem interactiva com base numa relao colaborativa, a interveno de longo termo com sesses de reforo e a idade dos destinatrios da interveno, constituem elementos que podem reforar a sua validade. No entanto, os mesmos autores ressaltam a necessidade de uma anlise da influncia das diversas componentes nos resultados de forma a perceber se os resultados dependem das caractersticas do programa ou de outros factores, tais como a populao alvo e/ou contexto de interveno. A integrao do Trilhos no quotidiano educativo permite disseminar a interveno preventiva universal em contexto escolar ao fornecer orientaes claras de actuao que potencializam os recursos locais, capacitando os professores enquanto agentes activos de preveno, saindo de uma lgica na qual a preveno aparece como algo pontual e externo escola e do domnio de peritos. Desta forma, os recursos externos escola e mais especializados so igualmente rentabilizados, o que permite que num trabalho preventivo de proximidade e atravs da criao de uma rede de relaes interinstitucionais, se alargue a abrangncia dos territrios de interveno e se facilite o acesso aos outros nveis de preveno selectiva e/ou indicada.
Contactos:
Ins Abrao

Drogodependencias. Madrid: Plan Nacional sobre Drogas. Buehler, A. & Kroeger C. (2006). Report on the prevention of substance abuse, Federal Centre for Health Education BzgA. Canning, U. et al. (2004). Drug use prevention among young people: a review of reviews. Health Development Agency. Constantine, N.; Benard, B. e Diaz, M. (1999). Measuring Protective Factors and Resilience Traits in Youth: The Healthy Kids Resilience Assessment. Paper presented at the Seventh Annual Meeting of the Society for Prevention Research, New Orleans). DiClemente, R. J.; Hansen, W. B. & Ponton L. E. (1996). Handbook of Adolescent Health Risk Behavior. New York: Plenum Press. Fachada, M. O. (1998). Psicologia das Relaes Interpessoais. 1 Vol. Lisboa: Edies Rumo. Faggiano, F. et al. (2005). School based prevention for illicit drugs (review).The Cochrane Collaboration. Hawkins, J. D.; Catalano, R. F. & Arthur, M. W. (2002). Promoting science-based prevention in communities. Addictive Behaviors, 27, pp. 951-976. Hawks, D. et al. (2002). A selected review of what works in the area of prevention. World Health Organisation. Hill, M. M. & Hill, A. (2002). Investigao por Questionrio. Lisboa: Edies Slabo. I.O.M. (1994). Reducing Risks for Mental Disorders. Frontiers for Pre ventive Intervention Research. Washington D.C.: National Academy Press. McGrath, Y., Summall, H., McVeigh, J. & Bellis, M. (2006). Drug use prevention among young people: a review of reviews. Evidence briefing update. National Institute for Health and Clinical Excellence. Negreiros, J. (2001). Padres e Consequncias do Consumo de Drogas em Matosinhos: Resultados na Populao Estudantil e em Consumidores Problemticos. Matosinhos: Cmara Municipal de Matosinhos. Negreiros, J. (1998). Preveno do Abuso do lcool e Drogas nos Jovens. Braga: Radicrio. NIDA (1997). Preventing Drug Use among Children and Adolescents. A Research-based Guide. National Institute on Drug Abuse, and National Institutes of Health. O.E.D.T. (2001). Linhas Orientadoras para a Avaliao de Aces de Preveno da Toxicodependncia. Lisboa: Instituto Portugus da Droga e da Toxicodependncia. Santos, E. R; Baptista, T. & Bellis, M. (2010). Avaliao dos Resultados e do Impacto de Projectos de Preveno das Toxicodependncias. Actas do VII Simpsio Nacional de Investigao em Psicologia. Portugal: Universidade do Minho, 4 a 6 de Fevereiro de 2010. The Pompidou Group at the Council of Europe (2000). The 1999 ESPAD Report. Alcohol and Other Drug Use Among Students in 30 European Countries. Stockholm: The Swedish Government at the Swedish National Institute of Public Health. BibliogrAfia CONSULTADA Feijo, Fernanda (2006). Inqurito Nacional em Meio Escolar.

Psicloga Clnica, CRI Porto Ocidental ines.abraao@idt.min-saude.pt

Ana Tavares

Psicloga Clnica, NAT/DRN ana.tavares@idt.min-saude.pt Avenida da Boavista, 2521, 4100-135 Porto

Referncias Bibliogrficas Abrao, I. (1999). Factores de Risco e Factores Protectores para as Toxicodependncias. Uma Breve Reviso. Revista Toxicodependncias, Ano 5, n 2, pp. 3-11. Lisboa. Abrao, I.; Tavares, A. I. (2010). Trilhos Desenvolvimento de Competn cias Pessoais e Sociais. Instituto da Droga e da Toxicodependncia. Agencia Antidroga de la Comunidad de Madrid y Observatorio Europeo sobre Drogas y Toxicomanias (OEDT) (2002) Banco de Instrumentos para da Evaluacin de Intervenciones Preventivas (BIP). Madrid: Agencia Antidroga de la Comunidad de Madrid. Becoa Iglesias, E. (2001). Bases Tericas que Sustentan los Programas de Prevencin de Drogas. Madrid: Plan Nacional sobre Drogas. Becoa Iglesias, E. (2002). Bases Cientficas de la Prevencin de las