De:

GabineteRededeBibliotecasEscolares Coord.ProgramaRBEMariaTeresaCalada

Para:

ProfessoresBibliotecrios das Escolas Bsicas Integradas, Escolas dos 2e3CEBeEscolasSecundriasintegradasnaRBE

Assunto:

Comentrio sobre os relatrios produzidos pelas escolas no mbito da avaliaodasBibliotecasEscolaresrespeitantea200910

Data:

10demarode2011

CarosProfessoresBibliotecrios, Na sequncia da avaliao das Bibliotecas Escolares (BE), realizada pelas EBI, EB2,3 e ES no ano letivo de 200910, o Gabinete RBE entendeu proceder a uma anlise dos relatrios produzidos, tendo em vista fornecer s escolas algum retorno que possa contribuir para o progresso contnuo deste processo e uma maior eficcia na comunicaointernaeexternadosresultados. Esta anlise foi feita com base numa amostra estratificada constituda por 23 escolas, representativas do universo das 1197 escolas envolvidas neste trabalho e aleatoriamente selecionadas em funo do cruzamento das seguintes categorias: DRE (DREA2; DREALG2; DREC5; DRELVT7 e DREN7), Nvel de ensino (Bsico16; Secundrio7)eDomniodeavaliaoescolhido(A4;B11;C2eD6). Antes de procedermos a uma anlise mais detalhada das principais dificuldades detetadas pela leitura dos relatrios, sobretudo relacionadas com a forma como se procedeu recolha, tratamento e apresentao da informao, h que destacar o facto dos relatrios elaborados em 2010 denotarem uma melhoria geral muito significativa face aos relatrios produzidos pelas escolas envolvidas nas fases de testagem do Modelo de Avaliao, em 2008 e 2009. Esta melhoria fezse sentir em
1

todos os aspetos: na capacidade de anlise dos dados e registos disponveis; na apresentao de evidncias resultante da interpretao daqueles dados e registos; no apuramento dos principais pontos fortes e fracos que caracterizam o desempenho de cada BE no domnio avaliado; e na indicao de estratgias de consolidao e melhoria. Esto, portanto, bem visveis nos relatrios os benefcios deste processo, quer no esforo demonstrado em realizar um avaliao sria, rigorosa e credvel, passvel de serreconhecidaevalidadaportodos,quernaexibiodosseusfrutos, reveladoresdo grande empenho e aceitao do trabalho atualmente desenvolvido pelas BE junto de alunos, docentes e outros parceiros, quer ainda na ideia de melhoria que por eles perpassa,traduzidaeminmeraspropostasdeinterveno. Sem prejuzo do reconhecimento do mrito devido s escolas, consideramos que devemostambmaquiregistaroefeitodasformaeslevadasacaboem2008e2009, abarcando 1180 formandos e todas as regies do pas, e o acompanhamento dado pelo Gabinete RBE e, sobretudo, pelos CIBE, enquanto fator da qualidade crescente dosrelatrioselaboradospelasescolas. Ressalvada esta ideia de progresso gradual das BE na utilizao do Modelo de Avaliao e apropriao dos conceitos e metodologias nele implicadas, no devem deixar de apontarse algumas fragilidades ainda persistentes e que necessrio enfrentar: a dbil cultura de avaliao baseada em evidncias existente nas nossas escolas; as dificuldades, sentidas por muitos, na recolha, anlise, e interpretao do material obtido e na elaborao de concluses suscetveis de configurarem um plano futuro de melhoria; e a manuteno de uma prtica que continua sobretudo a privilegiar os inputs e os processos e se mantm ainda insuficientemente orientada paraosresultados. Feitasestasconsideraesdecarctermaisgeral,cabenosapontaralgunsdosaspetos especficosanecessitardeatenoequecadaescolapoderacolheremfunodasua situaoconcreta.
2

1. Organizaodoprocessodeavaliao Em termos da organizao do processo de avaliao, temos a registar trs problemas principais: o facto das amostras utilizadas nos questionrios apresentaram s vezes uma dimenso inferior recomendada e nem sempre refletirem a composio da respetiva comunidade (Ex: alunos de cursos CEF, PIEF, CNO); o curto perodo, geralmente concentrado no final do ano letivo, em que aparentemente decorreu a recolha de dados e informaes em certas escolas, contrariando o carter sistemtico e embebido no quotidiano da BE e da escola que se pretende conferir aos procedimentosinerentesavaliao;adificuldadeemmobilizarosactoreseducativos para a avaliao da BE, explicitada pelos autores de alguns dos relatrios e demonstrada atravs da fraca participao de certos Departamentos/Grupos disciplinares e outros agentes em actividades com a BE e respectivos processos de avaliao. 2. Recolhadedadoseformulaodeevidncias O segundo tipo de aspetos a focar prendese com a recolha de dados e a formulao de evidncias. A este respeito as situaes mais frequentes ou dignas de nota so as seguintes: Em alguns casos, detetouse que a seleo dos dados ou informaes considerados pertinenteseteisparaaavaliaodeumdadoIndicadordeixoudeforaoutrosdados ou informaes certamente disponveis e que poderiam ser relevantes, tendo em conta a quantidade e variedade de itens dos instrumentos do Modelo relacionveis com os Indicadores, que nestas situaes ficaram por explorar (Ex: questes do QA1; QA2;QA3;QD1eQD2). A visibilidade nos relatrios desta relao entre o contedo do material recolhido e a avaliao do indicador para o qual esse contedo til foi, de qualquer modo, mais conseguidanocasodaanlisedosdadosfornecidospelosinstrumentosdoModelo,do que no que respeita a outros documentos e dados gerados pela prpria escola, onde

sereveloumaisomissaouopaca,emaiorespaofoidadosperceesmaisoumenos impressionistasdosautoresdorelatrio. Sobre as evidncias, verificmos que a sua indicao s vezes confundida com a enumeraodosdocumentos,registosouinstrumentosderecolhautilizadosoucoma indicao de dados em bruto (Ex: PEE; RI; atas; registos vrios de projetos/atividades; QD1; QA2; CHK1; dados estatsticos; etc.), no fornecendo a devida anlise, necessariamente sucinta mas indispensvel, das informaes ou dados fornecidos por aqueles documentos, registos ou instrumentos, de modo a dela poderem deduzirse os pontos fortes e os pontos fracos da BE no domnio em avaliao. A redao destas evidncias, bem como a apresentao dos pontos fortes e fracos a que nos referiremos mais frente, tambm por vezes meramente indicativa ou descritiva, no contendo qualquer juzo de valor ou apreciao de carter avaliativo, que permita compreender o sentido das afirmaes feitas (Ex: A Escola inclui a biblioteca na formulao e desenvolvimento da sua misso, princpios, objetivos e estratgiasdeaprendizagem;Ex:Promoodasliteracias). Em certos casos, como num dos exemplos anteriores, foi ainda feita a simples cpia dos enunciados dos fatores crticos do Modelo, sem os adequar ou comentar, em funodasituaoconcretaarelatar,oqueconfereaoprocessoumcarternormativo eburocrticoqueemnadafavoreceosfinsdaavaliao. Nesta parte dos relatrios, se verdade que os dados resultantes das respostas aos questionrios so geralmente muito positivos e bastante favorveis BE, tambm se constata em algumas situaes uma perceo distinta por parte dos autores dos relatrios, desmentindo ou contrariando aqueles dados, igualmente vlida e importante, mas a que faltam mais uma vez evidncias que fundamentem estes juzos desinalcontrrio(Ex:Embora,nemsemprehouve). Lembramos que subjetividade inerente a estas percees h, tanto quanto possvel, que tentar contrapor as referncias fornecidas pelos fatores crticos e nveis de desempenho,queseconstituemcomostandardsdofuncionamentoeatividadedaBE, de modo a que um juzo mais rigoroso possa ser encontrado (Ex: Trabalho articulado comalgunsdocentes).
4

A concluir este ponto deve ainda referirse a avaliao algo insuficiente dos indicadores relativos aos impactos da BE no nvel de competncias dos alunos, muito assente nas respostas dos professores e alunos a itens dos questionrios relacionados com estes tpicos, mas tirando pouco partido das grelhas de observao, mesmo nos casosemqueestasforamtrabalhadas. O nmero dos intervenientes alvo destas observaes tambm no foi to elevado quanto seria desejvel, embora a natureza das observaes de competncias ou trabalhosdealunosnocomporteasmesmaspreocupaesderepresentatividadedos questionrios, ajudando neste caso, sobretudo, a identificar formas de aprendizagem passveis de serem transferidas para outras situaes, onde os mesmos resultados podero ser igualmente atingidos ou superados. O acompanhamento das observaes e a anlise conjunta de trabalhos dos alunos pelo docente da turma e professor bibliotecrio constituem, a este respeito, uma maisvalia neste tipo de avaliao, devendotalprticaserincentivada. 3. Pontosfortes,pontosfracoseacesdemelhoria Relativamenteaospontosfortes,pontosfracoseaesdemelhoria,haanotar: Do mesmo modo que se recorreu cpia dos indicadores/fatores crticos na coluna dasevidncias,tambmaquitalaconteceu,existindosituaesemquenaredaodos pontos fortes, pontos fracos e aes de melhoria da BE, as escolas se limitaram a colar os enunciados dos fatores crticos, das sugestes de melhoria ou dos descritores que integram as tabelas dos nveis de desempenho do Modelo, sem preocupao de os adequar s suas evidncias e realidade particular que estas certamente do a conhecer. Esta prtica pode, ainda que involuntariamente, levar a uma viso administrativa do Relatrio como um prforma, retirando toda a eficcia aoconjuntodoprocessodeavaliao,peloquedeveseromaispossvelevitada. Na indicao dos pontos fortes verificouse ainda uma certa tendncia para enfatizar sistematicamente os processos, o que a BE faz, sem que uma avaliao especfica das atividades desenvolvidas em termos dos resultados e/ou impactos alcanados com a suaconcretizaotivesseocorridooudelativessesidodadaconta(Ex:ABEdinamizou
5

asseguintesatividades),emconformidadecomoquejfoireferidoatrsemrelao sgrelhasdeobservao. Alguns pontos fortes e fracos identificados revelam uma relao explcita com as evidnciasencontradas,sobretudoquandoestasprovmdaanlisedosquestionrios, mas em muitos casos no existe qualquer fundamentao, mesmo quando esta podia serfacilmenteobtidaapartirdaanlisedeoutrotipodedadosouinformaes(Ex:Os professoresrecorrempoucoBE). Asconclusessotambm,porvezes,demasiadosumriaseevasivas,nopermitindo uma verdadeira avaliao do indicador a que dizem respeito (Ex: Pontos fortes: InformaoeDivulgao) Verificouse ainda uma certa confuso ou repetio dentro de cada domnio em avaliao, entre o tipo ou contedo das afirmaes proferidas a respeito de determinado subdomnio ou indicador, e o que se diz noutro/s subdomnio/s ou indicador/esdomesmodomnio.Estaconfusoresultounalgumafaltadeconsistncia das informaes que foram registadas, em relao com a estrutura e os ttulos que organizam o relatrio. A repetio, por seu turno, vai contra o princpio de economia que deve orientar a redao do relatrio, evitando o excesso e redundncia da informao,almdenocontribuirparaasuaclareza. A concluir este ponto, deve ainda ser salientada a existncia em algumas situaes de um certo desajustamento, face aos pontos fortes e fracos identificados, dos nveis obtidos, cuja deduo a partir dos descritores das tabelas dos perfis de desempenho, nosevislumbra. 4. Fontesdeevidncias Sobre as fontes de evidncias passveis de serem indicadas e transcritas em anexo s SecesAeBdorelatrio(documentos,registos,dados,etc.),lembramosquenocaso de transcrio, esta deve incidir apenas em excertos relativos aos aspetos mais relevantesquesuportamasevidnciasformuladasnocorpodorelatriopropriamente dito e que se justifica apresentar. No devem, portanto, cobrir a totalidade ou quase totalidade de certos documentos e registos, bastando na maior parte destas situaes
6

a indicao dessas fontes. To pouco devem contemplar certo tipo de documentos (regulamentos, listas de obras, manuais de procedimentos, classificaes CDU, currculos, trabalhos de alunos, etc.), como aconteceu num nmero significativo de casos. Nesta parte dos relatrios no devem ainda ser includos comentrios, juzos, apreciaes crticas ou desenvolvimentos sobre as iniciativas ou diligncias postas em prtica,cujolugarprprioocorpoprincipaldorelatrio. Em relao a dados quantitativos relacionados com o funcionamento da BE e fornecidospelasescolasnestaseco,umavezqueestetipodedadosnorecolhido a partir dos instrumentos do Modelo e no consta, por isso, de nenhum anexo, importanteque aqui sejam pelo menos referidos os dados estatsticos de utilizao da BE e se procure, se possvel, ir alm dos dados de emprstimo mais comummente recolhidos, sugerindose o seu alargamento, por exemplo, s verbas gastas na aquisio/atualizao de fundos documentais, ao nmero de obras adquiridas, utilizaopresencialdaBEporprofessoresealunos,etc. Quando apresentados, a compreenso dos dados estatsticos dificultada por no sabermos exatamente a que tipo de medida se referem, sendo til em caso de dvida provvel, asua especificao. O mesmo se verificaemrelao indicao de nmeros absolutos, cujo peso impossvel de avaliar (Ex: Requisies para sala no mbito do PNL: 500), ou falta dela (Ex: Sesses de formao de utilizadores com todos os alunos deApoioaoestudo). Apartedosrelatriosdestinadasfontesdeevidnciasfoiaquelaquemaisconcorreu para a excessiva extenso de alguns relatrios, cuja dimenso urge moderar, sem que nestecomentrioseincluamosanexoscomosdadosnumricosegrficosresultantes da aplicao dos instrumentos do Modelo, que sabemos poderem atingir mais de 30 pginas, sobretudo no caso da avaliao de domnios com mais instrumentos (A/B) ou instrumentosmaisextensos(D).
7

5. SecoBdoRelatrio Sobre a Seco B do relatrio, de que fazem parte, para cada um dos domnios que nofoifrutodaaplicaodoModelo,trsttulos:Relatriodeavaliao,Evidncias que fundamentam o Relatrio e Aes para melhoria, tambm nesta se verificou uma certa tendncia para a apresentao, no primeiro ttulo, de frases, s vezes decalcadas dos indicadores ou fatores crticos do Modelo ou assemelhandose a listagensdeevidncias,emvezdeseconstituircomoumasmulaousnteseavaliativa das reas de interveno em causa; no segundo ttulo, onde deviam constar as referidas evidncias, so mais uma vez apontados em alguns casos os documentos ou registosutilizados,sendoquesvezesseincluemaquiindicaesdosinstrumentosdo Modelo que tero sido aplicados e alvo de anlise em anos anteriores. Sobre este aspecto, lembramos que os dados recolhidos em anos anteriores no devem voltar a ser apresentados, sendo, contudo, importante que nesta parte se inclua alguma refernciasacesdemelhoriaentretantopostasemprticaderivadasdeavaliaes anteriores. O carter vazio de significado de algumas das frases utilizadas mantmse tambm nesta seco (Ex: A BE apoiou as atividades de pesquisa e apresentao de trabalhos dosalunos). Um nmero considervel de escolas no preencheu esta seco B do Relatrio ou partes dela. Se certo que do ponto de vista do domnio avaliado, esta seco no acrescenta qualquer informao, tambm verdade que ao fazer parte de um documento que se constitui como um relatrio anual sobre o trabalho e resultados alcanados pela BE, a sua omisso compromete uma viso global daquele trabalho, sendo,porisso,desaconselhada. 6. Anexo Relativamente ao Anexo com a apresentao numrica e grfica dos dados obtidos a partir dos instrumentos do Modelo, uma vez que estes dados so registados aqui, no h necessidade de os apresentar de forma extensiva no corpo do relatrio, a no ser
8

nas situaes em que sirvam para ilustrar ou demonstrar o que est a ser dito. Daqui deriva uma das principais vantagens da utilizao da aplicao informtica pelas escolas, quer para o envio e recepo dos questionrios respondidos pelos participantes na avaliao, quer para o carregamento agregado de dados pelo professorbibliotecrio,queraindaparaasuaapresentaofinal. Concludasestasobservaes,queesperamos,voaoencontrodoretornopretendido pelas escolas e sejam teis ao aperfeioamento da utilizao pelas escolas do Modelo de Avaliao, restanos agradecer o esforo realizado para levar a cabo esta avaliao, reafirmar a nossa convico sobre o valor do Modelo de Avaliao como um valioso instrumento de afirmao, melhoria e reconhecimento das BE, e desejar a todos a continuaodeumexcelentetrabalho! Comosmelhorescumprimentos,
TextoescritoconformeoAcordoOrtogrficoconvertidopeloLince.

ACoordenadora

MariaTeresaCalada