Prticas de avaliao de servios em Bibliotecas Universitrias: explorao de evidncias em Portugal

Aurora Machado
Biblioteca Nacional de Portugal Campo Grande, 83 1751 Lisboa Codex Tel: 217982190

Paula Ocha
Biblioteca Nacional de Portugal Campo Grande, 83 1751 Lisboa Codex Tel: 217982190

E-mail: amachado@bnportugal.pt

E-mail: pochoa@bnportugal.pt

RESUMO

Trata-se de um estudo exploratrio das prticas e ferramentas de avaliao utilizadas e das concees dos Profissionais de Informao, responsveis ou coresponsveis pela gesto das bibliotecas universitrias, no que respeita ao auto diagnstico do desempenho organizacional como forma de melhorar a deciso, a eficcia, os resultados e os impactos dos servios fornecidos s respetivas comunidades. O diagnstico de avaliao organizacional das bibliotecas universitrias do ensino pblico consubstanciou-se nos indicadores de desempenho previstos na NP ISO 11620 (2004), standard que normaliza a metodologia para aferir a utilidade e relevncia dos servios fornecidos. Os resultados demonstram que 25% das bibliotecas entendeu a necessidade de definir documentos estratgicos e de alinhamento da organizao como a viso e, apesar de 70% afirmar que avalia os servios, s 10% o faz utilizando a NP ISO 11620. A mesma dificuldade se sente na aplicao do standard relativo recolha de dados estatsticos (ISO 2789, 2003): apenas 5% afirma utilizar a norma. Nenhuma biblioteca universitria participante faz avaliaes custo/eficcia, custo/benefcio ou qualidade/custo e nenhuma compara os resultados com as suas congneres. Os resultados deste estudo evidenciam ainda que as prticas utilizadas so pouco difundidas na comunidade, no existindo partilha de boas prticas de uma forma intensa, nem estratgias para o desenvolvimento de competncias. O foco na alterao de comportamentos entre os utilizadores tambm ainda embrionrio, revelando que necessrio traar linhas de ao, de investigao e estratgicas que garantam o alargamento das situaes no terreno, mas tambm a sua problematizao e uma mais ampla discusso entre os profissionais, tendo sempre em ateno os fenmenos emergentes que tm vindo a ocorrer na forma de utilizar as bibliotecas mas tambm na forma como a informao usada pelos utilizadores num quadro de desempenho cujos pilares so a eficcia, a eficincia e o valor.
PALAVRAS-CHAVE: Bibliotecas universitrias, auto-

avaliao organizacional, indicadores de desempenho, NP ISO 11620, valor.

ABSTRACT

It is an exploratory study of the adopted evaluation praxis and tools and of the conceptions of the information professionals who are responsible or coresponsible for libraries management. The academic libraries organizational evaluations diagnosis had into account the indicators stated in NP ISO 11620, the standard that establishes the methodology to measure the convenience and relevance of the provided services. Results show that only 25% of the inquired libraries considered the need to define the target and that, although 70 % affirm that their services are evaluated, only 10% carry it out using ISO 11620. The same difficulty is faced if applying the standard related to the collection of statistic data (ISO 2789): only 5% declare they use the norm. If these two standards are not applied it is impossible to compare in the near future the performance of the academic libraries. None of the inquired libraries evaluates cost / effectiveness, cost / benefit or quality / cost and none compares its results with fellow institutions. The results of this study show that practices are widespread in the community and there is no sharing of good practices in a way intense, or strategies for the development of skills. The focus on users ' behaviors change also is still embryonic, revealing that it is necessary to draw lines of research and strategic action, to ensure that the enlargement of the situations on the ground, but also their questioning and a more extensive discussion between professionals, always bearing in mind the emerging phenomena that have been taking place in the form of using the libraries but also in how the information is used by users on a performance framework whose pillars are effectiveness, efficiency and value.
KEY-WORDS:

academic libraries, organizational evaluation, performance indicators, ISO 11620, value.

INTRODUO A necessidade de demonstrar, exaustivamente, o valor dos servios multiplicou as dimenses da avaliao, desde as mais influenciadas pelo campo da anlise econmica, como por exemplo o clculo do ROI (Return on Investement), at s difusas conceptualizaes sobre a avaliao de impactos sociais, educacionais e culturais. Avaliar o desempenho dos servios fornecidos comunidade de utilizadores pressupe, hoje, competncias adequadas a esse fim. Nesse sentido, importante perceber os nveis de sensibilizao dos Profissionais de Informao para aprender a inovar (OCHA & PINTO, 2004) e, em particular, a forma como aplicada a competncia Tcnicas de diagnstico e avaliao do desempenho organizacional no sistema biblioteca universitria. Processo de determinar o valor, o mrito ou o benefcio de algo, avaliar consiste em comparar o que um produto ou servio com o que pode ou deve ser (ORR, 1973) a partir de anlises custo/eficcia e custo/benefcio (LANCASTER, 1993) ou qualidade/preo (BROPHY, 2006; MATTHEWS, 2007). , pois, uma componente essencial da Gesto das organizaes que permite, entre outros aspetos, estabelecer uma escala para mostrar o nvel de desempenho do servio; comparar o desempenho entre vrias bibliotecas; justificar a sua existncia; e identificar as causas da ineficincia de um servio para melhorar o desempenho futuro (LANCASTER, 1993) e realizar uma gesto das suas evidncias organizacionais (OCHOA , PINTO, 2007). Em Portugal, a prtica de avaliao destes servios de informao um fenmeno bastante mais recente e surge, amide, contaminada pela alterao das abordagens de gesto da Administrao Pblica, contexto maioritrio destas organizaes mas, sobretudo, pelas exigncias decorrentes da implementao do Processo de Bolonha. Obrigadas ou influenciadas por este contexto, as bibliotecas tm vindo, timidamente, a utilizar, a maioria das vezes de forma desenquadrada de uma estratgia de gesto abrangente, diversos indicadores de desempenho. Uma utilizao profissional e consequente de uma qualquer metodologia de avaliao depende, porm, de uma estratgia global da organizao onde a biblioteca universitria se insere. Na ausncia ou na definio pouco clara dessa estratgia no espectvel que a biblioteca, unidade orgnica genericamente posicionada ao nvel ttico, possa por si s defini-la e substituir-se a quem deve pensar a organizao como um todo. As formas de avaliao utilizadas pelas bibliotecas em Portugal e o impacto que os resultados tm tido no desenvolvimento dos servios so aspetos praticamente desconhecidos, qualquer que seja o domnio onde exercem a sua ao. Estes aspetos motivaram, pois, a pergunta de partida ou problema a que esta investigao pretende dar resposta: avaliam as bibliotecas universitrias a qualidade dos servios que fornecem comunidade acadmica? Desta forma, o estudo exploratrio sobre prticas de avaliao de servios em bibliotecas universitrias portuguesas [1] tem duas finalidades: em primeiro lugar, uma de natureza social que se traduz na

contribuio, quer atravs da reviso da literatura, quer da divulgao dos resultados, para uma melhoria das prticas de avaliao; e, em segundo lugar, uma finalidade de natureza mais acadmica que visa fazer um diagnstico transversal para obter uma primeira aproximao a um domnio desconhecido, permitindo desenvolvimentos posteriores da investigao. A expectativa de que os resultados deste trabalho exploratrio possam, igualmente, contribuir para alinhar as bibliotecas com as mais recentes tendncias do ambiente universitrio escala global, que implica a comparao do desempenho destas organizaes entre si, motivou a escolha do tema, bem como o caminho metodolgico a seguir. A opo por um nico sistema de bibliotecas (as universitrias) corresponde necessidade de, por um lado, restringir o objeto de forma a tornar a investigao exequvel e, por outro, a restringir a servios com a mesma misso para que os resultados possam ser comparveis. A escolha desta tipologia deve-se ao facto das universidades, ambiente em que esto inseridas estas bibliotecas, estarem sujeitas a calendrios de avaliao e certificao decorrentes do Processo de Bolonha. Pretende-se, pois, fazer o estudo exploratrio das prticas, dos modelos e ferramentas de avaliao utilizadas e das concees dos Profissionais de Informao, responsveis ou co-responsveis pela gesto das bibliotecas universitrias, no que respeita ao autodiagnstico do desempenho organizacional como forma de melhorar continuamente a eficcia, os resultados e os benefcios dos servios fornecidos s respetivas comunidades. Foram nossos objetivos: Percecionar o alinhamento e contexto organizacional atravs do tipo e nmero de documentos estruturantes de gesto (forma como so preparados), da identificao dos principais agentes, com vista compreenso de aspetos dificultadores ou facilitadores dos processos de avaliao; Identificar as principais prticas de avaliao, respetivas metodologias e finalidades; Estabelecer os nveis de utilizao dos standards emanados pela ISO International Organization for Standardization de recolha de dados estatsticos (2789) e indicadores de desempenho em bibliotecas (11620); Identificar os indicadores de desempenho que os Profissionais de Informao consideram mais importantes para o autodiagnstico do sistema biblioteca universitria; Indagar se a preocupao dos Profissionais de Informao est centrada na eficcia e/ou nos benefcios dos servios, focada na organizao e/ou nos utilizadores e se existem experincias relativas avaliao do impacto dos servios;

Compreender as concees e motivaes dos Profissionais de Informao relativamente a esta problemtica.

Numa poca de fortes alteraes no ambiente externo e interno nas universidades (AMANTE, 2010), pretendese que este estudo permita melhorar o conhecimento do fenmeno e, simultaneamente, sirva para consciencializar os Profissionais de Informao para a necessidade de avaliar a qualidade dos servios que fornecem, no sentido de continuamente os melhorar, confrontando as suas prticas com as ferramentas especficas de autodiagnstico do desempenho existentes para o sistema biblioteca. AVALIAO metodolgica DOS SERVIOS: abordagem

utilizados dois mtodos complementares o estatstico e a anlise de texto para fazer a anlise e interpretao da informao recolhida. Para o tratamento dos dados estatsticos foi usado o programa Excel e, para a anlise e interpretao, recorremos sobretudo a medidas de tendncia (moda, mdia e mediana) e de disperso (percentagem, varincia e desvio padro) da estatstica descritiva utilizando, no tratamento de algumas respostas medidas como a densidade e distribuio. AVALIAO tericas DOS SERVIOS: abordagens

Na convico de que no existe uma forma certa e outra errada de compreender o mundo mas, no pressuposto, de que cada experincia de avaliao de desempenho uma construo no sentido de se conhecer melhor uma realidade ou fenmeno, enveredamos pela abordagem construtivista, considerando que esta also reinforces the post-positivism understanding that by comparing, contrasting and above all listening to different viewpoints we can greatly improve the chance of building useful knowledge and perhaps even wisdom(BROPHY, 2008, 24). A avaliao de servios inclui-se na investigao aplicada que resulta de um conjunto complexo e interdisciplinar de saberes, no existindo um mapa que guie no caminho certo conducente ao contnuo melhoramento de uma praxis. Nenhum modelo pode ser considerado universalmente eficaz: -o ou no, em funo de cada contexto. um processo que resulta da dialtica, em cada momento histrico, entre o ambiente externo e o ambiente interno de cada organizao, das competncias adequadas que permitem que a organizao se mantenha competitiva no mercado o que implica a mobilizao e motivao de toda a equipa para aproveitar as oportunidades e agir no sentido de diminuir as ameaas do meio, num processo de melhoria contnua, e de criao e recriao da forma de interagir com os diferentes stakeholders. Tratando-se de uma praxis, pareceu-nos importante percecionar o que est a ser feito em termos de avaliao de servios no sistema biblioteca universitria, inquirindo o conjunto de atores sociais que tem a autoridade de definir e implementar (ou no) esta prtica no sistema biblioteca. Interessava saber que servios so avaliados mas tambm a profundidade da avaliao questes a que respondem melhor as ferramentas quantitativas e, concomitantemente, as razes ou causas do fenmeno, a que respondem melhor as ferramentas qualitativas. WITKIN (1994) defende que na investigao de um fenmeno, nenhuma das ferramentas inqurito ou entrevista faz sentido por si s, propondo a utilizao criativa de uma metodologia hbrida na aproximao ao fenmeno. optmos por um dispositivo hbrido para a recolha de dados empricos, concomitantemente fixo e flexvel (ROBSON, 2002) utilizando na formulao das perguntas, aspetos que se aproximam da tcnica da entrevista semi-directiva. Por essa razo foram

Os primeiros trabalhos publicados no que respeita avaliao dos servios de biblioteca comearam na dcada de 40 do sc. XX, destacando-se S. C. Bradford que, em 1948, influencia o desenho do National Lending Library for Science and Technology. Na dcada de 60 do sculo passado, Philip Morse introduz o conceito de eficcia no sistema biblioteca. , porm, na dcada de 70 que so publicados os primeiros trabalhos de referncia no que respeita a esta problemtica. ORR (1973) introduz a questo que adquire hoje grande centralidade, enunciando que o valor de um servio deve ser julgado em termos do benefcio do seu uso, ao mesmo tempo que introduzida a questo da qualidade, retomada na dcada de 90, distinguindo quo bom de quo bom pode ser o servio. O valor dos servios fornecidos pelo sistema biblioteca tem, contudo, referncias mais longnquas naquele que pode ser considerado o precursor da centralidade do utilizador na vida das bibliotecas. Referimo-nos a Ranganathan autor da obra The Five Laws of Library Science (1931) que mantm uma extraordinria actualidade o que confirma o seu valor universal e intemporal. Em 1977 publicada a obra Measurement and Evaluation of Library Services, de F.W. Lancaster, que assinala a entrada da avaliao de desempenho nas prticas do sistema biblioteca. Os estudos centrados no uso dos servios e na utilizao das coleces afirmamse de forma incontornvel. Entre as figuras mais marcantes da reflexo e sistematizao de indicadores de desempenho nas bibliotecas do ensino superior, destacam-se Nancy van House e Charles McClure. Sob a gide da ALA American Library Association, publicada, em 1990, a obra Measuring Academic Library Performance. Na dcada de 90 a prtica de avaliar os servios generaliza-se. Diversificam-se os projetos, as matrizes, os modelos para avaliar e comparar a qualidade dos servios tradicionais e eletrnicos, um pouco por todo o mundo. Em 1995 a reflexo em torno das questes de avaliao justificam j a criao de um ciclo regular de conferncias, que se vm realizando de dois em dois anos, organizado pela Universidade de Northumbria o que reala a importncia do tpico e a preocupao no seio das comunidades acadmica e de profissionais da informao. Destaca-se, tambm, o programa TEAL The Effective

Academic Library, patrocinado pela Higher Education Funding Council for England, propondo a avaliao da eficincia, economia, satisfao do utilizador, integrao e fornecimento de recursos. No mesmo ano (1995), a Comunidade Europeia lana o projeto CAMILE que, precedido de um inventrio dos indicadores ento disponveis, d lugar a quatro prottipos de sistemas informticos de suporte deciso (DSS) focados na avaliao: Decide, Decimal, Eqlipse e Minstrel (GIAPPICONI, 2008). No ano seguinte (1996), Roswitha POLL publica, com a chancela da IFLA International Federation of Library Associations and Institutions , o manual Measuring Quality com 17 indicadores para avaliao dos servios tradicionais das bibliotecas. O ano de 1999 marcado por dois importantes projetos para avaliao dos servios electrnicos: um europeu Equinox [2], e outro americano e-Metrics [3]. Ambos desenvolvem e utilizam indicadores de desempenho e estatsticas para medir e avaliar os servios electrnicos nas bibliotecas. Simultaneamente surgem diferentes projetos de benchmarking, nomeadamente na Alemanha (BIX), na Holanda (UKB), e na Espanha (BIQUAL). Entre os diversos projectos que comparam os resultados de bibliotecas universitrias, destaca-se o LibQUAL+ que utiliza o gap model para comparar a diferena entre as expectativas dos utilizadores e o desempenho nas seguintes dimenses de qualidade: a biblioteca como lugar, o controlo de informao e a afectividade do servio. Stephen TOWN e Selena LOCK, da Cranfield University, avaliam a experincia de cinco anos (20032007) relativa participao do Consrcio SCONUL Society of College, National and University Libraries, que inclui 42 instituies do Reino Unido e Irlanda, nos inquritos do LibQUAL+, numa comunicao 7 Conferncia de Northumbria. Nesse estudo demonstram que os dois parmetros mais desejados pelos utilizadores, de acordo com aquela experincia, so: electronic resources acessible from my home or office; A library web site enabling me to locate information on my own (TOWN & LOCK, 2007, 10). , pois, desvalorizada a relao personalizada, cordial e confiante do staff enquanto intermedirio na localizao das melhores fontes de informao e valorizada, na expectativa dos utilizadores, a googlizao da biblioteca. Estes projectos de benchmarking fornecem s bibliotecas participantes a oportunidade de perceber quo bem esto a fazer, tendo ainda a grande vantagem de possibilitar a melhoria contnua dos processos de trabalho e um melhor conhecimento das expectativas dos utilizadores. A importncia da generalizao de prticas de desempenho tem vindo a ser amplamente difundida em Portugal desde 1998 (OCHA & PINTO, 2004, 2005), com especial destaque para o modelo desenvolvido e implementado pela Rede das Bibliotecas Escolares (2011), cabendo s restantes tipologias de bibliotecas desenvolver dinmicas e estratgias de actuao, autoavaliao e de gesto de evidncias [4], associando-se a

polticas pblicas nacionais (STREATFIELD, MARKLESS, 2011) de avaliao de desempenho (como por exemplo, o Sistema Integrado de Avaliao de Desempenho SIADAP). Este projecto de investigao insere-se na dinmica internacional de anlise das evidncias como suporte melhoria contnua deste grupo de bibliotecas (POLL, PAYNE, 2006; MARKLESS, STREATFIELD, 2006, BROPHY, 2008) confirmando a necessidade de aprendizagem organizacional na demonstrao de resultados a todas as partes interessadas, aliada a abordagens integradas e sistemticas de reviso dos conceitos de qualidade e Excelncia como estratgia sustentvel destas prticas gestionrias. Muitas das definies destes conceitos que surgem na literatura enfatizam o papel da avaliao no ciclo de gesto organizacional, permitindo ferramentas de apoio aos processos de deciso (HERNON E MCCLURE, 1990), constituindo um processo que, sistematicamente, fornece informao sobre a adequao, qualidade ou impacto de uma atividade ou servio e revelando o carcter prtico da avaliao. Entre as razes necessrias para a sua aplicao, destaca-se a de melhorar/aumentar a visibilidade da biblioteca e descrever os seus impactos, evitando erros e fortalecendo os seus posicionamentos no mercado da informao (Powell, 2006), pressupondo a comparao dos resultados com padres de referncia existentes. A dificuldade na aplicao de modelos de desempenho tambm tem sido reportada na literatura especializada, sendo a falta de competncias profissionais (MCNICOL; NANKIVELL, 2003) nesta rea uma das causas apontadas para a diminuta aplicao de casos mais generalizados, constituindo o modelo de desempenho mais usado em todos os tipos de bibliotecas, o modelo que incide sobre os inputs, processos e resultados (MARKLESS E STREATFIELD, 2006). A medio de impactos (outcomes) ainda escassa, tanto a nvel internacional como a nvel nacional, incidindo pouco sobre as suas componentes econmicas, de aprendizagem, de Investigao, de competncias de informao, cultural e na comunidade. De acordo com POLL, et al (2007) os trs nveis para avaliar o impacto dos servios no utilizador e na sociedade passam pela capacidade das bibliotecas avaliarem as alteraes cognitivas (aquisio de conhecimento); alteraes nas atitudes e opinies; alteraes no comportamento, de forma fivel, comparvel, prtica e simples. Os impactos so os efeitos ou mudanas ocorridas no utilizador ou, a prazo, na comunidade a partir de uma experincia, programa ou servio fornecido por uma organizao. Implcita ao ato de medir esses efeitos est a necessidade de selecionar os programas a avaliar, definir os impactos pretendidos, uniformizar as formas de recolher dados e a forma de os interpretar luz de um referencial comum. Peter Brophy (2005) sugere uma possvel escala com nove (9) nveis de anlise na avaliao de impactos na biblioteca (BRPHY apud MATTHEWS 2007, p. 24). Por seu lado, MARKLESS & STREATFIELD (2008) definem um modelo em que apresentam doze leis que

poderemos antes considerar, como boas prticas na avaliao de impactos: 1. A avaliao dos impactos requer consistncia na terminologia a utilizar; 2. Clarificar o que queremos alcanar mais do que a forma de l chegar; 3. Definir objectivos especficos e limitados no tempo que ajudem a focar no impacto (no confundir com monitorizar a eficincia); 4. Objectivar o impacto que pretendemos ver; 5. No formular demasiados indicadores quantitativos, evitando a concentrao no lado estatstico do impacto; 6. Ser poltico! Dar aos stakeholders o que eles pretendem, no o que os Bibliotecrios consideram importante; 7. A avaliao de impactos resulta melhor em servios em desenvolvimento (tempo curto e recursos limitados): as mudanas reais podem ser demonstradas; 8. Inquritos so ideais para projetar (pre)conceitos e juzos apriorsticos do compilador, confirmados por uma audincia invisvel; 9. Avaliar no corresponde a recolher uma srie de evidncias: necessrio focar no impacto real, no rigor da recolha, na anlise e na comunicao dos dados; 10. Evidncias no so desejos: que mudanas se pretendem e no o que se esperava que tivesse mudado; 11. Se as metas de impacto no ajudam, devem ser revistas; 12 O benchmarking o comeo de uma jornada de descoberta no um fim em si mesmo. uma forma de conhecer mais sobre os servios comparando o seu impacto com o dos outros no uma forma de garantir um lugar no quadro de honra. Sendo os impactos o mais difcil de medir nas bibliotecas universitrias (BLIXRUD, 2003), a melhor aproximao, no actual estado de arte, a ligao da utilizao da biblioteca com os outputs da investigao porque difcil identificar qual o contributo da biblioteca nos outcomes da universidade. Nos ltimos vinte e cinco a trinta anos os Profissionais de Informao aprenderam a distinguir inputs de outputs, perceberam a diferena entre avaliar um processo e avaliar um produto, consciencializaram que os resultados podem no ser equivalentes a outcomes e, nessa altura, para descobrir quo bem esto a fazer precisam determinar o impacto que a biblioteca tem nos seus utilizadores e na sociedade. Constataram que esses impactos so conceitos mais difceis de medir e verificaram que so frequentemente escorregadios, contraditrios e muitas vezes inquantificveis (CULLEN, 1999, 5). As principais dificuldades na avaliao de impactos no sistema biblioteca universitria resultam do facto de um servio ter outcomes e valores diferentes para cada grupo de stakeholders que, em regra, tm interesses conflituantes. Outras dificuldades residem: a) na proliferao de mtodos usados pelas diferentes bibliotecas o que impossibilita a sistematizao e a comparao de dados; b) no facto da verificao dos efeitos de longo prazo no serem possveis se os utilizadores no estiverem disponveis para testes ou inquritos. Uma outra dimenso, mais ausente na literatura da disciplina, o facto de raramente o impacto resultar de um nico fator fazendo com que a tentativa de o determinar na vida de um indivduo seja ainda mais difcil. O Homem, como nos recorda MORIN (1975), uma totalidade bio-psico-socio-cultural o que nos

remete para a dificuldade de avaliar as variveis ao nvel do conhecimento, nas atitudes e nos comportamentos antes e depois de experienciar os servios das bibliotecas. Qual o papel que coube biblioteca nesse processo e como diferenci-lo do contributo de outros subsistemas sociais como a universidade, famlia, amigos e outros eventuais grupos de pertena do indivduo? Este conjunto de dificuldades levou a que as prticas de OBE - Outcomes Based Evaluations, se foquem cada vez mais num outro caminho: definio das necessidades, solues e resultado esperado. Em sntese, na base deve estar sempre a resposta s perguntas: para qu e a quem serve o que fazemos (MATTHEWS, 2007, 25). Por outro lado, no faz qualquer sentido distinguir os resultados da Biblioteca dos da respetiva Universidade. A Biblioteca uma unidade orgnica de apoio misso da Universidade logo as solues para responder s necessidades ganham sentido conjuntamente. uma evidncia ainda que esta no seja uma categoria especial de informao que a biblioteca representa valor para a sociedade e para o indivduo. A nvel econmico vrios estudos o demonstram. Entre a dcada de 90 e a atualidade muitas experincias de avaliao de outro tipo de impactos foram tentadas, porm a sua fiabilidade muito pouco substantiva. Existem estudos que demonstram que quanto mais aplicados so os estudantes mais utilizam os servios da biblioteca. Porm, outros comprovam que o tempo utilizado na biblioteca no est associado ao sucesso escolar. Segundo MATTHEWS (2007, 294) there is no clear evidence that library use is linked to learning or academic success. A constatao de CULLEN, em 1999, reiterada por K. MOTYLEWSKY em 2002 como se percebe no ttulo Outcomes: libraries change lives oh yeah? Prove it e pela investigao mais recente (MELO, PIRES, 2008; MELO , et al, 2008; BERG, et.al, 2009). No atual estado de arte no existem indicadores para a avaliao de impactos que sejam fiveis, isto , que produzam o mesmo resultado se repetidos em idnticas circunstncias, nas bibliotecas universitrias (POLL, et al 2007) constituindo-se esse como o principal desafio. De acordo com MATTHEWS (2007) o impacto das bibliotecas universitrias deve incidir sobre os benefcios sociais na aprendizagem dos alunos, no ensino e na investigao da respetiva universidade. RESULTADOS Concentrando-nos agora no que eram os objectivos deste estudo exploratrio, constatou-se que as bibliotecas participantes se encontram numa fase inicial de consciencializao e resposta aos desafios colocados pelo ambiente externo e interno, decorrentes da emergncia de novos modelos e paradigmas, no apenas no que respeita definio de documentos estruturantes de alinhamento organizacional, como em termos de prticas e metodologias de avaliao dos servios fornecidos comunidade acadmica. 1. Apenas 25% das organizaes entendeu a necessidade de definir a sua viso. O plano estratgico , maioritariamente (75%), preparado em funo de

percepes que se pretendem alterar e s uma (1) biblioteca o faz de acordo com a misso e objectivos estratgicos da Universidade. Constata-se a falta de instrumentos de alinhamento organizacional, o que compromete, essencialmente, a gesto de topo ou estratgica. A iniciativa de elaborar os documentos estruturantes de gesto ou da direco da biblioteca (41,66%), ou desta conjuntamente com os rgos directivos da universidade (41,66%). S em 16,66% dos casos a iniciativa dos rgos directivos da universidade. Em nenhum caso o oramento varia de acordo com o desempenho. 2. Considerando que devem ser avaliados custos, eficcia e benefcios usando diferentes perspectivas ou ngulos: utilizadores, gesto e tutela, constatamos que nenhuma biblioteca participante faz avaliaes custo/eficcia, custo/benefcio ou qualidade/custo e nenhuma compara os resultados com as suas congneres. Setenta por cento afirma que avalia os servios: porm, maioritariamente, no so seguidas metodologias normalizadas. Os indicadores mais usados so a Satisfao do utilizador (93,8%), o Movimento da coleco de emprstimo (68,8%) e a Rapidez do emprstimo interbibliotecas (68,8%). Apenas 10% segue a metodologia proposta no referencial normalizado de indicadores de desempenho para o autodiagnstico de bibliotecas. Em todo o caso, as bibliotecas utilizam, maioritariamente, de acordo com a reviso da literatura, o indicador mais subjectivo do referencial normativo NP ISO 11620. Verificou-se que maioritariamente as bibliotecas (60%) avaliam a imagem e esta , em 75% dos casos, boa. Neste aspecto seria necessrio recolher os inquritos feitos pelas bibliotecas para aferir a metodologia seguida e as dimenses avaliadas, aspectos que interessaria estudar no futuro. Verificou-se, contudo, que apenas quatro (4) bibliotecas inquiriram diferentes grupos de stakeholders. 3. Os nveis de utilizao dos standards de medida especficos para o sistema biblioteca, emanados pela ISO International Organization for Standardization , para recolha de dados estatsticos (2789) e indicadores de desempenho em bibliotecas (11620) so preocupantemente baixos. Apenas 5% das bibliotecas participantes utiliza a metodologia de recolha de dados estatsticos e 10% a metodologia normalizada para avaliar o desempenho. No sendo utilizados referenciais e parmetros de medida e interpretao comuns por todas as bibliotecas, estas no podero abraar projectos de benchmarking, uma das formas de continuamente melhorar os servios, nem, no futuro prximo, avaliar o desempenho no sistema biblioteca universitria para o comparar com as congneres portuguesas e/ou europeias. Daqui resulta que, na auto-avaliao da qualidade das universidades para que se caminha, o contributo da biblioteca ficar, obviamente, invisvel. 4. O contributo mais interessante e antes desconhecido, que resulta deste estudo o ranking de indicadores de desempenho da NP ISO 11620: 2004 para o autodiagnstico do sistema biblioteca universitria para

os responsveis ou co-responsveis pela gesto da biblioteca (Ver Figura 1). O top 5 , por ordem de preferncia, a Satisfao do utilizador (primeira posio do ranking), Taxa de sucesso da pesquisa no catlogo de ttulos, Taxa de respostas correctas, Taxa de sucesso da pesquisa no catlogo de assuntos, e a. Disponibilidade dos sistemas automatizados. No plo oposto, os cinco indicadores menos valorizados so: Custo por visita biblioteca (ltima posio do ranking), Emprstimos por empregado, Custo por emprstimo, Custo por utilizador, Custo por ttulo catalogado. A preferncia pelo indicador Satisfao do utilizador (1 posio do ranking) parece no ter sustentabilidade quando comparado com as preferncias atribudas a outros indicadores que igualmente servem para aferir a satisfao e penetrao no mercado, previstos na NP ISO 11620, como, por exemplo, a adequao da coleco s necessidades de informao do utilizador, que avaliada pelo indicador Percentagem de ttulos solicitados na coleco (17 posio) e que no so valorizados nem no discurso nem na prtica dos participantes. 5. Conjugando a anlise quantitativa dos dados com a anlise do discurso dos participantes, verifica-se que a preocupao dos Profissionais de Informao est incipientemente focada na organizao: nenhuma biblioteca avalia custos, eficcia ou benefcios e, maioritariamente inquiriu os utilizadores na avaliao da imagem da biblioteca. Considerando por outro lado, que o impacto resulta da demonstrao das alteraes nas atitudes, comportamentos e conhecimento dos utilizadores aps a interaco com a biblioteca, constatou-se, ainda, que nenhuma biblioteca universitria participante faz avaliao do impacto dos servios fornecidos no utilizador. 6. Analisando as respostas dos Profissionais de Informao participantes relativas s suas prioridades, desafios e perspectivas, possvel verificar significativas diferenas entre os indicadores da prtica e o discurso. As concepes e motivaes para a avaliao dos servios so mltiplas, afirmando uns estar centrados na satisfao das necessidades de informao dos utilizadores, outros na satisfao de todas as partes interessadas (stakeholders); uns afirmam estar focados na unidade orgnica (Biblioteca), outros na instituio (Universidade); uns afirmam estar focados na eficincia e eficcia, outros na qualidade. Se as diferenas ao nvel do discurso, forem indcio da necessidade de alterao das prticas, ento os Profissionais de Informao estaro, sem juzos de valor, no bom caminho. , tambm, significativo que apenas 5% das bibliotecas considere que no importante ter indicadores de desempenho o que constitui, tambm este, um indcio importante do nvel de sensibilizao dos Profissionais de Informao relativamente necessidade de fazer auto-avaliao do desempenho da unidade orgnica. Os 15% que deram incio a projectos de gesto da qualidade informaram estar ainda na fase inicial. Metade utilizou a ISO 9001 e NP 11620 (com incio em 2009), e as restantes o BSC (encontrando-se ainda nos preliminares). Monitorizar o desempenho, melhorar a qualidade, motivar e envolver mais os funcionrios, encontram-se entre as principais

motivaes enunciadas pelas bibliotecas que deram incio a estes projetos.

Indicadores Satisfao do utilizador Taxa de sucesso da pesquisa no catlogo de ttulos Taxa de respostas correctas Taxa de sucesso da pesquisa no catlogo de assuntos Disponibilidade dos sistemas automatizados Tempo mdio do processamento de documentos Disponibilidade de ttulos solicitados Tempo mdio de aquisio de documentos Disponibilidade de ttulos Disponibilidade dos equipamentos Movimento da coleco de emprstimo Rapidez do Emprstimo Interbibliotecas Taxa de utilizao de documentos Percentagem da populao-alvo atingida Disponibilidade alargada de ttulos solicitados Tempo mdio de recuperao de documentos em livre acesso Taxa de ocupao de lugares Emprstimos per capita Percentagem de ttulos solicitados na coleco Documentos em emprstimo per capita Tempo mdio de recuperao de documentos em depsito Taxa de utilizao dos equipamentos Consultas na biblioteca per capita Visitas biblioteca per capita Custo por ttulo catalogado Custo por utilizador Custo por emprstimo Emprstimos por empregado Custo por visita biblioteca Mdia 4,95 4,85 Posio 1 2

4,80 4,75

3 4

4,71

Em sntese, constatou-se que as bibliotecas universitrias participantes no estudo no valorizam os indicadores relativos ao uso e penetrao no mercado e desvalorizam, por completo, os indicadores relativos ao custo dos servios. Na nossa opinio fundamental uma mudana de atitude. Se pretendem sobreviver, as bibliotecas precisam aprender a demonstrar a boa utilizao dos recursos, a eficcia e os benefcios dos servios que fornecem comunidade acadmica, no ignorando que so, antes de mais, um social construct. Essas anlises so, na nossa opinio, de extraordinria importncia quer do ponto de vista social quer do estrito ponto de vista de gesto das organizaes. Os resultados deste estudo evidenciam ainda que as prticas utilizadas so pouco difundidas na comunidade, no existindo partilha de boas prticas de uma forma intensa, nem estratgias para o desenvolvimento de competncias. O foco na alterao de comportamentos entre os utilizadores tambm ainda embrionrio, revelando que necessrio traar linhas de ao, de investigao e estratgicas que garantam o alargamento das situaes no terreno, mas tambm a sua problematizao e uma mais ampla discusso entre os profissionais, tendo sempre em ateno os fenmenos emergentes que tm vindo a ocorrer na forma de utilizar as bibliotecas mas tambm na forma como a informao usada pelos utilizadores num quadro de desempenho, cujos pilares so a eficcia e a eficincia e o valor percebido da biblioteca. RECOMENDAES O valor das bibliotecas do Ensino Superior um tema em constante reviso a nvel internacional, sendo de referir quatro recomendaes do mais recente relatrio da Association of College & Research Libraries, Connect, collaborate and communicate (BROWN, MALEFANT, 2012) [5], no mbito da proposta de criar um programa para desenvolver competncias entre os profissionais de Informao, de documentar, demonstrar e comunicar os resultados e impactos do seu desempenho: 1. Aumentar o conhecimento sobre o valor e impactos das bibliotecas em relao s vrias dimenses da aprendizagem e sucesso dos estudantes; Articular e promover a importncia da avaliao de competncias necessria para documentar e comunicar os impactos na aprendizagem e sucesso dos estudantes; Criar oportunidades de desenvolvimento profissional focadas na iniciao e conceo de modelos de avaliao que demonstrem os contributos da biblioteca para a consolidao da misso e dos objetivos estratgicos da universidade; Alargar as parcerias a atividades de avaliao com grupos variados

4,60

4,57 4,55

7 8

4,52 4,52 4,30

9 9 10

4,30

10

4,24 4,00

11 12

3,94

13

3,90

14

3,86 3,76 3,75

15 16 17

3,71

18

3,70

19

2.

3,69 3,57 3,33 3,33 3,32 3,21 3,05 2,63

20 21 22 22 23 24 25 26

3.

4.

Figura 1: Ranking de relevncia dos indicadores da NP ISO 11620 para o sistema biblioteca universitria

Consensual parece ser a necessidade de se persistir no desenvolvimento de investigao em torno de prticas de avaliao e gesto por evidncias (CRUICKSHANK, et. al, 2011), numa agenda de investigao que permita alargar o nmero de instituies e profissionais

interessados nesta estratgia. As prioridades devem estar focadas no envolvimento das equipas, nos canais de disseminao e na investigao em torno das seguintes questes: Quais os papis a desenvolver para alargar as preocupaes dos investigadores aos profissionais no terreno? Qual o papel das universidades para assegurar os impactos das suas investigaes sobre desempenho? Quais so as dinmicas das comunidades de profissionais I-D noutros pases? Quais os impactos destas investigaes noutras reas? Qual a importncia das mudanas na sociedade e economia para a visibilidade dos resultados destas investigaes?

avaliao para os estabelecimentos do Ensino Superior Europeu, a implementar em 2013 e o desenvolvimento do conceito de uma rede de bibliotecas europeia e global [7], julgamos justificar-se o planeamento de uma estratgia profissional apta a lidar com as mudanas que se anunciam. Nesse sentido, apresentamos uma proposta de agenda de investigao e interveno (Tabela 1), abrangendo os principais temas a debater num futuro prximo:

O papel das associaes profissionais na divulgao e marketing das investigaes tambm considerado importante, embora seja considerado ainda ineficiente (HADDOW, 2010) e, cada vez mais, importa assumir a liderana conjunta das iniciativas, seguindo o exemplo da Biblioteca Nacional da Finlndia, com a criao do National Impact Evaluation Group, cuja misso consiste na criao de indicadores para todas as tipologias de bibliotecas. Este grupo tem promovido a discusso em torno da futura ISO 16439 Methods and procedures for assessing the impacto of libraries em conjunto com as normas j existentes ISO 2789 e 11620 (LAITIVEN, 2012). CENRIOS FUTUROS As dinmicas prospetivas [6] apontam para a construo de um balanced scorecard do valor total da biblioteca (TOWN, et.al. 2011), desenvolvido em torno de quatro dimenses: 1. Capital relacional, introduzindo a valorao do capital de posicionamento competitivo; reputao grau de relacionamento e desenvolvimento de relaes externas e internas. Capital da biblioteca, introduzindo a valorao do capital tangvel (colees, ambientes, servios) e intangvel (capital organizacional e pessoal). Virtude da biblioteca, introduzindo a valorao dos contributos do capital social, nomeadamente para a investigao, para a aprendizagem, para a empregabilidade, para o interesse profissional e vocacional, para a inclusividade. Momentum da biblioteca, introduzindo a valorao do capital adquirido pelo progresso, nomeadamente o papel de facilitador do capital de investigao, do capital de aprendizagem e da qualidade.

Descrio Identificar iniciativas intersetoriais de avaliao Identificar tcnicas de avaliao utilizadas - Identificar as carateristicas e os fatores crticos de sucesso - Desenvolver um programa para iniciar e desenvolver iniciativas interorganizacionais: - definio de variveis, seleo de critrios e indicadores - identificao de relaes dinmicas e atividades operacionalizao do programa - Workshops de desenvolvimento de competncias. Cenrios prospetivos e realizao de meta-snteses - criao de um grupo de avaliao de impactos agregando todas as tipologias de bibliotecas

Meios Anlise comparativa, investigao -ao, investigao sobre avaliao

Atores Intervenientes chave no processo de avaliao na biblioteca e instituies

Calendrio

2012-2013

Desenho conceptual Investigao

Associao profissional, investigadores, intervenienteschave no processo de avaliao na biblioteca e instituies

2013

Associao profissional

2013

2.

Associao profissional

2013

3.

Grupo de discusso

Representantes de todas as tipologias de bibliotecas e investigadores da temtica

2013-2014

Tabela1: Agenda de interveno 2012-2013

4.

NOTAS [1] Para um maior desenvolvimento da abordagem seguida deve ser consultado MACHADO, OCHA, 2012 (no prelo).

Integrando a atual dinmica de avaliao do Ensino Superior, com o anncio de um novo esquema de

[2] Coordenado pelo CERLIM Centre for Research in Library and Information Management, da Universidade de Lancashire. [3] Coordenado pela ALA - American Library Association, conduzido por uma equipa da Universidade da Florida. [4] A um outro nvel de aplicao, na Biblioteca Nacional de Portugal, foram desenvolvidas vrias modalidades de utilizao da NP ISO 11620, de que destacamos a atual utilizao de indicadores no modelo de avaliao de desempenho. [5] As principais questes colocadas foram relativas a cinco grandes grupos: 1. Valor da biblioteca Qual o valor da biblioteca? Qual o posicionamento a adotar? 2. Partes interessadas dada a variedade de partes interessadas, quais os esforos a serem desenvolvidos? O que sabem sobre os impactos da biblioteca e o que esperam dela? 3. Aprendizagem e sucesso do aluno Como so definidos em diferentes estabelecimentos de ensino superior e diferentes contextos? Qual o impacto da biblioteca? Como deveremos introduzir estes temas para discusso? 4. Dados Quais as evidncias e dados que podem documentar os impactos da biblioteca? Que dados esto em falta? Como devem ser analisados e interpretados? Que elementos podem ser integrados para ilustrar os contributos da biblioteca para a misso da instituio? 5. Valor das competncias Quais as competncias necessrias para demonstrar o valor da biblioteca? Como podem os profissionais I-D desenvolver essas competncias? Deve ainda ser realado que esta Associao se encontra a desenvolver um Plano para a Excelncia em torno de trs reas de interveno: valor; aprendizagem do aluno e ambiente de estudo e investigao, visando promover e liderar a dinmica de transio no setor. [6] Nomeadamente os cenrios prospetivos realizados pela ARL at 2030 e pelo SCONUL at 2050. [7] Conceito desenvolvido pela EBLIDA Federao Europeia de Associaes de Bibliotecas, Informao e Documentao que congrega bibliotecas pblicas, universitrias e nacionais em torno de uma sociedade multicultural e enquanto partes constituintes das indstrias culturais, para as quais criam servios e produtos. As bibliotecas sustentam o desenvolvimento democrtico, cultural, educacional e social na Europa. REFERNCIAS AMANTE, M. J. Bibliotecas universitrias: conhecer para valorizar. In CONGRESSO NACIONAL DE BIBLIOTECRIOS, ARQUIVISTAS E DOCUMENTALISTAS, 10, Guimares, 2010 Polticas de informao na sociedade em rede: actas [CD-ROM]. Lisboa: BAD, 2010. BERG, S.; HOFFMANN, K.; DAWSON, D. Integrating research into LIS field experiences in academic libraries.The Journal of Academic Librarianship, 35 (6), pp. 591-598, 2009. BLIXRUD, J. C. Assessing Library Performance: New Measures, Methods, And Models. [Consult. em 10-02-2010]. Disponvel em: www.iatul.org/doclibrary/public/Conf.../2003/BLIXRU D_fulltext.pdf

BROPHY, P. Measuring Library Performance. London: Facet Publishing, 2008. ISBN: 978-1-85604593-5 BROWN, K. MALEFANT, K.J Connect, collaborate and communicate: a report from the value of Academic Libraries Summits. Chicago: Association of College and research Libraries, 2012 CRUICKSHANK, P.; HALL, H.; TAYLOR-SMITH, E. Enhancing the impact of LIS Research project. Edimburg: Centre for social Informatics, 2011. CULLEN, R. Does performance measurement improve organisational effectiveness? A postmodern analysis. Performance measurement and metrics. Emerald. Vol. 1, no. 1 (Aug.1999). ISSN 1467-8047 GIAPPICONI, T. Les dimensions politiques et stratgiques de lvaluation en bibliothques. BBF. N 3 (2008) , n 3, p. 6-21. [Consult. 23 Mar.2010] Disponvel em: http://bbf.enssib.fr/consulter/bbf-200803-0006-001 HADDOW, G. Communicating research to practice: the role of professional association publications. Library of Information Research, 34 (108), pp. 33-44. HERNON, P.; McCLURE, C.R. Evaluation and decision-making. Norwood: Ablex Publishing Corporation, 1990. ISO 2789. 2003 Information and documentation: International library statistics LAITINEN, M. The Power of Data QQML, 2012, Limerick (22-25 May) LANCASTER, F.W. If you want to evaluate your library... 2 ed. Illinois: The Graduate School of Library and Information Science, 1993. ISBN 978-0878450787 MACHADO, A.; OCHA, P. Aprender a demonstrar: prticas de avaliao de servios em biblioteca. Pginas a&b, Lisboa: Colibri, 2012 (n 9 no prelo). ISSN 08735670 MARKLESS, S.; STREATFIELD, D. Evaluating the Impact of Your Library : a Practical Model. London: Facet Publishing, 2006. ISBN 978-1856044882 MATTHEWS, J. R. The evaluation and measurement of library services. 1 ed. Westport: Libraries Unlimited, 2007. ISBN 978-1591585329. MCNICOL, S.; NANKIVELL, C. - The LIS research landscape: a review and prognosis. London: Chartered Institute of Library and Information Professionals, 2003 MELO, L.B.; PIRES, C. Performance evaluation of academic libraries: implementation model. Paper presented at the 17th Helenic Conference of Academic Libraries, University of Ioannina, 2008. MELO, L. B.; MONTEIRO, M. I. Projecto de avaliao dos Servios da Biblioteca da Universidade Lusada do Porto. Pginas a&b, n 7 (2001). ISSN 0873-5670 MELO, L. B., PIRES, C., TAVEIRA, A. Recognizing best practice in Portuguese Higher Education Libraries. IFLA Journal. 34 (2008) p. 34-54. ISSN 03400352 MORIN, E. O paradigma perdido: a natureza humana. 3 ed. Mem Martins: Europa Amrica, 1975 MOTYLEWSKI, K. Outcomes: library change lives oh yeah? Prove it. IMLS Institute of Museum and Library Service, 2002. [Consult. em 15. 10. 2010]. Disponvel em http://www.imls.gov/ppt/PLA-022OBE.pps NP ISO 11620.2004 Informao e documentao Indicadores de desempenho de bibliotecas. OCHA, P.; PINTO, L. G. Aprender a inovar: guia para o desenvolvimento de competncias de gesto para

os profissionais de informao e documentao. Lisboa: Associao Portuguesa de Bibliotecrios, Arquivistas e Documentalistas, 2004 OCHA, P.; PINTO, L. G. Os bibliotecrios como catalisadores da mudana: o caso do Observatrio da Qualidade em Servios de Informao e Conhecimento . Congresso Nacional de Bibliotecrios, Arquivistas e Documentalistas, 8, Estoril, 2004 - Nas encruzilhadas da informao e da cultura: (re)inventar a profisso: actas. [Multimdia]. Lisboa: B.A.D., 2004 OCHA, P.; PINTO, L. G. Percursos da Qualidade em servios de informao. Porto: Faculdade de Letras da Universidade do Porto, 2005 OCHA, P.; PINTO, L. G. Estratgias de gesto baseada em evidncias: investigao e prtica em servios de informao. Congresso Nacional de Bibliotecrios, Arquivistas e Documentalistas, 9, Ponta Delgada, 2007 - Bibliotecas e Arquivos - Informao para a Cidadania ORR, R. H. Measuring the goodness of library services: a general framework for considering quantitative measures. Journal of Documentation, 29 (3) p.41-50. ISSN 0022-0418 POLL, R.; BOEKHORST, P. T.; MUNDT, S. Measuring Quality. Performance Measurement in Libraries. 2nd ed. Mnchen: K. G. Saur, 2007. (IFLA publications; 127). ISBN 978-3-598-22033-3 POLL, R. Quality measures on a national scale: comparison of projects. 2006[Consul. em 20-12-2009]. Disponvel em: http://www.ifla.org/IV/ifla72/papers/105-Poll-en.pdf POLL, R.; PAYNE, P. - Impact measures for libraries and information services Library Hi Tech 24 (4), 547562, 2006 ROBSON, Colin Real World Research: A Resource for Social Scientists and Practitioner-Researchers. 2nd ed. Oxford : Blackwell Publishers, 2002. ISBN 9780631213055 SANTOS, S. M. dos Anlise comparativa dos processos europeus para a avaliao e certificao de sistemas internos de garantia da qualidade. Lisboa: A3ES, 2011. ISBN 978-989-97174-3-5. STREATFIELD, D & MARKLESS, S.;. - Gathering and applying evidence of the impact of UK university libraries on student learning and research: A facilitated action research approach. International journal of information management, 26 (1), pp. 3-15, 2006. STREATFIELD, D; S MARKLESS, S. - 'Impact evaluation, advocacy and ethical research: some issues for national strategy development' Library Review, 60 (4), pp. 312-327, 2011. TOWN, S. & LOCK, S. (2007) LibQUAL+ in the UK & Ireland: five years experience. Northumbria Conference. 7 (2007). Disponvel em: http://www.google.pt/#hl=ptPT&biw=1260&bih=817&q=LibQUAL%2B+in+the+U K+%26+Ireland:+five+years+experience&aq=f&aqi=& aql=&oq=&fp=b5f80387a541ce33 TOWN, S.; Kyrillidou, M.; Burn, K - The limits of evidence:proving value and impact EBLIP6 | Evidence Based Library and Information Practice Conference Valuing Knowledge and Expertise [Consul. em 2-62012]. WITKIN, B. R. (1994) Needs assessment since 1981: the state of the practice. Evaluation practice, v.15, n 1 (1994) p. 17-27. ISSN 0886-1633

Requisitos do Sistema de Gesto de II