Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
UNIVERSIDADE DO PORTO
Faculdade de Engenharia
Servios de Documentao e Informao
A importncia da recolha de
dados na avaliao de
Servios de Documentao e
Informao:
a aplicabilidade do SharePoint
nos SDI da FEUP
Elaborado por:
Porto
Dezembro de 2008
RESUMO
O presente trabalho comea por apresentar no captulo dois um problema orgnicofuncional dos SDI, que nos propomos analisar e que radica na falta de prticas
sistemticas
de
avaliao
da
qualidade,
eficcia
eficincia
dos
servios
desvantagens.
Este
captulo
procura
evidenciar
os
limites
revelado este ltimo, um sistema mais apto recolha de dados para posterior
tratamento e anlise.
Finalmente feita uma anlise conclusiva em que so apresentadas as principais ideias
chave dos tpicos desenvolvidos ao longo do trabalho. So tambm tecidas algumas
consideraes sobre os resultados obtidos quanto possibilidade de adoptar o mdulo
de inquritos do SharePoint, como ferramenta de suporte recolha de dados atravs
da aplicao de inquritos por questionrio.
Sumrio
1.
Introduo....................................................................................... 1
2.
3.
4.
documentais .................................................................................... 21
4.2. Mtodos de anlise de dados.......................................................... 24
4.2.1. Anlise estatstica de dados .................................................... 24
4.2.2. Anlise de contedo .............................................................. 25
4.3. Consideraes finais ..................................................................... 26
5.
comparativa:
Sharepoint
(mdulo
de
inquritos)
vs.
SurveyMonkey .............................................................................. 37
6.
7.
8.
Bibliografia .................................................................................... 42
1. INTRODUO
Este documento foi elaborado no mbito do Sistema Integrado de Gesto e Avaliao
do Desempenho na Administrao Pblica, Subsistema de Avaliao do Desempenho
dos Trabalhadores da Administrao Pblica (SIADAP 3) para o ano de 2008 e consiste
na elaborao de um trabalho de grupo, em que se pretende identificar e propor
solues, fundamentando as opes, para um problema funcional e/ou organizacional
dos Servios de Documentao e Informao (SDI) da Faculdade de Engenharia da
Universidade do Porto (FEUP), daqui em diante designados abreviadamente por SDI.
Pgina 1
2. IDENTIFICAO DO PROBLEMA
A satisfao e expectativa dos utilizadores, relativamente a um Servio como os SDI,
so parmetros subjectivos e impossveis de detectar sem o envolvimento dos prprios
utilizadores. Sendo estes parmetros comummente utilizados para avaliar os Servios
e para desenvolver novos servios, torna-se primordial conhec-los.
Fazendo uma anlise cuidada aos procedimentos dos SDI, e tendo em ateno o que
foi enunciado no pargrafo anterior, constata-se a presena de um problema orgnicofuncional. Esse problema, prende-se com a falta de prticas sistemticas de avaliao
da qualidade, eficcia e eficincia dos servios por parte de quem os utiliza e
disponibiliza. Actualmente, este problema decorre da inexistncia de uma estratgia
global para a recolha, tratamento e interpretao das opinies, sugestes e
reclamaes dos seus utilizadores (daqui em diante designado abreviadamente por
opinies dos utilizadores). Com a definio de mtodos de recolha, tratamento e
interpretao das opinies dos utilizadores, os SDI estariam aptos a definir estratgias
de melhoria com base na avaliao sistemtica da percepo da qualidade dos servios
por parte dos utilizadores.
Pgina 2
Pgina 3
O paradigma das bibliotecas e dos servios de informao est, de h uns anos a esta
parte, em grande mudana. A biblioteca como um local onde se conservam grandes
quantidades de espcies documentais j no mais sinnimo de qualidade (Melo
2004). Actualmente, as bibliotecas e os servios de informao so avaliados em
funo dos servios que prestam e no da dimenso das coleces (Melo 2004). Hoje
em dia, so oferecidos servios totalmente novos como portais online, acesso a bases
de dados de texto integral, texto integral de documentos existentes na biblioteca, etc.
Contudo, os Servios de Documentao e Informao tm uma grande necessidade de
justificar o investimento que feito nos mesmos, de forma a provar a eficcia, a
eficincia e o impacto positivo dos novos servios e recursos que disponibilizam.
Deste modo, a recolha e o tratamento de dados estatsticos, constitui uma ferramenta
indispensvel gesto, para aferir os padres de qualidade e desempenho dos
servios, com o objectivo de efectuar uma avaliao consistente dos mesmos. Estas
estatsticas apoiam significativamente o gestor do Servio no que concerne ao
processo de deciso relativo aquisio, recursos humanos; confirmao de
oramentos e actividades das bibliotecas; identificao das tendncias a desenvolver
na utilizao e no valor da informao das bibliotecas (Melo 2004).
Sendo as bibliotecas gestoras do conhecimento e da informao, e funcionando estas
como organizaes de servios, torna-se crucial obter dados estatsticos de uma forma
sistemtica. Estes dados, uma vez processados convenientemente, iro servir de apoio
ao processo de planeamento, cujo objectivo melhorar os servios e aumentar a sua
produtividade.
Assim, fundamental para as bibliotecas, o desenvolvimento de uma cultura
organizacional onde a avaliao desempenhe um papel central. No entanto, coloca-se
actualmente uma problemtica na recolha de dados, que decorre do contexto de
crescente complexidade que caracteriza as bibliotecas. As novas tipologias de servios
prestados, tipo de informao disponibilizada, por via de fornecedores de contedos
digitais, diferentes nveis de literacia informacional utilizadores etc., faz aumentar a
Pgina 4
dificuldade sobre o que pode ser avaliado de forma rigorosa com recurso a dados
estatsticos. Acresce a isto o facto de, cada vez mais, as bibliotecas estarem
pressionadas a mostrarem de uma forma explcita o impacto que os seus servios tm
na sociedade.
A cultura de avaliao um ambiente organizacional no qual as decises so
baseadas em factos, investigao e anlise e onde os servios so planeados e
fornecidos de maneira a maximizar os resultados positivos e os impactos para clientes
e stakeholders. A cultura de avaliao existe nas organizaes onde o pessoal se
preocupa com os resultados que produz e de que estes resultados se relacionam com
as expectativas dos clientes. A misso, valores, estruturas e sistemas numa
organizao devem suportar um comportamento focado no desempenho e na
aprendizagem. (Lakos 2007)
Pgina 5
Pgina 6
que
podem
ser
implementados
num
processo
de
avaliao
do
Normas
o Bibliotecas
ISO 2789 Information and Documentation - International Library
Statistics (2003);
NP ISO 11620 Informao e Documentao: Indicadores de
desempenho de bibliotecas (2004).
o Arquivos
NP 4438-1- Informao e Documentao: gesto de documentos de
arquivo. Parte 1 Princpios Directores (2005);
NP 4438-2 - Informao e Documentao: gesto de documentos de
arquivo Parte 2 Recomendaes de Aplicao (2005);
ISO 15489-1 Records management. Part 1 General (2001);
ISO 15489-2 Records management. Part 2 Guidelines (2001);
Benchmarking o processo de comparao do desempenho entre
dois ou mais sistemas, na procura das melhores prticas para os
servios, que conduzam a um desempenho superior. visto como
um processo positivo e pr-activo, atravs do qual uma organizao
examina como outra realiza uma funo especfica, a fim de
melhorar a realizao da mesma ou uma funo semelhante, de
forma a melhorar o seu desempenho.
Pgina 7
Projectos
o LibQUAL+ um instrumento de aferio da qualidade de produtos e dos
servios de bibliotecas, em funo das percepes e das expectativas dos
utilizadores. Actualmente, o instrumento de avaliao, constitudo por 22
perguntas, considera 3 dimenses: biblioteca como espao, prtica do
servio e controle da informao. Em 2003, estavam envolvidos neste
projecto
308
instituies
(285
norte
americanas,
20
inglesas,
Modelos
o Modelo EFQM O Modelo de Excelncia EFQM, modelo de gesto
empresarial, introduzido em 1991, destina-se a permitir a auto-avaliao
da qualidade organizacional e a constituir a base de apreciao das
candidaturas ao European Quality Award (EQA) Galardo Europeu da
Qualidade;
o CAF (Common Assessment Framework Estrutura Comum de Avaliao)
um modelo de auto-avaliao do desempenho organizacional,
especificamente desenvolvido para ajudar as organizaes do sector
pblico dos pases europeus a aplicar as tcnicas da Gesto da Qualidade
Total, melhorando o seu nvel de desempenho e de prestao de servios.
A sua construo foi inspirada no Modelo EFQM;
o Balanced Scorecard Indicadores Balanceados de Desempenho - o BSC
essencialmente um instrumento de gesto estratgica das organizaes.
Envolve mtodos para a medio do desempenho e apoio deciso e
rene os elementos-chave para o acompanhamento e comunicao da
estratgia e o feedback do seu cumprimento. O principal objectivo do BSC
o alinhamento do planeamento estratgico com as aces operacionais
da organizao.
Pgina 8
sobre
os
processos.
Enquanto
alguns
dados
vo
sendo
gerados
Pgina 9
vantagens
desvantagens,
salientando
importncia
da
sua
complementaridade, que muitas vezes dever estar presente, desde a fase de recolha
de dados, anlise e interpretao dos mesmos, at utilizao da informao.
(Sechrest,1995)
Relativamente a esta matria, face multiplicidade de classificaes e esquemas
conceptuais existentes, que nos dificultaram a escolha de um quadro de referncia,
optamos pela classificao apresentada na obra de Raymond Quivy Manual de
Investigao em Cincias Sociais.
Num sentido mais lato e simplificado, a recolha de dados uma operao que
consiste em recolher ou reunir concretamente as informaes determinadas junto das
pessoas ou das unidades de informao includas na amostra. (Quivy,1998)
A escolha de um mtodo, aqui entendido no sentido mais restrito, e do instrumento
que materializar a recolha dos dados, dever fazer parte do conjunto de objectivos do
dispositivo metodolgico da investigao, pois determinam o tipo de informao que se
ir obter e o uso que dela poderemos fazer na anlise de dados.
Os mtodos a utilizar na recolha de dados em muito dependem do tipo de problema,
ou de questes para as quais se pretendem obter respostas. Existem problemas que
necessitam de uma abordagem qualitativa, enquanto outros, de uma abordagem
quantitativa, sendo vital enfatizar que no a metodologia que determina a pesquisa,
mas sim o problema que se pretende resolver.
Pgina 10
Pgina 11
Pgina 12
Pgina 13
Mtodos complementares
Os dados recolhidos por um inqurito por questionrio, em que um grande
nmero de respostas pr-codificado, no tm significado em si mesmo, sendo
teis apenas no mbito de um tratamento quantitativo. Assim, aps a utilizao
de um inqurito por questionrio torna-se necessrio efectuar uma anlise
estatstica que implica necessidades de formao em anlise estatstica de dados,
estatstica descritiva e programas informticos de tratamento estatstico como o
SPSS, Statistica, SPAD, etc..
4.1.2. ENTREVISTA
Nas suas diferentes formas, os mtodos de entrevista distinguem-se pela
aplicao dos processos fundamentais de comunicao e de interaco humana.
Ao
contrrio
do
inqurito
por
questionrio,
os
mtodos
de
entrevista
Pgina 14
Pgina 15
Indirecta
o Caractersticas:
Apela competncia do entrevistador.
o Vantagens:
Permite que o entrevistado opine;
Permite deduzir informaes.
o Desvantagens:
Possibilidade do entrevistado sentir desconfiana.
Pessoal
o Caractersticas:
Centra-se no entrevistado.
o Vantagens:
Pertinncia dependendo do tema e do momento da entrevista.
o Desvantagens:
Possibilidade
de
provocar
reaces
de
susceptibilidade
ou
bloqueio.
Impessoal
o Caractersticas:
Modera as respostas dado que o entrevistado justifica a sua
opinio com base nos outros;
til para prticas pouco aceites socialmente.
o Vantagens:
Permite a captao de informao;
Permite que o entrevistado no se sinta visado.
o Desvantagens:
Pouco tico.
Follow up
o Caractersticas:
Segue o tema de perto e convida ao desenvolvimento.
o Vantagens:
Permite relanar questes menos desenvolvidas.
o Desvantagens:
Dependncia
da
ateno/concentrao
emprega na entrevista.
Pgina 16
que
entrevistador
Para que a informao obtida na entrevista seja o mais fiel possvel, o seu registo
deve ser feito ao longo da entrevista. Preferencialmente, a entrevista dever ser
gravada, desde que para isso haja consentimento do entrevistado. Os limites da
memria e a distoro induzida por elementos subjectivos que se produzem
durante a entrevista fazem da anotao posterior entrevista uma m opo.
Deve ser tido em conta que uma entrevista uma situao criada pelo
entrevistador num espao e num tempo. Este espao pode influenciar a
entrevista uma vez que, este pode ser calmo ou barulhento, de lazer ou de
trabalho. Do mesmo modo, o momento escolhido pode no ser o mais apropriado
pois o entrevistado pode no ter tempo disponvel para responder. Assim, deve
sempre tentar-se escolher um local apropriado para o objectivo do estudo e
tentar conciliar o tempo disponvel pelo entrevistado com a durao da
entrevista. Para alm dos factores tempo e espao, h outros factores que
podem influenciar uma entrevista. Entre eles destacam-se a relao existente
entre o entrevistador e o entrevistado, o nvel de conhecimento e a motivao do
entrevistado e o estatuto do entrevistador.
ter
em
conta
as
motivaes
comportamentos;
Permite interpretar as expresses emitidas.
Pgina 17
que
determinam
diversos
Mtodos complementares
O mtodo de entrevista est sempre associado a um mtodo de anlise de
contedo.
Os
dados
recolhidos
serviro
Pgina 18
de
materiais
para
uma
anlise
Pgina 19
muito
formalizadas
facilita
interpretao,
mas,
em
Mtodos complementares
O mtodo da entrevista, seguido de uma anlise de contedo, seguramente o
que mais se utiliza em paralelo com o mtodo de observao.
Pgina 20
Pgina 21
Mtodos complementares
Os dados estatsticos recolhidos so normalmente objecto de uma anlise
estatstica.
Os dados recolhidos nos documentos de forma textual so utilizados em diversos
tipos de anlise e, em particular, na anlise histrica e na anlise de contedo.
Alem disso, os mtodos de entrevista e de observao so frequentemente
acompanhados pela anlise de documentos.
Pgina 22
VANTAGENS
DESVANTAGENS
DADOS
Possibilita quantificar uma
a numerosas anlises de
correlaes;
Inqurito por
questionrio
exigente;
Dificuldade em motivar os inquiridos a
responder.
resultados, facilitando a
automatizao do processo de
anlise e interpretao dos dados;
Possibilita a generalizao dos
resultados da amostra totalidade
da populao.
Informao rica e profunda;
Flexibilidade.
Entrevistas
Observao
Directa
Flexibilidade;
recolhido espontneo;
Recolha de
Dados
Preexistentes
Informao dispersa;
Dependncia das fontes existentes, da sua
qualidade, representatividade, e do acesso;
A valorizao de um importante e
precioso material documental.
Pgina 23
Pgina 24
Pgina 25
ttulo
de
concluso
aps
esta
breve
apresentao
dos
limites
Pgina 26
2.
3.
4.
5.
6.
7.
8.
9.
Pgina 27
Pgina 28
Pgina 29
Pgina 30
tendo
em
linha
de
conta
as
especificaes
apresentadas
anteriormente.
Assim, as especificaes / requisitos que no esto presentes no mdulo de
inquritos do Sharepoint so: 4, 5, 6, 7, 8, 10, 12, 14, 16, 17, 19, 20, 22, 23,
24, 26.a.i, 26.a.ii, 26.b.i, 26.d, 26.e, 26.h, 26.i.i, 26.j, 26.k, 26.l, 34, 35, 39, 40,
41, 42, 43, 49 e 55.
Desta forma, dos 77 requisitos apresentados (incluindo os subrequisitos), 34 no
so atingidos pelo Sharepoint, ou seja, apenas 56% dos requisitos esto
disponveis nos Sharepoint.
Destes 34 requisitos, 10 deveriam ser implementados pelos motivos que a seguir
se apresentam:
Requisito 6: com a existncia de uma barra de progresso seria mais fcil a
navegao para os utilizadores;
Requisito 7: como as perguntas podem ser agrupadas em diferentes
pginas, seria til poder dar um ttulo a cada pgina;
Requisito 8: como as perguntas podem ser agrupadas em diferentes
pginas, seria til poder criar uma descrio para cada pgina;
Requisito 12: deveria ser possvel estabelecer uma data de fecho para o
inqurito de modo a que a partir de uma dada data fosse impossvel
responder ao inqurito. Seria igualmente importante poder estabelecer uma
data de incio para cada inqurito de modo a que este possa ser preparado
com antecedncia mas s possa ser respondido a partir de uma
determinada data;
Pgina 31
Requisito 19: Seria uma mais-valia para o sistema se este pudesse utilizar
componentes multimdia nos inquritos, como por exemplo definir um
cone para cada inqurito;
Requisito 20: Haveria maior flexibilidade se o utilizador pudesse navegar no
inqurito para a frente e para trs nas diferentes pginas, de modo a poder
responder totalidade das perguntas;
Requisito 26.h: Seria importante se pudesse ser criado um comentrio s
perguntas que ajudasse o utilizador a perceber o que se pretende com a
pergunta;
Requisito 26.i.i: Haveria maior flexibilidade se pudessem ser definidos
vrios formatos para as datas. Apenas permitido o formato DD-MM-AAAA;
Requisito 39: Seria uma mais-valia para o sistema se houvesse a hiptese
de exportar os resultados finais do inqurito, nomeadamente, para os
formatos PDF, HTML e XML;
Requisito 40: Seria uma mais-valia para o sistema se houvesse a
possibilidade de efectuar alguma anlise estatstica com os dados sem
recorrer a software externo, pelo menos correlaes bsicas. A nica
possibilidade exportar para o Excel e posteriormente para software de
anlise estatstica mais avanado.
Pgina 32
Pgina 33
Pgina 34
Pgina 35
Pgina 36
Enquanto no existe uma soluo definitiva que passaria por existir um boto de
anterior propomos uma soluo alternativa para contornar este problema:
guardar o inqurito e recomear a responder. Desta forma, so recuperadas as
respostas j efectuadas e h a possibilidade de responder s respostas que
tenham sido deixadas em branco.
Pgina 37
6. ANLISE CONCLUSIVA
Partindo da identificao de um problema orgnico-funcional dos SDI, que incidiu
sobre a ausncia de prticas sistemticas de avaliao dos servios, apoiadas num
sistema de recolha de dados, a elaborao deste trabalho possibilitou uma reflexo
mais aprofundada sobre um tema de grande interesse, considerado hoje em dia como
uma prioridade para as bibliotecas que no abdicam de um papel de relevncia no
contexto onde se inserem.
Face aos novos desafios que se colocam s bibliotecas, em virtude da crescente
complexidade que caracteriza o seu ambiente interno (coleces digitais, descoberta
de recursos, servios inovadores, preservao digital,) e envolvente externa (economia
baseada na informao e no conhecimento), a necessidade do enraizamento de uma
cultura de avaliao torna-se vital para a sua sobrevivncia, como apoio tomada de
deciso e ajustamento ao novo contexto de mudana. De facto, as bibliotecas sentemse cada vez mais pressionadas a prestar contas sobre a qualidade dos seus servios,
atravs do fornecimento de dados de teor quantitativo e qualitativo, que traduzam o
desempenho e os impactos ou outcomes dos seus servios na comunidade que
servem, em termos de eficincia, eficcia e qualidade.
Atravs da reflexo proporcionada pela realizao deste trabalho, foi possvel
compreender melhor a problemtica da recolha de dados como instrumento essencial
num processo de avaliao. Em particular, quando se trata de obter dados de cariz
sociolgico, isto , dados sobre opinies e expectativas de utilizadores e colaboradores,
percebeu-se a complexidade de tal tarefa em termos dos problemas que coloca, das
possveis abordagens metodolgicos e da variedade de tcnicas disponveis.
Assim, para a resoluo do problema identificado, foram apresentadas as principais
categorias de mtodos de recolha e de anlise de dados, cuja aplicabilidade em muito
depende do tipo de "problema", sendo vital enfatizar que no a metodologia que
determina a pesquisa, mas sim as questes colocadas apriori.
Com o intuito de se explorar um sistema de recolha de dados que suporte o processo
de recolha e que se traduza num aumento da eficcia e da eficincia para os servios,
Pgina 38
sistema
SurveyMonkey,
tendo
sido
destacados
algumas
possibilidades
este
trabalho
espera-se
tambm
dar
um
contributo
para
um
possvel
delineamento futuro de um plano de avaliao para os servios dos SDI, que defina a
implementao de prticas sistemticas de recolha de dados, que apoiem as decises,
baseando-as em factos, anlise e investigao, com o objectivo ajustar e prestar
servios que maximizem os impactos positivos nos utilizadores.
Pgina 39
7. REFERNCIAS BIBLIOGRFICAS
1.
2.
3.
4.
5.
6.
7.
8.
9.
Nardini, H.G.. 2001. Building a Culture of Assessment. ARL Bimonthly Report, 218,
11. http://www.arl.org/bm~doc/assess.pdf (acedido em 5 Dezembro 2008)
10. Quivy, Raymond. 1998. Manual de investigao em cincias sociais. 2 ed. Lisboa:
Gradiva, 1998. (Trajectos, 17). ISBN 972-662-275-1
11. Ryan, Pam. 2006. EBL and Library Assessment: Two Solitudes?.
Evidence Based Library and Information Practice 1:4.
Pgina 40
http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/136/177 (acedido
em 5 Dezembro 2008)
12. Sechrest, Lee and Souraya Sidani. 1995. Quantitative and qualitative methods: is
there an alternative?. Evaluation and Program Planning. Vol. 18, N 1 77:87
Pgina 41
8. BIBLIOGRAFIA
1.
2.
3.
4.
5.
Baptista, Sofia Galvo and Murillo Bastos Cunha. 2007. Estudo de usurios: viso
global dos mtodos de coleta de dados. Perspectivas em Cincia da Informao.
Vol. 12, N. 2:168-184. Maio/Ago.
http://www.scielo.br/pdf/pci/v12n2/v12n2a11.pdf
6.
7.
Creaser, Claire. 2006. User surveys in academic libraries. New Review of Academic
Librarianship. Vol. 12, N 1: 1-15
8.
9.
Jordan, Isia and Julie McKenna. 2007. Library services assessment. Ontario Library
Association Super Conference 2007. Session 1408.
http://www.accessola.com/superconference2007/sessions.html (acedido em 5
Dezembro 2008)
10. Lee, Tamera P.. 2006. Educational outcomes assessment standards and guidelines
for academic health sciences libraries.
Pgina 42
http://www.aahsl.org/new/AAHSL_2006/AAHSL_Outcomes_Assess1.ppt (acedido
em 5 Dezembro 2008)
11. McKnight, Michelynn. 2001. Beyond surveys: methods for finding out why.
Journal of Hospital Librarianship. Vol. 1, N 2: 31-39
12. Miller, Lynette. 2004. User satisfaction surveys. Aplis. Vol. 17, N 3: 125-133
13. Renard, Pierre-Yves. 2007. ISO 2789 and ISO 11620: short presentation of
standards as reference documents in an assessment process. Liber Quarterly. Vol.
17, No 3/4 http://liber.library.uu.nl/publish/articles/000212/article.pdf (acedido
em 5 Dezembro 2008)
14. Rodrigues, Eloy and Augusta Xavier Guimares. 2007. O utilizador tem sempre
Pgina 43