Anlisis de usabilidad en bibliotecas digitales: El caso de El Dorado

Miguel ngel Garca Ruiz, Jorge Rafael Gutirrez Pulido, Ricardo Acosta Daz, Romn Herrera Morales Universidad de Colima, Facultad de Telemtica Ave. Universidad 333, Colima, Col., Mxico mgarcia@ucol.mx, jrgp@ucol.mx, acosta@ucol,mx, rherrera@ucol.mx

Resumen
Investigaciones sobre bibliotecas digitales han mostrado que para que los usuarios utilicen una biblioteca digital de manera eficaz y eficiente, se recomienda fuertemente llevar a cabo evaluaciones de usabilidad, como parte del desarrollo de software de la biblioteca digital, y como mejora continua de la misma. Un mtodo comn en la usabilidad es la Evaluacin Heurstica, donde un grupo de expertos en ingeniera de software o usabilidad analizan la interfaz de un sistema de software basndose a una lista predefinida de principios de diseo. Este documento describe una Evaluacin Heurstica aplicada a la Biblioteca Digital El Dorado. Los resultados confirman el funcionamiento adecuado de la usabilidad modular de la Biblioteca Digital, y se generaron recomendaciones para adecuar algunas opciones en beneficio de los usuarios finales. Se confirma que la aplicacin de evaluaciones de Heurstica a una biblioteca digital es fcil y rpida. Palabras Clave: Bibliotecas digitales, Usabilidad, Interaccin humano-computadora.

Introduccin Desde hace ms de diez aos, las bibliotecas digitales, consideradas como sistemas que mantienen colecciones organizadas y distribuidas de informacin digital, que extienden las capacidades de bibliotecas tradicionales (Feria Basurto, 2002; Fox, 1995; Lesk, 1997), se han creado para la consulta y recuperacin de informacin diversa, pasando de ser simples repositorios de libros y documentos electrnicos a constituir sofisticados sistemas de informacin con aplicacin en muchos campos del conocimiento, con mltiples servicios de almacenamiento, organizacin, indizacin, bsqueda y presentacin de informacin, teniendo como soporte las tecnologas de informacin y comunicacin (TICs) actuales. Las bibliotecas digitales estn convirtindose actualmente en una aplicacin muy importante de las TICs. Sin embargo, hay aspectos de las bibliotecas digitales en donde hay que tener mucho cuidado en su diseo. Por ejemplo, cuando los datos almacenados son complejos, los tipos de bsquedas simples no funcionan adecuadamente. La clave para mejorar las bsquedas en documentos es descubrir nuevas formas de combinar estrategias analticas de bsqueda con la combinacin de bsquedas estructuradas, conocida como browsing. El diseo de bibliotecas digitales se ha convertido en un rea muy activa de investigacin, y requiere del estudio de la integracin de aspectos lgicos y fsicos para su implementacin. Para que los usuarios de las bibliotecas digitales las utilicen en forma efectiva y eficiente, sus interfaces deben ser probadas y revisadas a fondo previamente a su liberacin, con el

objeto de mejorarlas (Lesk, 1997). El adecuado diseo, desarrollo, implementacin y evaluacin de interfaces de bibliotecas digitales se basa en una rama de la computacin llamada Interaccin Humano-Computadora, o HCI por sus siglas en ingls (Preece et al, 2002). La usabilidad de interfaces es un tema analizado por la HCI, la cual es una medida de la facilidad con la que un sistema puede ser aprendido a ser usado, su seguridad, eficiencia y eficacia, y la actitud (incluyendo la satisfaccin de uso) de los usuarios hacia la interfaz del mismo (Preece et al, 1994; Shneiderman, 1998). El anlisis de la usabilidad es una actividad muy importante que debe formar parte del desarrollo e implementacin de interfaces interactivas, ya que se pueden corregir y prevenir posibles errores del diseo en prcticamente todas las etapas del ciclo de vida del producto de software. Existen diversos mtodos y evaluaciones para llevar a cabo las pruebas de usabilidad, y emplean ya sea expertos en interaccin humano-computadora, ingeniera de software, o usuarios finales. Algunos de los mtodos ms utilizados son el Protocolo Pensando en Voz Alta (Think Aloud Protocol), Camino Cognitivo (Cognitive Walkthrough), y la Evaluacin Heurstica (Heuristic Evaluation), entre otros (le Peuple y Scane, 2003; Preece et al., 1994); estos dos ltimos mtodos utilizan expertos.

La Evaluacin Heurstica La Evaluacin Heurstica (Nielsen, 1994) es un mtodo de inspeccin de usabilidad donde especialistas en diseo de interfaces o en Ingeniera de Software juzgan cada elemento de la interfaz siguiendo principios de Interaccin Humano-Computadora (heursticos) preestablecidos, los cuales han sido creados basndose en muchos anlisis de estudios, guas y fundamentos de diseo de interfaces. Una lista de heursticos muy utilizada es la desarrollada por Nielsen (1990). Una versin mejorada de la lista de Nielsen fue utilizada en el estudio de usabilidad mencionado en este documento, y se describe a continuacin: 1.- Visibilidad del status del sistema. Mientras se realiza un proceso el sistema muestra algn mensaje o icono (ej.: icono del reloj de arena) indicando lo que est ocurriendo en ese momento. 2.- Empate del sistema y el mundo real. La informacin del sistema es consistente con su equivalente en el mundo real : Funciones de una biblioteca convencional, conos que representan objetos del mundo real (metforas). El sistema maneja palabras, frases y conceptos familiares al usuario final. 3.- Control por parte del usuario. Se puede navegar por todo el sistema desde cualquier parte del sistema. Existen opciones de hacer y deshacer, o de corregir. 4.- Consistencia y estndares. Todo el sistema tiene las mismas caractersticas de tipos de fuente, colores, diseo, etc.

5.- Prevencin de errores. Cuando surgen errores (de parte del usuario o del sistema), los mensajes del mismo son claros, bien diseados, y el sistema ofrece opcin de confirmacin antes de realizar una accin, despus de haber sucedido un error. 6.- Identificacin en lugar de memorizacin. Botones y links bien definidos. Es intuitivo. Sin leer el manual o descripcin del sistema se puede saber fcilmente cmo utilizarlo. Las instrucciones del sistema son claramente visibles y no ambiguas. 7.- Flexibilidad y eficiencia del uso. El sistema provee atajos o teclas rpidas (Ej.: Ctrl P para imprimir, etc.). 8.- Esttica y diseo minimalista. El sistema no tiene contaminacin visual, solamente tiene los elementos funcionales y estticos necesarios. 9.- Apoyar a usuarios para diagnosticar errores y recuperarse. El sistema emite avisos de error claros describiendo con exactitud y sin ambigedad el problema, dando sugerencias o acciones para su correccin. 10.- Ayuda y documentacin. El sistema provee de un manual o documentacin con instrucciones de uso. La Evaluacin Heurstica puede ser aplicada en todas las etapas del desarrollo del software, y requiere de al menos tres especialistas, segn los anlisis hechos por Nielsen. Usabilidad en bibliotecas digitales Investigaciones anteriores han expuesto la necesidad y resultados de aplicacin de pruebas de usabilidad en bibliotecas digitales. Hartson et al, (2004) usaron el mtodo de Evaluacin Heurstica y otros mtodos de usabilidad para analizar las interfaces de la Networked Computer Science Technical Reference Library (NCSTRL), una biblioteca digital para manejar documentos tcnicos y acadmicos de computacin. En este artculo se describe una lista ordenada de problemas por arreglar en la interfaz de la NCSTRL y una importante relacin entre los problemas y las persona-horas necesarias para corregirlos en cuanto a programacin se refiere. Como resultado de un estudio realizado en el Instituto Politcnico de Virginia, EUA (Kengeri et al., 1999), enfocado a cuatro bibliotecas digitales de las siguientes organizaciones: Association for Computer Machinery (ACM), Institute of Electrical Engineers, rama Computer Science (IEEE-CS), NCSTRL y la biblioteca digital Networked Digital Library of Theses and Dissertations (NDLTD), se obtuvieron una serie de recomendaciones de usuarios y una taxonoma de caractersticas esenciales para el diseo de futuros proyectos de bibliotecas digitales. El estudio se realiz con un grupo de estudiantes que fueron clasificados como expertos o novatos, dependiendo de su experiencia previa en el uso de sistemas de bibliotecas digitales. El procedimiento para hacer esta evaluacin comenz con el llenado de un formulario de consentimiento por parte

del usuario evaluador y antes de hacer la prueba llen otro cuestionario para conocer las caractersticas que espera encontrar en una biblioteca digital. Para comenzar las pruebas del sistema se les brind una introduccin sobre el equipo y software que iban a utilizar. Las pruebas consistieron en una serie de tareas previamente definidas para realizarse en los 4 sistemas, todo ello sin restricciones de tiempo. El promedio de tiempo de la sesin de pruebas fue de 37.26 minutos. Al finalizar las actividades de las pruebas se les solicit el llenado de un ultimo cuestionario donde se destacaran las caractersticas que consideraron importantes en esta experiencia. En los cuestionarios aplicados se les solicitaba a los alumnos indicar la importancia que le daban a factores como: amplitud de cobertura, bsqueda a texto completo, notificaciones va e-mail, profundidad de contenido, semejanza de visualizacin del contenido con respecto a la versin impresa, bsquedas en contexto, entre otras. Con respecto a los criterios de bsqueda, el de palabras clave fue el ms importante, seguido de bsquedas por ttulo o autor, mientras que los formatos de visualizacin mejor evaluados fueron el PDF seguido del HTML. En este estudio se consideraron tambin los tiempos de bsqueda y los errores de bsqueda, definiendo a stos ltimos cuando el usuario sigue un camino incorrecto o ha estructurado de manera inapropiada una expresin de bsqueda.

Anlisis de usabilidad de la biblioteca digital El Dorado Habiendo visto las ventajas y facilidades que proporciona la Evaluacin Heurstica, nos decidimos a evaluar la usabilidad de las interfaces de la Biblioteca Digital El Dorado (la pgina principal es mostrada en la Fig. 1). Esta es un repositorio digital desarrollado para alojar documentos que reflejen la vida y cultura de Iberoamrica y el Caribe, incluyendo libros, revistas, mapas, msica, video, pginas Web, etc., a texto completo o en versin imagen. El Dorado permite capturar tambin los metadatos acerca de dichos documentos, y hacer bsquedas de informacin a diferentes niveles de granularidad, as como la indizacin y catalogacin de los documentos, integrados en un servidor Z39.50. El Dorado tambin proporciona una metodologa de trabajo para la integracin de los documentos en la Biblioteca Digital. Este sistema fue creado por la Universidad de Colima, con el apoyo de la Asociacin de Bibliotecas Nacionales de Iberoamrica (ABINIA) y el Programa Regional para el Fortalecimiento de la Cooperacin entre Redes y Sistemas Nacionales de Informacin (INFOLAC).

Figura 1. Men principal de la Biblioteca Digital El Dorado

Participantes Cinco expertos con varios aos de experiencia en el diseo de proyectos de desarrollo de software participaron en la evaluacin, con un promedio de edad de 33 aos. Todos han utilizado varias veces al mes bibliotecas digitales importantes, nacionales e internacionales. Algunos de ellos son catedrticos de nivel ingeniera o maestra que imparten materias relacionadas con la ingeniera de software y el diseo de interfaces. Procedimiento Como primer paso, se les explic a cada uno de los participantes el propsito de la prueba de usabilidad y la descripcin de la Biblioteca Digital El Dorado. Los participantes llenaron un cuestionario donde se les preguntaban datos demogrficos como la edad, gnero, frecuencia de uso de otras bibliotecas digitales, y experiencia en el diseo de software, entre otros. A continuacin, cada uno de los expertos utilizaron una computadora PC con 1.5Ghz de velocidad, 256Mb de memoria RAM y 40 Gb de disco duro, utilizando Windows XP como sistema operativo. Se utiliz un monitor de 14 para la prueba. La resolucin del despliegue era de 800x600 a 32 bits de profundidad de color. La biblioteca Digital El Dorado versin 3.0 se utiliz en las valuaciones de Heurstica, y ya se encontraba instalada antes de realizar las mismas. Los expertos participantes siguieron una serie de tareas (actividades) dentro de la Biblioteca Digital, tales como seleccionar cada uno de los mens principales, leer el manual, capturar un registro de los datos de un libro, y realizar una bsqueda, entre otras. Durante las tareas, los participantes evaluaron las diez heursticos, marcando escalas de Likert (1=nunca, 2=pocas veces, 3=normalmente, 4=casi siempre, 5=siempre).

Figura 2. Un participante analizando la interfaz de El Dorado siguiendo las diez heursticos.

Resultados preliminares Las evaluaciones de los expertos duraron treinta minutos en promedio. Los resultados de los diez heursticos se muestran en la Figura 3.
Valores promedio escala Likert

5 4 3 2 1 1 Visibilidad del status 7 Flexibilidad y eficiencia 3 Control del usuario 5 prevencin de errores 10 Ayuda y documentacin 4 Consistencia y estndares 6 identificacin 9 Diagnstico de errores 2 Empate del sist. 8 Esttica y minimalista 3 3 2 3 2 4 3 2 2 3

Heursticos
Figura 3. Resultados de la Evaluacin heurstica.

La Figura 3 describe la media de las escalas de opinin de Likert de los cinco expertos con respecto a cada heurstica. As, la esttica y minimalismo de la interfaz de la Biblioteca Digital El Dorado recibi muy buena calificacin. La visibilidad del status del sistema, el control del usuario sobre la interfaz, la consistencia y estndares de diseo, identificacin, ayuda y documentacin recibieron buena aceptacin por parte de los evaluadores. Sin embargo, Los heursticos 2, 5, 7 y 9 tienen cierta funcionalidad y relevancia, pero se pueden mejorar en futuras versiones de la biblioteca digital.

La informacin cualitativa obtenida en las pruebas de usabilidad de El Dorado nos llev a desarrollar una lista de recomendaciones para el desarrollo de nuevas bibliotecas digitales en la Universidad de Colima, y en particular para su integracin en futuras versiones de la biblioteca virtual El Dorado. Algunas de las recomendaciones son las siguientes, y concuerdan con las desarrolladas por Kengeri et al. (1999): Utilizar el equipo de cmputo adecuado para las pruebas de usabilidad, como el que utilizan los usuarios promedio (bibliotecarios y otras personas relacionadas con la documentacin). Uso claro de la terminologa y conceptos empleados en la biblioteca digital. Opciones para filtrar bsqueda y sus resultados. Posibilidad de hacer bsquedas simples y avanzadas. Bsqueda y recuperacin de datos de manera rpida, utilizando una mquina de bsqueda eficiente.

Trabajo a futuro Nielsen (1994) considera que el nmero ptimo de expertos en una Evaluacin Heurstica debe ser seis. Aunque nuestra evaluacin utiliz cinco expertos, creemos que los resultados pueden cambiar en forma no significativa en otra prueba de usabilidad de El Dorado con seis expertos. Adems, hace falta correlacionar los resultados obtenidos en la prueba descrita en este documento con otras pruebas de usabilidad que se realicen con personas no expertas, que funjan como usuarios finales de la biblioteca digital. En esta prueba se evalu la versin 3 (generada en el ao 2004) de la Biblioteca Digital El Dorado, por lo que se darn a conocer a las personas correspondientes las recomendaciones para incluirlas en la siguiente versin.

Conclusiones Tal y como mencionan los organizadores de la conferencia Computer-Human Interaction (CHI) de la ACM, la usabilidad no se considera un lujo, sino una necesidad. La literatura relevante muestra que se han realizado fuertes recomendaciones para aplicar pruebas de usabilidad con el fin de mejorar el funcionamiento y servicios de bibliotecas digitales. Por esto nos dimos a la tarea de aplicar una Evaluacin Heurstica a la biblioteca digital El Dorado como cama de prueba, ya que es la primera vez que se ha practicado una prueba de usabilidad en la misma, y se obtuvieron resultados notables. La Evaluacin Heurstica es una de las ms utilizadas en el campo de la usabilidad en el diseo de interfaces. Los datos y recomendaciones recabados en la evaluacin sirvieron para confirmar el adecuado funcionamiento modular y esttica de la Biblioteca Digital El Dorado, y la deteccin de detalles particulares por mejorar en futuras versiones. La Evaluacin Heurstica es una

prueba fcil de disear y de aplicar con expertos que bien vale la pena llevar a cabo, de preferencia en conjunto con otras pruebas de usabilidad donde se integren usuarios finales. Referencias Bibliogrficas Feria Basurto, L. (comp). (2002) Bibliotecas digitales. Colima, Mxico: Universidad de Colima. Fox, E. (1995). Digital Libraries. Communications of the ACM 38(4). Pp 22-28. Hartson, H.R., Shivakumar, P., Prez-Quiones, M.A. (2004). Usability Inspection of Digital Libraries: A Case Study. Int J Digit Libr., 4: 108123 Kengeri, R., Seals, C.D., Harley, H.D., Reddy, H.P., Fox, E.A. (1999). Usability study of digital libraries:ACM, IEEE-CS, NCSTRL,NDLTD. International Journal on Digital Libraries, 2, Pp157-169. Le Peuple, J., Scane, R. (2003). User Interface Design. Exeter, UK: Crucial. Lesk, M. (1997). Practical Digital Libraries; Books, Bytes and Bucks. San Francisco: Morgan Kaufman. Nielsen, J., y Molich, R. (1990). Heuristic evaluation of user interfaces, Proc. ACM CHI'90 Conf. (Seattle, WA, 1-5 April), Pp 249-256. Nielsen, J., y Mack, R. eds. (1994). Usability Inspection Methods, Nueva York: John Wiley and Sons. Preece, J. et al. (1994) Human-Computer Interaction. Wokingham, UK: Addison-Wesley. Preece, J., Rogers, Y., Sharp, H. (2002). Interaction Design. Wokingham, UK: Wiley. Shneiderman, B. (1998). Designing the User Interface. Reading, MA: Addison-Wesley.