Qu es la evaluacin?

El desarrollar sistemas interactivos implica utilizar ciclos de vida iterativos que

permitan el desarrollar sistemas centrados en el usuario, es decir, que sean
usables. Es evidente, por tanto, que la usabilidad es un objetivo fundamental a
conseguir en una aplicacin interactiva. El concepto de usabilidad es fcil de
asimilar aunque conseguir que un producto sea usable ya es ms difcil. En
general, cuando se disea un producto se est ms preocupado en la
funcionalidad que en la usabilidad. La aplicacin de los mtodos de evaluacin de
la usabilidad permite garantizar la obtencin de la misma en una aplicacin
interactiva.

La evaluacin de la usabilidad implica analizar el entorno y los usuarios que van a

utilizar el producto, probar un prototipo, diseo o producto con una seleccin de
usuarios, analizar el diseo con expertos, etc., en definitiva, conseguir su
integracin en el ciclo permitiendo la realizacin de un diseo centrado en el
usuario.

La evaluacin comprende un conjunto de metodologas y tcnicas que analizan la

usabilidad de un sistema interactivo en diferentes etapas del ciclo de vida.

El diseo y desarrollo de sistemas interactivos centrados en el usuario evaluando

la usabilidad nos permitir desarrollar productos que produzcan ms satisfaccin
al usuario, reducir los costes de mantenimiento porque al usuario le ser ms fcil
utilizarlo, reducir el coste de rediseo debido que a se han realizado
evaluaciones ya desde el inicio del diseo y por tanto el diseo estar mucho ms
probado lo que implicar un menor coste y un mayor prestigio para los
desarrolladores, una mayor audiencia al estudiar aspectos culturales y en general
una mejor introduccin del producto en el mercado. La evaluacin de la usabilidad
nos permitir garantizar la usabilidad de la interfaz.
Mtodos de evaluacin

Existe una amplia variedad de mtodos de evaluacin que se clasifican en los tres
mtodos principales siguientes:

1) Inspeccin
2) Indagacin
3) Test

Inspeccin

Inspeccin (de la usabilidad) es un nombre genrico para un conjunto de mtodos

basados en evaluadores que inspeccionan o examinan aspectos relacionados con
la usabilidad de la interfaz.

Los inspectores de la usabilidad pueden ser especialistas en usabilidad,

consultores de desarrollo de software con experiencia en guas de estilo de
interfaces o usuarios finales que tengan conocimientos de las tareas o del dominio
u otros tipos de profesionales.

Los diferentes mtodos por inspeccin tienen objetivos ligeramente diferentes,

pero en todos ellos se tienen en cuenta las opiniones, juicios, informes de los
inspectores sobre elementos especficos de la interfaz como factor fundamental de
la evaluacin de la usabilidad.

Los mtodos ms importantes son:

1) Evaluacin heurstica
2) Recorrido de la usabilidad plural
3) Recorridos cognitivos
UN ANLISIS HEURSTICO

Es una tcnica para evaluar la usabilidad de un sitio web o aplicacin

existente, se basa en revisar las buenas prcticas recogidas por Jacob Nielsen
en Ten Usability Heuristics.

El resultado es un documento que recoge las fortalezas y debilidades del sitio,

as como recomendaciones para mejorar su usabilidad.

Qu ventajas tiene?

Es un mtodo rpido, intuitivo, barato, que no requiere involucrar directamente a

usuarios finales.

Ayuda a entender el estado actual del producto, a identificar problemas

bsicos para tenerlos en cuenta y saber cmo evitarlos en el nuevo diseo.

Cundo realizar un anlisis heurstico?

Cuando tenemos un proyecto previo el cual vamos a redisear.

Las 10 heursticas de usabilidad

Visibilidad del estado del sistema Qu est pasando?: El sistema debe

informar siempre al usuario de lo que est haciendo, con el correspondiente
feedback en un tiempo razonable. Mensajes de que se est realizando una
transaccin o de confirmacin una vez realizada.

Conexin entre el sistema y el mundo real: El sistema debe hablar el mismo

idioma que el usuario, con palabras, frases y conceptos que le sean familiares.
Tiene que seguir las convecciones del mundo real, haciendo que la informacin
aparezca en orden lgico y natural.

Uso y control del usuario: Los usuarios frecuentemente realizan acciones por
error y necesitarn tener clara una salida de emergencia para dejar todo como
estaba. Por ello, ser conveniente el soporte de las acciones deshacer y
rehacer.

Consistencia y estndares: El usuario no debe tener diferentes palabras,

situaciones o acciones para cosas que signifiquen lo mismo. Se deben seguir las
convecciones web.

Prevencin de errores: Antes que tener unos buenos mensajes de error hay que
cuidar el diseo para prevenir estos errores. Validar los errores antes de enviar la
accin, como puede ocurrir al rellenar un formulario.

Reconocer mejor que recordar: Minimiza el uso de la memoria del usuario

colocando los objetos, acciones y opciones a la vista. El usuario no debe recordar
todos los pasos sino que sean reconocibles.

Uso eficiente y flexibilidad: Los aceleradores o atajos aumentan la velocidad de

interaccin para los usuarios expertos. Permitir el uso de estos para las acciones
frecuentes.

Diseo prctico y minimalista: No debe mostrarse informacin irrelevante o que

raramente se necesita a simple vista. Cada unidad de informacin extra reduce la
visibilidad de la informacin verdaderamente importante.

Ayuda, diagnstico y recuperacin de errores: Los mensajes de error deberan

expresarse en lenguaje plano (no en cdigos), precisamente para indicar el
problema y sugerir una solucin constructiva.
Ayuda y documentacin: Incluso si el sistema es suficientemente usable
utilizarlo sin documentacin, es mejor tenerla. Cualquier informacin debe ser fcil
de buscar, centrada en las tareas del usuario, que se defina en una serie de pasos
concretos y no sea demasiada larga.
Recorrido de la usabilidad plural

Comparte algunas caractersticas con los recorridos tradicionales pero tiene

algunas caractersticas propias que lo definen. Estas caractersticas son las
siguientes:

1) Participantes: Este mtodo se realiza con tres tipos de participantes,

usuarios representativos, desarrolladores y expertos en usabilidad, que
conforman todos los factores implicados en el producto.
2) Las pruebas se realizan con prototipos de papel u otros materiales
utilizados en escenarios. Cada participante dispone de una copia del
escenario de la tarea con datos que se puedan manipular
3) Todos los participantes han de asumir el papel de los usuarios, por tanto
aparte de los usuarios representativos que ya lo son, los desarrolladores y
los expertos en usabilidad tambin lo han de asumir.
4) Los participantes han de escribir en cada panel del prototipo la accin que
tomarn para seguir la tarea que estn realizando, escribiendo las
respuestas lo mas detalladas posibles.
5) Una vez que todos los participantes han escrito las acciones que tomaran
cuando interactuaban con cada panel, comienza el debate. En primer lugar
deben hablar los usuarios representativos y una vez estos han expuesto
completamente sus opiniones, hablan los desarrolladores y despus los
expertos en usabilidad.

Recorrido cognitivo

El recorrido cognitivo es un mtodo de inspeccin de la usabilidad que se centra

en evaluar en un diseo su facilidad de aprendizaje, bsicamente por exploracin
y est motivado por la observacin que muchos usuarios prefieren.

Es un mtodo de inspeccin que se evala la facilidad de aprendizaje

Est basado en los recorridos estructurales de la ingeniera de software
Se evala una propuesta de prototipo de interfaz en el contexto de una o
ms tareas
Es idnea en la etapa de diseo, pero se puede aplicar en el resto
Indagacin

Observacin de campo

Se realiza en el lugar de trabajo de usuarios representativos.

Se les observa trabajando para entender cmo estn utilizando el sistema para
lograr sus tareas y qu clase de modelo mental tienen sobre el sistema

Este mtodo se puede utilizar en las etapas de la prueba y del despliegue del
desarrollo del producto

o Artefactos

Objetos fsicos en uso en el sitio ( blocs de notas, formularios, informes, espacios,

paredes )

o Afloramientos

Rasgos fsicamente identificables que marcan o caracterizan el sitio (tamao de

los cubculos, tamao de las pizarras y que es lo que est escrito en ellos, tipos de
uniformes).

Grupo de discusin dirigido

El focus group o grupo de discusin dirigido es una tcnica de recoleccin de

datos donde se rene de 6 a 9 usuarios para discutir aspectos relacionados con el
sistema

Un moderador que tiene que preparar la lista de aspectos a discutir y recoger la

informacin que necesita de la discusin.

Esto puede permitir capturar reacciones espontneas del usuario e ideas que
evolucionan en el proceso dinmico del grupo.
 Entrevistas

Entrevistar a los usuarios respecto de su experiencia en un sistema interactivo

resulta una manera directa y estructurada de recoger informacin. Adems las
cuestiones se pueden variar con tal de adaptarlas al contexto.

Normalmente, en una entrevista se sigue una aproximacin de arriba abajo

Las entrevistas pueden ser efectivas para una evaluacin de alto nivel,
particularmente para extraer informacin sobre las preferencias del usuario,
impresiones y actitudes

Puede ayudar a encontrar problemas no previstos en el diseo

Para que la entrevista sea lo ms efectiva posible, ha de ser preparada con

antelacin, con todo un conjunto de preguntas bsicas. El revisor puede adaptar la
entrevista al entrevistado y obtener el mximo beneficio.
 Grabacin del uso (logging)

El logging implica disponer en el ordenador de una ampliacin del sistema que

recoja automticamente estadsticas sobre el uso detallado del sistema. Es til
porque muestra cmo los usuarios realizan su trabajo real y porque es fcil
recoger automticamente datos de una gran cantidad de usuarios que trabajan
bajo diversas circunstancias.

Tpicamente, un registro de la interfaz contendr estadstica sobre la fre-cuencia

con la cual cada usuario ha utilizado cada caracterstica en el pro-grama y la
frecuencia con que los diversos eventos de inters (tales como mensajes de error)
han ocurrido. La estadstica que muestra la frecuencia del uso de comandos y de
otras caractersticas de sistema se puede utilizar para optimizar caractersticas
con frecuencias usadas y para identificar las caractersticas que se utilizan o no se
utilizan raramente. La estadstica que muestra la frecuencia de las diversas
situaciones de error y el uso de la ayu-da en lnea se puede utilizar para mejorar la
utilidad de los desbloqueos fu-turos del sistema reajustando las caractersticas que
causan la mayo parte de los errores y la mayora del acceso para la ayuda en
lnea.

Esta tcnica se puede utilizar en las etapas de prueba o de despliegue.

Procedimiento:

El registro se realiza generalmente modificando los drivers del sistema, por

ejemplo del ratn o del teclado u otras partes del sistema que permitan el registro
de las acciones del usuario o modificando la aplicacin que estamos probando.
Este ltimo mtodo es el preferido ya que hace ms fcil registrar acontecimientos
de inters. Si los nicos datos disponibles son entrada de informacin y salida sin
procesar, es mucho ms difcil analizar los aconte-cimientos de gran inters para
el uso del sistema, tal como situaciones del uso de alguna caracterstica o de
error. Si el sistema equipado se ejecuta en una unidad central o en sitios de
trabajo con un espacio compartido del fi-chero, es fcil recoger datos de registro
simplemente copiando los ficheros de diario de cada usuario en los intervalos
regulares. Si no, puede ser necesario recoger datos de registro a travs de correo
electrnico automtica-mente o pidiendo que los usuarios ejecuten peridicamente
un programa que enve el fichero por correo.
 CARDSORTING.

Ordenacin de tarjetas (cardsorting): esta tcnica es utilizada para conocer cmo

los usuarios visualizan la organizacin de la informacin. El diseador utiliza las
aportaciones de los usuarios para decidir cmo deber estructurarse la
informacin en la interfaz. Es utilizada para decidir la estructura organizativa de
cualquier sistema de informacin. Es una tcnica de ayuda en la toma de
decisiones para realizar una organizacin de categoras centrada en el usuario.
Esta tcnica es realizada por el arquitecto de informacin.

Tipos de 'card sorting'

Podemos diferenciar entre dos tipos de 'card sorting': abierto y cerrado.

En el 'card sorting' abierto el usuario puede agrupar las categoras

libremente en el nmero de conjuntos que crea necesario; mientras que en
el cerrado, los grupos o conjuntos estn predefinidos y etiquetados y el
usuario nicamente deber colocar cada categora en el grupo que crea
corresponda.
Este segundo tipo de 'card sorting' est recomendado para verificar si una
clasificacin de informacin es familiar y comprensible para el usuario,
mientras que el "abierto" tiene el objetivo de descubrir qu tipo de
clasificacin de categoras sera ms correcto utilizar.

Conduccin de la prueba

El primer paso es reclutar a los participantes de la prueba. En la seleccin hay que

tener en cuenta que stos deben tener caractersticas y perfiles acordes con el
pblico objetivo del sitio web. De nada servira contar con participantes jvenes y
recin titulados en ingeniera informtica, cuando el sitio web est destinado a ser
usado por amas de casa, sin estudios y de la tercera edad.

El nmero de participantes en la prueba deber ser al menos de 5. El tiempo

destinado para la prueba depender del nmero de categoras a ordenar, aunque
a modo indicativo, para unas 40 categoras se debe destinar al menos unos 20
minutos.
Al comienzo de la prueba se debe explicar a los participantes el objetivo de la
prueba, y que este no es la evaluacin de los propios participantes. Adems, se
indicar a los participantes cul debe ser el criterio de agrupacin de las
categoras: por similaridad.

Entonces se le entrega a los usuarios las tarjetas con las diferentes categoras,
asegurndonos que cada conjunto entregado a cada usuario est desordenado
(barajado). Entregar a todos los usuarios las tarjetas con un orden predefinido
puede condicionar la forma de ordenacin por parte de los participantes.

En el caso de 'card sorting' de tipo abierto, una vez que hayan terminado la prueba
los participantes, se les puede pedir que den nombre a cada uno de los grupos
creados.

Existen, as mismo, aplicaciones software con las que poder llevar a cabo la
prueba de forma virtual, como EZSort o WebSort .

Cuestionario

El cuestionario es menos flexible que la entrevista, pero puede llegar a un grupo

ms numeroso y se puede analizar con mas rigor. Se puede utilizar varias veces
en el proceso de diseo.

Hay una serie de tipos de preguntas que se pueden incluir en el cuestionario:

1) General: Preguntas que ayudan a establecer el perfil de usuario y su puesto

dentro de la poblacin en estudio. Incluye cuestiones como edad, sexo, ocu-
pacin. lugar de residencia y otras.

2) Abierta: Preguntas tiles para recoger informacin general subjetiva.

Pueden dar sugerencias interesantes y encontrar errores no previstos.

3) Escalar: Permite preguntar al usuario sobre un punto especfico en una

escala numrica.

Por ejemplo:
El diseo de los iconos es comprensible
Poco 1 2 3 4 5 Mucho
4) Opcin mltiple: En este caso se ofrecen una serie de opciones y se pide
responder a una o varias.
Que tipo de software has utilizado?
Tratamiento de texto
 Hoja de clculo

Bases de datos

Contabilidad
Son particularmente tiles para recoger informacin de la experiencia previa
del usuario. Un caso especial es cuando se le dan opciones para contestar si
o no.
5) Ordenadas: Se presentan una serie de opciones que hay que ordenar.
Ordena la utilidad de como ejecutar una accin:
1 la ms til, 2 la siguiente, etc. 0 si no se utiliza

Por iconos
Seleccin de
men
Doble clic

Ejemplos de cuestionarios
En este apartado presentamos el diseo de un cuestionario despus de
realizar una tarea y despus de acabar el test.

Cuestionario de posttarea

1. Ha sido fcil completar la tarea? (Marca la respuesta adecuada)

Muy fcil Fcil Normal Difcil Muy difcil
Comentarios:

2. Has utilizado el manual para completar la tarea?

S____ No ____

3. Si has utilizado el manual, la informacin ha sido fcil de encontrar?

Muy fcil Fcil Normal Difcil Muy difcil
Comentarios:

4. La informacin que encontraste en el manual ha sido fcil de utilizar?

Muy fcil Fcil Normal Difcil Muy difcil
Comentarios:
 Test

Pensando
en voz alta

Medidas de
prestacin Test Interaccin
constructiva

Mtodo del
conductor

Pensando en voz alta (Thinking aloud)

o Qu es?

Consiste en que un usuario exprese en voz alta sus pensamientos, sentimientos y

opiniones mientras que interacciona con el sistema [Lewis, 1982]

o Resultado

Datos cualitativos que puede recoger de un nmero reducido de usuarios

o Mtodo

Se les proporciona a los usuarios el producto que tienen que probar (o un prototipo
de la interfaz) y un conjunto de tareas a realizar.

Se les dice a los usuarios que realicen las tareas y que expliquen qu es lo que
piensan al respecto mientras estn trabajando con la interfaz.

Interaccin constructiva

Derivacin del mtodo de pensando en voz alta (thinking aloud).

En vez de uno dos usuarios hacen el test simultneamente.

Es ms natural para el usuario verbalizar conjuntamente.

La desventaja es que los usuarios puedan tener diferentes estrategias de

aprendizaje.

Mtodo del conductor

Hay una interaccin explicita entre el usuario que realiza el test y el revisor
(conductor) que conduce al usuario en la direccin correcta.

El objetivo es descubrir las necesidades de informacin de los usuarios.

Medidas de prestaciones

o Metodologa

Los participantes han de ser usuarios reales.

Los participantes han de hacer tareas reales.

Hay que registrar y observar la actividad de los participantes.

Analizar los datos, diagnosticar problemas y recomendar cambios.

o Medir una tarea

Medir Excelente Aceptable Inaceptable

Tarea 1

Tiempo < 3 minutos 3 5 minutos > 5 minutos

Recuperacin error 0 < 1 minuto > 1 minuto

Ayuda en lnea 1 2 3 minutos > 3 minutos

Criterios que podemos definir para medidas de prestaciones

o Excelente

o Aceptable
 o Inaceptable

BIBLIOGRAFIA:

Word Xpress (Feb 11, 2011) Mtodos evaluacin usabilidad 25/09/2017 Sitio Web:
http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion/metodos-evaluacion-
usabilidad/

Hassan Montero, Y.; Martn Fernndez, F.J.; Hassan Montero, D.; Martn
Rodrguez, O. Arquitectura de la Informacin en los entornos virtuales de
aprendizaje: Aplicacin de la tcnica de Card Sorting y anlisis cuantitativo de los
resultados. En: El Profesional de la Informacin, 2004, marzo-abril, v. 13, n. 2, pp.
93-99.