Mtodos de evaluacin

Evaluacin de los diseos

Tipos de evaluaciones
Estrategias de campo
Estudio de los sistemas con tareas y en
condiciones reales
Estrategias experimentales
Experimentos desarrollados en laboratorios
Estrategias de inspeccin
Verificacin del cumplimiento de directivas, mediciones,
etc.
Estrategias tericas
Evaluaciones con base terica


Mtodos de Inspeccin de
usabilidad
Inspeccin de la interfaz utilizando mtodos
heursticos (no experimentos)

Evaluacin Heurstica:
Un conjunto pequeo de evaluadores examina la
interfaz, y verifica si satisface los principios reconocidos
de usabilidad
Anlisis de Acciones
Anlisis cuantitativo de las acciones, para predecir el
tiempo requerido para determinadas tareas
Evaluacin heurstica
Chequeo sistemtico del diseo contra principios de
usabilidad reconocidos (heursticas)
Realizado por un conjunto pequeo de evaluadores
Algunas heursticas:
Diseo minimalista (less is more)
Utilizar el lenguaje del usuario
Reconocer, no recordar
Consistencia
Proveer feedback
Indicar claramente las salidas
Proveer aceleradores
Buenos mensajes de error
Prevenir los errores
Ayudas y documentaciones
Evaluacin heurstica
Realizacin de una evaluacin heurstica
El diseo puede ser una descripcin textual, un
bosquejo, prototipo o un sistema finalizado
Pueden proveerse evaluadores con conocimiento
especfico del dominio
Cada evaluador debiera trabajar individualmente
La interfaz es analizada en 2 pasos
1. Centrada en el flujo general
2. Anlisis de los elementos individuales del dilogo
Las evaluaciones individuales posteriormente deben ser
compuestas
Evaluacin heurstica
Cuntos problemas son identificados?








Las evaluaciones individuales encuentran relativamente
pocos problemas

Nombre de la
evaluacin
Nmero de
evaluadores
Problemas
conocidos
Nro. Promedio de
problemas hallados
por cada evaluador
Teledata 37 52 51%
Mantel 77 30 38%
Savings 34 48 26%
Transport 34 34 20%
Evaluacin Heurstica
Componer las evaluaciones individuales







La composicin de las evaluaciones individuales produce
mejores resultados
Composicin: 1 2 3 5 10
Teledata 51% 71% 81% 90% 97%
Mantel 38% 52% 60% 70% 83%
Savings 26% 41% 50% 63% 78%
Transport 20% 33% 42% 55% 71%
Evaluacin heurstica

Evaluacin heurstica
La experiencia de los evaluadores influencia la
cantidad de problemas hallados
Tipos de evaluadores
Novatos (sin conocimiento de usabilidad ni del dominio)
Expertos en usabilidad, pero no del dominio
Especialistas en usabilidad y con conocimiento del dominio
Hallar todos los errores requiere combinar evaluadores
de distintos tipos

Evaluacin heurstica
Ventajas y desventajas
econmico
intuitivo
utilizable en las primeras fases del proceso de desarrollo
halla muchos problemas
halla tanto problemas mayores como menores
puede ignorar problemas especficos del dominio
Anlisis de las acciones
Anlisis cuantitativo de las acciones para predecir el
tiempo requerido por un usuario experimentado para
completar las tareas
Basado en las estimaciones de tiempos para acciones
tpicas
Focalizado en la performance de usuarios
experimentados(eficiencia)

Niveles de detalle
Formal (detallado)
Informal

Anlisis de las acciones
Anlisis detallado
Anlisis a nivel de tecla

Basado en modelo GOMS (Goals, Operators, Methods,
Selection)
Muy detallado
Prediccin del tiempo de las tareas 20%
Muy tedioso de calcular
Subdivide las tareas jerrquicamente en subtareas
Utiliza tiempos promedios (tabulados) para los tiempos
de cada accin
Utilizado para optimizar la performance de sistemas de
alto uso

Anlisis de las acciones

Accin Tiempo
Movimientos fsicos Presin de una tecla 0.28
Apuntamiento con el mouse 1.5
Mover la mano hasta el mouse o una tecla
funcin
0.3
Percepcin Visual Respuesta a una luz breve 0.1
Reconocer una palabra de 6 letras 0.34
Mover los ojos hasta una nueva posicin de la
pantalla
0.23
Acciones Mentales Recuperar un item de la memoria de largo
plazo
1.2
Aprender un paso de un procedimiento 25
Ejecutar un paso mental 0.075
Elegir entre mtodos 1.2
Anlisis de las acciones
Anlisis informal
Alto nivel de detalle

Lista las acciones requeridas para completar una tarea,
pero con menos detalle que el mtodo detallado
Seleccionar Save en el men
Editar el archivo XXX
Confirmar presionando Ok

En este nivel de anlisis, cada accin toma al menos 2 a
3 segundos

Permite una estimacin rpida de la performance para
una tarea particular
Tests de Usabilidad
Tests empricos del diseo de la interfaz con usuarios
representativos
Tests con Lpiz y Papel
Se muestra a los usuarios aspectos de la interfaz en papel,
respondiendo a determinadas preguntas
Thinking Aloud
Los usuarios expresan sus pensamientos en voz alta,
mientras realizan tareas tpicas
Experimentos formales:
Experimentos controlados y anlisis estadsticos
Tcnicas de consulta
Entrevistas y cuestionarios

Test en Lpiz y Papel
Se muestra a los usuarios aspectos de la interfaz en
papel
Los usuarios responden a determinadas cuestiones
El administrador del test toma notas, las colecta y construye
tablas
Ej. presentar bosquejos de una pgina Web, y preguntar a
los usuarios que esperan encontrar bajo iconos particulares
Rpido, efectivo y econmico

Test en Lpiz y Papel
Ejemplo: organizacin de menes
En forma similar a un procesador de texto actual, escriba el
nombre de la opcin del men bajo la cual esperara
encontrar la tarea deseada

File Edit View Insert Format Utilities Macro Window

1. Search for a word: __________
2. Create a header: __________
3. Create an index entry: __________
4. Set up your document preferences: __________
5. Repeat an annotation: __________
6. Paste another file into your current file: __________
7. Use italics: _______________
8. Show summary information about your document: __________
9. Switch to another document: __________
10. Show all annotations in the document: __________
11. Repaginate the document: __________
12. Set up your printer: __________
Thinking Aloud
Se les solicita a los usuarios pensar en voz alta,
mientras realizan sus tareas
Se obtiene una alta cantidad de comentarios
Ventajas y desventajas
Encuentra muchos problemas de usabilidad
Encuentra las causas de los problemas
Requiere un nmero pequeo de usuarios (3 - 5)
Utilizable en las primeras fases del proceso de desarrollo
Requiere poca experiencia del administrador de la
evaluacin
El tener que pensar en voz alta puede influenciar la forma
de trabajo del usuario
Puede no proveer datos acerca de la performance
Experimentos formales
Experimentos controlados con usuarios
Anlisis estadsticos
Anlisis de performance
Proveen mediciones acerca de la performance, pero
requieren muchos usuarios para estadsticas precisas
(16-20)
Medicin de la performance
Recoleccin de datos cuantitativos y objetivos:
Tiempo para completar algunas tareas especficas
Nmero de tareas completadas en un tiempo dado
Nmero de errores
Tiempo de recuperacin de errores
Nmero de comandos y caractersticas utilizadas
Nmero de caractersticas que el usuario puede reconocer
luego del test
Frecuencia de uso de la ayuda del sistema
Tiempo dedicado a leer la ayuda
Anlisis Estadstico
Existe alguna diferencia estadstica significante entre
los sistemas A y B?
Test de Hiptesis
Qu tamao tiene esa diferencia?
Media
Que precisin tienen los resultados?
Desviacin estndar, certeza

Ej.
Tenemos un 95% de certeza que el tiempo para realizar
la tarea X es 4.5 minutos
Experimentos formales
Ventajas y desventajas
Permite la comparacin de diseos alternativos
Recolecta datos cuantitativos y objetivos
Necesita un nmero significativo de usuarios (16-20)
Utilizable slo en las etapas finales del proceso de desarrollo
Requiere experiencia del administrador
No proveen informacin acerca de las razones de un hecho
Tcnicas de Consulta
Preguntas a los usuarios, luego de haber utilizado el
sistema para realizar tareas representativas
Entrevistas
Cuestionarios
Provee datos subjetivos acerca de la visin del
usuario del sistema
Preferencias, impresiones, actitudes
Simple, econmico, y suplemento til al thinking
aloud o experimentos formales
Entrevistas
Permitir al usuario expresar primeramente sus pensamientos
Comenzar con aspectos de alto nivel, y luego con ms
detallados
Aceptar preguntas de cualquier otro observador
Consulte cualquier aspecto que surja de las notas de la
entrevista
Flexible, el administrador puede preguntar por cualquier
aspecto de inters
Consume mucho tiempo
Difcil de analizar y comparar
Cuestionarios
Formulario escrito, estructurado, completado por el
usuario
Datos cualitativos y cuantitativos
Cuestionarios electrnicos (ej. GVU Web User Survey).
puede alcanzar a muchos individuos (por correo, mail, Web)
fcil de repetir
consume menos tiempo que las entrevistas
fcil de analizar y comparar
menos flexible que las entrevistas
Tcnicas de consulta
Ventajas y desventajas
recoleccin de datos acerca de la visin subjetiva del usuario
del sistema
datos cuantitativos y cualitativos
informacin suplementaria til
simple
econmico
los datos subjetivos pueden no ser muy confiables
Comparacin de tcnicas de
evaluacin

Evaluacin
heurstica
Anlisis de
acciones
Thinking
Aloud
Experimentos
formales
Tcnicas de
consulta
Etapas Todas Todas Diseo Anlisis
competitivo,
testing final
Todas
Objectivo /
Subjetivo
Subjetivo Subjetivo Subjetivo Objetivo Subjetivo
Cualitativo /
Cuantitativo
Cualitativo Cuantitativo Cualitativo Cuantitativo Ambos
Intrusivo No No Si Si No
Tiempo Bajo Medio / Alto Medio Alto Bajo
Equipo Bajo Bajo Bajo / Medio Medio Bajo
Experiencia Media Media / Alta Baja / Media Media / Alta Baja
Evaluadores 3-5 1-2 1-2 1-2 1-2
Usuarios 0 0 3-5 16-20 >3
Evaluaciones en cada etapa
Recoleccin de informacin
Entrevistas y cuestionarios, observaciones lugar de trabajo
Diseo conceptual
Entrevistas, evaluacin heurstica
Diseo de la funcionalidad y la interfaz
Evaluacin heurstica, test de usabilidad, evaluaciones tericas
Implementacin del prototipo
Test de usabilidad, evaluacin heurstica
Implementacin del sistema final
Test de usabilidad
Evolucin y ampliacin del sistema
Observaciones lugar de trabajo, entrevistas y cuestionarios,
experimentos de campo