Esperimento controllato

(in laboratorio)

Interazione Uomo-Macchina

Nel senso delle scienze tradizionali:

si fissa un protocollo sperimentale:

Esperimento con gli utenti

si pone un problema

Corsi di Laurea Magistrale in:

si adotta un modello
si fissano certe variabili (variabili di controllo stabilizzando
lambiente)
si manipolano certe variabili secondo strategie predefinite
(variabili indipendenti)
si osservano (misurano) certe altre variabili (variabili
dipendenti)

Ingegneria Informatica
Universit degli Studi di Brescia

Docente: Daniela Fogli

si valutano i risultati

Daniela Fogli Interazione Uomo-Macchina

Considerazioni generali
sull esperimento con gli utenti

Caratteristiche dellesperimento

Validit: il protocollo sperimentale adeguato alle

necessit; si misura qualche cosa di effettivamente
rilevante rispetto allo scopo dellesperimento

Il nostro osservato: lutente umano

che interagisce con un artefatto
per compiere unattivit
in un ambiente simile
a quello in cui
opera realmente
(ricostruito in laboratorio)

Daniela Fogli Interazione Uomo-Macchina

Affidabilit: lesperimento ripetibile: d lo stesso

risultato se ripetuto avendo fissato le stesse variabili di
controllo agli stessi valori e ripetendo le stesse strategie
di manipolazione delle variabili indipendenti

Daniela Fogli Interazione Uomo-Macchina

Validit

Affidabilit

Il risultato pu non essere significativo a causa

Causa principale della scarsa affidabilit: la variabilit

dellutente

1) della scelta di utenti non rappresentativi

In certe situazioni, la capacit dellutente migliore 10 volte quella

del peggiore. Nella velocit di battitura: il 25% dei migliori 2
volte pi veloce del 25% dei peggiori.

(provare un sistema destinato a manager con studenti di chimica;

meglio con studenti gestionali)

Dire: lutente A con la macchina X esegue il compito meglio

dellutente B con la macchina Y non permette di giudicare quale
macchina migliore. E un dato non affidabile.

2) della scelta di un compito sbagliato (provare su pochi dati un

programma destinato a gestire grandi moli di dati)
3) della mancata inclusione di adeguati vincoli di tempo o
derivati dalle influenze sociali
Daniela Fogli Interazione Uomo-Macchina

Comunque: unindicazione meglio di nessuna indicazione

(decisioni in presenza di incertezza)
5

Daniela Fogli Interazione Uomo-Macchina

Pianificare e progettare
lesperimento

Validit e Affidabilit

Si pone il problema
chiarire lo scopo dellesperimento

Si raggiungono buoni livelli di osservazione

Si pianifica lattivit sperimentale tenendo conto

del budget

indirizzando aspetti specifici del processo di interazione

incluse: scelta utenti, scelta sperimentatori, scelta compiti,

formulazione del modello

con obiettivi ben limitati

Si esegue lesperimento
4 fasi: preparazione, introduzione, il test, debriefing

Lorganizzazione dellesperimento pu servire per organizzare

altri tipi di osservazione - valutazione, capendo dove ci si discosta
dal modello ideale e le conseguenze dello scostamento

Daniela Fogli Interazione Uomo-Macchina

Si analizzano e sintetizzano i risultati

quali statistiche utilizzare

Daniela Fogli Interazione Uomo-Macchina

Pianificare lattivit sperimentale

Scegliere lo sperimentatore

dobbiamo porci qualche domanda

E lincaricato di gestire lesperimento

Pi il metodo scientifico meno influente

Quando e dove si terr il test?

Quanto tempo dovr durare ogni sessione?
Quali tipi di supporto (hardware/software) sono necessari per condurre il
test?
In che stato deve trovarsi il sistema per iniziare il test?
Quali devono essere i tempi di risposta e/o i tempi della rete?
Chi saranno gli sperimentatori?
Chi saranno gli utenti test, come li troviamo, e quanti dovranno essere?
Quali compiti faremo svolgere?
Quali criteri adottiamo per decidere quando lutente ha finito un task
correttamente?
Quali aiuti diamo agli utenti (manuali, etc.)?
Fino a che punto lo sperimentatore pu aiutare lutente durante il test?
Quali dati si vogliono raccogliere e come li analizzeremo?
Quale sar il criterio per dichiarare il successo o linsuccesso del sistema?
Daniela Fogli Interazione Uomo-Macchina

Deve avere esperienza

- del metodo sperimentale adottato
- dellapplicazione
Non necessario conosca i dettagli dellimplementazione, ma utile
se il sistema va in crisi (soprattutto se il sistema prototipale
bene avere vicino allora il programmatore)
I progettisti come sperimentatori?
Meglio 2 sperimentatori: 1 facilitatore e 1 osservatore
Daniela Fogli Interazione Uomo-Macchina

Scegliere gli utenti test

Scegliere gli utenti test (2)

Il tipo di popolazione destinataria influenza la scelta

Regola:

Sistema destinato ad un singolo (difficolt di accesso)

linsieme delle persone (campione) su cui eseguire lesperimento

deve rappresentare la popolazione cui destinato il sistema
(ricordare la validit)

Sistema destinato a popolazione ben identificata (il personale

amministrativo di una azienda; gli infermieri di un ospedale; etc.
rappresentanti della popolazione sono raggiungibili magari a
pagamento)

Problemi:
evitare polarizzazioni
a seconda di quante persone posso coinvolgere (budget) per
lesperimento cambia il criterio

Sistema destinato a popolazione generica (facile reclutare, non

facile avere un insieme rappresentativo: e.g. gli studenti sono una
sottopopolazione)

Daniela Fogli Interazione Uomo-Macchina

10

11

Daniela Fogli Interazione Uomo-Macchina

12

Scegliere gli utenti test (3)

Quanti utenti?
Dipende da ragioni pragmatiche (fondi, disponibilit) ma il
campione deve essere abbastanza grande da essere
rappresentativo della popolazione (almeno 10)

Esperti o non esperti

eseguire lesperimento sempre con utenti non esperti del
sistema
se si fa anche con esperti organizzare due gruppi,
possibilmente test separati

con 5 utenti si scopre l85%

dei problemi di usabilit

A volte necessario prevedere addestramento a un

nuovo strumento (e.g. touch screen, SO):
gli effetti associati alluso di un nuovo strumento mascherano
gli effetti dovuti alla bassa usabilit dellintero sistema

con 15 utenti li si scopre tutti

Daniela Fogli Interazione Uomo-Macchina

13

Confrontare lusabilit di
due o pi sistemi

www.useit.com

Daniela Fogli Interazione Uomo-Macchina

14

Between groups
Ogni soggetto prova una sola condizione sperimentale

Nellesperimento si debbono considerare almeno due condizioni:

- la condizione di controllo (stabilizzazione dellambiente, non
viene manipolata)
- la condizione sperimentale (la variabile indipendente che viene
manipolata)

Vantaggio: ogni effetto dovuto allapprendimento viene evitato

Problema: variabilit degli utenti.
Per controllare:
- Esaminare molti utenti (costo)
- Diverse tecniche:
a) creare gruppi a caso
b) classificare gli utenti e mettere rappresentanti di ogni classe
in ogni gruppo

Between groups vs. Within groups

Nel progetto between groups ogni soggetto prova una sola condizione
sperimentale
Nel progetto within groups ogni soggetto prova tutte le condizioni

Daniela Fogli Interazione Uomo-Macchina

15

Daniela Fogli Interazione Uomo-Macchina

16

Aspetti etici degli esperimenti con

esseri umani

Within groups
Ogni soggetto prova tutte le condizioni sperimentali

I test vanno condotti avendo rispetto degli utenti e delle loro

emozioni

Vantaggio: meno costoso, richiede meno utenti. Efficace quando

sono ridotti i problemi di apprendimento. Meno problemi legati alla
variabilit degli utenti

Esempio, se fatto dal progettista, non pu trattar male gli utenti

perch mostrano di non gradire il suo amato software
Gli utenti sentono comunque una certa pressione anche se viene
spiegato loro che lo scopo del test non testare gli utenti ma
il sistema

Problema: gli utenti imparano. Sono inesperti solo alla prima

esperienza
Per controllare:
- dividere gli utenti in gruppi e far eseguire ad ogni gruppo una
sequenza di compiti diversa
- oppure far provare un gruppo prima con la condizione A poi con
la condizione B, e laltro gruppo prima con la condizione B e poi
con la condizione A

Daniela Fogli Interazione Uomo-Macchina

Gli utenti faranno errori (soprattutto se il sistema prototipale) e

si sentiranno inadeguati o stupidi
Sapere che sono osservati o addirittura ripresi pu renderli ancora
pi a disagio

17

Aspetti etici degli esperimenti con

esseri umani (2)

Daniela Fogli Interazione Uomo-Macchina

Aspetti etici degli esperimenti con

esseri umani (3)
Fare in modo che ci siano meno osservatori possibili

Agli utenti deve essere detto chiaramente che nessuna

informazione sulle loro prestazioni sar rivelata (specialmente ai
loro capi)

Le eventuali registrazioni non vanno diffuse se non c il consenso

dellutente

Esperimento condotto in unatmosfera rilassata

Per mettere allinizio a proprio agio lutente, il primo compito deve
essere talmente facile da garantire un sicuro successo

Lo sperimentatore non deve interferire durante il test a meno

che lutente non sia in evidente difficolt e non riesca ad andare
avanti

Lo sperimentatore, prima di iniziare il test, deve assicurarsi che la

stanza, il computer, il software siano pronti, assieme ad altro
materiale necessario per condurre il test

Dopo il test si parla con lutente, gli si chiede di commentare il

sistema, si risponde a tutte le sue domande, lo si ringrazia e gli si
ribadisce la sua utilit per risolvere i problemi del sistema

I risultati devono essere mantenuti confidenziali e i rapporti

devono essere tali per cui gli utenti non possano essere identificati

Una buona idea che lo sperimentatore provi a fare lutente test

anche una sola volta nella vita

Daniela Fogli Interazione Uomo-Macchina

18

19

Daniela Fogli Interazione Uomo-Macchina

20

Come scegliere i compiti da

eseguire

Rapporto con gli utenti test: in sintesi

Devono essere rappresentativi dei compiti che dovranno essere

svolti nel mondo reale (in base allanalisi dei compiti o alle
specifiche di progetto)

Prima
Dare garanzia sulla privatezza degli esperimenti e dei risultati
Dire che il sistema che viene testato non lutente
Verificare gli strumenti e la documentazione prima della prova
Spiegare come verr fatta losservazione e condotto lesperimento

Devono essere limitati in modo da essere fattibili nel tempo

previsto ma complessi abbastanza da essere rappresentativi

Durante
Non intervenire se non in casi estremi
Rispettare lutente
Prevenire interruzioni esterne

Deve essere specificato prima dellesperimento cosa lutente deve

produrre e ogni task definito in dettaglio

Dopo

Deve essere dato allutente per iscritto (parit di condizione; pu

chiedere cosa non ha capito prima di eseguire)

Ringraziare e spiegare perch sono stati utili

Ascoltare commenti e rispondere ai dubbi
Prevedere remunerazione
Non rendere gli utenti identificabili nei rapporti

Daniela Fogli Interazione Uomo-Macchina

21

Come scegliere i compiti da

eseguire (2)

22

Test di compito e Test di scenario

I test di usabilit possono essere suddivisi in test di compito e
test di scenario
Nel test di compito viene chiesto di svolgere compiti specifici
che permettano di esercitare le funzionalit principali
dellapplicazione
Ad es. per un sito web: registrarsi, ricercare un prodotto,
acquistarlo, etc.
Esempio di test di compito per un sito di unagenzia viaggi

Non devono essere umoristici, offensivi o frivoli

Devono anzi essere il pi realistici possibile
Possono essere inquadrati in uno scenario pi ampio,
per dare realismo alla prova e una miglior
comprensione dellesercizio da svolgere (si complica il
laboratorio)

Compito 1: registrati sul sito, inserendo tutti i dati anagrafici richiesti

Compito 2: ricerca nel catalogo dei viaggi proposti sul sito un viaggio a
Cuba, della durata di circa una settimana, con partenza il giorno 24
del prossimo mese di dicembre
Compito 3: trovato il viaggio desiderato, scegli lalbergo che costa di
meno e richiedi preventivo per due persone adulte e disponibilit
allagenzia, utilizzando lapposita funzione del sito
Compito 4: accedi alla tua scheda personale e modifica il tuo indirizzo,
inserendo un indirizzo di fantasia di unaltra citt

Devono essere di difficolt incrementale, lultimo task

deve dare idea allutente che ha fatto qualcosa

Daniela Fogli Interazione Uomo-Macchina

Daniela Fogli Interazione Uomo-Macchina

23

Daniela Fogli Interazione Uomo-Macchina

24

Test di scenario
Viene indicato un obiettivo da raggiungere attraverso una serie di
compiti elementari, senza indicarli esplicitamente
Lutente dovr impostare una propria strategia di azione

Esempio tratto da
elaborato di:

Lo scenario deve essere realistico

Esempio di test di scenario per un sito di unagenzia viaggi

Barbeno, Bombardieri,
Panni, Pedretti

Desideri organizzare una vacanza di circa una settimana al mare, per

te e un amico, in una localit tropicale, durante le vacanze di Natale di
questanno. Siete liberi di partire in qualsiasi giorno successivo al 22
dicembre e dovete essere di ritorno entro il 10 gennaio. Il vostro
budget di 3000 euro, comprensivo di viaggio e albergo in pensione
completa. Desiderate trovare un villaggio vacanze non lontano da un
centro abitato abbastanza grande. Trova sul sito una proposta
soddisfacente, con disponibilit di posti liberi.

Daniela Fogli Interazione Uomo-Macchina

Daniela Fogli Interazione Uomo-Macchina

25

26

Test di Scenario: Esempio

Esempio tratto da
elaborato di:

Barbeno, Bombardieri,
Panni, Pedretti

Esempio tratto da
elaborato di:

Barbeno, Bombardieri, Panni, Pedretti

Daniela Fogli Interazione Uomo-Macchina

27

Daniela Fogli Interazione Uomo-Macchina

28

Le fasi di un esperimento

Se sperimentatori inesperti

Tipicamente 4 fasi:
1.

Preparazione: prima che arrivino gli utenti lo sperimentatore

controlla che tutto funzioni

2.

Introduzione: lo sperimentatore accoglie gli utenti e spiega lo

scopo del test, come eseguirlo, garantisce la privatezza, si accerta
che gli strumenti siano adatti agli utenti, distribuisce le istruzioni
scritte su come eseguire lesperimento, fa eseguire eventualmente
una fase di addestramento

3.

Esecuzione: lo sperimentatore non esprime opinioni o interviene,

solo uno degli sperimentatori pu aiutare (solo in casi estremi)

4.

Debriefing: solitamente mediante questionari per raccogliere pareri

degli utenti dopo il test. Appena possibile lo sperimentatore scriver
un breve rapporto sullesperimento svolto (sistemando le note)

Daniela Fogli Interazione Uomo-Macchina

E bene preparare
una checklist con
tutto quello che c
da dire e da fare
Esempio da
elaborato di:

De Rose, Giorgi, Girardi,

Marranzino, Venturini

Daniela Fogli Interazione Uomo-Macchina

29

Lesecuzione dellesperimento

Modello di misura di usabilit

Goal: usabilit

Si misurano una o pi variabili (dipendenti)

facendo eseguire a un gruppo di utenti un insieme
predefinito di compiti

Componente
Efficienza d uso

Componente
Apprendibilit

Un possibile errore: misurare qualcosa che non

strettamente collegato con la propriet a cui si
interessati

Variabile misurabile
Tempo medio necessario
per eseguire 5 compiti

Necessario un modello di misura dellusabilit

Metodi di analisi
Metodi statistici

Daniela Fogli Interazione Uomo-Macchina

30

31

Metodo di misura
Gli utenti portati in lab.
forniti della lista dei compiti
Li eseguono senza aiuto

Tecnica di raccolta dati

con cronometro
(fissare prima quando far partire e
fermare il cronometro)

Daniela Fogli Interazione Uomo-Macchina

32

Modulo per lo
sperimentatore

Esempio: misura successi e tempo

Variabili
misurate

Modulo per lo
sperimentatore

Esempio da
elaborato di:

Esempio tratto da
elaborato di:

De Rose, Giorgi, Girardi,

Marranzino, Venturini

Barbeno, Bombardieri,
Panni, Pedretti
Daniela Fogli Interazione Uomo-Macchina

33

Analisi statistiche

34

Analisi statistiche (2)

Innanzitutto due regole:

1) guardare i dati : si pu notare ad esempio tramite un
grafico che ci sono degli outliers, generalmente da eliminare per
non polarizzare i risultati
2) salvare i dati : per analisi future (allinizio lo
sperimentatore calcoler medie o poco pi)
Test parametrici: assumono i dati (misure della var.
dipendente) distribuiti secondo la normale (e.g. t test)
Test non parametrici: non assumono particolari distribuzioni
(e.g. Wilcoxon test)
La scelta delle analisi statistiche dipende dal tipo di dati e dalle
domande a cui si vuol rispondere

Daniela Fogli Interazione Uomo-Macchina

Daniela Fogli Interazione Uomo-Macchina

Esempio di domanda a cui i test statistici (parametrici e non)

possono rispondere:
C differenza? Ad es. un sistema meglio dellaltro?
Le tecniche rispondono a una ipotesi (da verificare)
La risposta sar del tipo siamo certi al 99% che la selezione da un
pie menu di 7 oggetti pi veloce che la selezione da un pulldown menu con 7 oggetti

35

Daniela Fogli Interazione Uomo-Macchina

36

Debriefing con gli utenti

Esempio di
Post-Questionario

Domande desempio da fare dopo la sessione:

Qual stata la parte migliore/peggiore del sistema?
Qual laspetto che va maggiormente cambiato?
Quanto semplici erano i compiti?
Quanto realistici erano i compiti?

Esempio tratto da
elaborato di:

Barbeno, Bombardieri,
Panni, Pedretti
Daniela Fogli Interazione Uomo-Macchina

Daniela Fogli Interazione Uomo-Macchina

37

Lesperimento di usabilit

38

Esempio: un test poco utile

Era da poco uscito il primo iPhone (2007)

Aspetti scientifici

Test sulla funzionalit di immissione testi

20 partecipanti con il loro telefono:

Revisione critica dei risultati

10 con tastiera (fisica) QWERTY

10 con tastiera numerica (multi-tap)

valore assoluto delleffetto osservato rispetto allo scopo del test

12 messaggi da inserire

spiegazioni alternative: gli effetti osservati sono causati da

variazione delle variabili indipendenti?

6 con il loro telefono

6 con iPhone

consistenza delle variabili dipendenti

Ordine controbilanciato

generalizzazione dei risultati: ad altre macchine, altri ambienti,

altri compiti

Risultati su errori e tempo:

Participants made significantly more errors on the iPhone than
they did on their own phones
Participants took longer to type text messages in on the iPhone
than on their own phones

Daniela Fogli Interazione Uomo-Macchina

39

Daniela Fogli Interazione Uomo-Macchina

40

Esperimenti utili anche per valutare gli aspetti

articolatori dellinterazione umana
Esecuzione

Utente
Goal

Esempio: la scelta di una tecnica

per touch screen

Valutazione
Valutazione

Distanza
Semantica

Distanza
Semantica

Interpretazione

Azione
Distanza
Articolatoria

Golfo della Valutazione

Golfo dell esecuzione

Tecniche di selezione su dispositivi mobili con touch screen

Intenzione

Distanza
Articolatoria

Esecuzione

Percezione

Uso il pollice anzich stilo:

Direct Touch
Offset cursor (Potter et al. 88)
Thumbspace
Shift

Interfaccia
Daniela Fogli Interazione Uomo-Macchina

Thumbspace

41

Daniela Fogli Interazione Uomo-Macchina

42

Problemi

(Karlson & Bederson, Interact 07)

Shift
(Vogel & Baudisch, CHI 2007)

Si pu attivare una radar view al centro dello

schermo e interagire con essa per raggiungere
tutte le locazioni (funziona come un touchpad
superimposto sul touch screen)
Questa tecnica mostra il contenuto
della parte occlusa dello schermo in un
callout sopra il dito. Aggiustando la
posizione relativa del callout, si
possono gestire tutti i target sullo
schermo
Daniela Fogli Interazione Uomo-Macchina
43

Morfologia di mano e pollice non permettono di

raggiungere facilmente i bordi e gli angoli
Il pollice pu occludere la parte dello schermo che
contiene il target
La selezione pu essere ambigua se la zona di contatto
pi ampia rispetto agli oggetti selezionabili
Nonostante ci la tecnica Direct Touch quella pi
usata

Daniela Fogli Interazione Uomo-Macchina

44

Due nuove tecniche di selezione

Confronto qualitativo

MagStick

TapTap
Roudaut A., Huot, S. and Lecolinet E. (2008). TapTap and MagStick: Improving One-Handed Target
Acquisition on Small Touch-screens. Proc. AVI '08. ACM, New York. 146-153.
Video scaricato da http://www.anneroudaut.fr/
Daniela Fogli Interazione Uomo-Macchina

45

Esperimento

Daniela Fogli Interazione Uomo-Macchina

46

Metodologia
Utenti:
12 volontari (1 donna, 11 uomini)
et: 23-47
tutti novizi rispetto a dispositivo mobile con touch screen
2 mancini

Condotto esperimento per confrontare TapTap e

MagStick con Direct Touch, Offset Cursor, Thumbspace
e Shift
Ipotesi da testare:
H1: TapTap e MagStick sono le tecniche pi veloci dopo Direct
Touch
H2: TapTap e MagStick sono le tecniche con minor tasso di
errore

Daniela Fogli Interazione Uomo-Macchina

(Roudaut et al. - AVI 2008)

Tecnica within-groups (ogni utente prova tutte le condizioni

sperimentali)
10 prove come addestramento
Il compito consisteva nel fare una serie di selezioni di target in una
mappa di una citt con le 6 diverse tecniche

47

Daniela Fogli Interazione Uomo-Macchina

48

Variabili

Risultati
Tempo

Variabili di controllo:
ai partecipanti era richiesto di tenere il
dispositivo con la mano dominante e di
usare il pollice per le selezioni

Variabile indipendente:
La tecnica utilizzata (6 valori)

Prove sulle 8 aree target con

within-groups cambiando lordine di
esecuzione riguardo alle tecniche e
facendo fare due selezioni in tutte le 8
aree (ordinate in maniera circolare)

Tasso derrore

Variabili (dipendenti) misurate:

Tempo di esecuzione del compito
Numero errori commessi
Daniela Fogli Interazione Uomo-Macchina

(Roudaut et al. 2008)

Daniela Fogli Interazione Uomo-Macchina

49

Il test pilota

50

Il laboratorio di Usabilit

E bene sempre eseguire il test su alcuni soggetti

prima di eseguirlo estesamente fare una prova
generale
Con 1-2 soggetti fra persone facilmente raggiungibili
Non ha valore di raccolta dati ma
Si scoprono ambiguit e oscurit nelle istruzioni su come
condurre il test
Si scopre se i compiti sono difficili e i tempi stretti
Si scopre se le richieste allutente sono chiare o di difficile
comprensione

Serve per rifinire la procedura sperimentale e chiarire

le definizione delle variabili che si vanno a misurare
(Nielsen, 1993)
Daniela Fogli Interazione Uomo-Macchina

51

Daniela Fogli Interazione Uomo-Macchina

52

Esempi di Laboratori di Usabilit

Multiple-User Simultaneous Test

Testing 5-10 users at once lets you conduct large-scale
usability testing and still meet your deadlines (Nielsen)

http://www.designperspectives.com/usability.html

http://iat.ubalt.edu/index.php/
graduate-programs/usability-lab/
www.useit.com
Daniela Fogli Interazione Uomo-Macchina

Daniela Fogli Interazione Uomo-Macchina

53

54

Pro e contro
delle registrazioni video

Limiti dellesperimento nel senso

tradizionale
CONTRO

In HCI gli esperimenti in laboratorio hanno valore

limitato perch:

Normalmente non c bisogno di rivedere lesperimento perch con esso si

intendono rilevare principalmente le catastrofi di usabilit , cosa che si
rileva al momento
Il tempo per analizzare un video circa 3-10 volte la durata
dellesperimento

Il laboratorio differente dal posto di lavoro

Non possibile controllare tutte le variabili ambientali
(alcune ignote)
I compiti eseguiti sono resi artificiali dai vincoli sperimentali
(ad esempio di tempo)
Non si presta attenzione alle idee ed alle motivazioni del
soggetto

Daniela Fogli Interazione Uomo-Macchina

Playtest lab at Microsoft Games Studios.

Headsets are helpful when many people in the same
room are playing audio-intensive games

PRO
In molti casi servono per fare una analisi formale dellimpatto che hanno i
problemi di usabilit: prima si individuano i problemi e poi si va sulle
registrazioni dei vari utenti ad analizzare chi li ha avuti e cosa li ha
provocati
Servono anche come mezzo di comunicazione fra gli esperti di usabilit, gli
sviluppatori e i manager

55

Daniela Fogli Interazione Uomo-Macchina

56

Registrazioni senza telecamere

Laboratori portatili e Chioschi

Si possono usare programmi che registrano ci che

succede sul video (e.g. CamStudio)

Invece di avere un laboratorio

permanente, avere un
laboratorio portatile
per esperimenti sul campo
(con laptop, webcam, microfono
e software di registrazione video)

Lo svantaggio: lutente non incluso nelle immagini,

non si possono fare zoom su parti interessanti dello
schermo o sulla pagina del manuale che lutente invano
sta studiando

Daniela Fogli Interazione Uomo-Macchina

Un chiosco di usabilit un laboratorio self-service: si mette

il sistema in vista in unarea di passaggio del pubblico allo scopo di
raccogliere commenti, esegue un esperimento
automatico (suggerisce certi compiti agli utenti e memorizza tempi
e commenti)

57

e per dispositivi mobili

Daniela Fogli Interazione Uomo-Macchina

58

Remote Usability Testing

Permette di condurre lesperimento con partecipanti che
rimangono nel loro ambiente naturale

Mobile Device Camera

Strumento di
osservazione di utenti
che interagiscono con
dispositivi mobili

Si usano software di condivisione dello schermo o

piattaforme online specifiche per questo scopo

(Noldus Information Technology

www.noldus.com )

Solitamente gli esperimenti consistono in pochi compiti (3-5

compiti) per una durata globale limitata (15-30 minuti)
Esempi di tool: Loop11, OpenHallway, TryMyUI, UserLytics,
UserZoom,

Daniela Fogli Interazione Uomo-Macchina

59

Daniela Fogli Interazione Uomo-Macchina

60

Due tipologie

Quando?
Tempi ristretti per condurre gli esperimenti

Moderated
Remote Usability
Testing
Unmoderated

Sincrono
Un utente alla volta
Tecnologia condivisa
Asincrono
Pi utenti alla volta
Auto-gestito
Tool specifici per
memorizzazione
e feedback

Daniela Fogli Interazione Uomo-Macchina

I partecipanti devono usare una certa macchina per

questioni tecniche o di sicurezza
I partecipanti hanno problemi di accessibilit e devono
usare la loro macchina con tecnologie assistive
Si vogliono lanciare pi test contemporaneamente

61

Daniela Fogli Interazione Uomo-Macchina

62

Pro e contro
degli esperimenti in generale

Pro e Contro
Pro

Potenti se applicati correttamente

Ambiente reale ( ed elimina il bisogno di un laboratorio)

Costi ridotti
Organizzazione
Pi utenti

Richiedono molte risorse (tempo/denaro)

Molto intrusivi (effetto Hawthorne)

Contro

Valore limitato

Sicurezza
Non si vede lutente nella sua interezza
Difficolt tecniche (connessione lenta, software che va in
conflitto, )

Daniela Fogli Interazione Uomo-Macchina

I partecipanti (utenti target) sono geograficamente

distribuiti (le spese di viaggio hanno un costo)

Utili quando si richiedono informazioni specifiche su nuove

tecnologie di interazione

63

Daniela Fogli Interazione Uomo-Macchina

64

Lesperimento secondo lingegneria

dellusabilit

Il Rapporto di valutazione

Mantiene alcuni aspetti della sperimentazione

scientifica:

Deve contenere:
Nomi degli sperimentatori, data, descrizione oggetto dellanalisi
Obiettivi della valutazione (se specifici)
Metodologia: quanti utenti, loro caratteristiche, compiti/scenari,
il contesto, gli strumenti utilizzati, come stato condotto il test,
quanto tempo durato, quali variabili misurate, come sono
stati analizzati i risultati, i moduli utilizzati
Tabella di sintesi delle misure raccolte
Analisi dei risultati, commentando le misure raccolte e
descrivendo i problemi incontrati dagli utenti (per lo meno
quelli pi significativi)
Sintesi delle interviste/questionari sottomessi agli utenti
Descrizione di interventi migliorativi
Allegati

prove in laboratorio (eventualmente portabile o chiosco)

la progettazione dellesperimento in anticipo
stabilisce in anticipo i goal di usabilit da valutare e tende ad
esprimerli secondo metriche quantitative

Ma

accetta limpossibilit di controllare tutte le variabili non di interesse

e ammette maggior interazione con lutente (durante lesperimento e
nel debriefing finale)

Daniela Fogli Interazione Uomo-Macchina

65

Daniela Fogli Interazione Uomo-Macchina

66