Specificarea si evaluarea utilizabilitatii in

aplicatiile interactive
Bugnaru Gelu Alexandru
Curs Sisteme Interacive, 2013-2014
Universitatea Tenica din Clu!-"a#$ca
%ugnaru&gelu'(a$$&c$m
Rezumat
The abstract is to be in fully-justified italicized text, at the top of the left-hand column as it is here,
below the author information. Use the word Abstract as the title, in !-point Times, boldface type,
centered relati"e to the column, initially capitalized. The abstract is to be in #-point, sin$le-spaced
type, and up to %# words in len$th. &ea"e two blan' lines after the abstract, then be$in the main text.
1. Introducere
Im#$rtanta utili)a%ilitatii in sistemele in*$rmatice a crescut in ultima decada& Utili)a%ilitatea are
un r$l esential in succesul sau esecul unui #r$dus in*$rmatics& Acest *a#t a determinat numer$ase
c$m#anii sa reli)e)e unele sesiuni de evaluare #entru utili)a%ilitate& Cu tim#ul s-au *$rmat numer$ase
de*initii ale utili)a%ilitatii, cateva dintre ele *iind enuntate in cele ce urmea)a&
Standardul IS+ ,IS+ -241-11, 1--0. de*ine/te utili)a%ilitatea ca *iind 0m1sura 2n care un #r$dus
#$ate *i *$l$sit de utili)at$ri s#eci*ici #entru a atinge sc$#uri s#eci*ice cu e*icien31, e*icacitate /i
satis*ac3ie 2ntr-un c$ntext s#eci*ic de utili)are4& 5*icien3a se re*er1 la ra#$rtul dintre resursele c$nsumate
/i acurate3ea /i c$m#letitudinea cu care utili)at$rii 2nde#linesc sc$#uri& 5*icacitatea se re*er1 la
acurate3ea /i c$m#letitudinea cu care utili)at$rii 2nde#linesc sarcini s#eci*icate& Satis*ac3ia este $ m1sur1
su%iectiv1 re*erit$are la c$n*$rtul /i acce#tarea #r$dusului de c1tre utili)at$rii *inali& 617
Sa8el a de*init utili)a%ilitatea ca *iind ca#acitatea unui s(stem de a *i *$l$sit e**icient si us$r de $
categ$rie s#eci*ica de utili)at$ri, care au avut #arte de $ instruire s#eci*ica si de asistenta in vederea
utili)arii unui #r$dus, #entru a inde#lini un d$meniu s#eci*ic intr-un cadru s#eci*ic& 9e*initia c$ntine
#atru criteria de %a)a : e*icienta, usurinta de invatare, *lexi%ilitate si atitudine& 627
5valuarea *$rmativ1 a utili)a%ilit13ii se e*ectuea)a iterativ, #e #arcursul ciclului de de)v$ltare in
sc$#ul identi*ic1rii /i elimin1rii un$r #r$%leme de utili)a%ilitate cat mai devreme&637& 9aca aceste
#r$%leme v$r *i identi*icate devreme, cu atat va *i mai #utin c$stisit$r e*$rtul de re)$lvare& 5valuarea este
denumita *$rmativa, #entru a $ distinge de evaluarea sumativa, care este e*ectuata, du# ace un s(stem sau
$ c$m#$nent a *$st de)v$ltata&647 5valuarea sumativa se e*ecuea)a #rin testarea cu un numar mare de
utili)at$ri re#re)entativi si are ca sc$# identi*icarea #unctel$r tari sau sla%e #recum si c$m#ararea un$r
s$lutii de #r$iectare alternative sau a un$r sisteme similar&
In ultimii ani utili)a%ilitatea situril$r ;e% a devenit $ #re$cu#are ma!$ra a de)v$ltat$ril$r de
a#licatii si situri ;e% de$arece acesta este un *act$r ceie in succesul unui site&<$;ell 6=7 #$rnind de la
de*initia data de standardul IS+ -241-11 de*iniste ca un site ;e% este utili)a%il daca #$ate *i *$l$sit de
catre $ameni #entru a inde#lini anumite $%iective intr-$ maniera e*icienta si cu satis*actie& >rug6?7
s#une ca utili)a%ilitatea este certitudinea ca ceva *uncti$nea)a %ine si #$ate *i *$l$sit *ara disc$m*$rt&
9i*erite met$de /i tenici au *$st #r$#use #entru evaluarea utili)a%ilit13ii, unele *iind ada#tate
#entru utili)a%ilitatea situril$r ;e%: ins#ec3ii *1cute de ex#er3i, revi)uiri c$gnitive, evalu1ri euristice,
*$cus-gr$u#ul, ins#ectarea res#ect1rii /a%l$anel$r de #r$iectare a inter*e3el$r utili)at$r, testarea cu
utili)at$ri /i calculul val$ril$r #entru di*erite metrici& 9intre acestea, cea mai e*icient1 r1m@ne testarea
cu utili)at$ri reali, 2ns1 este /i cea mai c$stisit$are& An *iecare an, siturile universit13il$r sunt accesate de
mii de #ers$ane 2n c1utarea anumit$r in*$rma3ii& An B$m@nia, viit$rii studen3i *$l$sesc siturile
universit13il$r 2n c1utarea di*erit$r date des#re admiterea la *acultate, la
di*erite nivele ,licen31, master sau d$ct$rat. #recum: s#eciali)1ri $*erite, num1r de l$curi dis#$ni%ile,
criterii de selec3ie, taxe, ca)areC
Ingineria utili)a%ilitatii re#re)inta un #r$cess care se des*as$ara de-a lungul ciclului de viata al
unui #r$gram& Diecare #r$iect este di*erit si *iecare inter*ata va arata alt*el& Se #resu#une $ a%$rdare in
de)v$ltarea sistemel$r in*$rmatice care im#lica #artici#area utili)at$ril$r inca de al ince#ut, care
garantea)a e*icacitatea #r$dusului #rin intermediul un$r metrici ale utili)a%ilitatii si a un$r s#eci*icatii
legate de utili)a%ilitate& Are ca sc$# #rinci#al identi*icarea de met$de de im#lemntare a nev$il$r
utili)at$ril$r si asigurarea e*icientei, $#erativitatii si satis*actiei& Eetricile utili)a%ilitatii re#re)inta una
din m$dalitatile de a masura utili)a%ilitatea& 5le #ermit urmarirea #r$gresului de la $ $ versiune la alta
#entru a evalua #r$gresul #e #iata, #entru a decide daca este m$mentul ideal #entru lansarea unui n$u
#r$dus #e #iata&

2.Evaluarea utilizabilitii in aplicatiile interactive
5valuarea utili)a%ilitaii unei a#licatii #$ate avea l$c in d$ua m$duri #$si%ile: #e #arcursul
#r$iectarii unui s(stem sau du#a de)v$ltarea acestuia& Se #$ate reli)a #rin testari cu utili)at$rii, iar
re)ultatelle acest$r testari sunt cele mai relevante dar in acelasi tim# si cele mai c$stisit$are& <rin
*$l$sirea scenariil$r se #$t $%tine date #rivind vite)a de executie si numarul de er$ri care sunt indicat$ri
ai utili)a%ilitatii& Cesti$narele de utili)a%ilitate sau FUIS ne $*era in*$rmatii standardi)ate des#re
utili)a%ilitatea sistemel$r si a#licatiil$r&Eet$dele care $*era estimari ale utili)a%ilitatii sistemel$r inca
din *a)a de #r$iectare re#re)inta alegerea #re*erata de de)v$ltat$rii de sisteme&6G7
Ast*el de met$de sunt cele care asigura ins#ectarea utili)a%ilitatii sau evaluarea res#ectarii
sa%l$anel$r de #r$iectare a inter*etel$r utili)at$r& Ins#ectarea utili)a%ilitatii re#re)inta $ revi)uirea a
sistemului #e %a)a unui set de rec$mandari& Bevi)uirea este c$ndus1 de un gru# de ex#er3i *amiliari)a3i
cu c$nce#tele utili)a%ilit13ii 2n #r$iectare& As#ectele evaluate #$t *i: lim%a!ul *$l$sit 2n interac3iune,
m1sura 2n care se a#elea)1 la aducerea aminte a utili)at$rului /i m$dul 2n care sistemul $*er1 *eed%ac8
utili)at$ril$r& Ins#ectarea utili)a%ilit13ii #$ate *i reali)at1 #rin diverse met$de #recum:
Bevi)uiri c$gnitive: #$t *i e**ectuate in $rice eta#a a de)v$ltarii unui #r$dus, *$l$sind un
d$cument a#artinand #r$iectarii c$nce#tuale, un #r$dus *inal sau de asemenea un #r$t$ti#& Un
gru# de evaluat$ri #arcurg sarcina #as cu #as #e %a)a sc$#uril$r utili)at$ril$r& & Sc$#ul
re#re)int1 $ stare care se d$re/te a *i atins1 *$l$sind sistemul interactiv& Bevi)uirile c$gnitive
iau 2n c$nsiderare #r$cesul de g@ndire care determin1 luarea deci)iil$r, #recum 2nc1rcarea
mem$riei /i a%ilitatea de a ra3i$na&
Bevi)uiri #luralistice - *$l$se/te 2nt@lniri de gru#uri 2n care de)v$ltat$ri, utili)at$ri /i s#eciali/ti
2n *act$ri umani #arcurg un scenariu /i discut1 *iecare element #entru un dial$g
Ins#ectarea c$nsisten3ei - un gru# de #r$iectan3i care #artici#1 la reali)area un$r #r$duse
similare ins#ectea)1 inter*a3a #entru a vedea dac1 #ermite reali)area *unc3i$nalit13ii 2n acela/i
m$d ca /i #r$dusele #r$#riiH
ins#ectarea caracteristicil$r sistemului - se listea)1 secven3ele *$l$site 2n reali)area unei sarcini,
se caut1 secven3ele #rea lungi, #a/ii c$n*u)i, ac3iunile care nu sunt selectate natural de c1tre
utili)at$r, #a/ii care necesit1 cun$/tin3e extensive sau ex#erti)1 #entru a reali)a un sc$#
5valuarea euristic1 - este $ tenic1 de determinare a #r$%lemel$r de utili)a%ilitate cu $ inter*a31&
Un num1r mic de evaluat$ri ins#ectea)1 se#arat $ inter*a31 *$l$sind euristici& A#$i, c$m%in1
re)ultatele evalu1ril$r /i *ac $ clasi*icare a #r$%lemel$r& Sunt general acce#tate cele 10 euristici
ale lui "ielsen: vi)i%ilitatea st1rii sistemului, #$trivirea dintre sistem /i lumea real1, c$ntr$lul
utili)at$rului /i li%ertatea, c$nsisten31 /i standarde, #revenirea er$ril$r, recun$a/tere ,nu
reamintire., *lexi%ilitate /i e*icien31 2n utili)are, design minimalist /i estetic, a!ut$rul
utili)at$ril$r s1 recun$asc1, diagn$stice)e /i s1 recu#ere)e er$rile, el# /i d$cumentare 6I7
*$cus gr$u#s - *$cus gru#urile re#re)int1 $ met$d1 *$arte e*icient1 de a culege reac3ii de la
utili)at$ri /i de a a#recia reac3iile ini3iale la #r$iectare, dar /i #entru a identi*ica di*eren3ele
dintre a/te#t1rile utili)at$ril$r /i im#lementarea actual1
Aceste met$de #resu#un existent un$r ex#erti in utili)a%ilitate, iar acest lucru #$ate *i c$stisit$r&
<rivind acest c$ntext aut$mati)area #r$cesului de evaluare a utili)a%ilitatii #$ate deveni $ s$lutie mai
%una&
3. Abordari in automatizarea evaluarii utilizabilitatii
<entru a evalua un s(stem in*$rmatics tre%uie #arcursi urmat$rii #asi :
c$lectarea de date
anali)a datel$r : met$de statistice de gru#are a datel$r
#r$#unerea un$r im%unatatiri asu#ra sistemului s$*t;are
In tim#ul unui test avaluat$rul #r$#une un scenari$ de utili)are a sistemului in*$rmatic& Acest
scenariu are ca sc$# testarea un$r as#ect din inter*ata utili)at$r& An tim#ul testului de utili)a%ilitate
s#ecialistul 2n utili)a%ilitate $%serv1 m$dul 2n care utili)at$rul execut1 sarcinile, c$m#$rtamentul s1u /i
c$mentariile #e care le *ace& Ja s*@r/itul testului are l$c $ discu3ie #rivind m$dul de reali)are a sarcinil$r
/i gradul de satis*ac3ie a utili)at$rului 2n ra#$rt cu sistemul *$l$sit& Avanta!ele #e care le aduce
aut$mati)area evalu1rii utili)a%ilit13ii sunt: reducerea necesarului de resurse umane, reducerea
necesarului de ex#erti)1 uman1, c$m#letitudine /i #$si%ilitatea c$m#ar1rii re)ultatel$r testel$r de
utili)a%ilitate&
Anali)a si !urnali)area evenimentel$r re#re)inta surse val$r$ase de determinare a #r$%lemel$r
de utili)a%ilitate& <rin !urnali)are se #$t $%tine in*$rmatii #recise des#re ce *ace utili)at$rul, ce date
*$l$seste si in ce $rdine executa actiuni& Be)ulta ca *recventa de *$l$sire a unei *unc3i$nalit13i sau
num1rul de er$ri #$t *i calculate din *i/ierele de !urnali)are& 5xist1 /i alte m$dalit13i de evaluare a
acest$r metrici ,2nregistrarea vide$ a sesiunii de testare, n$tarea manual1., dar *$l$sind !urnali)area
evenimentel$r acest lucru se #$ate reali)a aut$mat& Kurnali)area aut$mata are si nea!unsuri : unul din
acestea *iind im#$si%ilitatea sur#rinderii reac3iil$r utili)at$rului& Kurnali)area necesita $ *$arte %una
cun$astere a structurii a#licatiei de$arece #resu#une inserarea un$r linii de c$d in cadrul a#licatiei&
3.1 Utilizarea A! pentru captarea evenimentelor din interactiunea utilizator " s#stem
A+< ,As#ect +riented <r$gramming . este $ #aradigma recent de)v$ltata #entru !urnali)area
evenimentel$r din inter*ata utili)at$r& Acesta #aradigm este rec$mandata in situatii in care tre%uie sa se
trate)e situati in *uncti$nalitati transversal& + *uncti$nalitate transversal re#re)inta $ caracterista a
sistemului a carei in#lemntare este im#artasita #rin c$dul sursa al a#licatiei , s#re exem#lu !urnali)area&
A+< a intr$dus #atru n$tiuni n$i : : !$in-#$int, #$intcut, advice, as#ect&
5xista extensii A+< #entru diverse lim%a!e de #r$gramare cum ar *i : Kava, CLL sau CM& In
aceasta a%$rdare sau scris diverse metrici #entru a *i evaluate& & Avanta!ul #e care 2l aduce a%$rdarea
#r$#us1 este acela c1 m$dulele care reali)ea)1 #r$cesele de evaluare a utili)a%ilit13ii sunt se#arate de
c$dul surs1 al a#lica3iei& An #lus, ata/area acest$r m$dule la a#lica3ie sau m$di*ic1rile a#1rute 2n
m$dulele de evaluare a utili)a%ilit13ii nu necesit1 m$di*icarea c$dului a#lica3iei, ci d$ar m$di*icarea
as#ectel$r /i
rec$m#ilarea sistemului
3.2 Utilizarea bibliotecilor pentru aplicaii de tip suport pentru captarea evenimentelor din
interaciunea utilizator$sistem
+ met$da alternative #entru !urnali)area in*$rmatiil$r #resu#une utili)area Kava Accesi%ilit(
A<I& Acest A<I este destinat de)v$ltarii un$r a#licatii #entru #ers$ane cu di)a%ilitati& Clasa
S;ing5ventE$nit$r din Kava Accessi%ilit( A<I va *i ad1ugat1 ca listener la t$ate evenimentele de
interes& Ea/ina virtual1 Kava tre%uie c$n*igurat1 2nainte de rularea a#lica3iei a*lat1 2n evaluare #entru a
n$ti*ica clasa n$astr1 asu#ra evenimentel$r de interes& Aceast1 c$n*igurare tre%uie *1cut1 $ singur1 dat1
/i este dis#$ni%il1 #entru t$ate a#lica3iile a*late 2n evaluare
3.1 abordare bazata pe a%enti
Un agent re#re)inta $ entitate care isi #erce#e mediul #rin intermediul un$r sen)$ri si
acti$nea)a asu#ra mediului sau #rin actiuni 6I7& Un agent intelligent are un set de cun$stinte initiale si
ca#acitatea de a invata& 5l are sarcina de a asista utili)at$rul, de a reli)a unele sarcini in l$cul lui si de a-
l invata& Agentul este caracteri)at #rin :
c$m#$rtament N actiuni e**ectuate du#a $ sec
#r$gram N re#re)inta *uncti$nalitatea interna a agentului
E$delul c$nce#tual al utili)at$rului se c$nstruieste #e %a)a interactiunii cu sistemul si# e %a)a
un$r ex#eriente cu alte sisteme&B$lul agentului este de a m$nit$ri)a interactiunea agentului cu sistemul
si de a rec$nstrui m$delul sarcinil$r a#artinand utili)at$rului& Agentul care evaluea)1 utili)a%ilitatea,
denumit
TAE+, este situat ast*el 2ntr-un mediu s$*t;are& Acesta *$l$se/te A+< #entru a culege in*$rma3ii des#re
mediul s1u& Aritectura general1 a acestui sistem este #re)entat1 2n Digura 1&

&i%ure 1. Ar'itectura sistemului bazat pe a%enti
<rinci#alele c$m#$nente ale sistemului:
A#lica3ia s$*t;are ,SA. - e un sistem interactiv c1ruia i se evaluea)1 utili)a%ilitatea
Utili)at$rul ,U. - $ #ers$an1 care *$l$se/te SA #entru a reali)a un set sta%ilit de sarcini
Agentul ,TAE+. - este un agent s$*t;are care are r$lul de a m$nit$ri)a ac3iunile utili)at$rului
/i de a c$m#ara ac3iunile e*ectuate de utili)at$r
E$dulul de 2nv13are ,JE. - este un m$dul s$*t;are care 2nva31 c$m#$rtamentul utili)at$rului /i
transmite *eed%ac8 evaluat$rului inter*e3ei utili)at$r 6-7
(. )etodolo%ie
(.1 *omponentele metodolo%iei si activitati de evaluare
Eet$d$l$gia din acest #r$iect tine seama de #revederile standardului IS+OI5C 14=-I-=:1--I cu #rivire
la structura unui #r$cess de evaluare si im#lica
Sta%ilirea cerintel$r de evaluare, a sc$#ului de evaluare, a#r$dusului tinta #recum si s#eci*icarea
m$delului utili)a%ilitatii
S#eci*icarea evaluarii im#lica s#eci*icarea unui #r$dus tinta, a c$ntextului si scenariil$r de
utili)are, alegerea met$del$r si tenicil$r, selectarea un$r metrici, sta%ilirea niveluril$r de
a#acestea a#reciere #entru astea, #recum si sta%ilirea cerintel$r de masurare
<r$iectarea evaluarii : im#lica ela%$rarea unui #lan de evaluare
5xecutarea evaluarii: masurarea caracteristicil$r, c$lectarea datel$r si anali)a #reliminara a
re)ultatel$r
C$nclu)ia evaluarii: #resu#une *inali)area anali)ei #recum si ra#$rtarea re)ultatel$r
Eet$d$l$gia integrata in acest #r$iect cu#rinde trei met$de de evaluare *$rmative : evaluare
em#irica, evaluare euristica #recum si testarea cu utili)at$ri&
A#licarea mai mult$r met$de de evaluare este %ene*ica din urmat$arele m$tive :
Cresterea gradului de incredere si validitatii
C$m#lementaritatea met$del$r
Im%natatirea ex#erti)ei de utili)are a *iecarei met$de in #arte
<regatirea #entru $ evaluare sumativa
Eet$dele sunt c$m#lemtare de$arece se %a)ea)a #e testarea de catre d$ua categ$rii de utili)at$ri :
ex#erti in utili)a%ilitate si utili)at$ri re#re)entativiP In ca)ul testarii cu utili)at$ri se #$t c$lecta si alte
ti#uri de masurari : masurari ale e*icacitatii, ale e*icientei si ale satis*actiei& In acest *el se $%tin date
su#limentare *ata de cele $%tinute #rin evaluare euristica&
Be#etarea evaluarii cu $ alta met$da, dar utili)and aceleasi set de sarcini relevante va mari
increderea in re)ultatele $%tinute&Diecare met$da necesita c$m#etente s#eci*ic& C$m#ararea re)ultatel$r
$%tinute #ermite anali)a #r$cedurii, identi*icarea greselil$r de evaluare #recum si im%unatatirea unei
#ractice de evaluare& Qalidarea re)ultatel$r evaluarii euristice #rin testare cu utili)at$ri #ermite si $
c$m#aratie c$recta a re)ultatel$r $%tinute, *a#t care im%unatateste ex#erti)a individuala&
Eet$d$l$gia integrate de evaluare a utili)a%ilitatii cu#rinde mai multe activitati #rinter care :
S#eci*icarea evaluarii: anali)a cerintel$r, #lani*icarea si #regatirea evaluarii,
s#eci*icarea m$delului utili)a%ilitatii
5valuare euristica in care se va utili)a setul extins de criterii erg$n$mice #rin
veri*icarea inde#linirii rec$mandaril$r de utili)a%ilitate&
5valuarea #rin testare cu utili)at$ri&C$m#$rtamentul utili)at$ril$r este inregistrat atat
audi$ cat si #rin $%servare& Se va utili)a #r$t$c$lul 0gandire cu v$ce tare4&
Inregistrarile v$r *i a#$i anali)ate de evaluat$r care extrag si d$cumentea)a #r$%lemele
de utili)a%ilitate&
Anali)a c$m#arative a re)ultatel$r $%tinute #rin cele trei met$de

Be)ultatele $%tinute se v$r anali)a din d$ua #ers#ective :
1&A de)v$ltat$rului, care tre%uie sa remedie)e de*icientele c$nstatate la evaluare
2&A evaluat$rului, care va anali)a e*icienta si e*icacitatea activitatii de evaluare

5valuarea euristica este e*ectuata cu un set de 24 de euristici, structurate in ? categ$riisi sunt #re)entate
in Ta%elul 1&
Acest set de euristici este c$m#us din c$m%inarea setului de criteria erg$n$mice a lui Bastien si
Sca#in 6107 cu setul de euristici ale lui Ka8$% "ielsen6117& Intre aceste d$ua seturi exista $ su#ra#unere
destul de mare& Stiind ca cele d$ua seturi de euristici au *$st validate, #utem c$nsidera ca gradul de
ac$#erire al setului integrat de euristicieste su**icient de mare atat in ceea ce #riveste #uterea ec#licativa
cat si identi*icarea #r$%lemel$r de utili)a%ilitate& 9escrierea #r$%lemel$r de utili)a%ilitaet urmea)a
*$rmatul #r$#us in 6127 cu #reci)area ca du#a descrierea cau)el$r se v$r include si unele sugestii de
remediere&
+. Studiu de caz
+%iectivul evaluarii a *$st situl <rimariei din Bistrita avand adresa de ;e% :
tt#:OO;;;&#rimaria%istrita&r$O & Acest site a su*erit de curand m$di*icari dar cu t$ate acestea inca nu se
ridica la nev$ile utili)at$ril$r& Asa cum se estimea)a acest site este accesat de a#r$ximativ =000 de
$ameni lunar, d$rind sa a*le di*erite in*$rmatii& Aceste in*$rmatii cu#rind : $tarari ale c$nsiliului l$cal,
#r$iecte si $tarari cu caracter n$rmative, regulamente de interes #u%lic, $%ligatii ale cetatenil$r, un
)iar ti#arit#recum si alte #anuri si in*$rmatii ce tre%uie sa c$ntina $ unitate administrative-terit$riala&
5valuarea utili)a%ilitati i#resu#une identi*icarea utili)at$ril$r tinta, identi*icarea nev$il$r
acest$r utili)at$ri tinta, c$m#ararea in*$rma3iei $%3inute cu ceea ce $*er1 #rin c$ntrast alte situri ale
#rimariil$r din diverse $rase ale tarii& Cetatenii care au testat situ-ul au remarcat un as#ect neatragat$r,
#rea multa in*$rmatie c$ncentrate #e #agina #rinci#al, existand un amalgam de in*$rmatie nestructurata,
care #entru un numar mare de utili)at$ri nu #re)inta interes& In*$rmatii cu #rivire la is$rtia si ge$gra*ia
$rasului li#sesc cu desavarsire de #e site , iar aceste as#ect sunt #rinter #unctele *$rte ale $rasului
Bistrita&
Am ales sa *ac acest studiu #entru acest site de$arece am rude care lucrea)a la #rimariei nu de
#utine $ri au *$st discutii cu #rivire la as#ectul sitului, la ceea ce $*era si la m$dul de utili)are& <entru $
#arte de cetateni este *$arte greu sa gasesca $ anumita in*$rmatie de$arce nu sunt structurate
c$res#un)at$r&<entru c$lectarea in*$rmatiil$r de la #$tentialii utili)at$ri se v$r *$l$si met$de calitative si
cantitative #recum interviul, *$cus-gru#ul si cesti$narele $nline&
,. Evaluare si rezultate
,.1 Evaluare Empirica

In #rima *a)a am reali)at $ evaluare em#irica a sitului #rimariei& In c$ntinuare v$i descrie #rinci#alele
as#ect in c$ntextual acestei evaluari :
Aspectul
Siturile #rimariil$r nu tre%uie sa urme)e un anumit *$rmat sau anumite standard sau sa%l$ane
s#eci*ic #rimariil$r& Diecare Site are #r$#riul *$rmat insa exista in*$rmatii care tre%uie sa a#ra #e $rice
site al unei #rimarii cum ar *i : c$m#$nent de#artamentel$r de c$nducere, regulamente de interes #u%lic,
$tarari cu caracter n$rmative&
In ca)ul n$stru avem un ste neatragat$r cu elemente *$arte im#$rtante ale unui site ;e% care se a*la
in c$n*lict& S#re exem#lu #$rtiunea de l$gin se a*la in #artea stanga !$s *$arte greu de $%servant& <rintre
#r$%lemele legate de as#ect mai enumeram: *$l$sirea un$r nuante de cul$ri asemnat$are, #eniuri #rea
stu*$ase si incarcate, *$l$sirea ine*icienta a s#atiului dis#$ni%il , scrisul este mult #rea mic #entru un
utili)at$r n$rmal si asta in ca)ul in care vi)uli)area a *$st *acuta la re)$lutia 13?? x G?I & Aceste lucruri
ar #utea *i im%unatatite cu e*$rtul minim in studierea #rinci#alele$r reguli ale de)v$ltarii unui site
#r$*essi$nal&
Informatia prezentata si structurarea ei
Situl c$ntine in*$rmatii minime cu #rivire la ist$rie, ge$gra*ie #recum si #$#ulatia $rasului& In
#lus l$cali)area l$r este greu de *acut de$arece se a*la in meniul descrierea Bistritei, Eeniul Servicii
$nline este #us d$ar de dRc$r , in urma accesarii lui nu va a#area nimic& Sectiunea imagini live necesita
instalarea %r$;serului Internet 5x#l$rer si Fuic8 Time& Cand vede aceste lucruri aut$mat $rice utili)at$r
isi #ierde interesul de a vi)uali)a&
Un alt meniu cu #r$%leme este cel care s$licita scim%area lim%ii in lim%a engle)a& C$nsider ca
acest lucru se #utea *ace mult mai sim#u cu un %ut$n am#lasat in #artea drea#ta sus decat sa $cu#e l$c
cu un meniu #rinci#al& Eeniul Jin8-uri c$ntine #utina in*$rmatie , iar de cele mai multe $ri aceste
lin8uri nu *uncti$nea)a sau serverul este $cu#at&
9easemena li#sesc in*$rmatii cu #rivire la Institutiile culturale l$cale in a*ara de numele si
adresa l$r nu este #reci)at nimic altceva& In #artea de sus a ecranului este a*isata adresa #rimariei dar
este *$arte greu de citit din cau)a negli!entei cul$ril$r&
Informatia afisata in doua limbi
In*$rmatiile #re)entate #e acest site sunt a*isate d$ar in d$ua lim%i : r$mana si engle)a &
C$nsider ca s-ar im#une a*isarea acest$r in*$rmatii in mai multe lim%i de$arece Bistrita a *$st un $ras
sasesc lucru care im#une si *$l$sirea lim%ii germane& 9easemenea #$#ulatia $rasului are un numar
semni*icativ de magiar, si ar *i util sa se aduge si acesta lim%a din res#ect #entru min$ritati&
In urma studiului mai mult$r situri cu #rimarii am c$nstatat ca multe din ele #ermit a*isarea
in*$rmatiil$r in #atru lim%i : r$mana , engle)a, germana si magiara&
Informatii le%ate de turism
In ciuda marimi im#resi$nante a situril$r nu a#ar lucruri utile #entru turisti sau cetateni din
a*ara tarii& 9easemnea sitului ii li#seste $ arta care sa indice #rinci#alele $%iective, institutii, centre
culturale& In a*ara de adresa s#eci*icata in strada si numar nu a#ar alte in*$rmatii des#re l$curile care ar
#utea *i vi)itate& + arta este cel mai %un lucru de a l$cali)a un $%iectiv, in e#$ca n$astra s#eci*icarea
adresei si numarului nu are nici$ relevanta tinand c$nt ca exista $rase cu mii de stra)i&
)odalitate interactive de orientare
Situl nu #re)inta $ m$dalitate interactive de $rientare si l$cali)are gen G$$gle Ea#s&In
urma unei cautari avansate am $%servant ca multe situri de #rimarii inclusive ale un$r c$mmune
$*ersa serviciul G$$gle Ea# care este gratuit& C$nsider ca acest lucru ar limina multe din criticile
acestui site&
&acilitate de cautare
Serviciul de cautare este *$arte %ine #us la #unct si $*era mai multe #$si%ilitati de cautare& <e
langa ti#ul cautarii, $*era #$si%ilitatea de a allege in ce d$menii d$rim cautarea , #$si%ilitatea s$rtarii
re)ultatel$r , du#a data #recum si in $rdine al*a%etica. si #$si%ilitatea sa s#eci*icam cate re)ultate ale
cautarii v$r *i a*isate intr-$ #agina & 6147

-abelul 2 Sinteza rezultatelor evaluarii
*riteriu .un Satisfacator /esatiscator
1&As#ectul S S
2&In*$rmatia #re)entata si structurarea ei S
3&In*$rmatia a*isata in d$ua lim%i S
4& In*$rmatii legate de turism S
=& E$dalitate interactive de $rientare S
?& Dacilitate de cautare S
,.2 Evaluare Euristica
Sarcinile sta%ilite #entru evaluare sunt #re)entate in Ta%elul 3
-abelul 3. Sarcini de -estare
1& ,T1. 9is#$ni%ilitatea d$cumentel$r
2& C$nsultare *$rmulare acte
3& Accesare d$cumente
4& C$m#letare *$rmulare
=& ,T2. Inregistrare client n$u #entru #lata $nline
?& Inregistrare client
G& Accesare c$nt
I& S$licitare a!ut$r
5valuarea a *$st reali)ata in #eri$ada decem%rie N mai 2013 de catre $ eci#a *$rmata din = evaluat$ri, 2
evaluat$ri su#eri$ri si 3 intermediari&
Be)ultatele $%tinute du#a identi*icarea individuale a #r$%lemel$r de utili)a%ilitate cu care se c$n*runta
situl <rimariei sunt #re)entate in Ta%elul 4&
-abelul (. !robleme de utilizabilitate identificate pe evaluator
Sarcina
-otal 0in care ma1ore
5v1 5v2 5v3 5v4 5v= 5v1 5v2 5v3 5v4 5v=
T1 = 4 3 = 4 3 2 1 3 2
T2 3 2 1 1 2 3 2 1 1 2
-otal 2 , ( , , , ( 2 ( (
Anali)and datele din ta%elul de mai sus se $%serva ca #rimu evaluat$r a identi*icat in t$tal 14
#r$%leme de utili)a%ilitate ,? ma!$re., al d$ilea evaluat$r a identi*icat 10 #r$%leme ,4 ma!$re., al treilea
evaluat$r a identi*icat ? #r$%leme ,2 ma!$re., al #atrulea evaluat$r a identi*icat 10 #r$%leme ,4 ma!$re.
iar al cincilea evaluat$r a identi*icat t$t 10 #r$%leme ,4 ma!$re.&
Jistele individuale de #r$%leme au *$st c$ns$lidate #e sarcina, #e %a)a criteriului 0m$di*icari
similare4& In t$tal lista c$ns$lidate de #r$%leme de utili)a%ilitate cu#rinde 22 de #r$%leme de
utili)a%ilitate dintre care ? #r$%leme ma!$re& Jista este #re)entata in Ta%elul =&
-abelul +. 3ista consolidata de probleme unice de utilizabilitate
Sarcina -otal ma1ore moderate minore
T1 1= 4 G 4
T2 G 2 3 2
--A3 22 , 14 ,
9in #unctual de vedere al criteriil$r erg$n$mice care nu au *$st res#ectate, ma!$ritatea #r$%lemel$r de
utili)a%ilitate antici#ate de evaluarea euristica, res#ective 1= ,?=T., se dat$rea)a gidarii
nec$res#un)at$are a utili)at$rului&
Bata de detective individuala, calculate du#a c$ns$lidarea c$la%$rativa, a variat intre 20T si 40T cu $
medie de 32&2=T& 5ste $ rata destul de mica intrucat #entru = evaluat$ri , rata medie de detective este de
cel #utin 2IT& C$e*icientul de agreegare mediu a *$st de 14,4=T&
,.3 Evaluare prin testare cu utilizatori
Testarea cu utili)at$ri s-a *acut #entru aceleasi sarcini #re)entate in ta%elul de mai sus
de$arece studiul n$stru are caracter ex#erimental &
Ja testare au #artici#at 4 utili)at$ri, 2 de sex *eminine si 2 de sex masculine, cu varste
cu#rinse intre 30-4I de ani , Eedia varstel$r U 3-&=.& T$ti utili)at$rii au ex#erienta anteri$ara in
utili)area calculat$rului, d$i dintre ei avand ciar studii tenice& Cu t$ate acestea nici un utili)at$r
nu a *$st *amiliar cu siturile evaluate
5valuarea a *$st reali)ata in *e%ruarie 2014 de $ eci#a alcatuita din 3 evaluat$ri& Sarcinile de
inde#linit au *$st #re)ntate atat in scris cat si $ral utili)at$ril$r #e #arcursul sesiunil$r de testare& 9e-a
lungul sesiuni$r de testare cei 3 evaluat$ri au *$st alternative *acilitat$ri #e #arcursul sesiunil$r de
testare&
In #rima eta#a #rimul evaluat$r a identi*icat in t$tal 22 de #r$%leme de utili)a%ilitate dintre care
? au *$st ma!$re, al d$ilea a identi*icat 1I #r$%leme dintre care = au *st ma!$re, in tim# ce al treilea a
identi*icat 20 de #r$%leme dintre care ? au *$st ma!$re& 9u#a c$ns$lidarea re)ultatel$r #e sarcina de catre
*iecare evaluat$r s-a int$cmit urmat$rul ta%el&
-abelul ,. !robleme dupa consolidarea individuala
Sarcina -otal 0in care ma1ore
5v1 5v2 5v3 5v1 5v2 5v3
T1 = 4 ? 2 2 1
T2 = 3 4 1 1 2
9u#a c$ns$lidarea re)ultatel$r au ramas in t$tal 10 #r$%leme de utili)a%ilitate dintre care 2
ma!$re, G m$derate si una min$ra& Jista este #re)entata in Ta%elul G &
-abelul 5. 3ista consolidata de probleme unice
Sarcina -otal ma1ore moderate minore
T1 = 1 3 1
T2 = 1 4 0
--A3 14 2 5 1
+ anali)a a criteriil$r erg$n$mice neres#ectate arata ca cele mai multe #r$%leme de utili)a%ilitate se
dat$rea)a e*$rtului de $#erare ,42&24T. si a li#sei de gidare ,2I&42T.& Bata de detective individuala
a *$st ridicata variind intre G0,24T si I?,=0T & Bata de detective medie a *$st de GI&2=T, in tim# ce
c$e*icientul de agreere a *$st de G1,2= T& Atat rata de detective cat si c$e*icientul de agreere au
val$ri *$arte ridicate , mai ales in c$m#arative cu evaluarea euristica& + ex#licatie ar *i *a#tul ca s-a
testat d$ar d$ua sarcini destul de sim#le, iar numarul de utili)at$ri au *$st destul de mic 4 , *iind
numarul minim de utili)at$ri acce#tati #entru testare. re)ulta ca acest *a#t a dus la identi*icarea
unui numar redus de #r$%leme de utili)a%ilitate&
5. Analiza comparative a rezultatelor
Ja sarcina T1 din cele 1= #r$%leme de utili)a%ilitate antici#ate , au *$st c$n*irmate d$ar d$ua de
catre utili)at$ri& Un numar de 4 #r$%leme reale ale utili)a%ilitatii nu au *$st des$#erite in evaluarea
euristica&Ja sarcina T2 din cele = #r$%leme de utili)a%ilitate antici#ate, au *$st c$nirmate d$ar d$ua de
catre utili)at$ri, iar un numar de 3 #r$%leme reale ale utili)a%ilitatii nu au *$st identi*icate in evaluarea
euristica&
S-a c$nstatat $ di*erenta intre #r$%lemele de utili)a%ilitate antici#ate si cele reale& Acesta
di*erenta este destul de mare in ciuda testarii rigur$ase& <e de $ #arte, numarul de #r$%leme de
utili)a%ilitate $mise arata limitele evaluarii euristice si utilitatea testarii cu utili)at$ri& <e de alta #arte
tendinta evaluat$ril$r este de a identi*ica mai multe #r$%leme min$re, in tim# ce la utili)at$ri tendinta
este de a identi*ica #r$%leme ma!$re&6137
"umarul #r$%lemel$r antici#ate , a cel$r c$n*irmate si a cel$r reale de#end atat de numarul si
ex#eri)a evaluat$ril$r cat si de numarul de utili)at$eri& In *act atat gradul de incredere cat si validitatea
tre%uie sa *ie #rivate cu #rudenta&
Acest studi$ re#re)inta una din #rimele ex#erimentari sistematice in B$mania a unei
met$d$l$gii de utili)a%ilitate&In m$d *irest exista $ serie de limitar( ale studiului& + #rima limita ar *i
numarul redus de utili)at$ri care au testat numai d$ua sarcini , #recum si numarul mic de avluatt$ri ceea
ce a c$ndus la identi*icarea unui numar mic de #r$%leme de utili)a%ilitate& + alta limita este re#re)entata
de ex#erienta minimala a evaluat$ril$r& In cl$nclu)ie un numar de 3 evaluat$ri ince#at$ri #$t detecta
a#r$ximativ 40T din #r$%lemele existente intr-$ inter*ata&
2. *oncluzii
In acest artic$l mai intai a *$st #re)entat c$nce#tual de utili)a%ilitate, de*initie si #rinci#alele
caracteristici& A#$i s-a v$r%it des#re evaluarea utili)a%ilitatii in a#licatii interactive , intre care am
#re)entat cateva a%$rdari in aut$mati)area evaluarii utili)a%ilitatii& In #artea *inala a *$st #re)entat un
studi$ de ca) in care a *$st evaluat situl #rimariei din Bistrita , evaluarea *iind im#artita in trei :
em#irica, euristica si #rin testare cu utili)at$ri&
In urma evaluarii em#irice #r$%lemele ma!$re cu care se c$n*runta situl sunt urmat$arele:
structurarea de*icitara a in*$rmatiei $*erite, li#sa un$r in*$rmatii de interes, in*$rmatii a*isate d$ar in
d$ua lim%i #recum si li#sa un$r *acilitati de $rientare atat #entru cetateni cat si #entru turisti& <e viit$r
ne #r$#unem sa extindem evaluarea e*ectuata #entru a include teste cu di*eriti utili)at$ri #recum si
luarea in c$nsiderare a alt$r caacteristici cum ar *i accesi%ilitatea& 9e asemnea ne #r$#unem #e %a)a
alt$r exem#le de situri sa ela%$ram un set de reguli , un sa%l$n des#re cum ar tre%ui sa arate un site al
unei institutii administrative terit$riale&
In ceea ce #riveste evaluarea euristica, res#ective testarea cu utili)at$ri, am%ele #r$duc descrieri
ale #r$%lemel$r #e %a)a unui *$rmat unic& 9in acest m$tiv e*$rtul de descriere este redus, intrucat $ mare
#arte din #r$%leme, res#ective cele antici#ate si c$n*irmate sunt #re)entate in evaluarea euristica&
Anali)a re)ultatel$r *iecarei met$de are si sc$#ul de a *urni)a un *eed%ac8 util asu#ra #er*$rmantel$r
*iecarui evaluat$r, ra#$rtat la #er*$rmantele eci#ei de evaluare& Anali)a c$m#arative a re)ultatel$r
$%tinute de cele d$ua met$de #ermite calcularea indicat$ril$r de e*icacitate si e*icienta a evaluarii
euristice si $*era $ c$n*irmare #rivind validitatea #r$%lemel$r de utili)a%ilitate identi*icate in evaluarea
euristica&
<e viit$r se intenti$nea)a e*ectuarea unui n$u studi$ de ca) in a#licarea met$d$l$giei integrate
in care sa *ie #re)enti un numar mai mare de utili)at$ri&
6. Referinte biblio%rafice
617 IS+ -214-11 ,1--1.& 5rg$n$mic BeVuirements *$r +**ice W$r8 ;it Q9TXs N Guidance $n Usa%ilit(
627 K$nes, C&9&, A&B& Smit, and 5&D& B$%erts, (oo' Title, <u%liser, J$cati$n, 9ate&
637 Te$*an$s, E& Y Fuesen%er(, W&, 200=& T$;ards te 9esign $* 5**ective D$rmative Test Be#$rts& In
K$urnal $* Usa%ilit( Studies, Issue 1, Q$l&1& ##& 2G-4=
647 Scriven, E&, 1--1& 5valuati$n tesaurus& 4t ed& "e;%ur( <ar8, CA: Sage <u%licati$ns
6=7 <$;ell, <& ,2000.& We% 9esign: Te C$m#lete Be*erence& "e; Z$r8: EcGra;-[ill
6?7 >rug, S& ,200?.& 9$n\t Ea8e Ee Tin8]: A C$mm$n Sense A##r$ac t$ We% Usa%ilit(&
Ber8ele(: "e; Biders
6G7 SUEI S$*t;are;are Usa%ilit( Eeasurement Invent$r(, 1--?&
tt#:OO;;;&ucc&ieO*rgOVuesti$nnairesOsumiO
6I7 Bussell, S& and "$rvig, <&, Arti*icial Intelligence - A E$dern A##r$ac& <rentice-[all,Inc&, 2003
6-7 Eaes, <&, S$cial Inter*ace Agents: AcVuiring C$m#etence %( Jearning *r$m Users and +ter Agents&
SS--4-03, #ages G1NGI& AAAI <ress, 1--4
6107 Bastien, C& Y Sca#in, 9&J& ,1--3. 5valuating a User Inter*ace ;it 5rg$n$mic Criteria& I"BIA
Be#$rt, B$Vuenc$urt&
6117 "ielsen, K& ,1--2.& Dinding usa%ilit( #r$%lems tr$ug euristic evaluati$n& <& Bauers*eld, K& Bennett
Y G& J(nc ,5ds&., ACE <ress&&
6127 [vann%erg, 5&T& and Ja;, 5&J&-C&, Jarusd$tir, E&C& ,200G. 0[euristic 5valuati$n: C$m#aring
;a(s $* *inding an re#$rting usa%ilit( #r$%lems Interacting ;it C$m#uters 1-, 2==-240&
6137 C$c8t$n, G&, W$$lr(c, A& ,2001.& Understanding ins#ecti$n met$ds: less$ns *r$m an assessment
$*
euristic evaluati$n& Bland*$rd, A&, Qanderd$nc8t, K&, Gra(, <&9& ,5ds&., <r$ceedings $* <e$#le and
C$m#uters SQ& S#ringer-Qerlag, 1G1^1I2
6147 Grig$reta-S$*ia C$!$car, Adriana-Eiaela Guran ,2012. 0As#ecte s#eci*ice #rivind utili)a%ilitatea
situril$r ;e% #entru admiterea la *acultate4 , Bevista B$m@n1 de Interac3iune +m-Calculat$