UNB UNIVERSIDADE DE BRASLIA FGA FACULDADE UnB GAMA ENGENHARIA DE SOFTWARE

AVALIAO DA QUALIDADE EM USO (ISO/ IEC 9126-4) DE FERRAMENTAS DE PROJETO CONCEITUAL DE BANCO DE DADOS

PROJETO FINAL DA DISCIPLINA DE MEDIO E ANLISE 2 / 2011

GAMA, 07 DE DEZEMBRO DE 2011

1

AVALIAO DA QUALIDADE EM USO (ISO/ IEC 9126-4) DE FERRAMENTAS DE PROJETO CONCEITUAL DE BANCOS DE DADOS

Por: 09/0108353 Camila Ferreira Pereira Silva 09/0007212 - Henrique Pereira de Jesus Santos 10/46276 Jnatas Medeiros de Mendona 09/0038576 - Luciano Hideaky de Macedo Endo

Sumrio
1 INTRODUO ........................................................................................................................................ 9 1.1 1.2 1.3 2 ORIGEM ......................................................................................................................................... 9 OBJETIVOS ..................................................................................................................................... 9 ORGANIZAO .............................................................................................................................. 9

REVISO DE LITERATURA ...................................................................................................................... 9 2.1 2.2 2.3 2.4 2.5 2.6 2.7 CONCEITOS DE USABILIDADE ........................................................................................................ 9 USABILIDADE E A ISO 9126 ......................................................................................................... 10 QUALIDADE E QUALIDADE EM USO ............................................................................................ 11 SATISFAO DOS USURIOS ....................................................................................................... 12 PSCICOMETRIA ............................................................................................................................ 12 TIPOS DE AVALIAO .................................................................................................................. 12 PLANEJAMENTO DE UMA AVALIAO........................................................................................ 13 FRAMEWORK DECIDE.......................................................................................................... 13

2.7.1 2.8

PARADIGMAS DE AVALIAO ..................................................................................................... 13 RPIDA E SUJA..................................................................................................................... 14 TESTE DE USABILIDADE ....................................................................................................... 14 ESTUDO DE CAMPO ............................................................................................................ 14 AVALIAO PREDITIVA........................................................................................................ 14 COMPARATIVO DOS PARADIGMAS DE AVALIAO ........................................................... 15 RELAO ENTRE OS PARADIGMAS E AS TCNICAS DE AVALIAO ................................... 16

2.8.1 2.8.2 2.8.3 2.8.4 2.8.5 2.8.1 2.9 2.10 2.11

TCNICAS DE AVALIAO ........................................................................................................... 18 ESCALA LIKERT............................................................................................................................. 18 QUESTIONRIOS DE SATISFAO ............................................................................................... 18 QUIS .................................................................................................................................... 18 SUS SYSTEM USABILITY SCALE.......................................................................................... 19 SUMI USABILITY MEASUREMENT INVENTORY................................................................. 19 ASQ THE AFTER-SCENARIO QUESTIONNAIRE................................................................... 20 PSQ THE PRINTER-SCENARIO QUESTIONNAIRE ............................................................... 20 PSSUQ THE POST-STUDY SYSTEM QUESTIONNAIRE ........................................................ 21 CSUQ ................................................................................................................................... 21 COMPARATIVO DOS QUESTIONRIOS ................................................................................ 22 3

2.11.1 2.11.1 2.11.2 2.11.3 2.11.4 2.11.5 2.11.6 2.11.7

ESTUDO EXPERIMENTAL ..................................................................................................................... 23 3.1 3.2 3.3 3.4 IDENTIFICAO ........................................................................................................................... 23 CARACTERIZAO ....................................................................................................................... 23 INTRODUO .............................................................................................................................. 23 DEFINIO DO ESTUDO EXPERIMENTAL .................................................................................... 24 OBJETIVO GLOBAL ............................................................................................................... 24 OBJETIVO DE ESTUDO ......................................................................................................... 24 OBJETIVOS ESPECFICOS OBJETIVO DE MEDIO ............................................................ 24 QUESTES ........................................................................................................................... 25 QUESTES QUE NO PODEM SER RESPONDIDAS PELO ESTUDO EXPERIMENTAL ............. 25

3.4.1 3.4.2 3.4.3 3.4.4 3.4.5 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 3.14 3.15 3.16

PLANEJAMENTO .......................................................................................................................... 25 PARADIGMA E TCNICA DE AVALIAO ..................................................................................... 26 DEFINIO DAS HIPTESES......................................................................................................... 27 VARIVEIS INDEPENDENTES ....................................................................................................... 27 VARIVEIS DEPENDENTES ........................................................................................................... 28 SELEO DO CONTEXTO ............................................................................................................. 29 SELEO DOS INDIVIDUOS.......................................................................................................... 29 DESCRIO DOS RECURSOS ........................................................................................................ 29 DESCRIO DA INSTRUMENTAO ............................................................................................ 30 VALIDADE DOS RESULTADOS ...................................................................................................... 30 TREINAMENT0............................................................................................................................. 31 PROCEDIMENTOS PARA EXECUO ........................................................................................... 31 DEFINIO E EXECUO DO ESTUDO EXPERIMENTAL ....................................................... 31

3.16.1 3.17 4

CRONOGRAMA DO EXPERIMENTO ............................................................................................. 33

ANLISE DOS RESULTADOS ................................................................................................................. 34 4.1 4.2 4.3 PLANO DE AVALIAO ................................................................................................................ 34 DADOS COLETADOS .................................................................................................................... 35 ANLISE DOS DADOS .................................................................................................................. 40 VALIDAO DOS DADOS ..................................................................................................... 40 RESULTADOS ....................................................................................................................... 40 COMENTRIOS ACERCA DAS FERRAMENTAS ..................................................................... 47

4.3.1 4.3.2 4.3.3 5

ESFORO DO PROJETO ........................................................................................................................ 48 4

CONCLUSES....................................................................................................................................... 48 6.1 6.2 CONCLUSO GERAL .................................................................................................................... 48 ANLISE CRITICA INDIVIDUAL ..................................................................................................... 49

7 8

BIBLIOGRAFIA...................................................................................................................................... 51 APNDICE ............................................................................................................................................ 52 8.1 ESTUDO DE CASO ........................................................................................................................ 52 MODELO ER UTILIZANDO O SOFTWARE BRMODELO ......................................................... 53 MODELO ER UTILIZANDO O SOFTWARE DIA....................................................................... 54 MODELO ER UTILIZANDO O SOFTWARE TERRA ER ............................................................. 55

8.1.1 8.1.2 8.1.3 8.2 8.3 8.4 8.5

Questionrio de satisfao do usurio PSSUQ......................................................................... 56 Relatrio do observador ............................................................................................................. 58 Questionrio de Feedback .......................................................................................................... 59 Lista de Participantes .................................................................................................................. 60

LISTA DE ABREVIATURAS E SIGLAS

ER Entidade relacionamento; IHC Interao Humano Computador; ISO - International Organization for Standardization Organizao Internacional de Padronizao; NBR Normas Brasileiras; DECIDE - Determine, Explore, Choose, Identify, Decide, Evaluate; QUIS QUESTIONNAIRE FOR USER INTERACION SATISFACTION; SUS SYSTEM USABILITY SCALE; SUMI - USABILITY MEASUREMENT INVENTORY; ASQ - AFTER-SCENARIO QUESTIONNAIRE; PSQ THE PRINTER-SCENARIO QUESTIONNAIRE; CSUQ COMPUTER SYSTEM USABILITY QUESTIONNAIRE; PSSUQ POST-STUDY SYSTEM QUESTIONNAIRE;

RESUMO
O trabalho de medio e anlise consiste em avaliar a qualidade em uso (ISO 9126-4) atravs da aplicao do paradigma de avaliao: Teste de Usabilidade com as tcnicas de questionrio de Satisfao do usurio e a de observao do usurio. O questionrio adotado foi o PSSUQ. Este questionrio ser aplicado para os alunos e ex-alunos da disciplina de Banco de Dados da FGA.

ABSTRACT
The work of measurement and analysis is to evaluate the quality in use (ISO 9126-4) by applying the paradigm of Evaluation: Usability Testing with the techniques of questionnaire user satisfaction and user observation. The questionnaire used was PSSUQ. This questionnaire will be applied to students and former students of the Data Base from FGA.

1 INTRODUO
1.1 ORIGEM
Esse trabalho se iniciou com um projeto de pesquisa de avaliao das ferramentas de projeto conceitual de banco de dados. Primeiramente foram levantadas vrias ferramentas de projeto conceitual, foram selecionadas cinco e avaliadas no quesito tcnico, se estava ou no em conformidade com os princpios do modelo ER. A segunda fase do projeto foi pesquisa de questionrios de satisfao do usurio para realizar a anlise da qualidade em uso das ferramentas de projeto conceitual de banco de dados. Aps analisar os questionrios existentes, foi escolhido o questionrio PSSUQ de satisfao do usurio para ser aplicado no projeto.

1.2 OBJETIVOS
O objetivo desse projeto analisar a interao de usurios com as ferramentas de projeto conceitual de Banco de Dados, a fim de avaliar a qualidade em uso dos usurios com estas ferramentas.

1.3 ORGANIZAO
Este trabalho est organizado da seguinte forma: O primeiro captulo contm uma introduo, destacando a origem do trabalho e os objetivos pelo qual foi realizado. O segundo captulo contm uma reviso de literatura, englobando os principais conceitos referentes ao projeto. O terceiro captulo traz o planejamento do estudo experimental. O quarto captulo mostra os dados coletados e a anlise dos resultados.

2 REVISO DE LITERATURA
2.1 CONCEITOS DE USABILIDADE
Em linhas gerais usabilidade o fator que assegura ao usurio facilidade de uso. Mas as normas e os pesquisadores da rea de IHC j produziram inmeros conceitos para o termo, mas estes conceitos esto sempre em sintonia em um determinado ponto. Na literatura e pesquisas de IHC so encontradas vrias definies de usabilidade bem como
9

diversas formas de alcan-la, sejam no projeto de sistemas ou de produto. Nielsen um pesquisador conhecido como o pai da usabilidade e das normas que determinam o bom uso das coisas. dele a maioria dos conceitos que sero vistos a seguir. As metas de usabilidade a serdes vistas aqui so indicadores do produto que, ainda na forma de projeto, garantiro sua boa usabilidade. Alguns aspectos comuns relacionados usabilidade so condies eficazes de trabalho e eficincia na execuo da tarefa. Alm disso, existe a satisfao do usurio que, embora subjetiva, pode determinar o nvel de usabilidade a partir de interaes agradveis. Estes fatores resultam na otimizao das interaes ou dos processos de realizao de tarefas e, ao usurio, garante a satisfao na realizao da tarefa. A ISO 9126 trata deste assunto quase da mesma forma. Ao invs de critrio utiliza o termo caracterstica e trata com mais especificidade da satisfao do usurio. Utiliza para isso termos diferentes para as medies: efetividade: (uma mistura de eficcia e eficincia), produtividade (quantidade adequada de recursos do sistema em relao efetividade alcanada), segurana (oferecer nveis aceitveis de risco de danos) e satisfao. Independente do conjunto adotado para realizar a avaliao importante saber a diferena entre meta e critrio (tambm conhecido por caracterstica na ISO 9126). Os critrios utilizados em avaliao podem ser reconhecidos pelas Heursticas, assunto que veremos com mais detalhes no captulo sobre avaliao.

2.2 USABILIDADE E A ISO 9126

A norma NBR ISO/IEC 9126-1 (2003) define usabilidade de software como a capacidade do produto de software ser compreendido, aprendido, operado e atraente ao usurio, quando usado sob condies especficas. Nielsen descreve propriedades que devem ocorrer em um sistema de alta usabilidade: 1) Visibilidade: o sistema deve informar continuamente ao usurio o que ele est fazendo. 2) Compatibilidade do sistema com o mundo real: A terminologia deve ser baseada na linguagem do usurio. 3) Controle e liberdade do usurio: o usurio controla o sistema, ele pode a qualquer momento abordar uma tarefa ou desfazer uma operao. 4) Consistncia e padres: o mesmo comando ou ao deve ter sempre o mesmo efeito. 5) Preveno de erros: Conhecer as situaes que mais provocam erros e mudar a interface para evitar que estes erros ocorram. 6) Reconhecimento ao invs de lembrana: permitir que o usurio faa suas escolhas sem a necessidade de lembrar um comando especfico. 7) Flexibilidade e eficincia no uso: uso de atalhos para que usurios experientes executem aes mais rapidamente.
10

8) Esttica e design minimalista: deve-se apresentar a informao que o usurio precisa, nem mais nem menos. 9) Ajuda dos usurios no reconhecimento de erros: mensagens de erro claras e sem cdigos. 10)Ajudas e documentao: o ideal que o software no necessite de ajuda, seja intuitivo, mas se for necessria a Jud que ela seja de fcil acesso.

2.3 QUALIDADE E QUALIDADE EM USO

Segundo a ISO 9000, qualidade o grau no qual um conjunto de caractersticas inerentes satisfaz aos requisitos. A ISO 9126-4 fornece um conjunto de mtricas de qualidade. A norma divide as mtricas em interna, externa e qualidade em uso. As mtricas internas so utilizadas para a parte no executvel do produto de software durante os estgios de desenvolvimento como, por exemplo, na definio de requisitos ou na especificao de design. Elas fornecem ao usurio a habilidade de medir produtos intermedirios como artefatos. Tambm permite que se identifiquem problemas de qualidade e ajuda na tomada de aes corretivas durante o ciclo de vida do desenvolvimento. As mtricas externas so usadas para medir a qualidade do produto de software e o comportamento do sistema. Podem ser usadas na fase de teste e de produo, aps o produto ter sido entregue. A qualidade em uso consiste em aferir o software no contexto especfico do usurio. a qualidade percebida pelo usurio. As qualidades internas e externas so definidas a partir de requisitos no funcionais: Funcionalidade, confiabilidade, usabilidade, eficincia, manutenabilidade e portabilidade. Abaixo cada um desses requisitos definido: Funcionalidade a capacidade de o software fornecer as funcionalidades que satisfaam os usurios em suas necessidades, dentro de em contexto especfico; Confiabilidade a capacidade de o produto de software se manter no nvel de desempenho em um contexto especfico; Usabilidade a capacidade do produto de software ser compreendido, aprendido e operado. tambm o quanto o sistema capaz de atrair o usurio; Eficincia a utilizao dos recursos compatvel com o desempenho do sistema. Manutenabilidade a capacidade do produto de software de ser modificado, tanto em caso de incluso de melhorias como tambm de funcionalidades. Alm disso, tem-se tambm a facilidade na correo de erros, falhas e defeitos; Portabilidade capacidade de o sistema ser transferido de um ambiente para outro.

11

Qualidade em Uso:

De acordo com a ISO 9126-4, qualidade em uso a capacidade do produto de software para permitir que usurios especficos atinjam objetivos especficos com eficincia, produtividade, segurana e satisfao em um contexto especifico. A Qualidade em uso engloba o contexto do ambiente de trabalho para caracterizar a
satisfao de uso, focando no apenas no usurio, mas em seu comportamento ao interagir com um sistema computacional.

2.4 SATISFAO DOS USURIOS

A satisfao do usurio uma mtrica medida atravs de fatores subjetivos. Depende muito dos relatos do prprio usurio. Est relacionada ao atendimento das necessidades e da atratividade do sistema. Por isso, a satisfao est intimamente ligada usabilidade do sistema, que possui mtricas que podem ser medidas.

2.5 PSCICOMETRIA
uma rea da Psicologia que faz a ponte entre as cincias exatas, principalmente a matemtica aplicada - a Estatstica e a Psicologia. Sua definio consiste no conjunto de tcnicas utilizadas para mensurar, de forma adequada e comprovada experimentalmente, um conjunto ou uma gama de comportamentos que se deseja conhecer melhor. O Psiclogo psicometrista possui, em seu espectro atuacional, caractersticas para levar a cabo a definio desta rea, bem como para manusear os testes psicolgicos de acordo com alguns critrios bsicos. Estes so: Validade, Fidedignidade e Padronizao. Qualquer teste que se preste validao e, posteriormente ao uso, deve ser fruto de pesquisas nessa rea.

2.6 TIPOS DE AVALIAO

As normas de qualidade de software so pouco conhecidas e nem sempre utilizadas para realizar avaliaes. Uma pesquisa realizada pela SEPIN/MCT em 2001 verificou que a ISO 9126 / NBR 13506 a mais conhecida (13%) dentre as empresas que trabalhavam com software. Outros mtodos de avaliao so utilizados, inclusive mtodos caseiros, mas a maioria das empresas, nesta poca, no realiza avaliaes. Mas o mercado, por meio de clientes exigentes tem incentivado o uso de avaliaes dos produtos com o objetivo de
12

atender as reais necessidades dos usurios. Isso tambm impulsiona a evoluo e desenvolvimento de novas formas, mtodos e tcnicas de avaliao para atender crescente demanda por sistemas de qualidade exigido por usurios que no perdem tempo na hora de fazer a escolha pelo sistema mais seguro, fcil de usar ou agradvel. TESTE: A atividade isolada em que o usurio utiliza o sistema ou produto para realizar a tarefa. AVALIAO: Todo o contexto que envolve a busca questionamentos ou respostas para a verificao do projeto e do impacto que ele pode ter em seus usurios ou stakeholders.

2.7 PLANEJAMENTO DE UMA AVALIAO

2.7.1 FRAMEWORK DECIDE

O resultado de uma avaliao pode ser entendido como a atribuio de um valor ao sistema tendo por base os critrios determinados no planejamento. Avaliar usar uma forma adequada de medir capacidades dos sistemas ou de seus usurios. Isso pode significar a definio de objetivos qualitativos ou quantitativos. O DECIDE oferece seis atividades, ou passos, onde cada letra referencia uma etapa do planejamento. Estas letras referenciam algumas palavras que no ingls determinam o acrnimo (Determine, Explore, Choose, Identify, Decide, Evaluate). Faremos uma adaptao destas nomenclaturas e passaremos a chamar as etapas da seguinte forma para facilitar o entendimento de cada etapa: 1. Determinar Meta e Objetivo. 2. Explorar Questes Especficas. 3. Definir Paradigma e Tcnicas de Coleta de Dados. 4. Identificar Questes Prticas. 5. Identificar Questes ticas. 6. Analisar, Interpretar e Apresentar Dados. importante entender que o framework sugere a definio de passos que no devem ser esquecidos durante um planejamento de avaliao. Mas a sequencia de passos flexvel, permitindo que a qualquer momento sejam retomadas as atividades de uma etapa j passada ou que definies de etapas que ainda no foram definidas possam ser consideradas.

2.8 PARADIGMAS DE AVALIAO

Quatro cenrios de aplicaes dos testes caracterizam os cenrios mais usados nos testes de avaliao: rpida e suja, teste de usabilidade, estudo de campo e avaliao
13

preditiva. Dentre as tcnicas de coleta de dados veremos como acontecem as observaes, as solicitaes de opinio, testar o desempenho dos usurios e modelar o desempenho das tarefas dos usurios a fim de prever a eficcia de uma interface. Estes cenrios de testes so ainda apoiados por processos diferenciados de coleta de dados, sendo a observao e a solicitao de opinio os mais utilizados em cenrios ou paradigmas com especialistas e usurios teste.
2.8.1 RPIDA E SUJA

A prtica dessa avaliao consiste em obter um feedback informal dos usurios ou consultores, para confirmar que tudo que foi pedido est sendo colocado em prtica, e que est sendo executado do modo que agrade os usurios e consultores. Essa avaliao pode ser feita em qualquer estgio de desenvolvimento, e sua nfase est em uma contribuio rpida.

2.8.2

TESTE DE USABILIDADE

Consiste em avaliar o desempenho dos usurios na execuo de tarefas cuidadosamente preparadas, tarefas estas dentro do escopo do sistema. Esse desempenho pode ser avaliado no quesito, nmero de erros e tempo de execuo da tarefa, questionrios e entrevistas tambm podem ser utilizados.

2.8.3

ESTUDO DE CAMPO

Estudo de campo realizado no contexto real, com objetivo de aumentar o entendimento do que os usurios fazem naturalmente e de como a tecnologia impacta nessas atividades. Pode ser utilizado para ajudar a identificar oportunidade de uso de novas tecnologias, determinar requisitos de design, facilitar a introduo da nova tecnologia, e avaliar a tecnologia.

2.8.4

AVALIAO PREDITIVA

Consiste na aplicao de conhecimento dos especialistas, geralmente guiado por heursticas, visando prever problemas de usabilidade. No necessria a presena dos usurios, tornando o processo mais rpido, relativamente barato, e, portanto atrativo para as empresas.

14

2.8.5

COMPARATIVO DOS PARADIGMAS DE AVALIAO

Paradigma s de Avaliao Papel dos Usurios Quem controla

Rpida e Suja Comportament o natural Os avaliadores tm um mnimo de controle

Teste de usabilidade Realizar um conjunto de tarefas Muito controle dos avaliadores

Estudos de campo

Avaliao Preditiva

Local

Ambiente natural ou laboratrio

Laboratrio

Quando utilizado

A qualquer momento que voc quiser obter feedback sobre um design rapidamente. Tcnicas de outros paradigmas de avaliao podem ser utilizadas.

Com um prottipo ou produto

Tipos de Dados

Geralmente qualitativos, descries

Quantitativos algumas vezes, validados

Comportamento Geralmente os Natural usurios no so envolvidos Os avaliadores Avaliadores tentam experientes desenvolver relacionamento s com os usurios Ambiente Orientada a Natural laboratrios mas geralmente ocorre nas instalaes do usurio Mais Revises de freqentemente especialistas utilizada no (geralmente inicio do design, feitas por para verificar se consultores) as necessidades com um do usurio prottipo, que esto sendo podem no atendidas ou entanto para avaliar ocorrer a problemas ou qualquer oportunidades momento. So de design utilizados modelos para avaliar aspectos especficos de um design em potencial Descries Lista de qualitativas problemas geralmente realizada
15

informais

Como retornam para o design

Esboo, citaes, relatrio descritivo

estatisticamente . As opinies dos usurios so coletadas por meio de questionrios ou entrevistas. Relatrio de desempenho, erros, etc. As descobertas fornecem parmetro para as verses futuras

acompanhadas de esboos, cenrios, citaes e outros artefatos Descries que incluem citaes, esboos, curiosidades e s vezes logo.

pelos revisores especializados . Dados quantitativos do modelo Os revisores oferecem uma lista de problemas geralmente com sugestes de solues. Tempo calculados a partir de modelos so fornecidos aos designers. Heursticas prticas e as experincias dos profissionais sustentam as revises dos especialistas. A teoria apoiam os modelos.

Filosofia

Abordagem centrada no usurio, altamente prtica

Abordagem aplicada baseada em experimentao, isto , engenharia de usabilidade

Pode ser observao objetiva ou etnogrfica

2.8.1

RELAO ENTRE OS PARADIGMAS E AS TCNICAS DE AVALIAO

Tcnicas Observar os usurios

Rpida de suja Importantes para observar como os usurios se comportam em seus ambientes naturais.

Testes de usabilidade Logs de vdeo e interao que podem ser analisados para identificar erros, investigar

Estudos de Campo A observao constituiu a parte central de um estudo de campo. Em estudos etnogrficos os avaliadores

Preditiva N/A

16

notas no uso do software ou calcular o tempo de desempenho Perguntar aos Usurios Discusses individuais com usurios e usurios em potencial em grupo ou grupos de foco Os questionrios de satisfao dos usurios so administrados para coletar as opinies deles

Perguntar aos especialistas

Fornecer crticas (Denominadas Relatrios Crticos.) de usabilidade de um prottipo N/A

N/A

ficam imersos no ambiente. Em outros tipos de estudo o avaliador observa objetivamente. O avaliador pode entrevistar ou discutir o que v com os participantes. As entrevistas etnogrficas so utilizadas em estudos etnogrficos N/A

N/A

Testes com Usurios

Modelar o desempenho do usurio na realizao de tarefas

N/A

Testar N/A usurios tpicos na realizao de tarefas tpicas em um ambiente de laboratrio controlado constitui o pilar dos testes de usabilidade N/A N/A

Os avaliadores utilizam heursticas logo no inicio do design, para prever a eficcia de uma interface N/A

Os modelos so utilizados para prever a eficcia de uma interface ou comparar

17

tempos de desempenho em verses diferentes

2.9 TCNICAS DE AVALIAO 2.10 ESCALA LIKERT

um tipo de escala usada em questionrios para pesquisas de opinio. Os perguntados especificam o nvel de concordncia com uma afirmao. Ao final, so somados as respostas dadas a cada item. Possui uma caracterstica bipolar, por medir uma resposta positiva ou negativa a uma afirmao. Os nveis de concordncia, dispostos em forma de alternativas, so chamados de itens Likert. O formato tpico de um item Likert o seguinte: a) Concordo totalmente b) Concordo parcialmente c) Indiferente d) Discordo parcialmente e) Discordo totalmente Depois de o questionrio ter sido respondido, cada item analisado separadamente ou as respostas dadas so somadas para criar um resultado por grupo. Neste caso, pesos so atribudos para se obter um valor final que ser analisado com base em critrios pr-estabelecidos.

2.11 QUESTIONRIOS DE SATISFAO

A aplicao de questionrios um dos mtodos mais utilizados para avaliao da satisfao do usurio. Eles resultam da avaliao subjetiva pelo usurio, o qual influenciado pelos tipos de questes aplicadas. Um grande nmero de questionrios foram desenvolvidos pela comunidade cientfica para a avaliao da usabilidade. Alguns exemplos de questionrios so: QUIS,
SUMI, WAMMI, SUS, ASQ, PSQ,PSSUQ, CSUQ. 2.11.1 QUIS

Questionnaire for User Interaction Satisfaction (QUIS) - mede a satisfao do usurio quanto usabilidade do produto de maneira padronizada, segura e vlida, a fim de
18

obter informaes precisas em relao reao dos usurios a novos produtos (QUIS, 2009); A verso atual a QUIS 7.0 (Norman e Shneiderman, 2010), contm um questionrio onde possui a avaliao da satisfao geral e avaliaes de fatores especficos de interfaces organizadas hierarquicamente: tela, terminologia e retroalimentao do sistema, aprendizado, capacidades do sistema, manuais tcnicos, tutoriais online, multimdia, teleconferncia e instalao de software. Pode ser configurado de acordo com a necessidade e interesse do usurio. um questionrio proprietrio, sugerido o uso de planilhas eletrnicas e softwares estatsticos at que se implementem recursos de anlise no servidor web dos proprietrios.

2.11.1 SUS SYSTEM USABILITY SCALE

O SUS (Brooke, 2010) uma escala de usabilidade do tipo Likert que possui uma viso global e subjetiva em suas avaliaes de usabilidade. Ele apresenta ao entrevistado uma lista de perguntas que devem ser respondidas em uma escala de satisfao (indica o grau de concordncia ou discordncia do usurio). O autor se baseou na afirmao de que no contexto industrial, as avaliaes completas no so prticas e requerem muito esforo e custo. O SUS foi criado pela necessidade de se ter uma avaliao de usabilidade simples e rpida. Os mtodos de avaliao foram simplificados e o nmero de questes reduzidas, pois uma quantidade grande de questes desanima os usurios que possivelmente no preencheria todas as questes, resultando assim problemas na captura de reaes subjetivas do usurio. Foi ento proposto um questionrio com 10 questes que utiliza a escala Likert de cinco ou sete pontos. Este questionrio abrange vrios aspectos da usabilidade, tais como: necessidade de suporte, treinamento e complexidade.

2.11.2 SUMI USABILITY MEASUREMENT INVENTORY

O SUMI (Kirakowski e Corbett, 1988) um questionrio para medio da qualidade de um software do ponto de vista do usurio, um mtodo consistente usado
19

para avaliar a qualidade de uso de um produto de software ou prottipo, e pode ajudar na descoberta de falhas de usabilidade (SUMI, 2009); mencionado na norma ISO 9241 como um mtodo reconhecido para testar a satisfao do usurio. O SUMI um questionrio comercial. Inicialmente continha 150 itens onde o participante escolhia se (concordo fortemente, concordo, no sei, discordo ou discordo totalmente). Atualmente so 50 itens divididos em 5 grupos de 10 itens. Os grupos de itens so: eficincia, afeto, eficcia, controle e aprendizado. Os entrevistados preenchem o questionrio no seu local de trabalho e devem decidir entre as opes: concordo, no sei ou discordo totalmente.

2.11.3 ASQ THE AFTER-SCENARIO QUESTIONNAIRE

O ASQ (Lewis, 1995) um questionrio de trs itens que so utilizados para avaliar a satisfao do usurio aps a concluso de cada cenrio/tarefa. So realizadas umas sries de tarefas que esto de acordo com a realidade do usurio. Este questionrio aborda questes como: facilidade de concluso da tarefa, tempo para completar uma tarefa e adequao das informaes de suporte. So questes do tipo Likert (McIver e Carmines, 1981; Nunnally, 1978). aplicada uma escala de 1 a 7, onde 1 representa Concordo e 7 para Discordo totalmente. O participante gasta em mdia 1 hora pra realizar cada cenrio, no fim de cada cenrio preenchido o questionrio ASQ. Aps completar todos os cenrios, no fim de 1 dia de trabalho (8 horas), os participantes preenchem o questionrio PSSUQ para avaliao geral do sistema. O ASQ foi aplicado na IBM por diferentes tipos de usurios, cada grupo possua um tempo de experincia com sistemas de computador, o que permitiu a anlise psicomtrica do questionrio.
2.11.4 PSQ THE PRINTER-SCENARIO QUESTIONNAIRE

O PSQ(Lewis, 1995) uma verso inicial do ASQ, mas difere no formato e numero de itens. So escalas de 5 pontos com os termos Aceitvel com nota 1 e Precisa de muita Melhoria com nota 5, e no marcado Para Avaliar.

20

2.11.5 PSSUQ THE POST-STUDY SYSTEM QUESTIONNAIRE

O PSSUQ((Lewis, 1995)) fornece uma avaliao global do sistema utilizado. Possui 19 itens para avaliao da satisfao do usurio com a usabilidade do sistema. gasto em mdia 10 minutos para completar o questionrio, mas s preciso completar uma vez o questionrio no fim do estudo de usabilidade. aplicada uma escala de 7 pontos, onde o nvel mais baixo representa Concordo e o mais alto, 7, representa Discordo Totalmente e No aplicvel em um ponto fora da escala. Este questionrio ajuda a entender quais aspectos do sistema o usurio est mais preocupado. Ele avalia as caractersticas como facilidade de uso e de aprendizado, simplicidade, eficcia, informao e a interface com o usurio. Existem 4 tipos de pontuaes para as respostas aos itens do PSSUQ: Escore da satisfao geral (OVERALL), a utilidade do sistema(SYSUSE), a qualidade da informao (INFOQUAL) e a qualidade da interface (INTERQUAL). GLOBAL 0,97; SYUSE = 96; INFOQUAL = 91 E INTERQUAL = 91 A escala Global est relacionada com a soma das classificaes ASQ que os participantes deram aps completar cada cenrio. recomendado que tenha noventa participantes para a aplicao do PSSUQ e que sejam coletados em diferentes circunstncias.
2.11.6 CSUQ

Este questionrio parecido com o PSSUQ, mas a sua redao e diferente. Enquanto no PSSUQ afirma que Eu poderia efetivamente realizar as tarefas e cenrios usando este sistema o CSUQ escreve: Eu posso terminar meu trabalho de forma eficaz usando esse sistema?. Na IBM, este questionrio foi aplicado atravs de e-mail, enviado para funcionrios de diferentes locais, o que houve uma maior quantidade de participantes, do que feito com grupos reduzidos presencialmente. Utilize o CSUQ quando o estudo de usabilidade em um ambiente fora do laboratrio. A confiabilidade foi de 0,93.
21

2.11.7 COMPARATIVO DOS QUESTIONRIOS

Os questionrios ASQ e PSQ so utilizados aps a realizao de um cenrio. Contm os mesmos itens, mas possuem escalas diferentes. O ASQ possui uma maior confiabilidade em relao ao PSQ. PSSUQ e CSUQ so ambos os questionrios de satisfao global. O PSSUQ utiliza itens adequados para uma situao de teste de usabilidade, j o CSUQ so apropriados para uma situao de teste de campo. Os questionrios possuem propriedades psicomtricas aceitveis de usabilidade e podem ser usados com confiana como medidas padronizadas de satisfao. interessante utilizar o PSSUQ junto com o ASQ. O ideal que o questionrio seja mais genrico possvel. Cada questionrio possui um nvel de confiana. Tabela: Comparativo dos questionrios Nome After Scenario Questionnaire (ASQ) Computer System Usability Questionnaire (CSUQ) Poststudy System Usability Questionnaire (PSSUQ) Software Usability Measurement Inventory (SUMI) System Usability Scale (SUS) QUIS Criador IBM Questes 3 Disponibilidade Interface avaliada Aberto Qualquer Confiabilidade 0,93

IBM

19

Aberto

Baseado em 0,95 computador

IBM

19

Aberto

Baseado em 0,96 computador

HERG

50

Proprietrio

Software

0,89

DEC UMD

10 27

Aberto Proprietrio

Qualquer

0,85

22

3 ESTUDO EXPERIMENTAL
3.1 IDENTIFICAO
Ttulo: Avaliao da qualidade em uso (ISO/IEC 9126-4) de ferramentas de projeto conceitual de banco de dados. Tema: Avaliao da Usabilidade rea tcnica: Qualidade de Software Autor: Jnatas Medeiros de Mendona Afiliao: FGA/UnB Local: Braslia Brasil - Data: 01/12/2011

3.2 CARACTERIZAO
Nome da empresa: FGA-UnB Domnio: Anlise de softwares para projeto conceitual de Banco de Dados Linguagem de Programao: Vrias Plataforma: Windows Equipe: A equipe do projeto constituda por 2 professores orientadores, 1 aluno pesquisador e 3 alunos auxiliares. Alocao da equipe ao projeto: Orientadores: Professora Geoflavia e Cristiane Ramos Aluno pesquisador: Jnatas Medeiros de Mendona Alunos auxiliares: Camila; Henrique; e Luciano Hideaky de Macedo Endo.

3.3 INTRODUO
Existem diversas formas para avaliar a interface humano-computador. De acordo com [CHIN, DIEHL, e NORMAN.], h cinco diferentes tipos de medidas dependentes para avaliar interfaces com o usurio. Estas medidas afetam a atitude de uma pessoa para o sistema, so
23

elas: (Velocidade, Preciso, Tempo de aprendizado, Reteno de Conhecimento adquirido ao longo do tempo e a Aceitao do Usurio). No momento da escolha de um mtodo de avaliao da qualidade devemos analisar qual mtodo mais eficaz para ser aplicado em um determinado contexto. As avaliaes de usabilidade devem ser centradas em quem utiliza o sistema, onde a premissa fundamental verificar se a concepo do sistema coincide com as necessidades reais dos usurios. Os testes de usabilidade so considerados mtodos eficazes para detectar problemas especficos na interface de um sistema. Estes testes recorrem utilizao de questionrios ou entrevistas. Os dados obtidos atravs da entrevista so qualitativos, enquanto os dos questionrios so quantitativos. Os questionrios tm a vantagem de permitir atingir um grande nmero de pessoas, conseguindo-se assim resultados estatsticos
relevantes.

Para avaliar a usabilidade das ferramentas de projetos de banco de dados utilizou-se a aplicao do questionrio PSSUQ por se adaptar melhor ao conceito de qualidade em uso. Este questionrio foi criado pela IBM.

3.4 DEFINIO DO ESTUDO EXPERIMENTAL

3.4.1 OBJETIVO GLOBAL

O objetivo desse estudo analisar a interao de usurios com as ferramentas de projeto conceitual de Banco de Dados, a fim de avaliar a qualidade em uso dos usurios com estas ferramentas.
3.4.2 OBJETIVO DE ESTUDO

Avaliar de forma subjetiva o grau de satisfao dos usurios com as ferramentas levantadas para o estudo de caso. O objeto de estudo deste experimento a aplicao do paradigma Teste de usabilidade e da tcnica de avaliao da satisfao do usurio atravs do questionrio PSSUQ. 3.4.3 OBJETIVOS ESPECFICOS OBJETIVO DE MEDIO

Analisar Com propsito de Com respeito ao Do ponto de vista de No contexto de

Ferramentas de Projeto conceitual de Banco de Dados Avaliar Qualidade em Uso (ISO/IEC 9126-4) Satisfao do usurio Usurio Disciplina de Banco de Dados da FGA.

24

3.4.4

QUESTES

A partir do objetivo de medio estabelecido no quadro 1 foram definidas questes sobre o que preciso saber de forma a apoi-la a entender se o objetivo especfico foi alcanado, e para cada questo foram definidas as mtricas relacionadas no quadro 2: Quadro 2 Questes e mtricas do objetivo de medio Questo Mtricas Diretrizes para interpretao

Q1. Qual a ferramenta que proporciona o maior grau de satisfao do usurio com Grau de satisfao do usurio relao as ferramentas de projeto conceitual de banco de dados?

Escore da satisfao global pelo usurio (OVERALL)

Q2. Qual o esforo do usurio Tempo gasto para realizar o Quanto menos esforo, melhor. em cada ferramenta? estudo de caso (hs).

3.4.5

QUESTES QUE NO PODEM SER RESPONDIDAS PELO ESTUDO EXPERIMENTAL 1. As ferramentas analisadas so adequadas para o estudo em uma disciplina de banco de dados no ponto de vista tcnico? No possvel com esse experimento saber se as ferramentas de banco de dados so adequadas no ponto de vista tcnico para a utilizao na disciplina de banco de dados. 2. Qual o grau de aprendizado em cada uma das ferramenta ? No conseguimos responder o grau de aprendizado do participante em cada ferramenta

3.5 PLANEJAMENTO
De acordo com Preece et al (2005). possvel planejar uma avaliao seguindo um framework (ou estrutura) que sugere como cada passo da avaliao deve ser considerado para alcanar um resultado satisfatrio. Para guiar nossas avaliaes adotamos o framework DECIDE, este oferece recursos para determinar desde o objetivo da avaliao

25

at de qual forma os dados coletados podem ser tratados. Ele oferece um checklist para auxiliar avaliadores com pouca experincia. 1. 2. 3. 4. Determinar as metas que a avaliao ir abordar; Explorar as questes especficas a serem respondidas; Escolher o paradigma de avaliao e as tcnicas de respostas para as perguntas; Identificar as questes prticas que devem ser abordadas, como a seleo dos participantes. 5. Decidir como lidar com as questes ticas 6. Avaliar, interpretar e apresentar os dados.

3.6 PARADIGMA E TCNICA DE AVALIAO

Neste experimento foi adotado como paradigma de avaliao o Teste de Usabilidade que consiste em avaliar o desempenho dos usurios na execuo de tarefas cuidadosamente preparadas, tarefas estas dentro do escopo do sistema. Esse desempenho pode ser avaliado no quesito, nmero de erros e tempo de execuo da tarefa, questionrios e entrevistas tambm podem ser utilizados. Para avaliar a usabilidade das ferramentas de projetos de banco de dados sero utilizadas as tcnicas de: Tcnica Descrio

Observar os Um observador ir registrar o tempo gasto por cada participante para concluir o usurios estudo de caso, avaliar a ferramenta e se necessitou de alguma ajuda. Perguntar aos usurios O questionrio PSSUQ de satisfao dos usurios ser utilizado para coletar as opinies dos participantes.

26

3.7 DEFINIO DAS HIPTESES

Hiptese Nula Hipteses Alternativa

No h diferena no grau de satisfao obtido pelas ferramentas avaliadas.

A ferramenta com menor esforo para execuo da tarefa obter maior grau de satisfao.

3.8 VARIVEIS INDEPENDENTES

Quadro 3 Definio da varivel independente

Nome

Abreviao

Descrio

Classe

Entidade

Tipo atributo

Tipo de Unid. escala medida

Faixa valores

Regra de contagem contexto entidade

de no da

Ferramentas de Ferramentas projeto conceitual de de DER Banco de Dados

Lista das ferramenta s de projeto Recurso conceitual de banco de dados

Ferramentas avaliadas

Interno

Nominal

--

Listar as -ferramentas

27

3.9 VARIVEIS DEPENDENTES

Quadro 4 Definio da varivel dependente Regra de contagem no contexto da entidade

Nome

Abreviao

Descrio

Classe

Entidade

Tipo atributo

Tipo de escala

Unid. medida

Faixa de valores

OVERALL Grau de Satisfao do Usurio

Avalia a satisfao geral do Produto usurio com o sistema. Avalia a utilidade do Produto sistema Avalia a qualidade Produto da informao Avalia a qualidade Produto da interface

Satisfao

Externo

Ordinal

Concordo Totalmente at Avalia os itens 1 discordo at 19. totalmente.

SYSUSE Grau de Utilidade do sistema

Externo Utilidade Ordinal

Concordo Avalia os itens 1 Totalmente at at 8. discordo totalmente. Concordo Avalia os itens 9 Totalmente at at 15. discordo totalmente. Concordo Avalia os itens Totalmente at 16 at 18. discordo totalmente.

Grau Qualidade Informao

de da

INFOQUAL

Qualidade da Informao

Externo Ordinal

Grau Qualidade Interface

de da

INTERQUAL

Externo Qualidade da Interface Ordinal

28

3.10 SELEO DO CONTEXTO

Esta pesquisa est inserida no contexto da disciplina de Banco de Dados e Medio e

Anlise do curso de Engenharia de Software da Universidade de Braslia, Faculdade do Gama.

3.11 SELEO DOS INDIVIDUOS

Durante a execuo do experimento sero escolhidos dois grupos com diferentes experincias. Um deles composto pelos atuais alunos da disciplina de Banco de Dados e o outro composto por ex-alunos da disciplina. Grupo 1 7 alunos que esto cursando a disciplina de Bancos de dados do curso de Engenharia de Software da Universidade de Braslia, Faculdade do Gama. Grupo 2 1 Ex-aluno da disciplina de Banco de Dados.

3.12 DESCRIO DOS RECURSOS

Estao de trabalho para cada um dos alunos. Softwares de Projeto Conceitual de Banco de Dados :
Descrio Download

Ferramenta

TERRA ER

um programa gratuito, de cdigo aberto que http:www.ricardoterra.c facilita o aprendizado de modelagem de dados. A om.br/terraee ferramenta inicialmente voltada ao meio acadmico, mais especificamente no auxlio ao aprendizado de disciplinas de modelagem de banco de dados. uma ferramenta criada para facilitar a criao de modelos relacionais de um banco de dados. http://sis4.com/brMode lo/download.aspx

BR MODELO

DIA

Dia inspirado no 'Visio' do programa Windows http://live.gnome.org/Di comercial, embora mais voltado para diagramas a informais para o uso casual. Ele pode ser usado para desenhar diferentes tipos de diagramas. Atualmente tem objetos especiais para ajudar a desenhar diagramas entidade-relacionamento, diagramas de UML, fluxogramas, diagramas de 29

rede, e muitos outros diagramas. Tambm possvel adicionar suporte para novas formas de escrita simples arquivos XML, usando um subconjunto de SVG para desenhar a forma.

Questionrio PSSUQ para a avaliao da usabilidade.

3.13 DESCRIO DA INSTRUMENTAO

Para apoiar a realizao do experimento ser necessrio: Instalao das ferramentas de projeto conceitual de Banco de Dados, que sero disponibilizadas para download ou prviamente instaladas nos computadores do laboratorio ou notebooks dos alunos. Estudo de Caso de um modelo conceitual de banco de dados. Elaborao do tutorial bsico das ferramentas. Questionrio (PSSUQ) de avaliao ; Modelo de relatrio de Estudo Experimental; Modelo de Relatrio para apresentao das medidas coletadas e interpretao dos resultados.

3.14 VALIDADE DOS RESULTADOS

Ameaa Tipo Descrio da ameaa Tratamento

O esforo na ferramenta conhecida Externa poder ser maior do que as demais.

Os alunos por estarem A ferramenta conhecida utilizando mais tempo a ser testada por ultimo. ferramenta TERRA ER, o esforo e a satisfao pode ser maior nesta ferramenta em relao as outras. Um mini-tutorial das ferramentas sero Algumas ferramentas apresentados para que aborda uma notao possam entender como a diferente da acostumado ferramenta trata da pelos alunos criao de um modelo ER.

Notaes diferentes Construo em cada ferramenta.

30

Conceitos fundamentais Banco de esquecidos.

de Construo dados

Um mini-tutorial ser apresentado para que possam relembrar os Ex-alunos esqueceram os principais conceitos. A conceitos essnciais de ferramenta conhecida banco de dados ser testada primeiro pelos ex-alunos da disciplina. Avisar aos participantes Participantes no sobre a importncia de preencherem todos os itens preencher todo o dos questionrios. questionrio. Realizar o teste com demais alunos de outros Amostra muito pequena semestres. para anlise dos dados.

Questionrio preenchido

no

Concluso

Quantidade de participantes insuficiente para Externa obter uma melhor amostra dos resultados

3.15 TREINAMENT0
Para a execuo do experimento ser necessrio realizar os treinamentos abaixo que dever ser ministrado pelo mesmo instrutor. Seq Treinamento Objetivo Apresentar um rpido tutorial sobre as ferramentas Participantes (perfil) Grupo 1 Grupo 2 Esforo

1.

Tutorial das Ferramentas

10 min

3.16 PROCEDIMENTOS PARA EXECUO

3.16.1 DEFINIO E EXECUO DO ESTUDO EXPERIMENTAL Para a execuo do experimento sero realizadas o teste de usabilidade para 3 ferramentas de projetos conceituais de banco de dados por 2 grupos de usurios (alunos da disciplina de banco de dados e ex-alunos da disciplina), conforme apresentado abaixo:

31

Ferramenta brModelo DIA TERRA ER TERRA ER brModelo DIA

Experincia Equipe EXP1 EXP2 EXP3 EXP4 EXP5 EXP6 Equipe 1 Equipe 1 Equipe 1 Equipe 2 Equipe 2 Equipe 2

Tcnica Questionrio de Usabilidade PSSUQ Questionrio de Usabilidade - PSSUQ Questionrio de Usabilidade - PSSUQ Questionrio de Usabilidade - PSSUQ Questionrio de Usabilidade PSSUQ Questionrio de Usabilidade PSSUQ

Antes de executar o estudo de caso ser apresentado um tutorial bsico das ferramentas na qual os participantes no conheam (brModelo e DIA). Para a operao do projeto, os dois grupos iro testar as 3 ferramentas de projeto conceitual de banco de dados. Para os alunos que cursam a disciplina, interessante que se inicie com as ferramentas desconhecidas. Os alunos que j concluram a disciplina iro iniciar o teste na ferramenta TERRA ER, j conhecida por eles, para que assim possam relembrar conceitos importantes de bancos de dados. As demais ferramentas a serem testadas so: BR Modelo e DIA.

O estudo se inicia com a leitura da descrio do estudo de caso e como ser a agenda de atividades. apresentado um tutorial bsico de como funciona os principais itens dos sistemas. Aps o perodo de explorao do sistema e finalizada o estudo de caso (cerca de 30 min para cada sistema), os participantes devem responder o questionrio. Enquanto o participante realiza as atividades, um observador registra se o participante completou os cenrios sem assistncia e produziu a sada completa do caso de uso. No final os participantes preenche um formulrio de feedback.

32

3.17 CRONOGRAMA DO EXPERIMENTO

Hora 8:00 8:05 8:15 8:20 Tarefa/Descrio Apresentao do projeto e assinaturas dos participantes coleta das

Apresentao do Tutorial das ferramentas Incio do experimento. Explicao do estudo de caso. Teste da usabilidade das ferramentas. Verificar a ordem de teste por cada equipe. Nesta hora o observador comea a anotar o relatrio de observaes. Preenchimento do questionrio de feedback Finalizao do experimento

9:50 10:00

33

4 ANLISE DOS RESULTADOS

4.1 PLANO DE AVALIAO
Tcnica
Avaliao Ferramenta da

Descrio
Aplicao do questionrio PSSUQ para cada ferramenta avaliada Durante o experimento, um observador ir registrar todas as ocorrncias referentes avaliao das ferramentas.

Registro de ocorrncias Avaliao Experimento do

Ao final da avaliao das ferramentas os alunos iro preencher um questionrio geral, avaliando o andamento do experimento. No final do estudo ser feito um relatrio com a anlise dos dados e lies aprendidas no que diz respeito atuao da sua equipe durante a execuo do experimento.

Relatrio de anlise dos dados

A avaliao dos resultados do experimento deve considerar o uso de tcnicas estatsticas para analisar os dados e responder as questes referentes ao objetivo especfico estabelecido no planejamento deste estudo.

34

4.2 DADOS COLETADOS

Ferramenta DIA Participantes Vinicius Rangel Rodrigo Lopes Alexandre Barbosa Arthur de Moura Laura Barros Gustavo de Lima Gabriel Augusto Mdia Desvio Padro Variancia 1 2 3 4 5 6 7 8 6 6 6 7 7 7 5 7 6 4 7 7 7 6 4 7 3 3 4 3 4 2 3 3 2 2 2 3 3 3 2 3 7 7 7 7 7 7 1 7 2 2 4 5 5 2 1 3 3 3 3 4 4 5 4 5 4,14 3,86 4,71 5,14 5,29 4,57 2,86 5,00 2,12 1,95 1,98 1,86 1,70 2,23 1,57 2,00 4,48 3,81 3,90 3,48 2,90 4,95 2,48 4,00 Questes 9 10 11 12 13 14 15 16 17 18 19 7 7 7 7 6 7 7 5 6 7 7 5 5 6 6 5 5 6 5 5 7 6 7 6 5 5 2 3 4 1 2 3 3 4 1 4 2 2 1 1 3 3 2 2 1 2 1 3 1 5 3 5 7 6 7 3 7 1 1 4 4 3 3 2 1 3 5 3 4 4 4 4 4 4 4 1 1 4,57 4,43 4,00 4,00 3,43 4,14 4,00 3,71 4,14 3,86 4,14 2,15 2,44 2,31 2,16 1,81 1,86 2,00 1,50 1,95 2,73 2,48 4,62 5,95 5,33 4,67 3,29 3,48 4,00 2,24 3,81 7,48 6,14

Tabela 1 - Dados obtidos aps o questionrio - DIA

OVERALL SYSUSE INFOQUAL INTERQUAL 6,53 6,38 6,86 6,00 5,74 6,00 5,43 5,67 3,47 3,13 4,57 2,00 2,37 2,50 2,14 2,67 4,79 6,25 2,29 6,00 2,95 3,00 3,29 2,00 3,63 3,88 4,00 3,00 4,21 4,45 4,08 3,90 2,04 1,93 2,11 2,06 4,26 3,75 4,48 4,51

35

Participantes Vinicius Rangel Rodrigo Lopes Alexandre Barbosa Arthur de Moura Laura Barros Gustavo de Lima Gabriel Augusto Eduardo Barbosa Mdia Desvio Padro Variancia

1 2 3 4 5 7 1 2 2 2 2 2 1 3 3 3 2 2 1 2 5 4 2 4 3 6 7 7 6 7 5 6 4 6 3 3 2 3 3 2 1 1 1 1 4 4,57 3,57 3,14 3,71 3,71 2,07 2,30 1,98 1,98 1,67 4,29 5,27 3,93 3,93 2,79

Ferramenta BR Modelo Questes 6 7 8 9 10 11 12 13 14 15 16 17 18 19 3 1 2 1 3 1 1 1 1 1 2 2 1 1 2 1 1 2 5 3 3 3 3 3 2 2 7 6 2 1 4 3 1 2 3 2 3 2 3 3 6 3 4 2 3 2 7 4 2 2 2 3 5 7 3 4 7 2 6 7 7 3 5 4 4 3 6 7 7 7 7 5 7 3 7 4 4 4 5 3 7 7 3 7 3 2 2 2 4 3 2 2 2 1 2 2 3 3 2 1 1 0 0 2 3 1 1 5 5 4 6 3 4,29 2,14 3,71 2,86 4,86 3,14 3,29 2,71 3,00 3,00 4,57 4,86 5,14 4,86 2,12 1,36 2,25 2,07 2,76 1,04 1,25 1,19 1,41 1,30 2,00 2,38 2,27 2,19 4,50 1,84 5,07 4,29 7,64 1,07 1,55 1,41 1,98 1,70 4,00 5,64 5,14 4,79

Tabela 3 - Dados obtidos aps o questionrio BR Modelo

OVERALL SYSUSE INFOQUAL INTERQUAL 1,84 2,50 1,29 1,67 2,84 1,88 3,14 3,67 2,53 2,13 2,29 4,00 3,58 3,38 3,14 5,00 5,68 6,00 4,71 6,67 5,11 5,38 4,29 5,67 2,42 2,50 2,29 2,33 2,21 1,50 1,71 5,00 3,28 3,16 2,86 4,25 1,87 1,97 1,57 2,21 3,73 3,95 2,81 4,93

36

Participantes Arthur de Moura Eduardo Barbosa Mdia Desvio Padro Variancia

1 1 2 1,50 0,71 0,50

2 2 2 2,00 0,00 0,00

3 2 1 1,50 0,71 0,50

4 3 5 4,00 1,41 2,00

5 0 3 1,50 2,12 4,50

6 1 2 1,50 0,71 0,50

Ferramenta TERRA ER Questes 7 8 9 10 11 2 1 0 5 5 1 3 1 0 1 1,50 2,00 0,50 2,50 3,00 0,71 1,41 0,71 3,54 2,83 0,50 2,00 0,50 12,50 8,00

12 0 1 0,50 0,71 0,50

13 2 1 1,50 0,71 0,50

14 3 3 3,00 0,00 0,00

15 2 1 1,50 0,71 0,50

16 1 2 1,50 0,71 0,50

17 1 2 1,50 0,71 0,50

18 3 2 2,50 0,71 0,50

19 2 1 1,50 0,71 0,50

Tabela 5 - Dados obtidos aps o questionrio TERRA ER

OVERALL SYSUSE INFOQUAL INTERQUAL 1,89 1,50 2,43 1,67 1,79 2,38 1,14 2,00 1,84 1,94 1,79 1,83 1,04 0,97 1,31 0,71 1,84 1,31 3,21 0,50

37

Tabela 4 - Dados levantados do esforo aplicado na execuo do experimento

38

RESPOSTAS DO QUESTIONRIO DE FEEDBACK

Participante Semestre Gabriel Rodrigo Vincius Alexandre Gustavo Eduardo Arthur Laura 5 5 6 4 5 6 4 4 Questo 1 4 meses 4 meses Pouco tempo Curto 1 ms 1 ano e 4 meses 3 meses 4 meses Questo 2 Parcialmente Parcialmente No Dia sim. BrModelo no. Sim Sim Sim Questo 3 Bom timo Regular Bom timo timo Bom Bom Questo 4 Pouco Suficiente Razovel Pouco Suficiente Razovel Pouco Suficiente Suficiente Razovel Razovel Questo 5
Gostei de Conhecer estas ferramentas e acho que a ferramenta brModelo tem grande potencial apesar de no me sentir muito confortvel com a ferramenta DIA.

Foi bastante produtivo, embora o tempo tenha sido curto para testar todas. A ferramenta DIA para MER no muito explicativa . J para outras modelagens ela parece ser muito til. O tempo de apresentao das ferramentas foi insuficiente. A ferramenta BrModelo horrvel. A DIA usvel.
Algumas questes geravam dvidas e incertezas em suas respostas, tais relacionadas a eficincia e eficcia. Sugiro a avaliao se as ferramentas atendem ou no aos vrios elesmentos do Modelo Conceitual.

Senti falta de uma melhor usabilidade nas duas ferramentas. Sugiro um problema menor ou maior tempo para melhor avaliar as ferramentas.
A TerraER a melhor das 3. Para melhorar a BrModelo, preciso aprimorar a interface, os atalhos e adicionar funcionalidades. A DIA eu no considero ferramenta de modelagem.

39

4.3 ANLISE DOS DADOS

4.3.1 VALIDAO DOS DADOS

Alguns participantes no entenderam alguns itens do questionrio. Alguns itens do questionrio no foram preenchidos. O tempo foi insuficiente para completar o estudo de caso. Os alunos chegaram atrasados para o experimento. Alguns participantes no passaram pelo tutorial, pois chegaram atrasados. O estudo de caso da ferramenta DIA foi feita parcialmente pela maioria dos participantes. 4.3.2 RESULTADOS

Q1. Qual a ferramenta que proporciona o maior grau de satisfao do usurio com relao as ferramentas de projeto conceitual de banco de dados?

Ferramenta DIA
7.00 6.00 5.00 4.00 3.00 2.00 1.00 0.00 OVERALL SYSUSE INFOQUAL INTERQUAL Mdia Desvio Padro Variancia

Grfico 1 Anlise da ferramenta DIA

40

Ferramenta BR Modelo
7.00 6.00 5.00 4.00 3.00 2.00 1.00 0.00 OVERALL SYSUSE INFOQUAL INTERQUAL Mdia Desvio Padro Variancia

Grfico 2 Anlise da ferramenta BR Modelo

Ferramenta TERRA ER
7.00 6.00 5.00 4.00 3.00 2.00 1.00 0.00 OVERALL SYSUSE INFOQUAL INTERQUAL Mdia Desvio Padro Variancia

Grfico 3 Anlise da ferramenta TERRA ER

Satisfao Geral OVERALL

Entre as 3 ferramentas analisadas, a ferramenta TERRA ER obteve o maior grau de satisfao, porm ela foi testada somente por 2 participantes, 1 aluno da disciplina de banco de dados e 1 ex-aluno da disciplina de banco de dados. J entre as outras 2 ferramentas avaliadas pelos participantes, a BRMODELO obteve maior grau de satisfao, com uma diferena de 0,93 pontos na mdia. Observa-se tambm que no foi concludo

41

todo o estudo de caso da ferramenta DIA, o que foi prejudicial na anlise da ferramenta e dos resultados.
Utilidade do Sistema SYSUSE A ferramenta TERRA ER obteve melhor grau de utilidade do sistema, porm no um dado vlido, pois a quantidade de amostra foi insuficiente para a confiabilidade da anlise dos dados. Dentre as outras duas ferramentas avaliadas, a BRMODELO obteve o melhor grau de utilidade do sistema. Qualidade da Informao INFOQUAL Entre as ferramentas BRMODELO e DIA, o que apresentou o melhor grau de informao foi a ferramenta BRMODELO. Qualidade da Interface - INTERQUAL A ferramenta que apresentou a melhor qualidade da interface foi a ferramenta DIA com uma diferena de 0,35 pontos. Q2. Qual o esforo do usurio em cada ferramenta? Esforo p/ realizao da tarefa por ferramenta

Tempo gasto para realizar o estudo de caso - BR Modelo

70 60 50 40 30 20 10 0 1 2 3 4 5 6 7 8 Esforo

Grfico 4 Esforo para realizar tarefa na ferramenta BR Modelo

42

Tempo gasto para realizar o estudo de caso - DIA

70 60 50 40 30 20 10 0 1 2 3 4 5 6 7 Esforo

Grfico 5 Esforo para realizar tarefa na ferramenta DIA

Tempo gasto para realizar o estudo de caso - TERRA ER

70 60 50 40 30 20 10 0 1 2 Esforo

Grfico 7 Esforo para preencher o questionrio TERRA ER

No foi possvel concluir o experimento no tempo estipulado, houve atraso na chegada dos alunos, o que dificultou a realizao de todo experimento. O participante nmero 1, conseguiu realizar o estudo de caso completo em duas ferramentas (brModelo e DIA) e na terceira ferramenta (TERRA ER) ficou incompleto. J os demais participantes conseguiram finalizar somente uma ferramenta (brModelo) e deixou incompleta a ferramenta DIA.

43

Analisando o tempo gasto pelo participante nmero 1 notou-se um maior esforo na ferramenta brModelo, 33 minutos, j na ferramenta DIA foi gasto 29 minutos.

Tempo gasto para realizar o estudo de caso

45.00 40.00 35.00 30.00 25.00 20.00 15.00 10.00 5.00 0.00 BR Modelo DIA TERRA ER

Mdia

Grfico 8 Mdia do esforo para realizar o estudo de caso nas 3 ferramentas

Esforo p/ preenchimento do questionrio

Tempo gasto para o preenchimento do questionario PSSUQ - BR Modelo

14 12 10 8 6 4 2 0 1 2 3 4 5 6 7 8 Esforo

Grfico 9 Esforo para preencher o questionrio BR Modelo

44

Tempo gasto para o preenchimento do questionrio PSSUQ - DIA

14 12 10 8 6 4 2 0 1 2 3 4 5 6 7 Esforo

Grfico 10 Esforo para preencher o questionrio DIA

Tempo gasto para o preenchimento do questionrio PSSUQ - TERRA ER

14 12 10 8 6 4 2 0 1
Grfico 11 Esforo para preencher o questionrio TERRA ER

Esforo

Para o preenchimento do questionrio foi gasto mais tempo na ferramenta brModelo (4,85 min) do que na ferramenta DIA (4,28). Vrios fatores podem ter contribudo para esse resultado. Um deles que foi preenchido o questionrio da Ferramenta DIA sem ter terminado de realizar o estudo de caso, o que pode ter gerado uma pressa ao responder o questionrio.

45

Tempo gasto para o preenchimento do questionrio PSSUQ

7 6 5 4 3 2 1 0 BR Modelo DIA TERRA ER Mdia

Grfico 12 Mdia do esforo para o preenchimento do questionrio nas 3 ferramentas

TESTE DE HIPTESES H0 - No h diferena no grau de satisfao obtido pelas ferramentas avaliadas. Houve diferena no grau de satisfao das ferramentas avaliadas. A mdia da ferramenta BRMODELO foi de 3,28 e a da DIA foi de 4,21. H1 - A ferramenta com menor esforo para execuo da tarefa obter maior grau de satisfao. Analisando o tempo do participante n 01 notou-se que houve um maior esforo na ferramenta BRMODELO do que na ferramenta DIA. O grau de satisfao na ferramenta DIA foi de (2,37 pontos), j na ferramenta BRMODELO foi de (3,58 pontos). O que provou que a ferramenta com menor esforo obteve o melhor grau de satisfao. Quanto menor a numerao melhor o grau de satisfao. Esta anlise no possui confiabilidade pois somente um participante conclui o estudo de caso das duas ferramentas, os demais avaliaram incompleto, portanto o esforo no est em conformidade. PERFIL DOS PARTICIPANTES

46

4.3.3

COMENTRIOS ACERCA DAS FERRAMENTAS

BRMODELO Faltam ferramentas e atalhos de teclados. Atalhos geralmente padronizados (CTRL + S, por exemplo). No existe CTRL Z, apaga tudo irreversivelmente. Alguns itens dificultam sua utilizao. Apaguei meu esquema sem recuperao. A maioria das mensagens de erros foram claras. Sem cores e objetos pouco interessantes. 47

Faltam alguns recursos como entidades fracas. DIA Faltam cores e as ligaes so complicadas de ver. Quase no havia mensagens de erros No teve mensagens de erros No usei a ajuda do sistema. TERRA ER No tem um CTRL Z No possui ajuda no sistema.

5 ESFORO DO PROJETO
Tipo Esforo do estudo experimental Descrio Planejamento Execuo Anlise dos Dados Qt. Horas 48h 2h 16h

6 CONCLUSES
6.1 CONCLUSO GERAL
Medir a usabilidade uma tarefa difcil, pois no um produto unidimensional ou

caracterstica do usurio. Os mtodos de medio adequados para avaliar a usabilidade no so fceis de entender e so uma preocupao constantes dos engenheiros de fatores humanos. Em nosso projeto utilizamos como paradigma de avaliao o teste de usabilidade que baseado na observao dos participantes na realizao das tarefas. No final aplicado um questionrio para coletar as opinies dos participantes. Utilizamos o questionrio PSSUQ para avaliar a satisfao do usurio e um questionrio de Feedback para coletar a opinio dos participantes acerca do experimento .

48

O projeto no obteve o sucesso esperado devido a alguns fatores como: quantidade insuficiente para a comparao entre os grupos de participantes e tempo insuficiente para realizao do estudo de caso. Mas como projeto piloto, foi importante para conhecer melhor o funcionamento de um estudo experimental e a partir deste experimento inicial, ser aperfeioado a medida do tempo, para que possa ser aplicado com uma maior grau de confiabilidade.

6.2 ANLISE CRITICA INDIVIDUAL

JNATAS MEDEIROS

1. O que voc mais gostou de fazer nesta tarefa? Gostei deste trabalho por ser algo real e no simulado e que foi realizado na prtica. Gostei de conhecer sobre Engenharia de Software Experimental e de elaborar o estudo experimental. 2. O que voc no gostou de fazer nesta tarefa? Tive dificuldade na traduo dos artigos em ingls, o que consumiu muito tempo para a leitura das referncias bibliogrficas. Houve alguns atrasos na entrega por parte de alguns integrantes do grupo, o que acabava atrasando na elaborao dos artefatos e tendo que corrigir o que tinham sido feito. 3. O que pode ser melhorado nesta tarefa? Realizar um estudo de anlise estatstica para melhorar a anlise dos resultados. Os mtodos estatsticos foram complicados de entender para poder ser aplicado a tempo nesse trabalho.
LUCIANO HIDEACK

4. O que voc mais gostou de fazer nesta tarefa? A parte de anlise de dados, apesar de complexa porque utiliza conceitos provenientes da estatstica, foi a parte mais interessante de se fazer. Alm do que o trabalho foi muito mais perto da realidade do que o primeiro trabalho de gqm. 5. O que voc no gostou de fazer nesta tarefa? Como eu no possua a disciplina de banco de dados, senti certo deslocamento inicial na definio do projeto, mas o Jonatas ajudou apontando materiais de leitura e tarefas de aprendizado do assunto. Portanto eu diria que a parte que menos gostei, ou menos
49

entendi, foi justamente a definio inicial do projeto. 6. O que pode ser melhorado nesta tarefa? Acredito que se possvel deixar a tarefa mais prxima do real, pois como queremos sair da faculdade com o propsito de enfrentar o mercado de trabalho, quando mais real forem as simulaes mais chances de se obter sucesso no mercado de trabalho.

HENRIQUE SANTOS 1. O que voc mais gostou de fazer nesta tarefa? Este trabalho foi interessante por aplicar os conceitos tericos aprendidos em sala de aula na prtica. Pde-se tambm ter um conhecimento mais minucioso sobre ferramentas de banco de dados e fazer uma anlise crtica de suas funcionalidades e interface. Tais estudos aprimoraram meu conhecimento em medio e anlise.

2. O que voc no gostou de fazer nesta tarefa? O complicado nesta tarefa foi a traduo de diversos textos em ingls. Essa foi a parte que menos gostei, pois atrasou de certa forma o desenvolvimento de outras tarefas. 3. O que pode ser melhorado nesta tarefa? No h nada que precise ser melhorado nesta tarefa a no ser um aumento do tempo para que possamos melhorar a anlise.

50

7 BIBLIOGRAFIA
1. Chin, J. P., Diehl, V. A., and Norman, K. (1988). Development of an instrument measuring user satisfaction of the human-computer interface. In the Proceedings of ACM CHI 88 (Washington D.C.), 213-218. 2. Kirakowski, J. (1996). The software usability measurement inventory: Background and usage. In Jordan, P., Thomas, B., and Weerdmeester, B. (Eds.), Usability Evaluation in Industry. UK: Taylor and Francis. 3. A Avaliao da Usabilidade de um Sistema Mdico Inteligente: BCCT.core 4. Usabilidade na Web: uma Proposta de Questionrio para Avaliao do Grau de Satisfao de Usurios do Comrcio Eletrnico 5. Preece, J., Rogers, Y.; Sharp, H. Interaction Design: Beyond Human-computer Interaction. 2nd ed. 2007. John Wiley & Sons Inc. 6. Preece, J., Rogers, Y., and Sharp, H. Human-Computer Interaction. Addison-Wesley, Wokingham, 1994. 7. Lewis, J. R. Usability Testing, 2006. 8. ISO/IEC 9126-4: Software Engineering - Software product quality - Part 4: Quality in use metrics 9. Lewis, J. R. (1991). Psychometric Evaluation of an After-Scenario Questionnaire for Computer Usability Studies: the ASQ. SIGCHI Bulletin, 23(1), 78-81. 10. Lewis, J. R. (1995). IBM Computer Usability Satisfaction Questionnaires: Psychometric Evaluation and Instructions for Use. International Journal of HumanComputer Interaction, 7, 57-78. 11. Brooke, J. (1996). SUS: A quick and dirty usability scale. Usability Evaluation in Industry. UK: Taylor and Francis. 12. Lewis, J. R. Psychometric Evaluation of the PSSUQ Using Data from Five Years of Usability Studies. International Journal of Human-Computer Interaction 14(3&4), 463488 13. REBELO. I. B. Apostila de IHC(Interao Humano Computador). UNIEURO, 2009. 14. Rubin, J. (1994) Handbook of Usability Testing, How to Plan, Design, and Conduct Effective Tests. New York: John Wiley & Sons, Inc. 15. Introduo Engenharia de Software Experimental, aula baseada em material do prof. Manoel mendona, no Livro do Wholine em outros artigos (Kitchenham, Pfleegeretc). 16. GOMES, N. S. Qualidade de Software Uma Necessidade. 17. http://www.ucc.ie/hfrg/questionnaires/sumi/index.html

51

8 APNDICE
8.1 ESTUDO DE CASO
Praticando o uso dos construtores do MER: dado o esquema descritivo a seguir, construa um esquema conceitual de um BD para uma universidade.
preciso conhecer de cada aluno: nome, matrcula, documentos pessoais de identificao (cpf e identidade so nicos para cada aluno), endereo, telefone(s) de contato, data de nascimento, sexo, graduao(es), cursos em que est matriculado e disciplinas em que est matriculado. Cada estudante possui uma matrcula para cada curso que est matriculado. Pode haver aluno sem disciplina e sem curso na universidade. Deve-se prover um relatrio contendo a grade de avaliao dos alunos por turma contendo as suas notas. Deve-se prover tambm o histrico escolar contendo cada disciplina j cursada pelo aluno dentro de um curso (com o ano, semestre em que foi cursada e o resultado final). Restrio: o aluno s pode se matricular em turmas de disciplinas de seu(s) curso(s). Cada disciplina tem um nome, um cdigo, um nmero de horas-aula semanais, e pode ter disciplinas como pr-requisito. O valor do cdigo e do nome nico para cada disciplina. Para cada disciplina de um curso podem ser abertas vrias turmas. Uma disciplina est vinculada, no mximo, um curso. Toda disciplina possui vnculo com, no mnimo, um curso. Cada turma caracterizada por um cdigo, o nmero do ano e do semestre em que ela se realiza, o professor responsvel, e o(s) nmero(s) da(s) sala(s) que ela utiliza. Uma turma s existe se estiver vinculada uma nica disciplina. Cdigo da turma nico em um ano e um semestre para uma determinada disciplina. Cada departamento caracterizado por um nome, um cdigo, um telefone. Tanto o nome como o cdigo tm valores nicos para cada departamento. Cada curso tem um nome, um cdigo, um nmero de horas de aula semestrais e um nico departamento responsvel. O valor do cdigo nico para cada curso. A universidade emprega professores e funcionrios tcnico-administrativos. O funcionrio tem uma matrcula que o identifica univocamente. Alm disso devem ser guardados o nome, endereo, sexo, documentos pessoais, telefone(s) de contato, departamento ao qual est vinculado e data de admisso. Um funcionrio no est vinculado a mais de um departamento. Um professor pode ministrar vrias disciplinas. Deve-se conhecer a capacitao do professor: congressos, cursos de ps-graduao, cursos de extenso, publicaes, etc. importante saber local e data de cada capacitao do professor, assim como, uma breve descrio dessa capacitao.

52

8.1.1

MODELO ER UTILIZANDO O SOFTWARE BRMODELO

53

8.1.2

MODELO ER UTILIZANDO O SOFTWARE DIA

54

8.1.3

MODELO ER UTILIZANDO O SOFTWARE TERRA ER

55

8.2 Questionrio de satisfao do usurio PSSUQ

Nome: ___________________________________________________________________ Matricula: _______________ Ferramenta: Data: 1 2 3 4 5 6 7 1. No geral, estou satisfeito com o quo fcil usar o sistema. Comentrios: 2. Foi fcil utilizar este sistema. Comentrios: 3. Eu pude completar as tarefas e cenrios de forma efetiva, usando este sistema.
Comentrios:
Concordo Fortemente Discordo Fortemente Concordo Fortemente Discordo Fortemente Concordo Fortemente Discordo Fortemente

4. Eu fui capaz de completar as tarefas e cenrios de forma rpida, usando este sistema. Comentrios: 5. Eu fui capaz de completar as tarefas e cenrios de forma eficiente, usando este sistema. Comentrios: 6. Eu me senti confortvel usando este sistema. Comentrios: 7. Foi fcil aprender a usar este sistema. Comentrios:

Concordo Fortemente

Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

56

8. Eu acredito que eu poderia me tornar produtivo rapidamente usando este sistema. Comentrios: 9. As mensagens de erros do sistema foram claras o suficiente para me ajudar na correo erros. Comentrios: 10. Sempre que eu cometi algum erro, eu pude recuperar de forma fcil e rpida. Comentrios: 11. As informaes (como ajuda online, na tela de mensagens e outros documentos) fornecidas com este sistema foram claras. Comentrios: 12. Foi fcil encontrar a informao que eu precisava. Comentrios: 13. A informao fornecida pelo sistema fcil de entender. Comentrios: 14. A informao foi eficaz em me ajudar a completar as tarefas e cenrios. Comentrios: 15. A organizao das informaes nas telas do sistema clara. Comentrios: 16. A interface deste sistema agradvel.

Concordo Fortemente

Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

57

Comentrios: 17. Eu gostei de usar a interface deste sistema. Comentrios: 18. Este sistema tem todas as funes e capacidades que eu esperava que ele tivesse. Comentrios: 19. No geral, estou satisfeito com este sistema. Comentrios:
Concordo Fortemente Discordo Fortemente Concordo Fortemente Discordo Fortemente

Concordo Fortemente

Discordo Fortemente

8.3 Relatrio do observador

Observador: _____________________________________________________ Data: ____/_____/_____ Ferramenta: ___________________________ Este formulrio possuem questes que auxilia na observao do andamento do projeto. Questes Gerais 1. Tempo gasto para realizar o estudo de caso na ferramenta? Grupo 1 - Alunos ID # Hora de Participante Incio Hora do Fim Total Gasto

Grupo 2 - Ex-alunos

58

2. Tempo gasto para o preenchimento do questionrio PSSUQ?

Grupo 2

3. O participante necessitou de ajuda na ferramenta? ID # Quantidade Participante de itens de ajuda.

8.4 Questionrio de Feedback

Participante ID# __________ Data: ____/_____/_____ Semestre: ____________________ Este formulrio possuem questes acerca da conduo do experimento. Questes Gerais 1. Tempo de experincia em ferramentas de projeto conceitual de banco de dados? ______________________________________________________________________________

59

2. Os tutoriais apresentados foram suficientes para entender o funcionamento da ferramenta? ______________________________________________________________________________ 3. Avalie as explicaes antes e durante a sesso de treinamento. 0 Pssimo 1 Ruim 2 Regular 3 Bom 4 timo

4. Avalie o tempo dado para realizar o estudo de caso? * 0 No foi suficiente 1 Pouco suficiente 2 Razovel 3 Suficiente 4 Muito Suficiente

5. Comente sobre a realizao do experimento. Dvidas, sugestes de melhoria e etc. _________________________________________________________________________________________________________ _________________________________________________________________________________________________________ ________________________

8.5 Lista de Participantes

ID # Nome Assinatura

60