Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
r
i
o
n
o
v
a
t
o
d
o
s
i
s
t
e
m
a
U
s
u
r
i
o
e
x
p
e
r
i
e
n
t
e
d
o
s
i
s
t
e
m
a
D
e
s
c
o
n
h
e
c
i
m
e
n
t
o
d
a
t
a
r
e
f
a
C
o
n
h
e
c
i
m
e
n
t
o
d
a
t
a
r
e
f
a
Figura 03. Trs principais dimenses que distinguem o usurio (NIELSEN, 1993).
J a curva de aprendizagem existente tanto para o usurio novato como para
o usurio experiente, representada atravs da Figura 04:
U
s
o
c
o
m
p
r
o
f
i
c
i
n
c
i
a
e
e
f
i
c
i
n
c
i
a
Tempo
F
o
c
o
n
o
u
s
u
r
i
o
n
o
v
a
t
o
Foco no usurio
experiente
Figura 04. Curva de Aprendizagem (NIELSEN, 1993).
Logo, de modo generalizado e observando a curva acima, perceptvel que
para um usurio novato o sistema deve apresentar fcil aprendizagem e pouca
eficincia na utilizao, enquanto que para um usurio experiente, o sistema pode
apresentar maior dificuldade de aprendizagem e alta eficincia na utilizao
(NIELSEN, 1993). Assim, a experincia do usurio est tambm relacionada a projetar
pensando no prazer do mesmo e no apenas na ausncia de desconforto fsico ou
cognitivo (CYBIS et al., 2010).
36
3.5 Teste de Usabilidade
O termo usabilidade bastante utilizado em referncia capacidade de um
produto ser facilmente usado. Porm, a usabilidade no pode ser avaliada analisando-
se o produto de modo isolado do seu contexto de uso, ento, a norma ISO 9241:11
(1999) define, como sendo uma medida na qual um produto pode ser usado por
usurios especficos para alcanar objetivos especficos com eficcia, eficincia e
satisfao em um contexto especifico de uso. Neste caso, a norma ainda explicita os
principais termos da definio:
Eficcia: acurcia e completude com as quais usurios alcanam objetivos
especficos.
Eficincia: recursos gastos em relao acurcia e abrangncia com as quais
usurios atingem objetivos.
Satisfao: ausncia do desconforto e presena de atitudes positivas para com
o uso de um produto.
Contexto de uso: usurios, tarefas, equipamento (hardware, software e
materiais), e o ambiente fsico e social no qual um produto usado.
De tal modo, tendo detalhado cada requisito de usabilidade em termos de
objetivos pretendidos, essa orientao da ISO pode ainda ser usada no intuito de
especificar condies de teste e critrios de avaliao. Com base nisso, a Figura 05
representa o fluxo dos procedimentos para avaliao da usabilidade.
Figura 05. Fluxo de atividades e documentos na avaliao de Usabilidade (ISO, 1999).
37
Enquanto isso, Nielsen (1993, 2007) ainda complementa que a avaliao da
usabilidade pode ser feita em laboratrio, com uma quantidade representativa de
usurios para o qual o sistema foi desenvolvido, ou no prprio ambiente de trabalho
onde o sistema ser implantado, sendo o mais importante nesse processo, utilizar-se
o usurio certo para as tarefas certas, a fim de se obter o mximo de desempenho
avaliativo. Entretanto, em sua definio so priorizados cinco outros atributos, que
podem ser mensurados nas avaliaes de usabilidade de um produto, como: rapidez
com que os usurios podem aprender a usar alguma coisa (facilidade de aprender), a
eficincia deles ao usa-la (eficincia), quanto lembram daquilo (memorizao), seu
grau de propenso a erros (proteo contra erros segurana) e o quanto gostam de
utiliza-la (satisfao) (NIELSEN, 1993, 2007).
38
4 PESQUISA DE USO DO MOODLE
Com o avano tecnolgico e toda as facilidades/praticidades trazidas pelo
Moodle, foram tambm desenvolvidas na instituio as atividades na modalidade
hibrida fazendo uso da plataforma com o intuito de tornar a experincia do aluno mais
atrativa. Porm, para que tal atividade possa responder aos objetivos de ensino e
aprendizagem definidos para os respectivos cursos da instituio, faz-se necessrio
um melhor conhecimento dos aspectos mais valorizados por professores e alunos, no
intuito de construir relaes mais consistentes entre ambos (MORAIS et al., 2013).
Desse modo, foi feito o levantamento da real utilizao do Moodle, no ensino
via blended learning, no perodo de dois meses - coincidindo exatamente com o final
do semestre, onde os acessos em todo o ambiente tornam-se mais frequentes.
4.1 Coleta e tratamento dos dados
Para a realizao da coleta de dados foi necessrio o acesso a plataforma com
um usurio com perfil de Administrador do sistema. Atravs dele foi visualizado um
relatrio de acessos realizados por cada uma das disciplinas ativas no segundo
semestre de 2013. A inteno foi, a partir da identificao das disciplinas com maior
nmero de acessos, estabelecer um ponto de corte para a criao da lista com as
turmas que seriam avaliadas nesta pesquisa.
O relatrio do Moodle fornece um ranking com no mximo noventa e nove
disciplinas disponibilizadas, porm, como este apresentou algumas disciplinas com
baixo nmero de acessos s funcionalidades, foi levado em considerao como ativa
aquela disciplina que obteve um mnimo de duzentos acessos no perodo pesquisado.
Este valor equivale a uma mdia de cem acessos por ms, o que dividido pra uma
base de aproximadamente vinte alunos (em cursos especficos, como Banco de
Dados ou Materiais de Construo, dentre outros) resultaria em apenas cinco acessos
de cada aluno no perodo de quatro semanas.
Diante desse critrio foi possvel relacionar as setenta e duas disciplinas mais
ativas no ambiente, com as respectivas quantidades de acessos, usurios registrados,
professores e curso a qual estava vinculado disciplina listada.
39
Como visto anteriormente, as principais funcionalidades didticas do Moodle
so agrupadas em duas categorias: RECURSOS e ATIVIDADES. Entre os recursos,
possvel citar criar pgina de texto simples, link a um arquivo ou a pgina web e
visualizar diretrio. Entre as atividades encontram-se chat, frum, questionrio,
envio de arquivo, wiki dentre outras.
Aps o levantamento inicial, a coleta de dados foi direcionada para cada uma
das setenta e duas disciplinas listadas. Ainda com acesso com o perfil de
administrador, a tarefa era acessar cada uma e fazer a verificao da utilizao de
cada funcionalidade do ambiente na disciplina. Essa verificao foi registrada em uma
planilha eletrnica, como a exibida na figura 06, sendo possvel observar uma relao
completa das disciplinas mais ativas, aps a coleta dos dados.
Figura 06. Exemplo da planilha de coleta e registro das funcionalidades das disciplinas.
Assim, a tabela da Figura 06 serviu como base para a coleta e anlise das
informaes que foram adquiridas ao longo da pesquisa de utilizao do Moodle,
sendo exemplificadas na figura 07. No caso, do exemplo a seguir, a figura contm
apenas algumas das disciplinas mais ativas, mediante resultados obtidos (veja tabela
completa com as vinte disciplinas mais ativas no Anexo A).
40
Figura 07. Exemplo da planilha de registro da presena de funcionalidades em cada disciplina.
De modo anlogo, foi utilizada outra planilha similar com o objetivo de se
registrar quantas vezes cada funcionalidade ocorria em cada uma das disciplinas.
Assim se obteria outro dado importante que indicaria, entre as funcionalidades mais
usadas, quanto cada uma estava sendo utilizada em cada disciplina, tais dados so
tambm exemplificados na Figura 08 ( possvel observar a tabela completa, com as
vinte disciplinas mais ativas no anexo B).
Figura 08. Exemplo da planilha de registro da utilizao das funcionalidades.
41
Essa planilha permitiu a verificao em nmeros percentuais de uso para cada
funcionalidade e assim tambm estabelecer outro ranking de recursos e atividades
para permitir, por exemplo, investigar as razes das funcionalidades com baixa
utilizao.
Outra importante coleta de dados foi feita para se saber o nmero de disciplinas
de cada curso de graduao da UNIVASF, por semestre letivo. A inteno era
estabelecer uma relao entre o nmero de disciplinas ativas do curso no Moodle e o
nmero total de disciplinas daquele curso no semestre. Essa relao indicaria quais
os cursos de graduao que possuem mais disciplinas usando o Blended Learning e
qual a mdia geral de utilizao entre os cursos, para se determinar o quanto esta
modalidade ainda pode crescer internamente na IES.
4.2 Resultados e Discusses
Aps a coleta e conferncia dos dados nas planilhas, foram feitas vrias
anlises para obter os resultados desta pesquisa e possibilitar discusses de
estratgias e propostas sobre o Blended Learning na UNIVASF.
4.2.1 Anlise do levantamento das Funcionalidade Utilizadas
Em relao s funcionalidades do Moodle que esto presentes nas diversas
disciplinas e seus respectivos percentuais de utilizao, o Tabela 01 exibe a
consolidao dos dados coletados na planilha exemplificada pela Figura 07,
agrupando recursos e atividades presentes nas disciplinas analisadas.
42
Tabela 01. Ranking das funcionalidades disponibilizadas no Moodle na UNIVASF.
Funcionalidades Disponibilizadas
Frum 96%
Link a um arquivo/site 90%
Envio de Arquivos 51%
Rtulo 50%
Visualizar diretrio 35%
Questionrio 17%
Chat 14%
Escolha 8%
Dirio 6%
Wiki 6%
Glossrio 4%
Lio 4%
Feedback 1%
Base de Dados 0%
Esse ranking indica que a atividade Frum est presente em 96% das setenta
e duas disciplinas pesquisadas. J o recurso Link a um arquivo/site, usado em 90%
das disciplinas. Ao se considerar um indicador mediano, percebe-se ento a
preferncia pelo uso de somente quatro funcionalidades do Moodle nessas disciplinas.
A Tabela 03 consolida os dados coletados e exemplificados na Figura 08. Nele
feito o detalhamento a partir da contagem de quantas vezes cada funcionalidade
usada em cada disciplina, depois transformada em percentual, a partir da diviso do
nmero de ocorrncia do recurso ou atividade na disciplina pelo nmero total de
recursos contabilizados em todo o levantamento.
Para exemplificar, tome por base a soma dos totais de recursos e a soma dos
totais de atividades em todas as disciplinas analisadas, para calcular o percentual do
Recurso Link a um arquivo/site e o percentual para a atividade Envio de Arquivos,
conforme a Tabela 02.
43
Tabela 02. Clculo do percentual de funcionalidades nas disciplinas analisadas.
Indicador Total de Ocorrncias
Contagem dos recursos disponibilizados em
todas as disciplinas
1692
Contagem do recurso Link a um arquivo/site
nas disciplinas
1530
% de utilizao do Recurso Link a um
arquivo/site
1530/1692 = 0,904 = 90%
Contagem das atividades disponibilizadas em
todas as disciplinas
496
Contagem da atividade Envio de Arquivos
nas disciplinas
230
% de utilizao da Atividade Envio de
Arquivos
230/496 = 0,463 = 46%
Desse modo, aplicando-se os clculos descritos anteriormente, foi possvel se
obter um ndice geral de utilizao das funcionalidades presentes no ambiente, veja.
Tabela 03. Ranking das funcionalidades utilizadas no Moodle na UNIVASF.
Funcionalidades Utilizadas
Link a um arquivo/site 90%
Envio de Arquivos 46%
Frum 34%
Questionrio 9%
Rtulo 6%
Visualizar diretrio 3%
Lio 3%
Chat 2%
Escolha 2%
Dirio 1%
Glossrio 1%
Wiki 1%
Base de Dados 0%
Feedback 0%
44
Esses resultados indicam a predominncia do uso de somente trs
funcionalidades do Moodle nas diversas disciplinas que o utilizam como apoio ao
ensino-aprendizagem. Isso evidencia uma subutilizao do ambiente, muito
provavelmente por desconhecimento das demais funcionalidades pelos professores
usurios. Isso pode ser comprovado atravs da continuao deste estudo.
De certa forma, pode-se considerar certo desperdcio de infraestrutura
computacional usar somente poucas funes de uma plataforma to abrangente e que
exige bons servidores, recursos de rede, pessoal qualificado para suporte, dentre
outros requisitos para adoo do Moodle no ambiente acadmico, para o estudo de
caso da UNIVASF, como comprova esta pesquisa.
4.2.2 Anlise da utilizao da modalidade nos diversos Cursos
Outra etapa da coleta de dados foi o levantamento de quantas disciplinas cada
curso de graduao da UNIVASF oferta em cada semestre, j que existem cursos
com entradas semestrais e outros com entradas anuais. A inteno estabelecer um
comparativo entre as disciplinas ofertadas e as que esto no ambiente virtual, ativas
ou simplesmente criadas, mas sem acessos recentes.
Assim como na seo anterior foi calculado um percentual de utilizao da
plataforma na modalidade blended learning por curso/colegiado pesquisado, tais
resultados esto dispostos no Tabela 05. Primeiramente, observe como foi feito o
clculo para obteno do percentual de utilizao atravs do exemplo abaixo
(Colegiado de Educao Fsica):
Tabela 04. Demonstrativo do clculo do percentual de utilizao do Moodle.
Indicador Total de ocorrncias
Disciplinas Ativas do curso no
Moodle (Semestre 2013.2)
11
Total de Disciplinas do curso no
semestre Par (2013.2)
26
% de utilizao no Curso: 11/26 = 0,42308 = 42%
Tomando como base tal demonstrao, e tendo posse dos dados obtidos com
a pesquisa de uso, chegou-se ao quadro seguinte.
45
Tabela 05. Ranking de utilizao da plataforma Moodle por Colegiado.
Colegiado
NDS(*)
Par
NDS
Impar
Disciplinas
em Atividade
Disciplinas
Ativas
Utilizao
Educao Fsica 26 26 30 11 42%
Eng. Mecnica 29 31 19 6 19%
Artes Visuais 15 17 16 3 18%
Administrao 48 48 30 8 17%
Enfermagem 10 12 9 2 17%
Eng. de Produo 33 31 24 5 16%
Eng. Agrcola e Ambiental 35 33 40 5 15%
Eng. de Computao 34 33 22 5 15%
Cincias Farmacuticas 51 51 31 7 14%
Eng. Eltrica 37 32 16 3 9%
Medicina Veterinria 57 57 9 5 9%
Cincias Biolgicas 48 48 21 4 8%
Cincias da Natureza SBF 37 37 17 3 8%
Eng. Civil 35 38 26 3 8%
Cincias da Natureza SRN 14 23 28 1 4%
Eng. Agronmica 34 34 14 1 3%
Arqueologia e Preserv. Patrimonial
20 19 15 0 0%
Cincias Sociais 31 31 2 0 0%
Medicina 54 54 15 0 0%
Psicologia 56 56 5 0 0%
Zootecnia 31 40 12 0 0%
Mdia Geral 10,60%
(*) Nmero de Disciplinas previstas no Semestre. Fonte: Projeto Pedaggico dos cursos.
A tabela composta pelas colunas - da esquerda pra direita - respectivamente:
Colegiado, Quantidade de disciplinas por semestre (par ou mpar), Disciplinas
existentes no Moodle, Disciplinas ativas (com o mnimo de 200 acessos) e finalmente,
a Percentagem de utilizao; deixa bem claro a escassa utilizao da plataforma no
auxlio modalidade de ensino mista, visto a grande quantidade de colegiados que
no atingem sequer os 10,60% tomados como mdia geral de utilizao por colegiado
(sendo estes, num total de doze dos vinte e um colegiados existentes).
46
5 EXPERIMENTO CONTROLADO
Segundo Prates et al.(2003), um dos aspectos fundamentais ao sucesso de um
software a qualidade da sua interface com os usurios, dependendo de diversos
fatores que incluem desde a satisfao subjetiva do usurio at o retorno do
investimento. Assim, a principal mtrica utilizada para tal a usabilidade.
Ainda, de acordo com o autor (PRATES et al., 2003), a qualidade de uma
interface educacional requer que ela preencha os requisitos de um software qualquer,
entretanto, isto no suficiente para atest-la. Desse modo, para ser considerada de
boa qualidade, a interface educacional deve conseguir atingir com sucesso o seu
principal objetivo, proporcionar o aprendizado de um contedo pelo usurio.
Conhecendo tais aspectos e com o intuito de analisar o desempenho dos
usurios (professores e alunos) mediante os dois ambientes, Amadeus e Moodle, foi
realizado um experimento controlado seguido da aplicao de um survey de avaliao
que sero sintetizados nas sees seguintes, bem como os resultados obtidos.
O experimento controlado foi composto, basicamente, da realizao de trs
tarefas as mais utilizadas segundo a pesquisa de uso do Moodle - em cada um dos
ambientes, mediante monitoramento (captura da tela) pelo aplicativo gratuito
CamStudio, sendo possvel assim, a anlise das tarefas posteriormente, bem como a
realizao de comparativos do tempo de execuo das mesmas. Enquanto que, o
survey foi um formulrio online que tinha o intuito de obter informaes dos usurios,
de modo a classificar os ambientes utilizados e avalia-los nos quesitos de usabilidade:
eficcia, eficincia e satisfao; como define a norma ISO 9241:11 (1999).
5.1 Materiais
Os recursos necessrios para a realizao do experimento controlado, assim
como o survey de avaliao, foram alguns computadores do Laboratrio de
Programao Avanada (Univasf campus Juazeiro) e notebook (pessoal) com acesso
a rede de internet, ferramenta de captura de tela (CamStudio), usurios pr-
configurados nos ambientes virtuais, Amadeus e Moodle, bem como os prprios
ambientes instalados e com acesso nos servidores da Universidade. Alm de, claro,
os respectivos roteiros das tarefas impressos.
47
Os ambientes utilizados encontram-se instalados nas seguintes verses:
Amadeus v.00.96.30 e Moodle v.2.2.2. J a ferramenta CamStudio utilizada tinha
como verso 2.7.2. O formulrio, do survey, foi desenvolvido atravs do Google Docs,
e sua vantagem sobre os demais servios especializados em formulrios foi a
integrao com os outros servios da empresa, desse modo havia um arquivo,
planilha, .xlsx vinculado ao prprio formulrio no intuito de armazenar todas as
respostas obtidas de cada usurio, facilitando a anlise dos resultados.
5.2 Participantes
De acordo com Dumas e Redish (apud Preece et al., 2005), para este tipo de
pesquisa teste com usurios o nmero de participantes necessrios fica entre os
5 a 12, recomendados por especialistas de usabilidade, sendo o suficiente para
representar a populao.
Assim, o experimento foi realizado com um total de 24 voluntrios divididos
em 16 alunos e 8 professores , sendo estes pertencentes aos diversos colegiados
da universidade: Administrao, Artes Visuais, Cincias Sociais, Enfermagem,
Engenharia Agrcola e Ambiental, Engenharia Civil, Engenharia da Computao,
Engenharia de Produo, Medicina Veterinria, Psicologia.
Com o auxlio do survey de avaliao foi possvel tambm determinar algumas
caractersticas dos perfis dos participantes, que auto avaliaram-se, em sua grande
maioria, como tendo apenas o conhecimento bsico na rea de informtica. No que
se refere a utilizao de ambientes virtuais: 25% dos alunos nunca utilizaram, 69%
disseram ser pouco experientes e apenas 1 aluno se julgou como experiente;
paralelamente, metade dos professores classificou-se como pouco experiente e a
outra metade disse nunca ter utilizado um ambiente virtual de aprendizagem.
O nmero reduzido de participantes se deve ao fato de um dos pr-requisitos
para a participao dos mesmos ser a no utilizao ou pouca experincia com
ambientes virtuais, de modo que a amostra no tivesse conhecimentos prvios das
tarefas, o que faria do resultado obtido tendencioso. Essa dificuldade em obter os
participantes sem contato com AVA - tambm justifica a anlise de carter apenas
qualitativo do experimento, visto que a grande maioria dos professores alm de
48
lecionar no ensino presencial, tambm professor ou tutor de alguma disciplina nos
cursos a distncia oferecidos pela prpria universidade.
No quesito gnero, o grupo de alunos era composto por 81% de mulheres e
apenas 19% de homens, enquanto que o grupo de professores se dividiu
equivalentemente entre homens e mulheres. Em contrapartida, analisando-se a faixa
etria dos voluntrios, no grupo de alunos 13% encontravam-se na faixa de 15 a 20
anos, 56% na faixa de 20 a 25, 25% na faixa de 25 a 30, e apenas 6% na faixa de 30
a 35; j no grupo de professores a faixa etria, um pouco mais alta, dividiu-se como
12,5% na faixa de 20 a 30 anos, 37,5% na faixa de 30 a 40, 37,5% na faixa de faixa
de 40 a 50 e 12,5% na faixa de 50 a 60.
5.3 Tarefas
As tarefas realizadas nos dois ambientes, foram exatamente as constatadas
como mais utilizadas na pesquisa de uso do Moodle (Quadro 06 da seo 4.2.1) -
realizada na primeira etapa desta pesquisa -, como mostra a figura a seguir:
Figura 09. Ranking das trs funcionalidades mais utilizadas no Moodle.
As mesmas so descritas detalhadamente nas subsees seguintes, de modo
anlogo ao contedo dos roteiros utilizados pelos participantes durante a realizao
do experimento e como visto na reviso bibliogrfica, que de acordo com Benyon
(2011), define GOMS como um mtodo de anlise cognitiva de tarefas e que tem como
objetivo descreve-las nos termos de: metas, operadores, mtodo e regras de seleo.
De modo a possibilitar a melhor execuo das tarefas, as mesmas foram
dispostas na seguinte ordem de execuo: Envio de Arquivo, Frum e Link a um
arquivo ou site. Vale ressaltar ainda que, no roteiro utilizado continha todas as
instrues necessrias execuo das tarefas, inclusive identificadores, localizao
e nome de tpicos, arquivos, links, comentrios, etc.; no intuito de evitar o desperdcio
49
de tempo, dos participantes, com tais quesitos e sua consequente interferncia na real
dificuldade destes em utilizar os ambientes.
5.3.1 Tarefa 1
A primeira tarefa consistia no envio de um arquivo, sendo realizada pelos
alunos tinha como objetivo que o aluno enviasse um arquivo localizado na rea de
trabalho do computador, como se estivesse enviando uma atividade avaliativa de um
curso para ser avaliada pelo seu respectivo professor. Enquanto isso, o objetivo dos
professores era exatamente disponibilizar essa atividade, possibilitando aos alunos
que lhes enviassem um arquivo contendo uma atividade realizada.
Ambas atividades foram realizadas nos dois ambientes e so descritas
respeitando as particularidades de cada um (ambiente), nas instrues, alm de
seguir o mtodo de GOMS:
Meta: disponibilizar ou enviar um arquivo com uma atividade dentro do prazo
estabelecido.
Operadores:
Alunos: link para envio na pgina do curso, boto selecionar arquivo,
boto enviar arquivo.
Professores: link para acrescentar atividade (envio de arquivo nico),
boto para salvar a atividade de envio.
Regras de seleo: escolher o link para envio correto; escolher o arquivo
indicado.
Mtodo: sequncia de tarefas como mostra o quadro a seguir.
50
Participante Ambiente Descrio
Alunos
Amadeus
1.1 Localize e acesse a atividade para envio do arquivo de
nome ENVIO_1.
1.2 Coloque como nome o seu IDENTIFICADOR.
1.3 Envie o arquivo localizado na rea de Trabalho:
teste.docx.
1.4 Terminado selecione Enviar Arquivo e Fechar.
Moodle
1.1 Localize e acesse a atividade para envio do arquivo de
nome ENVIO_1.
1.2 Envie o arquivo localizado na rea de Trabalho:
teste.docx.
1.3 Retorne pgina inicial do curso (TCC) no Moodle.
Professores
Amadeus
1.1 Em ATIVIDADE selecione adicionar (+) e na Lista Nova
Atividade, escolha a opo ENTREGA DE MATERIAL.
1.2 Insira como nome ENVIO_2.
1.3 Adicione uma breve descrio (Atividade avaliativa)
1.4 Adicione a Data de Entrega (01.08.2014).
1.5 Ao final salve tudo, para retornar tela inicial do
Mdulo.
Moodle
1.1 Em ACRESCENTAR ATIVIDADE selecione ENVIO DE
ARQUIVO UNICO.
1.2 Insira como nome ENVIO_2.
1.3 Adicione uma breve descrio (Atividade avaliativa)
1.4 Mantenha as configuraes pr-estabelecidas.
1.5 Ao final salve tudo.
1.6 Retorne pgina inicial do curso (TCC) no Moodle.
Quadro 04. Mtodo da Tarefa 1 - Envio de Arquivo.
5.3.2 Tarefa 2
A segunda tarefa consistia na participao de um frum. Sendo realizada
pelos alunos tinha como objetivo que o aluno interagisse com o professor e/ou demais
colegas de curso, enviando uma dvida (pergunta pr-definida) para um tpico
disponibilizado pelo professor. Em contrapartida, o objetivo dos professores era
exatamente criar e disponibilizar esse frum com o respectivo tpico de Dvidas para
que o aluno pudesse participar.
As tarefas foram realizadas nos dois ambientes e so descritas respeitando as
particularidades de cada um, nas instrues, alm de seguir o mtodo visto,
anteriormente, de GOMS:
Meta: disponibilizar e/ou comentar num frum.
51
Operadores:
Alunos: link/boto para frum na pgina do curso, caixa de texto, boto
enviar comentrio (responder).
Professores: link para acrescentar atividade (frum), boto para salvar o
frum, boto para acrescentar novo tpico, caixa de texto, boto para
enviar mensagem ao frum.
Regras de seleo: escolher o link/boto para frum correto.
Mtodo: sequncia de tarefas como mostra o Quadro 05.
Participante Ambiente Descrio
Alunos
Amadeus
2.1 Localize e acesse o frum de nome FORUM_1.
2.2 Comente/Responda no tpico: FORUM_1 colocando a
questo Como utilizar o Amadeus?
2.3 Retorne pgina inicial do CURSO TESTE.
Moodle
2.1 Localize e acesse o frum de nome FORUM_1.
2.2 Comente/Responda no tpico: DVIDAS com a
questo Como utilizar o Moodle?
2.3 Retorne pgina inicial do curso (TCC) no Moodle.
Professores
Amadeus
2.1 Em ATIVIDADE selecione adicionar (+) e na Lista Nova
Atividade, escolha a opo FORUM.
2.2 Insira como nome do tpico FORUM_2.
2.3 Adicione uma breve descrio (Frum Teste) e clique
em Salvar.
2.4 Clique em Salvar (novamente) para retornar tela
inicial do Mdulo.
2.5 Clique sobre o Frum Teste criado (em Responder) e
acrescente uma Resposta (Postem suas dvidas)
2.6 Clique em ENVIAR.
2.7 Clique em FECHAR, para retornar tela inicial do
Mdulo.
Moodle
2.1 Em ACRESCENTAR ATIVIDADE crie um FORUM.
2.2 Insira como nome FORUM_2.
2.3 Adicione uma breve introduo (Frum Teste)
2.4 Mantenha as configuraes pr-estabelecidas.
2.5 Ao final salve tudo.
2.6 Adicione um NOVO TOPICO DE DISCUSSO (Dvidas)
2.7 Insira uma breve mensagem (Postem suas dvidas)
2.8 Ao final ENVIE MENSAGEM AO FORUM.
2.9 Retorne pgina inicial do curso (TCC) no Moodle.
Quadro 05. Mtodo da Tarefa 2 - Frum.
52
5.3.3 Tarefa 3
A terceira tarefa consistia no acesso a um link a um arquivo ou site. Realizada
pelos alunos tinha como objetivo que o aluno apenas o acessasse realizando o
download do mesmo, como sendo um material disponibilizado pelo professor do
curso. J o objetivo dos professores era exatamente criar e disponibilizar esse link
permitindo que o aluno pudesse efetuar o download desse arquivo, que se encontrava
na rea de trabalho.
As atividades foram realizadas nas duas plataformas, Amadeus e Moodle, e
so descritas respeitando as particularidades de cada ambiente, nas instrues, alm
de seguir o mtodo de GOMS:
Meta: disponibilizar ou fazer o download de um arquivo.
Operadores:
Alunos: link para download na pgina do curso.
Professores: link/boto para acrescentar recurso (link a um arquivo ou
site), boto para escolher o arquivo a ser disponibilizado, boto para
salvar o recurso criado.
Regras de seleo: escolher o link para download correto; escolher o arquivo
indicado.
Mtodo: sequncia de tarefas como mostra o quadro a seguir:
53
Participante Ambiente Descrio
Alunos
Amadeus
3.1 Localize e acesse o arquivo ou site de nome: LINK_1.
3.2 Efetue o download do mesmo.
Moodle
3.1 Localize e acesse o arquivo ou site de nome: LINK_1.
3.2 Efetue o download do mesmo.
3.3 Retorne pgina inicial do curso (TCC) no Moodle.
Professores
Amadeus
3.1 No canto inferior direito do mdulo, selecione a opo
EDITAR.
3.2 Em MATERIAIS selecione adicionar (+) e em seguida,
Novo Material.
3.3 Insira como nome LINK_2.
3.4 Acrescente o arquivo localizado na AREA DE
TRABALHO, chamado TESTE.PDF
3.5 Ao final Envie o arquivo e clique em Salvar.
Moodle
3.1 Em ACRESCENTAR RECURSO crie UM LINK A UM
ARQUIVO OU SITE.
3.2 Em Geral, insira como nome LINK_2.
3.3 Em Link a um arquivo ou site, escolha o arquivo
localizado na AREA DE TRABALHO, chamado TESTE.PDF
3.4 Em Janela, escolha a opo Nova Janela.
3.5 Ao final salve tudo.
3.6 Retorne pgina inicial do curso (TCC) no Moodle.
Quadro 06. Mtodo da Tarefa 3 - Link a um arquivo/site.
5.4 Procedimento
O procedimento adotado consistiu inicialmente numa breve descrio de
ambientes virtuais de aprendizagem, citando como exemplo as duas plataformas,
Amadeus e Moodle, seguida da entrega dos roteiros com as respectivas tarefas,
descritas na seo anterior, e o identificador a ser utilizado por cada participante de
modo a garantir o anonimato dos voluntrios que tambm continha a ordem de
utilizao dos ambientes.
Diante de um computador configurado para realizao do experimento, o
participante j tinha acesso direto aos ambientes - feito logon com usurios criados
especialmente para tal atividade -, no sendo necessrio nenhum cadastro prvio por
parte dos mesmos. Iniciadas as atividades, os voluntrios dispunham do tempo que
julgassem necessrio para realizao das trs tarefas, de modo a finalizar
completamente cada uma delas nos dois ambientes.
54
Terminada a execuo, das trs tarefas, no primeiro ambiente o participante
era instrudo a salvar o arquivo do CamStudio e iniciar outra gravao na segunda
plataforma. A ordem de execuo foi dividida de modo a ser metade dos voluntrios
iniciada pelo Amadeus e a outra metade pelo Moodle, no intuito de evitar a influncia
da curva de aprendizagem na execuo das atividades no segundo ambiente, fazendo
assim com que os resultados obtidos fossem o mais imparcial possvel, ou seja,
impedindo que o primeiro ambiente sasse prejudicado pela ausncia de experincia
do usurio em ambientes virtuais.
Ao termino das tarefas, no segundo ambiente, o usurio deveria salvar o
segundo arquivo do CamStudio e finalizava assim, o experimento.
5.5 Survey
Finalizado o experimento, o usurio era direcionado a uma pgina que continha
o formulrio a ser respondido, utilizando como parmetro para as respostas a escala
Likert de 5 nveis classificados como: Muito fcil (1), Fcil (2), Normal (3), Difcil (4),
Muito difcil (5) -, a anlise desses resultados ser apresentada no captulo posterior.
As perguntas do survey foram distribudas em algumas categorias, como por
exemplo: questes sobre o perfil dos participantes, questes sobre os ambientes
virtuais Amadeus e Moodle e seus respectivos componentes, e finalmente
questes sobre as tarefas executadas em cada uma das plataformas.
Tal diviso, tinha como nico intuito, facilitar a anlise das respostas obtidas,
proporcionando assim, traar os perfis dos usurios, avaliar os ambientes nos
quesitos de usabilidade, alm de, claro, avaliar o desempenho e a satisfao dos
voluntrios nestes ambientes durante a execuo das tarefas propostas.
Na primeira categoria perfil dos participantes haviam seis perguntas, como:
identificador, sexo, idade, funo (aluno(a)/professor(a)), experincia com ambientes
virtuais e familiaridade com a informtica.
A segunda era composta por oito perguntas, divididas equitativamente entre os
dois ambientes, isto , era composto por 4 perguntas sobre o Amadeus e as mesmas
4 perguntas, sobre o Moodle. Terminada esta categoria, haviam 2 perguntas que
solicitavam ao participante escolher o(s) ambiente(s) que julgasse mais fcil/amigvel
55
e aquele que utilizaria no auxlio do processo de ensino/aprendizagem em uma
disciplina.
E, finalmente, na terceira categoria de perguntas, haviam 6 que solicitavam ao
voluntrio avaliar a realizao de cada atividade nos dois ambientes, ou seja, de modo
similar a segunda categoria as questes eram divididas igualmente, sendo 3 para
cada plataforma, referente as trs tarefas desenvolvidas.
56
6 RESULTADOS E DISCUSSES
Aps realizao do experimento controlado, com professores e alunos, bem
como o survey de avaliao dos ambientes utilizados, neste captulo sero descritos
e analisados os resultados obtidos e suas discusses. Portanto, as sees seguintes
sero divididas em tarefas e survey de modo a proporcionar uma melhor anlise de
cada etapa que comps o experimento realizado e survey de avaliao.
Vale ressaltar ainda que, devido ao perfil adotado como ideal usurios que
no tenham conhecimento/experincia com ambientes virtuais de aprendizagem
para participao no experimento, o nmero de participantes foi escasso,
principalmente no grupo dos professores, de modo a tornar a amostra apenas
suficiente para anlises qualitativas.
6.1. Tarefas
As tarefas foram realizadas em sua totalidade nos dois ambientes e pelos dois
grupos de participantes, sem que houvesse um tempo limite para sua execuo.
Como ser visto a seguir, houve uma pequena diferena nos tempos de execuo
comparando o ambiente utilizado e/ou a ordem de realizao nos dois ambientes, tais
fatores tambm sero discutidos nas subsees posteriores.
Assim, de modo a compreender detalhadamente a execuo das tarefas, seus
tempos e desempenho, as subsees posteriores apresentam esses resultados.
6.1.1 Tarefa 1
priori definida como envio de um arquivo, a tarefa 1, foi realizada com um
melhor tempo de execuo - de modo geral - no ambiente virtual Moodle, tanto por
professores quanto por alunos. Esse fato pode ser melhor observado atravs dos
grficos a seguir, onde esto representados todos os tempos de execuo de todos
os participantes, separados por grupo de execuo na figura 10, o grfico de alunos
e na figura 11, o grfico de professores.
57
Figura 10. Tempo de execuo da Tarefa 1 - Alunos
Como pode ser observado, o grfico apresenta resultados parecidos, de modo
geral, sobressaindo-se apenas dois picos no tempo de execuo no ambiente
Amadeus, o que posteriormente vir a configurar uma melhor eficcia do ambiente
virtual Moodle.
A maior diferena apresentada entre os alunos observada nos tempos de
execuo do Aluno 08 que leva mais de 1 minuto de diferena para executar a mesma
atividade no ambiente Amadeus, porm, tal fato pode ser justificado devido a ordem
de execuo nos ambientes, posto que ele iniciou exatamente por esta plataforma.
Figura 11. Tempo de execuo da Tarefa 1 - Professores
0:00:00
0:00:17
0:00:35
0:00:52
0:01:09
0:01:26
0:01:44
0:02:01
Tempo Execuo Tarefa 01 (Professores)
Tempo Moodle
Tempo Amadeus
0:00:00
0:00:17
0:00:35
0:00:52
0:01:09
0:01:26
0:01:44
Tempo Execuo Tarefa 01 (Alunos)
Tempo Moodle
Tempo Amadeus
58
A execuo pelo grupo de professores se comportou de modo mais homogneo
que os alunos, apresentando curvas semelhantes para ambos ambientes, mas, ainda
assim, mostrando tempo maior de execuo no geral - no Amadeus. Em
contrapartida, o maior pico de tempo apresentado foi exatamente o representado pelo
Professor 08 ao desenvolver a tarefa 1 no Moodle, seu ambiente inicial durante a sua
participao no experimento.
J em relao as principais diferenas entre os ambientes, o professor 01
apresentou uma diferena de cerca de 38 segundos entre Moodle e Amadeus, sendo
o tempo maior atribudo primeira plataforma utilizada.
No intuito de facilitar a anlise dos tempos gastos, estes foram classificados em
menores, maiores, e tempos mdios de ambos os grupos em relao a Tarefa 1 e so
exibidos no quadro a seguir, onde os valores so representados no formato de
hora/minutos/segundos.
Participantes Ambiente Virtual Tempo Mdio Menor Tempo Maior Tempo
Alunos
Amadeus 0:00:40 0:00:18 0:01:24
Moodle 0:00:31 0:00:11 0:00:57
Professores
Amadeus 0:01:06 0:00:40 0:01:38
Moodle 0:00:49 0:00:21 0:01:47
Quadro 07. Tempos de execuo da Tarefa 1 - Envio de Arquivo
Os dados do quadro sintetizam todos os valores obtidos atravs da execuo
da atividade, de modo a tornar melhor visvel a diferena de execuo nos dois
ambientes. Analisando, primeiramente, o grupo dos alunos a diferena da mdia
obtida nos ambientes utilizados foi de apenas 9 segundos e se a anlise passar a ser
referente ao grupo de professores esse nmero fica em torno de 17 segundos.
Nmeros muito pequenos se ainda levado em considerao o fator constatado
anteriormente, os maiores tempos obtidos na Tarefa 1 foram referentes aos ambientes
utilizados inicialmente no experimento, por cada participante.
59
6.1.2 Tarefa 2
Definida como frum, a tarefa 2, foi realizada com um melhor tempo de
execuo no ambiente virtual Amadeus pelo grupo de alunos, e no ambiente virtual
Moodle pelos professores. Tais resultados podem ser melhor observados atravs dos
grficos a seguir, onde esto representados todos os tempos de execuo dos
participantes, divididos por seus respectivos grupos na figura 12, o grfico de alunos
e na figura 13, o grfico de professores.
Figura 12. Tempo de execuo da Tarefa 2 - Alunos
Como pode ser observado, o grfico apresenta resultados parecidos, apenas
na metade dos dados exibidos, sobressaindo-se ainda alguns picos no tempo de
execuo no ambiente Moodle. Estes picos, referentes aos alunos 06, 12, 13 e 15,
ocorrem exatamente com alunos que iniciaram a atividade por esta plataforma.
Analisando a maior variao entre os tempos de execuo dos participantes, a
maior diferena apresentada entre os alunos observada nos tempos de execuo
do Aluno 06 que leva cerca de 1 minuto de diferena a menos para executar a tarefa
no Amadeus.
0:00:00
0:00:17
0:00:35
0:00:52
0:01:09
0:01:26
0:01:44
Tempo Execuo Tarefa 02 (Alunos)
Tempo Amadeus
Tempo Moodle
60
Figura 13. Tempo de execuo da Tarefa 2 - Professores
O grupo de professores se comportou, mais uma vez, de maneira mais
homognea que os alunos, apresentando curvas muito semelhantes nos dois
ambientes, mas, ainda assim, mostrando tempo maior de execuo novamente no
Amadeus, de um modo geral. Em contrapartida o maior pico de tempo apresentado
foi, mais uma vez, realizado pelo Professor 08 ao desenvolver a tarefa 2 no Moodle.
A principal diferena entre os tempos nos ambientes, desta vez, foi do professor
04 apresentando um valor de 46 segundos a mais no ambiente Amadeus, sua
plataforma inicial.
Objetivando facilitar a anlise dos tempos gastos na execuo da Tarefa 2, os
valores foram dispostos no quadro abaixo, classificando-se em menores, maiores, e
tempos mdios - os valores so representados no formato de hora/minutos/segundos.
Participantes Ambiente Virtual Tempo Mdio Menor Tempo Maior Tempo
Alunos
Amadeus 0:00:40 0:00:23 0:01:05
Moodle 0:00:50 0:00:23 0:01:27
Professores
Amadeus 0:01:49 0:01:18 0:02:24
Moodle 0:01:31 0:00:53 0:02:41
Quadro 08. Tempos de execuo da Tarefa 2 - Frum
Analisando, primeiramente, o grupo dos alunos a diferena da mdia obtida foi
de apenas 10 segundos favorecendo o Amadeus, por outro lado no grupo de
0:00:00
0:00:17
0:00:35
0:00:52
0:01:09
0:01:26
0:01:44
0:02:01
0:02:18
0:02:36
0:02:53
Tempo Execuo Tarefa 02 (Professores)
Tempo Amadeus
Tempo Moodle
61
professores esse nmero foi de 18 segundos, mas, dessa vez favorecendo o Moodle
assim como na Tarefa 1.
6.1.3 Tarefa 3
A ltima tarefa realizada, porm, no menos importante, o link a um arquivo
ou site, foi realizado com um melhor tempo de execuo - de modo geral - no
ambiente virtual Amadeus, pelo grupo de professores, enquanto que no grupo de
alunos, o resultado obtido ficou empatado. Tais valores podem ser melhor observados
atravs dos grficos a seguir na figura 14, o grfico de alunos e na figura 15, o
grfico de professores.
Figura 14. Tempo de execuo da Tarefa 3 - Alunos
O grfico apresenta resultados diferentes, porem estes tornam-se semelhantes
se observado o formato da sua curva e seus respectivos picos as duas curvas
apresentam vrios picos, inclusive de dimenses muito prximas -, no sendo
inesperado o empate apresentado e que ser melhor visualizado no quadro de
tempos, Quadro 14.
A maior diferena de tempos apresentada referente aos tempos de execuo
do Aluno 02 que leva em torno de 5 segundos a mais para executar a tarefa no Moodle,
mesmo este sendo o seu segundo ambiente a ser utilizado - o que de alguma forma
0:00:00
0:00:01
0:00:02
0:00:03
0:00:03
0:00:04
0:00:05
0:00:06
0:00:07
0:00:08
0:00:09
Tempo Execuo Tarefa 03 (Alunos)
Tempo Moodle
Tempo Amadeus
62
deveria facilitar sua execuo. Todavia importante ressaltar que mesmo este sendo
um valor muito pequeno, 5 segundos, quando comparado de forma macro e
juntamente com outras atividades, acaba por influenciar bastante no resultado.
Figura 15. Tempo de execuo da Tarefa 3 - Professores
Quanto as curvas do grupo de professores, se comportaram de modo parecido
nos dois ambientes, mas, desta vez apresentando valores bem maiores na execuo
pelo Moodle. O maior pico de tempo apresentado tambm foi na plataforma referida e
desempenhado pelo Professor 01, que coincidentemente com o aluno de maior
tempo, teve como seu primeiro ambiente o Amadeus o que baseado na experincia
do usurio deveria apresentar um desempenho inferior.
Em relao as principais disparidades entre os ambientes, o professor 06
apresentou aproximadamente 3 minutos de diferena na execuo da tarefa nas duas
plataformas, sendo o Moodle de pior performance.
Sintetizando os tempos obtidos, e classificando os valores como menores,
maiores, e mdios, em relao a Tarefa 3, os resultados agrupados so exibidos no
quadro a seguir - os valores so apresentados no formato de hora/minutos/segundos.
Participantes Ambiente Virtual Tempo Mdio Menor Tempo Maior Tempo
Alunos
Amadeus 0:00:04 0:00:02 0:00:07
Moodle 0:00:04 0:00:02 0:00:08
Professores
Amadeus 0:00:43 0:00:30 0:01:03
Moodle 0:02:39 0:01:27 0:04:30
Quadro 09. Tempos de execuo da Tarefa 3 Link a um arquivo ou site
0:00:00
0:01:26
0:02:53
0:04:19
0:05:46
0:07:12
0:08:38
Tempo total para as 3 tarefas (Professores)
Total Amadeus
Total Moodle
63
O quadro resume todos os valores obtidos atravs da execuo da tarefa e
permite observar, claramente, o empate entre Amadeus e Moodle na execuo pelo
grupo dos alunos, sendo diferente apenas o maior tempo apresentado pelo Moodle
com diferena de apenas 1 segundo. Em contrapartida, com um comportamento
completamente diferente no grupo dos professores, o Amadeus se destacou
apresentando cerca de 2 minutos de vantagem sobre o concorrente. Um nmero
bastante significativo se comparado aos obtidos nas tarefas anteriores que
chegaram a no mximo 1 minuto de diferena.
6.1.4 Consideraes sobre as Tarefas
Diante todos os resultados expostos e apresentados na anlise do tempo de
execuo das tarefas nas sees anteriores e visto a vantagem de um ou outro
ambiente em diferentes delas, preciso e possvel reunir todos estes valores de modo
a sintetizar o resultado dos grupos como um todo.
Nas figuras que seguem figura 16 e figura 17 so expostos os tempos
mdios de cada um dos grupos voluntrios, alunos e professores, respectivamente.
Figura 16. Tempo mdio de execuo dos Alunos
0:00:00
0:00:09
0:00:17
0:00:26
0:00:35
0:00:43
0:00:52
0:01:00
A
l
u
n
o
0
1
A
l
u
n
o
0
2
A
l
u
n
o
0
3
A
l
u
n
o
0
4
A
l
u
n
o
0
5
A
l
u
n
o
0
6
A
l
u
n
o
0
7
A
l
u
n
o
0
8
A
l
u
n
o
0
9
A
l
u
n
o
1
0
A
l
u
n
o
1
1
A
l
u
n
o
1
2
A
l
u
n
o
1
3
A
l
u
n
o
1
4
A
l
u
n
o
1
5
A
l
u
n
o
1
6
Tempo mdio para as 3 tarefas (Alunos)
Tempo Mdio Amadeus
Tempo Mdio Moodle
64
Observando o grfico dos alunos notrio o maior pico de tempo realizado por
um aluno, 08, ao desempenhar suas tarefas no Amadeus, entretanto, analisando-se
melhor possvel, ainda, constatar que pesando contra esse pico existem pelo menos
outros trs Alunos 06, 12, 15 -, desta vez, do ambiente Moodle.
Figura 17. Tempo mdio de execuo dos Professores
Mais simples de analisar, o tempo mdio das tarefas desempenhadas pelos
professores deixa clara a grande vantagem do Amadeus se comparando ao Moodle,
apresentando apenas um dos oito professores com tempo melhor neste ltimo. Desse
modo, fica explicito para tal grupo a grande vantagem em realizar a migrao da
ferramenta de apoio ao ensino misto passando a ser utilizado o Amadeus.
Trabalhando mais uma vez com nmeros, possvel tambm, reunir todos os
dados de tempo obtidos, fazendo uma rpida anlise de GOMS. Com esse intuito, no
quadro a seguir so apresentados os tempos mdios obtidos na realizao das
tarefas, pelos dois grupos participantes.
0:00:00
0:00:17
0:00:35
0:00:52
0:01:09
0:01:26
0:01:44
0:02:01
0:02:18
0:02:36
Tempo mdio para as 3 tarefas (Professores)
Tempo Mdio Amadeus
Tempo Mdio Moodle
65
Quadro 10. Anlise de GOMS para realizao do experimento.
De forma mais clara, rapidamente visvel o empate dos dois ambientes
durante a realizao das atividades pelo grupo de alunos, porm, quando o resultado
se refere ao grupo de professores o Amadeus ganha com uma boa vantagem,
totalizando cerca de apenas 73% do tempo gasto pelo Moodle, o que em grande
escala de acumulo de tarefas mostra o ainda maior desperdcio de tempo pelo
usurio ao utilizar a plataforma.
6.2 Survey
Como visto no captulo anterior, o survey era composto por perguntas que se
classificavam em trs categorias, sendo a primeira delas utilizada apenas para traar
o perfil dos voluntrios. Ento, a seguir sero discutidos os resultados gerais obtidos
atravs das outras duas categorias, tanto por alunos quanto por professores.
De modo a melhor elucidar os dados obtidos e consequentemente
compreender os resultados a partir destes, foram plotados grficos representados nas
figuras a seguir, onde as respostas categricas foram transformadas em dados
numricos com a seguinte distribuio:
1 = Muito fcil;
2 = Fcil;
3 = Normal;
4 = Difcil;
5 = Muito difcil;
E, as questes analisadas atravs desta escala, presentes nos grficos, foram:
Participantes Objetivo: Realizar o experimento Amadeus Moodle
Alunos
Realizar o envio de um arquivo 0:00:40 0:00:31
Comentar num Frum 0:00:40 0:00:50
Baixar um arquivo/link 0:00:04 0:00:04
TEMPO TOTAL ALUNOS 0:01:24 0:01:25
Professores
Disponibilizar Envio de Arquivo 0:01:06 0:00:49
Criar frum e Comentar 0:01:49 0:01:31
Disponibilizar arquivo para download 0:00:43 0:02:39
TEMPO TOTAL PROFESSORES 0:03:38 0:05:00
66
Q1 = Como voc classifica o ambiente?
Q2 = Como voc classifica a disposio dos recursos (layout das telas)?
Q3 = Como voc classifica a facilidade/intuitividade de uso?
Q4 = Nomenclatura utilizada nas telas (nome de comandos, ttulos, campos,
etc.)
Q5 = Como voc classifica a execuo da TAREFA 1 (Envio de Arquivo)?
Q6 = Como voc classifica a execuo da TAREFA 2 (Frum)?
Q7 = Como voc classifica a execuo da TAREFA 3 (Link a um arquivo/site)?
6.2.1 Alunos
As respostas fornecidas pelos alunos, podem graficamente serem
representadas como ilustra a imagem a seguir, sendo as duas curvas utilizadas para
demonstrar o desempenho de cada ambiente utilizado, mediante avaliao do
participante.
Figura 18. Respostas do Survey - Alunos 63
possvel observar, mais claramente, atravs da figura o nvel de aceitao do
ambiente virtual Amadeus por parte dos alunos, visto as curvas expressas acima. Em
sua totalidade o Amadeus, atingiu um ponto mximo de 2,63, ficando classificado
0,00
0,50
1,00
1,50
2,00
2,50
3,00
3,50
4,00
4,50
5,00
Q1 Q2 Q3 Q4 Q5 Q6 Q7
Comparao das mdias das respostas
Amadeus Moodle
67
entre Fcil e Normal, enquanto que sua mdia geral foi um pouco menor, resultando
em apenas 2,18 (fcil).
J o Moodle, de modo totalmente diferente, teve seu menor valor em 2,75,
sendo este ainda maior que o mximo obtido pelo Amadeus. Sua mdia total, ficou
em torno dos 3,31 o classificando entre normal e difcil, alis, apresentou um ponto
mximo acima da escala de valor 4 (entre difcil e muito difcil).
6.2.2 Professores
De maneira similar, as respostas fornecidas pelos professores, podem
serem utilizadas para plotar um grfico como ilustra a imagem a seguir, sendo as duas
curvas utilizadas para demonstrar o desempenho de cada ambiente utilizado,
mediante avaliao do participante.
Figura 19. Respostas do Survey Professores
Atravs da figura, fica mais uma vez demonstrado o nvel de aceitao do
ambiente virtual Amadeus, agora, por parte dos professores. De modo geral, o
Amadeus obteve uma mdia de 2,13 classificando-o como fcil, mediante escala
Likert definida. Atingiu um ponto mximo de 2,38, mesmo assim, no saiu da sua zona
0,00
0,50
1,00
1,50
2,00
2,50
3,00
3,50
4,00
4,50
5,00
Q1 Q2 Q3 Q4 Q5 Q6 Q7
Comparao das mdias das respostas
Amadeus Moodle
68
de classificao, permanecendo entre Fcil e Normal ainda assim, mais fcil que
normal.
Enquanto isso, o Moodle, teve seu menor valor em 2,75, sendo este, mais uma
vez, ainda maior que o mximo obtido pelo Amadeus (2,38). Sua mdia total, baixou
um pouco se comparado ao grupo dos alunos, mas, mesmo assim ficou em torno dos
3,07 classificando-o entre normal e difcil, alis, voltou a apresentar um ponto mximo
prximo da escala de valor 4 (entre normal e difcil).
6.2.3 Consideraes sobre o Survey
Atravs dos resultados obtidos fica, ento, demonstrada a aceitabilidade do
ambiente virtual Amadeus pelos participantes, mesmo este apresentando na maioria
dos casos um tempo maior que o Moodle, como foi exposto na seo anterior.
Tal fato pode ser explicado pela disposio e/ou organizao dos seus
recursos, layout das telas, ou simplesmente pela sua facilidade de utilizao fazendo
com que seja apresentado ao usurio um ambiente simples e limpo, de muito intuitiva
manipulao. Isso fica comprovado, atravs dos dados exibidos a seguir:
Participantes Ambiente Mdia Mnimo Mximo
Alunos
Amadeus 2,18 1,88 2,63
Moodle 3,31 2,75 4,13
Professores
Amadeus 2,13 1,88 2,38
Moodle 3,07 2,75 3,63
Quadro 11. Anlise do Survey (Respostas)
Generalizando ainda mais os resultados, possvel obter como mdia de
avaliao para o Amadeus 2,15 contra 3,19 do Moodle, e ao converte-los para a
escala que foi utilizada, seriam classificados como: Fcil e Normal, respectivamente.
69
7 CONSIDERAES FINAIS
Este trabalho tinha como principal objetivo avaliar o uso do ambiente virtual de
aprendizagem adotado na UNIVASF - Moodle - e verificar a possibilidade de utilizao
de uma nova plataforma para o blended learning, o Amadeus descrito na seo 1.2
-, sendo a primeira parte realizada no captulo 4 e a segunda nos captulos 5 e 6, onde
foi comprovado a melhor aceitao do ambiente Amadeus tanto pelo grupo de alunos
quanto pelo grupo de professores.
Os resultados obtidos na primeira etapa, onde foi realizada a pesquisa de uso
do Moodle, apresentou dados significativos e que reafirmaram a necessidade de se
desenvolver esse trabalho e analisar a real utilizao do ambiente na Universidade.
De modo que, foi possvel se obter tabelas com ranking de disciplinas mais acessadas,
ranking de recursos e atividades por disponibilizao, ranking de recursos e atividades
por utilizao, bem como ranking de utilizao da modalidade blended learning por
cada colegiado.
No decorrer do trabalho e sendo realizado o procedimento para a segunda
etapa experimento controlado e survey de avaliao -, foram obtidos resultados no
experimento controlado, onde os usurios realizaram cada um trs tarefas, sendo
possvel verificar que como descrito na seo 3.4 da Fundamentao Terica, a
experincia do usurio influenciou nos resultados obtidos no grupo dos alunos, de
modo que o tempo mximo destes ocorria em sua grande maioria, exatamente no
segundo ambiente utilizado, assim, os tempos mdios encontrados foram
equivalentes, ocorrendo empate entre ambas plataformas para este grupo de
participantes. Por outro lado, analisando o grupo de professores os tempos mdios
encontrados se mostraram totalmente diferentes, tendo o Amadeus apresentado
cerca de 73% do tempo gasto pelo Moodle, o que, em grande escala, mostra o ainda
maior desperdcio de tempo pelo usurio ao utilizar esta segunda plataforma.
Finalmente, porm no menos importante, ao analisar o resultado do survey de
avaliao foi constatado a consolidao da melhor aceitao do ambiente virtual
Amadeus, sendo este classificado com nota 2,15 de uma escala Likert variando de 1
a 5 sendo 1 = Muito fcil e 5 = Muito Difcil por professores e alunos, enquanto que
o Moodle apresentou um total de 3,19, classificando-o entre Normal e Difcil.
Nesse contexto, o trabalho apresentou contribuies no que se refere a
melhoria do ensino hibrido da instituio UNIVASF de modo a ser adotada uma
70
nova plataforma que ter como principal objetivo promover essa maior facilidade em
utilizao e auxlio ao ensino, alm de claro, introduzir no meio acadmico tanto
com professores quanto com alunos o novo ambiente e a ideia de melhoria deste
atravs do experimento realizado.
J os problemas encontrados para a execuo de todo trabalho, resume-se
basicamente ao tamanho da amostra a ser utilizada durante o experimento controlado
e consequentemente o survey de avaliao, visto, o perfil adequado para tanto ser
exatamente de participantes que no tenham tido ou tenham pouco contato com
ambientes virtuais de aprendizagem Amadeus e/ou Moodle. Este fator se torna
ainda mais difcil visto que a grande maioria dos professores alm de lecionar no
ensino presencial, tambm professor ou tutor de alguma disciplina nos cursos a
distncia oferecidos pela prpria universidade.
71
8 TRABALHOS FUTUROS
A partir de todo o processo desenvolvido no trabalho e sua consequente
comprovao da melhor utilizao da modalidade de blended learning na Univasf, com
o ambiente virtual Amadeus, pode-se realizar ainda como trabalhos futuros um estudo
do melhor procedimento para expanso da modalidade blended learning na
instituio, uma vez constatado o grande potencial de crescimento da mesma atravs
da real utilizao por parte dos colegiados apresentada na seo 4.2.
Outra possibilidade, seria o estudo da melhor poltica para o real procedimento
de adoo do Amadeus como ferramenta necessria ao auxlio do ensino presencial,
com propostas de acompanhamentos da sua utilizao e efetivao, como por
exemplo a promoo de palestras e principalmente minicursos capacitivos para os
docentes, pesquisas de campo de modo a acompanhar todo esse desenvolvimento
e at mesmo monitoramento da migrao e utilizao da plataforma.
Por fim, a instituio poderia definir e estabelecer uma estratgia de ampliao
da adoo do blended learning, j que comprovadamente a modalidade tem
impactado positivamente no processo de ensino aprendizagem.
72
REFERNCIAS
ARAJO, R., PANERAI, T. Relato de Experincia de Blended Learning: O Moodle
e o Facebook como Ambientes de Extenso da Sala de Aula Presencial. In Anais do
Workshop de Informtica na Escola. 2012.
BENYON, D.; traduo Heloisa Coimbra de Souza. Interao Humano-
Computador. So Paulo. 2011.
CCTE. Grupo de Pesquisa em Cincias Cognitivas e Tecnologia Educacional.
Disponvel em: < http://www.cin.ufpe.br/~ccte/>. Acesso em: 02 Abr. 2014.
CCERO, M.J. A Utilizao do Blended Learning no Ensino Tecnolgico de
Informtica. Dissertao de Mestrado em Engenharia Eltrica, Departamento de
Engenharia Eltrica, Universidade de Braslia. Braslia. 2012.
CLARENC, C. A.; CASTRO, S. M.; LPEZ DE LENZ, C.; MORENO, M.E.; TOSCO,
N.B. Analizamos 19 plataformas de e-Learning: Investigacin colaborativa
sobre LMS. Grupo GEIPITE, Congresso Virtual Mundial de e-Learning. Dezembro,
2013. Disponvel em: <www.congresoelearning.org>
COSTA JUNIOR, E.B. Uma ferramenta e Metodologias para a Migrao de
Dados da Plataforma de Ensino Distncia Moodle para a Amadeus. UFPE
Recife. 2009.
COSTA, L.A.C; FRANCO, S.R.K. Ambientes Virtuais de Aprendizagem e suas
Possibilidades Construtivistas. UFRGS - Porto Alegre. 2005.
CYBIS, W.; BETIOL, A.H.; FAUST, R. Ergonomia e Usabilidade: Conhecimentos,
Mtodos e Aplicaes. So Paulo. 2010.
DOUGIAMAS, M., TAYLOR, P.C. Moodle: Using Learning Communities to Create
an Open Source Course Management System. Austrlia. 2003.
GERHARDT, T. E. SILVEIRA, D. T. Mtodos de pesquisa. UAB/UFRGS e
SEAD/UFRGS. Porto Alegre. 2009.
GIL, A. C. Como elaborar projetos de pesquisa. So Paulo, 2007.
73
GOMES, A. S., MELO FILHO, I. J.,MELLO, M., PERRIS, P., RODRIGUES, R. L.,
CARVALHO, R. S., ARAUJO, T. S., SILVA, W.M. Projeto Amadeus: Manual do
Usurio. UFPE Recife. 2011.
GRAHAM, C. R. Emerging practice and research in blended learning. Routledge,
New York. 2013.
GRAHAM, C.R.; WOODFIELD, W.; HARRISON, J.B. A framework for institutional
adoption and implementation of blended learning in higher education. Provo,
Estados Unidos. 2013.
HASSENZAHL, M.; TRACTINSKY, N. User experience a reserch agenda. Reino
Unido. 2006.
HALVERSON, L. R.; GRAHAM, C. R.; SPRING, K. J.; DRYSDALE, J. S. An
analysis of high impact scholarship and publication trends in blended learning.
Distance Education. 2012.
KING, S., & ARNOLD, K. Blended learning environments in higher education: a
case study of how professors make it happen. Mid-Western Educational Researcher.
2012.
LAGARTO, J.R. Ambientes digitais e aprendizagem no ensino superior: estudo
de caso de uso do Moodle. Universidade Catlica Portuguesa Braga, Portugal.
2013.
LAW, E.; ROTO, V.; HASSENZAHL, M.; VERMEEREN, A.; Kort, J. Understanding,
Scoping and Defining User Experience: A Survey Approach. Boston, Estados
Unidos. 2009.
LEGOINHA, P., PAIS, J., FERNANDES, J. O Moodle e as comunidades virtuais
de aprendizagem. Caparica, Portugal. 2006.
MATEUS FILIPE, A.J., ORVALHO, J.G. Blended-Learning e Aprendizagem
Colaborativa no Ensino Superior. Coimbra, Portugal. 2004.
MELO FILHO, I. J., CARVALHO, R. S., GOMES, A. S., PERRIS, P. A. D. R.,
RODRIGUES, R. L., FELICIANO, F. D. D. O. Anlise comparativa da Usabilidade
dos Ambientes de Gesto da Aprendizagem Amadeus e Moodle. Revista
Brasileira de Informtica na Educao. 2014 .
74
MOODLE. Moodle.org. Disponvel em: <http://moodle.org/>.Acesso em: 02 Abr
2014.
MORAIS, C.; ALVES, P.; MIRANDA, L. Valorizao dos Ambientes Virtuais de
Aprendizagem por Professores do Ensino Superior. Instituto Politcnico de
Bragana - Bragana, Portugal. 2013.
MOSKAL, P.; DZIUBAN, P.; HARTMAN, J. Blended learning: a dangerous idea?
The Internet and Higher Education. Orlando, Estados Unidos. 2013
NASCIMENTO, L.; LEIFTHEIT, M. Anlise de um curso a distncia que utilizou
uma nova ferramenta de Courseware chamada Moodle. UFRGS - Porto Alegre.
2005.
NIELSEN, J. Usability engineering. New York: Academic Press, 1993.
NIELSEN, J., LORANGER, H. Usabilidade na Web Projetando Websites com
qualidade. Rio de Janeiro, Elsevier, 2007.
NIEMIEC, M.; OTTE, G. An administrator's guide to the whys and hows of
blended learning. Journal of Asynchronous Learning Networks. 2009.
NORBERG, A., DZIUBAN, C. D., & MOSKAL, P. D. A time-based blended learning
model. On the Horizon. 2011.
PORTER, W.W.; GRAHAM, C.R.; SPRING, K.A.; WELCH, K.R. Blended learning in
higher education: Institutional adoption and implementation. Provo, Estados
Unidos. 2014.
PRATES, R. O.; FIGUEIREDO, R. M. V.; BACH, C. F. Um Modelo de Apoio ao
Projeto de Design de Interfaces de Ambientes de Aprendizado. Rio de Janeiro,
2003.
PREECE, J., ROGERS, Y., SHARP, H. Design de Interao: Alm da interao
homem-computador. Traduo Viviane Possamai. Porto Alegre. 2005.
PREECE, J., ROGERS, Y., SHARP, H. Interaction design: Beyond Human -
Computer Interaction. Wiley; 3 edition, 2011.
75
REICHLMAYR, T. Enhancing the Student Project Team Experience with
Blended Learning Techniques. Nova York. 2005.
RODRIGUES, L. Uma nova proposta para o conceito de Blended Learning.
Interfaces da Educao, Amrica do Norte, 2010. Disponvel em:
<http://periodicos.uems.br/novo/index.php/interfaces/article/view/72/52>. Acesso em:
07 Mar. 2014.
ROSS, B., & GAGE, K. Global perspectives on blended learning: Insight from
WebCT and our customers in higher education. The handbook of blended learning:
Global perspectives, local designs. 2006.
SILVA, J.C.S.; GOMES, A.S.; BRITO, J.A. Estratgias para Blended Learning na
disciplina Resistencia dos Materiais. Belm, 2012.
SILVA, R.S. Moodle para autores e tutores. So Paulo, 2013.
TORI, R. Cursos hbridos ou blended learning. In: LITTO, F. M.; FORMIGA, M.
(org.). So Paulo, 2009.
VALENTE, J. A. Pesquisa, comunicao e aprendizagem com o computador. In:
Integrao das Tecnologias na Educao. Secretaria de Educao a Distncia.
Braslia: Ministrio da Educao, Seed. 2005.
YIN, R. K. Estudo de caso: planejamento e mtodos. Porto Alegre. 2010.
76
ANEXOS
77
Anexo A Quadro 12. Funcionalidades Disponibilizadas Vinte disciplinas mais ativas.
Disciplina
N
m
e
r
o
d
e
a
c
e
s
s
o
s
Recursos
Atividades
L
i
n
k
a
u
m
a
r
q
u
i
v
o
/
s
i
t
e
V
i
s
u
a
l
i
z
a
r
d
i
r
e
t
r
i
o
R
t
u
l
o
B
a
s
e
d
e
D
a
d
o
s
C
h
a
t
D
i
r
i
o
E
s
c
o
l
h
a
F
e
e
d
b
a
c
k
F
r
u
m
G
l
o
s
s
r
i
o
L
i
o
Q
u
e
s
t
i
o
n
r
i
o
E
n
v
i
o
A
r
q
u
i
v
o
W
i
k
i
AES EDUC. EM SADE AMB. E HUMANA 5444 1 1 1 0 0 0 1 0 1 0 0 1 1 0
INFORMATICA APLICADA A PESQUISA 2133 1 1 1 0 0 0 0 0 1 0 0 1 1 0
METODOLOGIA CIENTIFICA 1652 1 1 0 0 0 0 0 0 1 0 0 0 1 0
PATOLOGIA CLINICA VETERINRIA 1612 1 0 0 0 1 0 0 0 1 0 0 1 1 0
APRENDENDO QUIMICA ANALTICA 1594 1 0 1 0 0 0 0 0 1 0 0 1 1 0
FISICA EXPERIMENTAL II 1533 1 1 0 0 1 0 0 0 1 0 0 1 0 0
METROLOGIA 1492 1 1 1 0 0 0 0 0 1 0 0 0 0 0
FENOMENOS DE TRANSPORTE 1458 1 0 0 0 0 0 0 0 1 0 0 0 0 0
GINSTICA 1339 1 0 1 0 0 0 0 0 1 0 0 0 1 0
INTRODUO ECONOMIA 1318 1 1 1 0 0 0 0 0 1 0 0 0 1 0
EVOLUO 1298 1 0 1 0 1 0 0 0 1 0 0 0 0 0
BIOTICA E DEONTOLOGIA VETERINRIA 1263 1 0 1 0 0 0 0 0 1 0 0 0 1 0
FSICA TERICA II 1250 1 0 0 0 0 0 0 0 1 0 0 0 0 0
METODOLOGIA DA PESQUISA 1060 1 1 0 0 0 0 0 0 1 0 0 0 1 0
DANA 1036 1 0 1 0 0 0 0 0 1 0 0 0 1 0
GENTICA MOLECULAR E BIOTECNOLOGIA 1028 1 1 1 0 0 0 1 0 1 0 0 0 1 0
METODOLOGIA DA PESQUISA 1023 1 1 1 0 0 0 0 0 1 0 0 0 1 0
ZOOLOGIA DOS VERTEBRADOS 968 0 0 0 0 0 0 0 0 1 0 1 0 0 0
MATERIAIS DE CONSTRUO CIVIL II 961 1 1 1 0 0 0 0 0 0 0 0 0 1 0
ECONOMIA RURAL 889 1 1 0 0 0 0 0 0 1 0 0 0 1 0
78
Anexo B Quadro 13. Funcionalidades Utilizadas Vinte disciplinas mais ativas.
Disciplina
N
m
e
r
o
d
e
A
c
e
s
s
o
s
Recursos
Atividades
L
i
n
k
a
u
m
a
r
q
u
i
v
o
/
s
i
t
e
V
i
s
u
a
l
i
z
a
r
d
i
r
e
t
r
i
o
R
t
u
l
o
B
a
s
e
d
e
D
a
d
o
s
C
h
a
t
D
i
r
i
o
E
s
c
o
l
h
a
F
e
e
d
b
a
c
k
F
r
u
m
G
l
o
s
s
r
i
o
L
i
o
Q
u
e
s
t
i
o
n
r
i
o
E
n
v
i
o
A
r
q
u
i
v
o
W
i
k
i
AES EDUC. EM SADE AMB. E HUMANA 5444 13 3 1 0 0 0 2 0 7 0 0 11 5 0
INFORMATICA APLICADA A PESQUISA 2133 6 1 5 0 0 0 0 0 1 0 0 3 5 0
METODOLOGIA CIENTIFICA 1652 3 2 0 0 0 0 0 0 1 0 0 0 4 0
PATOLOGIA CLINICA VETERINRIA 1612 33 0 0 0 1 0 0 0 4 0 0 1 7 0
APRENDENDO QUIMICA ANALTICA 1594 56 0 4 0 0 0 0 0 3 0 0 6 6 0
FISICA EXPERIMENTAL II 1533 32 13 0 0 1 0 0 0 6 0 0 5 0 0
METROLOGIA 1492 27 2 1 0 0 0 0 0 1 0 0 0 0 0
FENOMENOS DE TRANSPORTE 1458 49 0 0 0 0 0 0 0 1 0 0 0 0 0
GINSTICA 1339 20 0 6 0 0 0 0 0 1 0 0 0 10 0
INTRODUO ECONOMIA 1318 6 3 1 0 0 0 0 0 1 0 0 0 7 0
EVOLUO 1298 4 0 1 0 1 0 0 0 4 0 0 0 0 0
BIOTICA E DEONTOLOGIA VETERINRIA 1263 13 0 1 0 0 0 0 0 3 0 0 0 9 0
FSICA TERICA II 1250 50 0 0 0 0 0 0 0 1 0 0 0 0 0
METODOLOGIA DA PESQUISA 1060 2 1 0 0 0 0 0 0 1 0 0 0 3 0
DANA 1036 13 0 5 0 0 0 0 0 1 0 0 0 4 0
GENTICA MOLECULAR E BIOTECNOLOGIA 1028 53 1 1 0 0 0 1 0 2 0 0 0 59 0
METODOLOGIA DA PESQUISA 1023 4 2 1 0 0 0 0 0 1 0 0 0 3 0
ZOOLOGIA DOS VERTEBRADOS 968 0 0 0 0 0 0 0 0 1 0 15 0 0 0
MATERIAIS DE CONSTRUO CIVIL II 961 34 1 1 0 0 0 0 0 0 0 0 0 3 0
ECONOMIA RURAL 889 4 2 0 0 0 0 0 0 5 0 0 0 4 0
79