Defining, Assessing, and Promoting E-learning Success:

An Information Systems Perspective

Clyde W. Holsapple and Anita Lee-Post

Concepção e Avaliação em E-learning

MPEL

Universidade Aberta

Grupo Almada Negreiros:

Ana Marmeleira, António Pedro Pereira, Eduarda Rondão,

Joaquim Pinto, Margarida Marmeleira

Novembro 2010
Síntese

Definir, Avaliar e Promover o Sucesso do E-Learning:

Uma Perspectiva Segundo os Sistemas de Informação

Clyde W. Holsapple and Anita Lee-Post

Grupo Almada Negreiros 2

Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação
 Após a leitura e análise do texto «Defining, Assessing, and Promoting
E-learning Success: An Information Systems Perspective», de Clyde W.
Holsapple e Anita Lee-Post, apresentamos uma síntese das ideias principais
apresentadas neste texto, dando conta dos objectivos do estudo
desenvolvido, da metodologia adoptada e das conclusões a que se chegou,
destacando, assim, os factores que, de acordo com os autores, devem ser
considerados para promover o sucesso do E-learning.

Objectivos do estudo desenvolvido

O desenvolvimento da Internet e das ferramentas da Web 2.0 tem

revolucionado a educação em geral e o E-learning em particular. De facto, o
ensino a distância baseado na Internet é actualmente o modelo mais
prevalecente no E-learning. Nesse sentido, os investigadores estão agora
preocupados em tentar compreender o poder da Internet na educação e em
encontrar um modelo que permita aferir o sucesso dos cursos em regime de
E-learning.

Tem havido muitos estudos nesta área, sendo que as primeiras

investigações realizadas avaliaram o impacto do E-learning sob várias
perspectivas:

Comparativos de aprendizagem;

Oportunidades de aprendizagem;

Estilos de aprendizagem;

Ambientes de aprendizagem;

Resultados de aprendizagem;

Práticas educativas,

Custos-benefícios.

Persiste, no entanto, a necessidade de integrar e formular um modelo

holístico e abrangente que permita avaliar e testar as iniciativas de E-
learning, reconhecendo que é importante analisar não só os resultados
obtidos, mas sobretudo o processo.

É nesta linha de investigação que se insere este artigo, que propõe um

modelo de sucesso de E-learning orientado para a concepção,
desenvolvimento e promoção de iniciativas de E-learning.

Este estudo tem dois objectivos:

• Colmatar a necessidade de estudar o sucesso do E-learning,
baseando-se nos estudos já realizados;

Grupo Almada Negreiros 3

Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação
 • Analisar a exequibilidade de aplicação de um modelo de sucesso
de sistemas de informação à avaliação e desenvolvimento de
iniciativas de E-learning.

Criação do modelo

O Modelo de Sucesso do E-learning apresentado pelos autores foi

adaptado do modelo de DeLone e McLean (2003), que, por sua vez, é já
uma extensão do seu modelo original (DeLone & McLean, 1992).

Fundamentados em literatura referente ao sucesso de sistemas de

informação, DeLone e McLean identificaram seis dimensões relativas a
factores de sucesso – qualidade do sistema, qualidade da informação,
utilização, satisfação do utilizador, impacto individual e impacto
organizacional –, que estiveram na origem do modelo de sucesso
apresentado na figura 1.

Figura 1: Modelo de Sucesso de Sistemas de informação de DeLone e McLean (versão original).

Este modelo veio não somente dar uma nova visão dos sistemas de
informação, como também incutir uma nova abordagem do processo para o
sucesso dos sistemas de informação, a tal ponto que na década seguinte à
criação do modelo, este foi referenciando cerca de 285 vezes em
publicações, revistas e actas, tendo sido aplicado, validado, alterado e
criticado, e tendo estado na origem de vários estudos.

Em função dos progressos da investigação e do desenvolvimento do

comércio electrónico, DeLone e McLean (2003) alargaram e simplificaram o
modelo original, combinando os impactos individuais e organizacionais
numa única dimensão de sucesso intitulada "Benefícios Líquidos" e
acrescentando uma nova dimensão de qualidade intitulada "Qualidade do
Serviço".

Grupo Almada Negreiros 4

Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação
 O resultado é um modelo actualizado particularmente aplicável para
avaliação do sucesso dos sistemas de informação no ambiente de Internet,
que mantém a premissa básica do modelo original de que a natureza do
sucesso dos sistemas de informação deve ser analisada através de
dimensões de sucesso multidimensional, que são interdependentes no
sentido do processo, conforme ilustrado na Figura 2.

Figura 2: Actualização do Modelo de Sucesso de Sistemas de informação de DeLone e McLean (2003).

É este modelo actualizado que esteve na base do Modelo de Sucesso

do E-learning proposto pelos autores do artigo, retratado na Figura 3.

Figura 3: O Modelo de Sucesso do E-learning e exemplo de métricas.

Grupo Almada Negreiros 5

Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação
 Este modelo explicita o processo para medir e avaliar o sucesso do
E-learning, numa abordagem que propõe que o sucesso global das
iniciativas no E-learning depende da obtenção de sucesso em cada um dos
três estágios de desenvolvimento de sistemas do E-learning: concepção,
disponibilização e análise de resultados. O sucesso da fase de concepção é
avaliado no desenrolar das três dimensões de factores de sucesso: a
qualidade do sistema, qualidade da informação e qualidade de serviço. O
sucesso da fase de disponibilização é avaliado em duas dimensões de
factores de sucesso: a utilização e a satisfação do utilizador. Por fim, o
sucesso da etapa do resultado do sistema é avaliado ao longo da dimensão
dos benefícios líquidos. Todas as fases de avaliação do sucesso encontram-
se interligadas. O sucesso da concepção do sistema é essencial para o
sistema de entrega, que de seguida, afectará os resultados do sistema. O
sucesso dos resultados do sistema, entretanto também tem um impacto no
subsequente sistema de entrega.

O modelo foi investigado num contexto particular de E-learning: o

desenvolvimento e implementação de uma versão online dum curso
universitário na área dos negócios (métodos quantitativos) na plataforma
Blackboard 5.0. Para cada uma das seis dimensões do modelo, a Figura 3
também mostra as métricas relevantes de sucesso para este contexto
específico de E-learning. Estas métricas podem variar um pouco se forem
utilizados noutros contextos de E-learning. Neste caso, a dimensão da
qualidade do sistema mediu características desejáveis do ambiente
Blackboard, como a facilidade de utilização e a estabilidade, entre outros; a
dimensão da qualidade de informação avaliou o conteúdo do curso em
aspectos como a organização, apresentação, etc.; a dimensão da qualidade
do serviço mediu as interacções entre professor-aluno; as medidas da
dimensão de utilização apresentam elementos do curso, que são realmente
utilizados, incluindo slides de PowerPoint, clipes de áudio, tutoriais em
Excel, etc.; a dimensão satisfação do utilizador afere as opiniões dos alunos
sobre E-learning, baseadas na experiência ao longo do curso; a dimensão
benefícios líquidos, dá destaque a aspectos positivos do E-learning em
termos do melhoramento da aprendizagem, por exemplo, bem como os
aspectos negativos do E-learning, em termos de falta de contacto,
isolamento social, problemas da qualidade e dependência da tecnologia.

Metodologia adoptada para a validação do modelo

O Modelo de Sucesso do E-learning foi validado através de uma

metodologia de Pesquisa-Acção, aplicada a um curso online sobre métodos

Grupo Almada Negreiros 6

Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação
quantitativos na área económica. Foi seguido um processo interactivo em
quatro ciclos, envolvendo cinco fases para atingir a compreensão do que
constitui o sucesso em E-learning: diagnosticar, planear, agir, avaliar e
aprender (Susman & Evered, 1978), como ilustrado na figura seguinte:

Figura 4: As cinco fases da pesquisa-ação.

Os dois primeiros ciclos foram desenvolvidos a partir de um módulo

do curso e os outros dois ciclos a partir do curso completo. Considerou-se
mais vantajoso fazer um estudo piloto, trabalhando inicialmente com base
num protótipo (o módulo isolado). De facto, os dois primeiros ciclos da
pesquisa-acção confirmaram o valor da avaliação do sucesso do E-learning
numa perspectiva dos sistemas de informação e estabeleceram a base para
os dois ciclos seguintes, onde se utilizaram já as seis dimensões do Modelo
de Sucesso do E-learning.

No final do primeiro ciclo, foi aplicado um inquérito aos alunos, que

teve resultados pouco animadores. As opiniões recolhidas junto destes
alunos indiciaram falta de entusiasmo para com o E-learning, pelo que no
segundo ciclo tentou-se promover a satisfação dos utilizadores e o impacto
individual, apresentando-se inicialmente as vantagens de realizar o módulo
online e disponibilizando-se um maior número de materiais mais apelativos.
Os resultados do inquérito aplicado neste segundo ciclo foram mais
animadores, embora a dimensão da satisfação pessoal continuasse mais
baixa que as outras dimensões. Assim, no terceiro ciclo, que já se referiu

Grupo Almada Negreiros 7

Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação
ao curso completo, procurou-se evitar que os alunos fossem forçados a
uma situação de E-learning, pelo que foram seleccionados apenas os alunos
que apresentavam aptidão para o E-learning. As sugestões apresentadas
pelos alunos em vários inquéritos levaram a algumas alterações no curso,
cuja nova versão foi analisada no quarto ciclo.

Os resultados do estudo e em particular a evolução positiva que se

verificou entre os vários ciclos de acção revelam o valor de se aferir o
sucesso de um curso online a partir da perspectiva do Sistema de
Informação. Mostram ainda que seguir uma metodologia de pesquisa-acção
em cinco fases, desenvolvida em ciclos sucessivos permite proceder a
melhorias efectivas do sistema, contribuindo para uma plena compreensão
dos factores em estudo.

Conclusões do Estudo

O estudo desenvolvido a partir da aplicação do modelo permitiu

chegar a conclusões interessantes no que diz respeito a aspectos que
devem ser levados em conta na implementação de cursos online e lançou
pistas para futuras investigações que, pela sua pertinência, resolvemos
destacar.

A motivação dos estudantes: Numa primeira fase, a adesão dos estudantes

a um curso online não foi muito positiva, mas o facto de se ter
seleccionado alunos motivados para este tipo de ensino, para quem (de
acordo com o inquérito relativo às expectativas face ao curso) uma das
expectativas positivas era a possibilidade de se poder controlar onde e
quando aprender, teve um impacto positivo no grau de satisfação dos
utilizadores. Isso revela que um factor importante a ter em consideração é a
motivação dos estudantes para frequentar um curso online. O à-vontade
dos estudantes no uso das tecnologias e a sua predisposição para aprender
online são um factor determinante para o sucesso do E-learning.

Potencial educativo da internet: Outra conclusão a que se chegou é que,

apesar das diferenças entre os elementos que os estudantes online e os
estudantes tradicionais apontaram como sendo os mais importantes para a
aprendizagem, nenhum dos elementos privilegiados pelos estudantes
tradicionais (compreender o professor, compreender os materiais do curso,
obter feedback sobre trabalho realizado, obter feedback do professor,
completar trabalhos solicitados) é incompatível com os cursos online. Pelo
contrário, os mais difíceis de operacionalizar num curso online (estudar em

Grupo Almada Negreiros 8

Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação
grupo, expor ideias à turma) vieram no fim das preferências desses
estudantes. Isso evidencia o potencial educativo da internet como
ferramenta de ensino, capaz de corresponder às necessidades dos
estudantes.

Necessidade de contacto humano: Mesmo alunos motivados para o

E-learning responderam num dos inquéritos aplicados que sentiam
necessidade de um maior contacto humano, como ficou evidente nas
sugestões apresentadas: ver os comentários de outros colegas, poder
conversar com outros colegas, ter mais interacção com outros colegas e ter
aulas presenciais facultativas. Muitas dessas sugestões podem ser
operacionalizadas online, mas, independentemente disso, são reveladoras
de que a internet nunca conseguirá substituir completamente a presença
humana.

Pistas para futuras investigações

As conclusões apresentadas acima permitiram levantar uma série de
questões que deveriam ser objecto de uma investigação mais aprofundada,
nomeadamente:
- Como estimular uma atitude mais positiva dos estudantes face ao E-
learning?
- Como tirar pelo proveito do potencial educativo da internet?
- Como encontrar um equilíbrio satisfatório entre o ensino tradicional e o
E-learning?
- Como promover o E-learning enquanto um meio efectivo de trazer mais
qualidade ao ensino e não apenas uma moda.
Os autores sugerem igualmente o aprofundamento da análise do
Modelo de Sucesso do E-learning aqui apresentado, bem como a
operacionalização das diferentes dimensões que o constituem, de forma a
melhorar o modelo e a torná-lo aplicável a outras situações online.

Grupo Almada Negreiros 9

Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação
Em síntese

O Modelo de Sucesso do E-learning proposto pelos autores pretende

definir, avaliar e promover o sucesso de cursos em regime de E-learning
centrando a sua atenção nos sistemas de informação: a concepção, a
disponibilização e o sucesso do sistema. Assim, depois de validado pela
metodologia descrita acima, o modelo pode ser resumido no esquema
abaixo.

O sucesso de um curso online só é atingível pelo sucesso de cada

uma das dimensões do modelo, que estão interligadas entre si. A
Concepção do Sistema determina o sucesso da Disponibilização do Sistema
que, por sua vez, determina o sucesso dos Resultados. Esta última
dimensão poderá conduzir igualmente em alterações nas dimensões
anteriores. Isso indica que não se pode tentar atingir o sucesso do E-
learning apenas a partir de uma dimensão isolada.

Grupo Almada Negreiros 10

Definir, Avaliar e Promover o Sucesso do E-Learning: Uma Perspectiva Segundo os Sistemas de Informação