1

O Ensino à Distância pela Internet: Conceito e Proposta de Avaliação

Autores: Ricardo Teixeira Veiga, Alexandre Inácio de Moura, Carlos Alberto Gonçalves e
Francisco Vidal Barbosa
Resumo
O desenvolvimento da Internet oferece novas oportunidades de prestação de serviços, como o
comércio eletrônico e o ensino à distância (EAD). Neste trabalho, apesar das diversas
tecnologias disponíveis, limitamo-nos a abordar o EAD pela Internet, que, em suas formas
mais sofisticadas, pode ser caracterizado pela interação em tempo real, utilização de recursos
multimídia (imagens, sons e texto) e sala de aula virtual. Para avaliar a qualidade de um curso
à distância pela Internet, do ponto de vista dos participantes, foi sugerido um questionário,
baseado na escala SERVQUAL (Parasuraman, Zeithaml e Berry, 1988). O questionário,
enviado e respondido por e-mail, foi remetido a 196 alunos de um curso da linguagem de
programação C, promovido pela UFMG1, obtendo-se taxa de respostas de cerca de 11%. A
análise dos dados coletados indica que uma adaptação da escala SERVQUAL pode contribuir
para a elaboração de um instrumento útil para a avaliação da qualidade do ensino à distância.
Mas é preciso obter amostras maiores, que possibilitem uma investigação rigorosa das
propriedades psicométricas da escala proposta. Além disso, a realização de pesquisas pela
Internet é uma alternativa promissora, mas requer cuidados especiais na escolha de editores
de texto, controle de vírus e manutenção de listas de endereços eletrônicos atualizadas.

1. Introdução
O desenvolvimento das tecnologias de informação propiciou o desenvolvimento de novas
alternativas de ensino à distância (EAD), que vêm sendo pesquisadas e praticadas em
universidades e empresas. Por exemplo, no Brasil, empresas de telecomunicações como a
TELEMIG e operadoras de TV a cabo, como a KTV de São Paulo, estão implementando salas
de aulas virtuais, geralmente trabalhando de forma autônoma, sem o apoio de universidades
ou de outras instituições de ensino (Moura, 1998). Por outro lado, nas universidades públicas,
vêm-se constituindo grupos de estudo de EAD, como o GAVINA criado pelo Departamento
de Ciência da Computação da UFMG, enquanto outros núcleos já estão promovendo cursos
pela Internet (Centro de Pesquisa e Desenvolvimento em Engenharia Elétrica da UFMG).
Ives e Javenpaa (1996) observam que se está construindo uma Nova Infra-estrutura
Intelectual, caracterizada por:
♦ Comunidades virtuais de aprendizado - com a diminuição da interação física entre alunos e
os professores, eliminando necessidade de deslocamento, baixando custos e aumentando a
conveniência e a flexibilidade. Além de se ignorarem diferenças de horário e distâncias
geográficas, os estudantes envolvidos nos grupos virtuais podem ser agrupados conforme
aptidões e interesses, ao mesmo tempo que podem usufruir dos benefícios da
heterogeneidade de culturas e experiências.
♦ Mais orientação do que ensino - com os instrutores desempenhando mais o papel de
facilitadores do que de especialistas, pois os cursos serão menos estruturados e mais
personalizados, cabendo aos próprios alunos cuidar de sua instrução.
♦ Aumento no número de certificações de instituições não acadêmicas para realizarem
serviços de treinamento à distância.

1
Os autores agradecem ao Prof. Renato Cardoso Mesquita, seus monitores e alunos por colaborem com esta
pesquisa. Informações sobre o curso de C: http://www.cpdee.ufmg.br/cursos/C/
 2

♦ “Disseminação just-in-time do conhecimento”, conforme o ritmo da demanda.

♦ Globalização dos serviços de educação, originários de todos os continentes.
♦ Competição aberta resultante da diversidade de opções.
♦ Destaque dos aspectos visuais em relação aos aspectos textuais..
♦ Integração de conceitos aprendidos com contextos de aprendizagem.

Os autores ressaltam que a sobrevivência das universidades, enquanto instituições de

ensino, demanda o desenvolvimento de maior competência no uso da tecnologia da
informação e nas novas tecnologias de EAD. Para eles, as instituições que vão permanecer
serão aquelas que desenvolverem uma sólida imagem e reputação, consolidando uma marca,
destacando-se tanto em volume de cursos como em abrangência de conhecimentos. Para isso
devem repensar e aperfeiçoar continuamente sua qualidade de serviços, sistemas de avaliação
e flexibilidade.
Assim, é importante, analisar as aplicações do EAD nas universidades, inicialmente
focalizando cursos de extensão de curta duração, avaliando tanto seu potencial de difusão de
conhecimentos como de desenvolvimento da competência específica necessária para o
desenvolvimento de projetos mais ambiciosos como cursos de pós-graduação.
Para examinar a qualidade do EAD pela Internet, podemos ultrapassar a mera
avaliação de aprendizagem dos alunos, baseando-nos num modelo teórico de qualidade de
serviços, para medir a qualidade percebida pelos alunos e conhecer as dificuldades de
participação no treinamento, bem como obter sugestões para a melhoria do processo.
Na próxima seção, será apresentada uma revisão bibliográfica sumária sobre EAD e
qualidade de serviços, que explicará os fundamentos teóricos do questionário proposto para
avaliação da qualidade do EAD pela Internet. Depois será explicada a metodologia e os
resultados serão descritos e analisados. Na conclusão, serão discutidas as limitações do
trabalho e apresentadas sugestões para aperfeiçoamento do instrumento proposto.

2. Revisão Teórica

2.1 Conceito de Ensino à Distância

O ensino à distância (EAD) não é novidade. No Brasil, tem funcionado há décadas através de
cursos por correspondência, como os do Instituto Universal Brasileiro, e pela televisão, como
o Telecurso 2o Grau, criado pela Rede Globo. A maior novidade dos últimos anos é a
possibilidade de uso de tecnologias interativas, que permitem a comunicação em tempo real
entre instrutores e alunos, tais como as teleconferências e a Internet, a qual tem-se
desenvolvido em termos de capilaridade, velocidade e incorporação de recursos multimídia.
No meio acadêmico, há divergências quanto à conceituação do termo “educação à
distância”. Segundo Nunes (s.d.), as primeiras abordagens conceituais qualificavam a
educação à distância pelo que ela não era, pois estabeleciam uma comparação imediata da
EAD com a educação presencial, também denominada educação convencional, direta ou face-
a-face, onde o professor, presente em sala de aula, é a figura central. No Brasil, até hoje,
muitos costumam seguir o mesmo caminho, preferindo tratar o EAD a partir da comparação
com a modalidade presencial da educação. Segundo o autor, esse comportamento não é
incorreto, mas promove um entendimento parcial do que é EAD e, em alguns casos,
estabelece termos de comparação pouco científicos. Para conceituar EAD reporta-se a outros
autores, tais como:
 3

♦ Dohmem (1967): educação à distância (Ferstudium) é uma forma sistematicamente

organizada de auto-estudo onde o aluno se instrui a partir do material de estudo que lhe é
apresentado, e seu acompanhamento e supervisão é feito por um grupo de professores,
utilizando-se meios de comunicação capazes de vencer longas distâncias. O oposto de
EAD é a “educação face-a-face”, com contato direto entre professores e estudantes.
♦ Peters (1973): educação/ensino à distância (Fernunterricht) é um método racional de
compartilhar conhecimentos, habilidades e atitudes, através da aplicação da divisão do
trabalho e de princípios organizacionais, bem como pelo uso extensivo de meios de
comunicação, especialmente para reproduzir materiais técnicos de alta qualidade, os quais
tornam possível instruir um grande número de estudantes ao mesmo tempo, enquanto esses
materiais durarem. É uma forma industrializada de ensinar e aprender.
♦ Moore (1973): EAD pode ser definida como a família de métodos instrucionais onde as
ações dos professores são executadas à parte das ações dos alunos, incluindo situações
continuadas que podem ser feitas na presença dos estudantes. A comunicação professor-
aluno deve ser facilitada por meios impressos, eletrônicos, mecânicos ou outros.
♦ Holberg (1977): o termo “educação à distância” refere-se a várias formas de estudo, de
vários níveis, que não estão sob a contínua e imediata supervisão de tutores presentes com
seus alunos nas salas de leitura ou no mesmo local. A educação à distância se beneficia do
planejamento, direção e instrução da organização do ensino.

Segundo Keegan (1991, p. 38), os elementos centrais dos conceitos de EAD são:
(1) separação física entre professor e aluno, que distingue o EAD do ensino presencial;
(2) influência da organização educacional (planejamento, sistematização, plano, projeto e
organização rígida), que a diferencia da educação individual;
(3) uso de meios técnicos de comunicação, usualmente impressos, para unir o professor ao
aluno e transmitir os conteúdos educativos;
(4) comunicação de mão-dupla, onde o estudante pode beneficiar-se da iniciativa no diálogo;
(5) possibilidade de encontros ocasionais com propósitos didáticos e de socialização; e
(6) participação de uma forma industrializada de educação, potencialmente revolucionária.

2.2 Modalidades de Comunicação no EAD

A partir do tipo de comunicação, natureza e suporte tecnológico para efetivá-la podemos
classificar as formas de interação que podem ocorrer no EAD que utiliza intensivamente as
tecnologias da informação (quadro 1):
Quadro 1
Tipo de Natureza da Suporte tecnológico
Comunicação Comunicação
Um-para-Um Síncrona Telefone, fax, videofone
Um-para-Um Assíncrona E-mail, transferência de arquivo, homepages
Um-para-Muitos Síncrona Transmissão direta via satélite com interação
Um-para-Muitos Assíncrona Listas de discussão, transferência de arquivo
Muitos-para-Muitos Síncrona Transmissão direta via satélite com interação
Muitos-para-Muitos Assíncrona Reuniões através do computador
No modo assíncrono, a interação entre instrutores e alunos não é on-line, ou seja, não
acontece em tempo real. As vantagens da modalidade assíncrona são:
 4

♦ Flexibilidade - o acesso ao material didático, especialmente na Internet, pode ser feito em

qualquer horário, dia da semana e de qualquer lugar.
♦ Tempo para reflexão - tanto o instrutor quanto os participantes têm a oportunidade de
amadurecer mais as idéias e consultar fontes antecipadamente, favorecendo o preparo para
discussões mais produtivas.
♦ Aprendizado “local” - como a tecnologia possibilita o acesso através da casa ou do
trabalho, o aprendiz pode mais facilmente integrar as idéias ao seu ambiente de atuação.
♦ Custo mais razoável - sistemas assíncronos baseados em texto exigem pequena largura de
banda e computadores menos sofisticados, facilitando o acesso global e reduzindo custos.
♦ Algumas das desvantagens do modo assíncrono podem ser superadas por um sistema
síncrono, baseado na comunicação em tempo real.
As vantagens do modo síncrono são:
♦ Motivação - sistemas síncronos enfatizam a sinergia do grupo, motivando os participantes
a se manterem nos grupos e continuarem os estudos.
♦ Telepresença - o clima estabelecido pela interação em tempo real favorece o
desenvolvimento de uma maior coesão no grupo e um sentimento por parte do aprendiz de
estar fazendo parte de uma “comunidade de aprendizes”.
♦ Bom feedback - sistemas síncronos favorecem um rápido feedback e o atingimento de
consenso no grupo.
♦ Melhor acompanhamento - eventos síncronos encorajam os estudantes a se manterem
atualizados com o curso e favorecem uma disciplina para o aprendizado, ajudando os
estudantes a priorizarem seus estudos.

Por outro lado, sistemas síncronos são mais caros, exigem tecnologia mais sofisticada,
estão mais condicionados ao desempenho do suporte tecnológico e podem ser menos
flexíveis, devido à necessidade de interação on-line. Por isso, a maior parte dos sistemas de
EAD atuais exploram o modo assíncrono, embora exista uma tendência de se combinarem os
dois sistemas de interação, buscando-se aumentar a produtividade do EAD.

Collis (1996) identifica quatro padrões de comunicação em um ambiente de

aprendizado interativo:
(1) Exposição - no modo assíncrono pode ser viabilizada através de textos impressos ou
mesmo através de páginas disponíveis na Internet, incluindo textos convencionais, artigos
e trabalhos originais.
(2) Questionamento - pode ser viabilizado através de mensagens via e-mail ou vídeo-
conferência, através de sistemas de Chat em tempo real ou através de qualquer sistema de
áudio.
(3) Resposta - pode ser viabilizada através de sistemas assíncronos ou de forma mais imediata
e direta através de sistemas síncronos.
(4) Discussão - ou trabalho em grupo envolvendo pequenos grupos de estudantes que pode ser
viabilizado através de vídeo-conferências.
Segundo Nunes (op. cit.), enquanto nos sistemas assíncronos o repasse de
conhecimentos tende a ser estático e orientado ao armazenamento, nos sistemas síncronos o
repasse é “vivo”, dinâmico e ativo. Um aprendiz interagindo de maneira assíncrona poderá
realizar atividades como visualizar video-clips, ouvir instruções, navegar através de links,
copiar e imprimir textos, abrir e manipular gráficos, enviar mensagens via e-mail para os
 5

instrutores, armazenar informações para uso futuro. No modo síncrono, além das atividades
citadas, o aprendiz pode visualizar vídeos em tempo real, ouvir e falar com outras pessoas,
assistir a uma demonstração do instrutor, fazer perguntas, compartilhar a utilização de
recursos em grupo, obter informações e respostas imediatas.
Cursos em modalidade assíncrona exigem maior estruturação. A “aula síncrona” é
mais espontânea do que a assíncrona, já que os instrutores estão livres para interagir com os
alunos numa sessão on-line, falando, fazendo demonstrações ou dirigindo-se aos alunos pelo
vídeo.
No EAD, a preparação do conteúdo instrucional constitui um desafio, pois cada
conteúdo deve ser criado em formato específico, compatível com o suporte tecnológico, e
armazenado como arquivo, para ser acessado através da aula. É necessário trabalhar
artisticamente o material didático, desenvolvido através de HTML, JAVA, PowerPoint,
Autoware etc., para torná-lo mais atraente, comunicativo e eficaz. Por isso, grandes
organizações têm criado equipes de especialistas para cuidar do material instrucional.
Um sistema virtual de EAD pode obter ótimos resultados se incorporar, às vezes com
vantagens, o maior número de elementos do sistema de ensino tradicional tais como:
♦ Acessibilidade - a tecnologia para apoio à EAD deve estar sempre ao alcance do estudante
não importando onde o mesmo se encontra;
♦ Um instrutor bem preparado - para contolar os conteúdos didáticos e promover a interação
com os estudantes e entre eles. A ausência de um instrutor nos cursos assíncronos via CD
pode explicar porque esses cursos são normalmente menos eficazes que as classes virtuais.
♦ Controle total do material didático pelo instrutor, a ponto de ele conseguir manter todos
os estudantes “na mesma página”.
♦ Alto nível de interatividade entre professor e alunos e entre os próprios alunos.
♦ Controle da situação num ambiente intelectual rico e dinâmico, mas sem “bagunça”.
♦ Acesso a ricos recursos didáticos - por parte do instrutor e dos alunos.
♦ Verificação do processo de aprendizado em termos de rendimento e participação.
♦ Espontaneidade, propiciando-se a improvisação de materiais didáticos para responder a
perguntas inesperadas e mesmo para atualizar os participantes.
♦ Aprendizado auto-acompanhado - tornando-se disponível aos alunos todos os materiais do
curso e promovendo-se sua capacidade de estudo independente.

Apesar de suas potencialidades, todos os suportes tecnológicos apresentam limitações:

 6

Quadro 2

Tecnologia
Sala de vídeo-conferência
ou
transmissão via satélite
CD-ROM
ou
CBT - Computer Based Trainning
Treinamento apoiado pela WEB
2.3 Três Modelos de Educação à Distância
Limitações
♦ Pouco controle dos participantes
♦ Baixa retenção de conteúdo
♦ Pequena interação entre os participantes
♦ Pequena interação multimeios
♦ Controle limitado do desempenho do estudante
♦ Alto custo de desenvolvimento
♦ Baixas taxas de conclusão devido à ausência de um
instrutor
♦ Não há interação entre os estudantes
♦ Não há acompanhamento em tempo real do estudante
♦ Controle assíncrono pelo instrutor
♦ Suporte multimeios limitados

O “Institute for Distance Education” (www.umuc.edu) propõe três modelos de EAD:

Modelo A - Salas de Aulas Distribuídas
Esse modelo estrutura-se a partir de tecnologias multimídias capazes de levar
conhecimentos a pontos diferentes no globo. A instituição responsável pelo treinamento
controla o andamento e o local onde deverá ser realizado o treinamento. As aulas envolvem
comunicação síncrona: instrutores e estudantes combinam local e horário para se
encontrarem, pelo menos uma vez por semana. O locais de encontro podem variar de 2
(ponto a ponto) para 5 ou mais (ponto a multiponto). Quanto maior o número de locais
envolvidos maior a complexidade técnica e logística. Os alunos ficam mais bem acomodados
em suas casas, em seu local de trabalho do que se estivessem no campus. As instituições são
capazes de atenderem um pequeno número de alunos em cada local.

Modelo B - Aprendizado Independente

Nesse modelo os alunos podem fazer o curso independente do local onde estão e não
têm que se adequar a escalas fixas de horário. Os estudantes recebem vários materiais de
estudo, incluindo um programa do curso. A instituição coloca à disposição do aluno um
monitor que o acompanhará, fornecendo respostas e avaliando seus exercícios. A interação
entre o monitor e o estudante é viabilizada através das seguintes tecnologias: telefone, voice-
mail, conferência via computador, correio eletrônico e correio tradicional.
Não há aulas. Os alunos estudam de forma independente, seguindo fielmente o
programa de curso. Os alunos podem interagir com o instrutor e, em alguns casos, com outros
estudantes. O curso é apresentado em forma de material impresso, disquetes de computador,
ou fitas de vídeo. Os alunos têm a liberdade de rever seus materiais quando bem entenderem.
Os materiais utilizados no curso são utilizados por muitos anos. Normalmente os materiais
utilizados nesse modelo são resultado de um processo estruturado, envolvendo profissionais
especializados em didática e especialistas nos assuntos a serem ensinados.

Modelo C - Estudo aberto + Aulas

Este modelo envolve a utilização de material impresso e outras mídias, tais como fitas
de vídeo cassete ou disquetes de computador, que possibilitem ao aluno estudar no seu
 7

próprio local. Outras tecnologias que envolvam os alunos também poderão ser utilizadas.O
curso é operacionalizado através de material impresso, disquetes de computador ou fitas de
vídeo. Os alunos se reúnem periodicamente em grupos, em locais específicos, para receber
apoio instrucional. Nas aulas discutem-se os conteúdos, esclarecem-se conceitos, realizam-se
trabalhos em grupos, experiências em laboratórios, simulações e outros exercícios
relacionados com a aprendizagem.

2. 4 O Ensino à Distância como Prestação de Serviços

A ensino é um tipo de serviço caracterizado pelo alto grau de intangibilidade. Ao contrário da
qualidade de bens, que pode ser medida objetivamente através de indicadores como
durabilidade e número de defeitos, a qualidade de serviço tem uma natureza mais abstrata e
esquiva, sendo mais adequada medi-la avaliando-se a qualidade percebida pelos clientes
(Parasuraman, Zeithaml e Berry, 1988).
Os principais modelos de qualidade de serviços (Grönroos, 1984; Parasuraman,
Zeithaml e Berry, 1988) baseiam-se na comparação do serviço experimentado com as
expectativas do consumidor para explicar a qualidade de serviço percebida. Além de
relacionar a qualidade de serviço percebida com lacunas do lado do fornecedor, Parasuraman
et alli (1988) desenvolveram uma escala multidimensional - a SERVQUAL -, que pode ser
adaptada para a mensuração da qualidade de serviços em ramos de serviços não investigados
pelos autores, embora haja dúvidas se essa escala é mesmo “universal” (Cronin e Taylor,
1994; Urdan, 1995).
A SERVQUAL tem sido usada para medir a qualidade de serviços diversos, como
bancos, cartões de crédito, manutenção de aparelhos eletrônicos e seguros (Parasuraman,
Zeithaml e Berry (1988), venda de gases medicinais (Fassini e Figueiredo, 1994), serviços
hospitalares (Urdan, 1995) e ensino superior (Veiga, Gonçalves e Moura, 1996). De fato, não
obstante algumas críticas à metodologia utilizada na construção da escala, há uma
concordância generalizada que seus 22 itens são bons preditores de uma medida geral da
qualidade de serviço, com R2 variando de 0,5 a 0,7 (Bitner e Hubert, 1994).
A SERVQUAL baseia-se no princípio da desconfirmação das expectativas, segundo o
qual os consumidores comparam o serviço que desejam e esperam do fornecedor com a
percepção de seu desempenho real na prestação de serviços (Parasuraman, Zeithaml e Berry,
1985). A escala baseia-se também no princípio de que a qualidade de serviços é um conceito
formado por cinco dimensões, assim definidas:
(1) Tangibilidade - aparência física das instalações, equipamentos, pessoal e material de
comunicação;
(2) Confiabilidade - capacidade de desempenhar o serviço prometido de modo confiável e
com precisão;
(3) Presteza - disposição de ajudar os clientes e de fornecer o serviço com presteza;
(4) Segurança - conhecimento, cortesia dos funcionários e sua capacidade de transmitir
confiança e confiabilidade; e
(5) Empatia - atenção individualizada e cuidadosa que as empresas proporcionam aos
clientes.
Críticas à escala SERVQUAL, alegando ambigüidades e fraquezas conceituais, têm
justificado sugestões de adaptações do modelo de qualidade SERVQUAL (Teas, 1993) e a
proposição de escalas de qualidade de serviços alternativas, como a SERVPERF, em que se
utiliza metodologia diferente para medir a qualidade de serviços: não se consideram as
 8

expectativas dos clientes, mas somente suas percepções de qualidade (Teas, 1993; Brown,
Churchill e Peter, 1993; Cronin e Taylor, 1994).
Um problema com a escala SERVQUAL originalmente proposta é que os respondentes
tendem a atribuir quase sempre notas muito elevadas para as expectativas de qualidade,
criando um viés que torna essa medida praticamente inútil (Rust, Zahorik e Keininghan,
1994). Os autores sugerem medir a qualidade de serviços, evitando perguntas separadas sobre
expectativas e qualidade percebida, avaliando-se a desconfirmação diretamente, ancorando-se
as respostas com as opções: “abaixo do esperado”, “igual ao esperado” e “acima do
esperado”, tornando o questionário mais compacto, fácil de responder e menos tendencioso.

3. Metodologia
Para avaliar a qualidade de um treinamento à distância na linguagem de programação C,
promovido pelo CPDEE/UFMG, elaborou-se um questionário (versão modificada, em
Anexo), dividido em quatro seções: (1) avaliação de aspectos da qualidade do curso; (2)
avaliação da qualidade geral e do valor; (3) dados complementares; e (4) dados do
respondente.
Na primeira seção, adaptaram-se as 22 questões da escala SERVQUAL, para medir
num curso pela Internet as 5 dimensões de qualidade de serviço (tangíveis, confiabilidade,
presteza, segurança e empatia), numa escala de avaliação de três postos (“abaixo do
esperado”, “igual ao esperado” e “acima do esperado”). Na segunda seção, foram incluídas
duas questões gerais sobre qualidade geral do curso e valor obtido, em escalas de 1 a 9,
visando validar a adaptação da escala SERVQUAL. Na terceira seção, buscaram-se
informações suplementares sobre o curso: se o aluno terminou-o ou não, em caso de não ter
terminado a indicação dos motivos, as razões que levaram-no a fazer o curso e sugestões para
melhorá-lo. Na quarta seção, foram incluídas perguntas sobre dados demográficos (sexo, faixa
etária e escolaridade) e número de cursos via Internet que o respondente já havia feito.
O curso de C foi realizado num sistema assíncrono, de forma totalmente não
presencial, no segundo semestre de 1997, durante 9 semanas. O curso foi gratuito, sem pré-
requisitos formais, embora se recomendasse que os alunos já tivessem experiência com
alguma linguagem de programação. Trabalharam no curso 7 monitores, responsáveis pela
correção dos exercícios e solução de dúvidas dos alunos. A interação entre monitores e
participantes e entre os próprios participantes deu-se por e-mail, listas de discussão e
homepages. Listas de exercícios eram enviadas regularmente para os alunos, com prazo para
devolução, que deveria ser cumprido rigorosamente para evitar o desligamento do curso.
Matricularam-se nele 196 pessoas, a maioria por mera curiosidade.
Em maio de 1998, foi enviado e-mail para os 196 matriculados, solicitando que
respondessem o questionário proposto. Como incentivo à colaboração, foi informado que dois
livros de linguagem C de autores consagrados seriam sorteados dentre aqueles que
remetessem questionários corretamente preenchidos até a data limite de devolução (7 dias
após o envio). O questionário foi enviado como um documento MS-Word, anexado à
mensagem. Transmitiu-se mensagem única para a lista de endereços de todos os matriculados
no curso, que foram instruídos a editar o questionário da pesquisa, respondendo-o, e a retorná-
lo pela Internet.
Pretendíamos obter uma amostra suficientemente grande que possibilitasse o
tratamento estatístico adequado dos dados e a avaliação da consistência interna e validade da
escala SERVQUAL adaptada (seções 1 e 2 do questionário) para medir a qualidade de um
 9

curso à distância pela Internet. Para verificar a consistência interna da primeira seção
(aspectos de qualidade), em que os 22 itens da escala SERVQUAL foram adaptados,
planejávamos calcular o coeficiente alfa de Cronbach e, para verificar se a estrutura
dimensional da escala de qualidade do serviço “Curso de C” correspondia às 5 dimensões
teóricas de qualidade de serviço, planejávamos efetuar a análise fatorial dos dados obtidos.
Posteriormente, validaríamos a escala, através de um modelo de regressão múltipla em que a
nota dada para a qualidade geral do curso (seção 2) era a variável dependente, cuja variância
deveria ser explicada pelo conjunto de notas atribuídas aos aspectos específicos de qualidade
(seção 1), interpretadas como variáveis independentes, conforme sugestão de Parasuraman,
Zeithaml e Berry (1988, 1994). Outro modelo de regressão semelhante, tendo como variável
dependente a nota sobre valor obtido (seção 2), seria testado para reforçar as conclusões sobre
a validade da escala, baseando-se no pressuposto de correlação positiva entre qualidade geral
e valor.

4. Resultados e Análise2
Não nos foi possível comunicar com todos os 196 ex-alunos do curso, porque 15 (7,7%)
endereços eletrônicos estavam desatualizados. A taxa de respostas foi baixa: 21 questionários
para os 181 endereços eletrônicos corretos. Ou seja, cerca de 11,6%, taxa pequena porém
comparável às obtidas em pesquisas pelo correio.
A tabela 1 descreve resumidamente o perfil dos respondentes em que predominaram
homens, pessoas de 21 a 40 anos e de escolaridade superior, sendo para a grande maioria a
primeira experiência como alunos de um curso pela Internet.
Tabela 1: Dados dos Respondentes
Sexo Faixa Etária Escolaridade Cursos pela Internet
M F 20- 21-40 40+ Sec. Terc. 1 2-5
19 (90,5%) 2 (9,5%) 2 (9,5%) 18 (85,7%) 1 (4,8%) 4 (19%) 17 (81%) 17 (81%) 4 (19%)
Fonte: Dados da Pesquisa.
Os motivos que levaram os respondentes a fazer curso foram a vontade de aprender ou
aumentar conhecimentos de linguagem C, a comodidade de poder fazer o curso em casa ou no
trabalho, o fato de o curso ser gratuito etc. (tab. 2).

Tabela 2: Motivos para Participar do Curso de C

Motivos Número de Respostas
• Aprender a linguagem 15
• Comodidade de fazer o curso em casa ou no escritório 15
• O fato de o curso ser gratuito 9
• Curiosidade 5
• Ampliar conhecimentos de C 2
• Outros 1
Total 47 (*)
Fonte: Dados da Pesquisa.
Obs.: (*) Vários respondentes alegaram mais de um motivo.

2
Todos as estatísticas foram calculadas utilizando-se o software SPPS/Windows versão 6.1.
 10

Dentre os 21 respondentes, 9 (42,9%) completaram o curso e 12 (57,1%) não o

completaram devido a motivos diversos, principalmente falta de tempo para acompanhar o
curso e realizar os exercícios (tab. 3).

Tabela 3: Motivos para Não Completar o Curso

Motivos Número de Respostas
• Falta de Tempo 6
• Dificuldade de Cumprir os Prazos dos Exercícios 4
• Dificuldade em Acessar a Internet 1
• Dificuldade em Acompanhar o Curso 1
• Demora Excessiva dos Instrutores na Correção dos Exercícios 1
Total 13 (*)
Fonte: Dados da Pesquisa.
Obs.: (*) Um aluno alegou dois motivos distintos.
Dezenove alunos (90,5%) deram interessantes sugestões para a melhoria do curso,
integralmente reproduzidas a seguir:
(1) “melhorar a parte teórica do curso disponível na Internet”;
(2) “tornar disponível o material didático para download direto, sem ter que imprimir
usando o Netscape”;
(3) “adotar um livro clássico de C como manual, cuja leitura deveria ser obrigatória”;
(4) “enviar o questionário para avaliar o curso, logo após o seu término”;
(5) “aumentar prazos de entrega das listas de exercícios ou torná-las mais esparsas”;
(6) “aumentar textos de apoio didático por unidade e disponibilizá-los, via ftp, com senha”;
(7) “no início do curso, dar instruções claras aos alunos sobre etiqueta, para evitar
comportamentos negativos, como o envio de mensagens desnecessárias”;
(8) “aprofundar o curso”;
(9) “mudar a regra de excluir incondicionalmente do curso os alunos que não respondessem
no prazo alguma das listas de exercícios”;
(10) “modularizar o curso, conforme o nível de conhecimentos do aluno”;
(11) “planejar melhor as discussões”;
(12) “dar mais exemplos ilustrativos com programas para analisar as saídas”;
(13) “selecionar os alunos, baseando-se no conhecimento prévio de C”;
(14) “possibilitar que cada aluno fizesse o curso no ritmo que quisesse”;
(15) “só emitir nova lista de exercícios, após a correção da anterior”;
(16) “treinar melhor os alunos no uso das ferramentas necessárias ao curso”.

Em relação à pergunta se o curso havia atendido às necessidades de aprendizado do

aluno, 8 (38,1%) disseram que “sim” e 12 (57,1%) responderam “em parte”, enquanto 1 não
respondeu nada. A maior parte que respondeu “em parte” justificou sua resposta com os
motivos que impediram a conclusão do curso; outros acharam o curso superficial, muito
“corrido” ou difícil de acompanhar. Dentre aqueles que responderam que o curso havia
atendido às suas necessidades de aprendizagem, alguns elogiaram a rapidez no esclarecimento
de dúvidas por parte dos monitores e a oportunidade de aprender com as respostas às dúvidas
dos colegas. Outros disseram estar satisfeitos com o que puderam aprender sobre a
linguagem, possibilitando o desenvolvimento de aplicações, a melhoria da capacidade de
 11

programação em C, a solução de dúvidas e o aumento de conhecimentos específicos. Um ex-

aluno disse que, por ter aprendido a programar em C, fazendo o curso, obteve uma bolsa de
iniciação científica.
Em relação à avaliação dos aspectos de qualidade do curso (seção 1 - escala
SERVQUAL adaptada), a grande maioria das respostas indicou qualidade “igual à esperada”
ou “melhor do que esperada”, pois numa escala de 1 (“pior o que o esperado”) a 3 (“melhor
do que o esperado”), apenas o item “dispensar atenção individualizada aos alunos” teve
média abaixo de 2, enquanto os demais 21 itens tiveram média igual ou maior que 2 (v. tab.
4). Do ponto de vista dos respondentes, os itens de qualidade melhor avaliados foram
“demonstrar interesse pelo aluno”, “manter os alunos bem informados sobre o curso”,
“disponibilidade para atender o aluno”, “resolver suas dúvidas” e “levar em consideração
suas sugestões” (médias respectivas de 2,619, 2,476, 2,476, 2,381 e 2,381).

Conforme as respostas da seção 2 (avaliação da qualidade geral e do valor),

percebemos que a grande maioria dos alunos atribuiu notas elevadas para a qualidade geral e
o valor obtido com o curso, com média superior a 7 e pequeno desvio padrão (v. tabela 5 e
gráfico 1).
 12

Tabela 4: Escores da SERVQUAL Adaptada para Avaliar a Qualidade do Curso de C

Pior do que Igual ao Melhor do
esperado esperado que esperado
Em relação a ... 1 2 3 NR1 Média DP2
1. Fornecer o curso conforme o prometido 17 (81%) 4 (19%) 2,190 0,402
2. Solucionar as dúvidas dos alunos 1 (4,8%) 11 (52,4%) 9 (42,9%) 2,381 0,348
3. Apresentar corretamente o conteúdo da 1 (4,8%) 19 (90,5%) 1 (4,8%) 2,000 0,100
primeira vez
4. Realizar o treinamento no prazo prometido 2 (9,5%) 14 (66,7%) 4 (19%) 1 (4,8%) 2,100 0,305
5. Não cometer erros 1 (4,8%) 17 (81%) 2 (9,5%) 1 (4,8%) 2,050 0,155
6. Manter os alunos bem informados sobre o 11 (52,4%) 10 (47,6%) 2,476 0,262
curso
7. Rapidez na realização do treinamento 4 (19%) 10 (47,6%) 6 (28,6%) 1 (4,8%) 2,100 0,516
8. Demonstrar interesse em ajudar o aluno 8 (31,1%) 13 (61,9%) 2,619 0,248
9. Disponibilidade em atender o aluno 11 (52,4%) 10 (47,6%) 2,476 0,262
10. Instrutores que inspiram confiança 1 (4,8%) 13 (61,9%) 7 (33,3%) 2,286 0,314
11. Fazer com que os alunos se sintam seguros 17 (81%) 4 (19%) 2,190 0,162
durante o treinamento
12. Instrutores sempre corteses com os alunos 15 (71,4%) 6 (28,6%) 2,286 0,214
13. Instrutores capazes de dar respostas corretas 1 (4,8%) 13 (61,9%) 7 (33,3%) 2,286 0,314
às perguntas dos alunos
14. Dispensar uma atenção individualizada aos 5 (23,8%) 12 (57,1%) 4 (19%) 1,952 0,448
alunos
15. Instrutores que se preocupam com os alunos 2 (9,5%) 13 (61,9%) 5 (23,8%) 1 (4,8%) 2,150 0,345
16. Levar em considerar as sugestões 1 (4,8%) 11 (52,4%) 9 (42,9%) 2,381 0,348
apresentadas pelos alunos
17. Instrutores que entendem as necessidades 1 (4,8%) 15 (71,4%) 5 (23,8%) 2,190 0,262
dos alunos
18. Atender os alunos em horários convenientes 2 (9,5%) 16 (76,2%) 3 (14,3%) 2,048 0,248
19. Utilizar material didático de boa 1 (4,8%) 15 (71,4%) 5 (23,8%) 2,190 0,262
apresentação
20. Homepages atraentes e claras para suporte 3 (14,3%) 10 (47,6%) 8 (38,1%) 2,238 0,490
ao aluno
21. Instrutores com comportamento profissional 1 (4,8%) 14 (66,7%) 6 (28,6%) 2,238 0,290
22. Recursos tecnológicos utilizados no curso 18 (85,7%) 3 (14,3%) 2,143 0,129
Fonte: Dados de Pesquisa
Notas: (1) Não responderam; (2) Desvio padrão.

Gráfico 1: Notas Gerais de Qualidade e Valor

12
10
Freqüência

8
Qualidade Geral
6
4 Valor
2
0
1 2 3 4 5 6 7 8 9
Escala
 13

Tabela 5: Notas atribuídas à Qualidade Geral e Valor

Média Desvio Padrão Moda Mediana Mínimo Máximo
QUALIDADE GERAL 7,190 0,873 7 7 5 9
VALOR 7,143 1,740 8 8 1 9

Apesar do pequeno tamanho da amostra, calculamos o coeficiente Alfa de Cronbach,

obtendo 0,903, valor superior a 0,7 considerado por Spector (1992) como o mínimo para
admitir-se que uma escala tem consistência interna. Não seria vantajosa a exclusão de
nenhum dos itens, porque isso não aumentaria o Alfa, pois o maior valor de Alfa após a
exclusão de qualquer item seria 0,9023, valor inferior ao coeficiente da escala completa.
Devido ao pequeno tamanho da amostra não realizamos a análise fatorial para verificar se a
estrutura dimensional da escala adaptada correspondia ao pressuposto teórico.
Ao utilizar um modelo de regressão para testar a associação das 22 notas dadas aos
aspectos de qualidade (Q1 a Q22), interpretadas como variáveis independentes, com a nota
dada à qualidade geral - variável dependente, a ser explicada -, obtivemos um coeficiente R2
razoavelmente elevado (0,67187), porém não confiável (F = 3,27513, Signif F = 0,2594),
com todos os coeficientes de regressão não significativos ao nível de 95% de confiabilidade.
Para obtermos alguma evidência da validade da escala, correlacionamos o “escore
geral” de cada aluno (a soma de suas notas atribuídas aos 22 itens), com sua nota de
qualidade geral, obtendo-se a razoável correlação de 0,5841, com nível de significância de
0,5%. Além disso, testando-se um modelo de regressão bivariado, buscando-se explicar a
nota de qualidade geral a partir do escore geral, obteve-se o modesto coeficiente de
determinação (R2) de 0,30654 (F = 9,84075 , Signif F = 0,0054). Ou seja, obtivemos alguma
evidência de validade da escala sugerida.

5. Conclusão
As experiências com EAD através da Internet são recentes. É preciso desenvolver
instrumentos para avaliar a qualidade de cursos desse tipo. Propomos que se faça uma
pesquisa pela própria Internet, enviando, por e-mail, um questionário estruturado, com poucas
perguntas, fácil de responder e em que a qualidade do curso é medida através de uma
adaptação da escala SERVQUAL.
Um estudo exploratório aplicando-se esse questionário numa turma de alunos de um
curso da linguagem C apresenta evidências de que o instrumento proposto é consistente,
válido e útil. No entanto podemos sugerir aperfeiçoamentos (v. Anexo):
• Ampliar a escala de respostas da seção 1, passando de 1 (“pior do que o esperado”) a 3
(“melhor do que o esperado”) para 1 a 5 ou 1 a 7, mantendo as âncoras para os extremos
ou substituindo-as por “abaixo do esperado”, “igual ao esperado” e “acima do esperado”.
Isso provavelmente aumentará a dispersão das respostas, facilitando a análise de validade.
• Acrescentar uma seção com perguntas sobre satisfação, que podem ser utilizadas na
análise de validade do questionário, e cujas relações empíricas com a qualidade percebida
e valor podem ser também examinadas.
• Aproveitar as sugestões e reclamações dos alunos como referência para a interpretação das
dimensões teóricas de qualidade de serviços e adaptação da escala SERVQUAL, para
avaliar um curso à distância pela Internet. Por exemplo, na SERVQUAL padrão uma das
questões associadas à dimensão empatia é “horários de funcionamento convenientes”
(Parasuraman, Zeithaml e Berry, 1994, p. 207). Como a conveniência de horário de
 14

utilização é uma notória facilidade da Internet, podemos substituir esse item por “prazos
convenientes para a entrega dos exercícios”, baseado numa das queixas mais comuns dos
alunos que não conseguiram completar o curso e que, do ponto de vista deles, pode ter
influenciado negativamente a avaliação de qualidade do curso.
• Obter amostras com centenas de alunos de EAD, para que se possam aplicar rigorosamente
os procedimentos estatísticos necessários para validar o questionário proposto.
Algumas evidentes limitações do trabalho são o baixo índice de respostas, a amostra
pequena e a ausência de controle do viés de não resposta. Futuras pesquisas devem investigar
populações maiores, estabelecer outros incentivos para melhorar a taxa de respostas e,
sobretudo, realizar a pesquisa logo após o final do curso, talvez até como “tarefa” final dos
estudantes. Outras informações sobre o aluno, como aproveitamento, formação escolar e
profissional, provavelmente disponíveis na secretaria do curso, podem ser úteis para a análise
do viés de não resposta.
O método para a operacionalização da pesquisa - envio e recebimento de
correspondência e questionário por e-mail - mostrou-se adequado, rápido e barato. Entretanto
devem-se tomar todos os cuidados para evitar o envio ou recebimento de arquivos com vírus,
bem como manterem-se listas de endereços eletrônicos atualizadas. Aliás, para tornar mais
atraente a pesquisa, mais fácil o preenchimento dos questionários e evitar o risco de
contaminação por vírus, pode-se criar uma homepage, onde o formulário esteja disponível
para preenchimento e envio à coordenação da pesquisa.
A partir da experiência de ouvir os ex-alunos de um curso de linguagem de
programação, aprendemos que o EAD requer um planejamento rigoroso e inteligente. Embora
o estabelecimento de prazos seja obrigatório (caso contrário, como disse um dos co-autores “o
curso acabaria lá pelo ano 2000...”), inclusive para afastar os alunos “enrolados”, devemos
criar mecanismos que dêem maior flexibilidade para os alunos, tratando-os também de forma
diferenciada conforme seu nível de conhecimentos e interesse pelo curso. O grande desafio é
a construção de uma rede intelectual dinâmica, que promova o aprendizado, a discussão e a
disseminação de conhecimentos através do EAD.

6. Bibliografia
BITNER, M. J. e HUBBERT, A. R. Encounter satisfaction versus overall satisfaction versus quality:
the customer voice. In: RUST, R. T. e OLIVER, R. L. Service quality: new directions in theory
and practice. California, Sage, p. 72-94, 1994.
BROWN, T. J., CHURCHILL, Jr. G. A. e PETER, J. P. Research note: improving the measurement of
service quality. Journal of Retailing, 69 (1), p. 127-139, spring 1993.
COLLIS, B. Tele-learning in a Digital World. International Thomson Computer Press, 1996.
CRONIN, J. J. e TAYLOR, S. A. SERVPERF versus SERVQUAL: Reconciling Performance-Based
and Perceptions-Minus-Expectations Measurement of Service Quality. Journal of Marketing, v. 58
(january), p. 125-131, 1994.
GRÖNROOS, C. A Service Quality Model and Its Marketing Implications. European Journal of
Marketing, n. 4, p. 36-44, 1984.
IVES, Blake, JARVENPAA, Sirkka L. Will the Internet revolutionize business education and
research? Sloan Management Review, 1996, p33-41.
KEEGAN, D. Foundations of distance education. Londres, 1991.
MOURA, A. I. Análise de desempenho de sistemas de transmissão de conhecimentos aplicados à
administração utilizando Internet, redes e multimeios. FACE/UFMG, 1998
NUNES, Ivônio Barros (s.d). Noções de educação a distância. On Line. Disponível:
http://www.ibase.organização.br/~ined/ivonio1.html.
 15

PARASURAMAN, A., ZEITHAML, V. A. e BERRY, L. L. SERVQUAL: A Multiple-Item Scale for

Measuring Consumer Peceptions of Service Quality. Journal of Marketing, v. 64 (spring), p.12-40,
1988.
__________, _________ e _________.Research note: more on improving service quality
measurement. Journal of Retailing, 69 (1), p. 140-147, spring 1993.
__________, _________ e _________. Alternatives Scales for Measuring Service Quality; A
Comparative Assessment Basead on Psychometric and Diagnostic Criteria. Journal of Retailing, v.
70 (number 3), p. 201-230, 1994.
RUST, R. T., ZAHORIK, A. J. e KEININGHAM, T. L. O retorno da qualidade: ROQ. Rio de Janeiro,
Qualitymark, 1994.
SPECTOR, P. E. Summated rating scale construction: an introduction. Los Angeles, Sage, 1992.
TEAS, R. K. Expectations, Performance Evaluation and Consumers’ Perception of Quality. Journal of
Marketing, v. 57 (october), p. 132-139, 1993.
VEIGA, R. T., GONÇALVES, C. A. e MOURA, A. I. Evaluating de Service Quality of a Business
School. Anais da Oitava POMS, Flórida, Miami Beach, 1997.
URDAN, A. T. Avaliação empírica da escala SERVQUAL em serviços hospitalares: uma crítica e
réplica ao estudo de Vinícius Sittoni Brasil. 19o. ENANPAD, p. 294-314, 1995.

7. ANEXO: Sugestão Modificada de Questionário para Alunos de Curso via Internet

Gostaríamos de saber suas impressões a respeito da qualidade do Curso de C via Internet em relação às suas
expectativas. Por favor, edite o arquivo utilizando o Word e envie-o para o endereço eletrônico indicado.

PARTE I - Avaliando aspectos de qualidade do curso

Relativamente aos aspectos abaixo, assinale suas respostas, utilizando uma escala de 5 postos variando
de “abaixo do esperado” até “acima do esperado”. Abaixo do Igual ao Acima do
esperado esperado esperado
Em relação a ... 1 2 3 4 5
1. Fornecer o curso conforme o prometido
2. Solucionar as dúvidas dos alunos
3. Apresentar corretamente o conteúdo da primeira vez
4. Realizar o treinamento no prazo prometido
5. Não cometer erros
6. Manter os alunos bem informados sobre o curso
7. Rapidez na realização do treinamento
8. Demonstrar interesse em ajudar o aluno
9. Disponibilidade em atender o aluno
10. Instrutores que inspiram confiança
11. Fazer com que os alunos se sintam seguros durante o treinamento
12. Instrutores sempre corteses com os alunos
13. Instrutores capazes de dar respostas corretas às perguntas dos alunos
14. Dispensar uma atenção individualizada aos alunos
15. Instrutores que se preocupam com os alunos
16. Levar em considerar as sugestões apresentadas pelos alunos
17. Instrutores que entendem as necessidades dos alunos
18. Atender os alunos em horários convenientes
19. Utilizar material didático de boa apresentação
20. Homepages atraentes e claras para suporte ao aluno
21. Instrutores com comportamento profissional
22. Recursos tecnológicos utilizados no curso
 16

PARTE II - Avaliando a qualidade geral e o valor

(1) Como você avalia a qualidade geral do curso de Linguagem C via Internet? (Assinale de 1 a 9.)

Extremamente ruim 1 2 3 4 5 6 7 8 9 Extremamente boa

(2) Pensando no curso como um todo, avalie o valor que você obteve em relação a seus gastos (tempo,
esforço, dinheiro etc.)
Baixo valor 1 2 3 4 5 6 7 8 9 Alto valor

PARTE III - Avaliando a satisfação

Para cada uma das três afirmativas abaixo indique seu grau de satisfação com o curso realizado numa
escala de 1 (“DT = discordo totalmente”) a 7 (“CT = concordo totalmente”).
DT CT
1. Se eu precisasse de fazer um curso via Internet creio que ficaria satisfeito 1 2 3 4 5 6 7
com os serviços do CPDEE/UFMG.
2. No geral, ao participar um curso via Internet, eu creio que ficaria satisfeito 1 2 3 4 5 6 7
com os serviços do CPDEE/UFMG.
3. Eu acredito que participar de cursos via Internet promovidos pelo 1 2 3 4 5 6 7
CPDEE/UFMG é geralmente uma experiência satisfatória.

PARTE IV - Dados Complementares

(1) Você terminou o curso? ( ) Sim ( ) Não

(2) Se a resposta a pergunta anterior tiver sido NÃO, marque o(s) motivo(s):
( ) Dificuldade em acessar a Internet.
( ) Dificuldade em interagir com os monitores.
( ) Dificuldade em acompanhar o curso.
( ) Falta de pré-requisito.
( ) Outros motivos. Especifique:

(3) O que o levou a se inscrever no curso? (Marque mais de uma opção, se for o caso.)
( ) Curiosidade.
( ) Desejo de aprender linguagem C.
( ) O fato de o curso ser gratuito.
( ) Comodidade de fazer o curso em casa ou no escritório.
( ) Outros. Especifique:

(4) O curso atendeu às suas necessidades de aprendizagem?

( ) Sim. ( ) Não ( ) Em parte.
Por favor, justifique sua resposta.

(5) Dê sugestões para melhorarmos o curso.

PARTE V - Dados do Respondente

(1) Sexo: Masculino ( ) Feminino ( )

(2) Faixa etária: até 20 anos ( ) de 21 a 40 anos ( ) mais de 40 anos ( )
(3) Escolaridade: Primário ( ) Secundário ( ) Superior ( )
(4) Quantos cursos já fez pela Internet? Primeira Vez ( ) De 2 a 5 ( ) Mais de 5 ( )