Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Josué Laguardia
Margareth Crisóstomo Portela
Miguel Murat Vasconcellos
Fundação Osvaldo Cruz
Resumo
Palavras-chave
Correspondência:
Josué Laguardia
Rua do Russel, 404 apto. 504
22210-010 – Rio de Janeiro – RJ
e-mail: jlaguardia@cict.fiocruz.br
Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 513
Evaluation in virtual learning environments
Josué Laguardia
Margareth Crisóstomo Portela
Miguel Murat Vasconcellos
Fundação Osvaldo Cruz
Abstract
Keywords
Contact:
Josué Laguardia
Rua do Russel, 404 apto. 504
22210-010 – Rio de Janeiro – RJ
e-mail: jlaguardia@cict.fiocruz.br
514 Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007
As mudanças na ordem econômica e bilidade, do controle e da responsabilidade do
social, o desenvolvimento de novas tecnologias estudante sobre os seus processos de aprendi-
de informação e comunicação, a relativização e zagem e da flexibilização das instituições, es-
revitalização das culturas locais e a padroniza- truturas administrativas, currículos, estratégias
ção e homogeneização política, cultural e e métodos de aprendizagem (Peters, 2004).
tecnológica são apontadas como agentes de Mena, Rodríguez e Diez (2001) destacam
transformação dos sistemas de ensino e das que o contexto atual de reestruturação da ad-
modalidades educacionais (Belloni 2002; 2003). ministração pública requer a adequação das
No campo econômico, as demandas sobre o estruturas e dos processos de capacitação aos
sistema educacional se voltam para a produção requerimentos institucionais e o desenvolvimen-
de um conhecimento descontextualizado, ori- to de programas de aprendizagem sob uma
entado ao capital humano e com estudantes perspectiva situacional. Na visão desses autores,
criativos, inovadores, flexíveis e dispostos a o papel destacado da EaD nesse novo enfoque
aprender ao longo de toda a vida (Löfsted et de capacitação profissional deriva da sua capa-
al. , 2001). Além disso, a constituição de uma cidade de oferecer respostas apoiadas em uma
economia pós-industrial baseada no conhecimen- avaliação precoce e permanente dos problemas
to requer que os níveis individuais e coletivos de ou das necessidades detectados, da impossibi-
conhecimento disponíveis sejam desenvolvidos e lidade de dispor de capacitadores peritos que
gerenciados de modo que os processos orga- englobem todas as áreas do conhecimento e
nizacionais e de trabalho alcancem uma combi- regiões geográficas no marco da administração
nação sinérgica entre os dados, o poder de pública e, principalmente, do fato de que os
processamento da informação das tecnologias de agentes públicos devem ser formados e capa-
informação e a capacidade criativa e inovadora citados em seus lugares de trabalho, aprovei-
dos seres humanos. tando a possibilidade de refletir sobre suas
Essas mudanças nos processos de traba- próprias experiências cotidianas, transferindo
lho que exigem o desenvolvimento de habilida- permanentemente os conhecimentos e constru-
des metacognitivas e de competências para indo espaços de aprendizagem. No âmbito da
aprender cooperativamente, apoiadas em conteú- saúde, as mudanças no modelo assistencial e no
dos contextualizados e na experiência individual, desenho institucional, com alterações na clien-
afinam-se com os propósitos da educação a tela-alvo, na escala de oferta e na definição de
distância e impulsionam o seu crescimento competências profissionais, demandam uma re-
(Wentling et al., 2000; Carvalho; Misoczky, 2001; forma pedagógica baseada nos pressupostos da
Struchiner; Giannella, 2002). Nesse cenário, a educação aberta e a distância (Torrez, 2005).
educação a distância (EaD) constitui “parte de Todavia, a expansão dos cursos em EaD
um processo de inovação educacional mais digital não é acompanhada por uma avaliação
amplo que é a integração das novas tecnologias dessas iniciativas. O relatório do Word Bank
de informação e comunicação nos processos Institute (Valcke; Leeuw, 2000) destaca que o
educacionais” (Belloni, 2002; p. 123), uma número de avaliações de cursos, treinamentos
modalidade de aprendizagem mais flexível, apoi- de curta duração, seminários e oficina de espe-
ada nos pressupostos de autonomia individual e cialistas na área de Educação digital a distân-
liberdade intelectual. Ela também se mostra mais cia é limitado, sendo ainda mais reduzido nos
adequada à realidade do aluno adulto inserido no países em desenvolvimento. Esse relatório su-
mercado laboral, atendendo às diferentes necessi- blinha a ausência de estudos que avaliem a
dades de formação e capacitação dos profissionais articulação entre os cenários pedagógicos e os
sem retirá-los do local de trabalho. Por sua vez, tais modelos de aprendizagem subjacentes; o im-
características requerem a ampliação da acessi- pacto das avaliações nos tomadores de decisão;
Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 515
o gerenciamento de redes de aprendizagem; e a negativos e positivos, atribuídos às tecnologias
importância dos mecanismos de capital social, de comunicação e informação na Educação
compromisso e confiança, bem como os cursos (Barreto, 2004).
de curta duração e os programas de capacitação.
Dyson e Campelo (2003) argumentam que as Avaliação de tecnologia de
restrições de tempo e a ausência de um conhe- informação e educacional
cimento especializado são fatores impeditivos
para que a maioria dos formuladores de inicia- A avaliação pode ser definida como a apli-
tivas de EaD através da internet empreenda es- cação sistemática de procedimentos metodológicos
tudos mais detalhados de avaliação. para determinar, a partir dos objetivos propostos e
No Brasil, a exigüidade de estudos ava- com base em critérios internos e/ou externos, a
liativos das experiências em EaD tem limitado a relevância, a efetividade e o impacto de determi-
constituição de um conhecimento mais apro- nadas atividades com a finalidade de tomada de
fundado sobre a adequação das abordagens decisão. Em comum, as definições de avaliação
pedagógicas, os custos de investimento em a vêem como um julgamento de valor a respeito
tecnologia, especialmente nas modalidades vir- de uma intervenção ou sobre qualquer um de
tuais, assim como os fatores associados, dire- seus componentes, tomando como referência
tamente ou não, ao desempenho dos alunos. um padrão estipulado e cujo propósito é auxi-
Faz-se assim premente a discussão sobre as liar os processos decisórios. Vale ressaltar que
questões teóricas envolvidas nesses estudos. A essa intervenção pode ser constituída por um
integração entre as diversas disciplinas que tra- “conjunto de meios (físicos, humanos, financei-
tam da avaliação de tecnologias de informação ros, simbólicos) organizados em um contexto
e a sua interface com a Educação, bem como específico, em um dado momento, para produzir
a necessidade de orientar os profissionais en- bens ou serviços com o objetivo de modificar
volvidos na avaliação de projetos de aprendiza- uma situação problemática” (Contandriopoulos et
gem virtual a distância, definiram o objetivo al., 1997, p. 31). Para esses autores, o modelo te-
desse artigo, que é apontar, a partir de uma re- órico-conceitual vigente considera a avaliação
visão da literatura nacional e internacional em pe- como um processo de negociação entre os ato-
riódicos especializados e sítios de busca na res envolvidos na intervenção a ser avaliada.
internet, os aspectos conceituais e metodológicos Na avaliação de tecnologias, suas diver-
que norteiam os protocolos de estudo nesse cam- sas definições contemplam, de acordo com
po. Por se tratar de experiências de aprendizagem Panerai e Mohr (1989), as repercussões das
que utilizam recursos hipermidiáticos em ambien- tecnologias nos seus distintos níveis e o grau
tes apoiados por uma tecnologia de comunicação de planejamento dessas repercussões, com
online, optou-se enfocar alguns tópicos relativos destaque para a natureza benéfica ou adversa
à avaliação de tecnologias de informação e de das suas conseqüências. Brender (1998) vê a
aprendizagem, aprofundando a discussão no que avaliação de tecnologia como uma atividade
tange aos métodos relevantes à avaliação tan- prévia à tomada de decisão acerca da sua apli-
to dos ambientes virtuais de aprendizagem cação e/ou difusão, sublinhando seu papel
quanto da aprendizagem nesse meio. Essa op- como instrumento político que busca preencher
ção se deve tanto ao reconhecimento das a brecha entre o potencial tecnológico e as
especificidades das práticas pedagógicas da EaD necessidades e os desejos econômicos e soci-
que colocam em evidência a relação entre edu- ais. Ammenwerth et al. (2003) ressaltam que no
cação e comunicação, viabilizadas através das campo das tecnologias de informação e comu-
tecnologias de informação e comunicação nicação (TIC), ademais do seu caráter político,
(Sartori, 2002), quanto aos diversos papéis, a avaliação não deve ficar restrita apenas à
Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 517
como um fator determinante e os usuários perimentais e econômicas, alegando que a so-
como entes passivos ou assumindo que os ciedade está em constante construção pela
usuários e as organizações são atores em um interação dos indivíduos.
consórcio racional para alcançar determinados A propósito dos desenhos de estudo, vale
resultados por meio do uso da tecnologia. Em destacar a classificação utilizada por Friedman e
ambos os casos, a natureza da tecnologia e dos Wyatt (1997), que agrupa os diversos tipos de
usuários é considerada estática e possuidora de desenho em duas categorias, objetivistas e
um caráter essencial e imutável, e o ganho de subjetivistas, cada uma contendo quatro tipos de
objetividade é obtido às expensas de uma com- abordagens. No grupo dos estudos objetivistas,
preensão mais profunda do que ocorre. encontram-se as abordagens baseadas na compa-
Por sua vez, a abordagem qualitativa ração e nos objetivos, a abordagem de facilitação
(interpretativa ou subjetivista) busca descobrir da decisão e a abordagem livre de metas. A abor-
o que as pessoas querem ou necessitam saber dagem baseada na comparação emprega estudos
por meio de uma descrição do sistema, do experimentais ou quasi-experimentais, na qual o
ambiente e dos efeitos da interação sistema- recurso sob estudo é comparado a uma condição
usuário-ambiente, tal como são percebidos controle ou de contraste e a relação causal é atri-
pelas pessoas, tomando como base o raciocínio buída a partir da associação estatística. O ensaio
indutivo e a observação cuidadosa e detalhada. randomizado é tido como o único método que
As críticas ao enfoque subjetivista baseiam-se permite estimar pequenos benefícios atribuíveis à
na afirmação de que suas interpretações são intervenção e o número de participantes depen-
dependentes do pesquisador (subjetividade) e de da variação interindividual das medidas utili-
que os resultados são válidos, na maioria das zadas, do efeito mínimo esperado, da significância
vezes, apenas para casos individuais. estatística e do poder do estudo. Os usuários são
A incorporação de pressupostos objetivistas selecionados e alocados a um dos dois grupos:
e subjetivistas na avaliação resulta em quatro tipos usa ou não determinada tecnologia (Wyatt; Wyatt,
de abordagens: experimental, pragmática, econô- 2003). Embora os estudos experimentais pareçam
mica e naturalística (Puma, 1999). A avaliação definitivos quando propostos, eles se apóiam em
experimental incorpora a idéia positivista de uma escolha intuitiva, arbitrária ou política das
aplicar a metodologia das ciências naturais à questões e o que é medido é freqüentemente o
engenharia dos programas, utilizando um dese- que pode ser medido. Além disso, as variáveis
nho de estudo do tipo ensaio clínico para medidas e avaliadas de maneira mais acurada nes-
alocação randômica de grupos percebidos como ses estudos e utilizadas para estimar as medidas
similares e comparação dos grupos a partir da de resultado são aquelas que mais dificilmente
exposição de um deles a uma estratégia ou pro- estão relacionadas aos efeitos do recurso sob
grama. A avaliação pragmática enfoca a utilida- estudo. Na abordagem baseada em objetivos,
de, a viabilidade política, a oportunidade e o busca-se determinar se o recurso atende aos
custo dos programas, é direcionada aos obje- objetivos estipulados no início do seu desenvol-
tivos e práticas de trabalho dos tomadores de vimento, enquanto que, na abordagem de fa-
decisão e emprega desenhos de estudo quasi- cilitação da decisão, a avaliação está orientada
experimental ou estudo de caso. A avaliação para a solução de questões importantes pelas
econômica, freqüentemente conduzida de ma- pessoas que podem tomar decisões sobre o fu-
neira separada da avaliação geral, introduz a turo do recurso. Na abordagem livre de metas,
informação sobre os custos do programa como a avaliação é propositalmente cega aos efeitos
um critério e suas ferramentas incluem análises esperados do recurso.
de custo-benefício e custo-efetividade. Por fim, No grupo subjetivista, os estudos são
a avaliação naturalística rejeita as avaliações ex- classificados em abordagem quase-legal, críti-
Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 519
gador ocorre quando vários observadores ou as análises de dados qualitativos podem tanto
entrevistadores com formações metodológicas servir de base para formulação de questionári-
e profissionais específicas tomam parte em um os estruturados quanto para a validação da
estudo, coletando e analisando os dados jun- pesquisa quantitativa, provendo diferentes pers-
tos. A triangulação de teorias é a análise dos pectivas do mesmo fenômeno social. Além dis-
dados com base em várias perspectivas, hipó- so, o pesquisador deve estar atento às modifi-
teses ou teorias. A triangulação de métodos uti- cações ocorridas no contexto no qual foi
liza vários métodos para coleta e análise dos implementada uma tecnologia educacional e
dados. A triangulação pode ser classificada tam- que podem ter implicações no resultado da
bém em dois subtipos – triangulação intramétodo, avaliação. Como aponta Almenara (1998), as
combinando abordagens dentro da mesma tradi- vantagens de uma dada tecnologia educacional
ção de pesquisa, e intermétodo, combinando podem ser devidas às
abordagens qualitativas e quantitativas.
O uso de abordagens quantitativas pode [...] modificações paralelas que haviam sido
ser útil quando se baseiam em uma teoria feitas no currículo e no programa acadêmi-
estabelecida e quando é importante que as co, no papel dos professores ou simples-
relações individuais sejam quantificadas e vali- mente na análise e tratamento que haviam
dadas. Em contrapartida, a abordagem qualita- sido feitos dos conteúdos para apresentá-
tiva é mais adequada quando não há uma te- los e readaptá-los às características do
oria disponível, quando novas relações devem novo meio e dos alunos que receberiam a
ser descobertas e sua aplicação está referida à informação. (p. 263)
avaliação de estruturas organizacionais, resis-
tência do usuário, definição de papéis ou pa- Tipos de avaliação de
drões de comunicação. Uma visão integradora ambientes virtuais de
dos paradigmas subjetivista e objetivista na aprendizagem
avaliação de uma tecnologia educacional é
proposta por Jones (2004) com o uso da abor- De modo geral, a avaliação de ambien-
dagem fenomenográfica na avaliação da apren- tes virtuais de aprendizagem pode tomar como
dizagem em rede ( networked learning ). Essa base para sua investigação as condições em
abordagem associa entrevistas individuais (da- que a aprendizagem se realiza (estrutura), os
dos qualitativos) e inventários de aprendizagem modos pelos quais os estudantes são capazes
(dados quantitativos), combinando na análise de interagir sendo apoiados nas suas atividades
as diferentes experiências e compreensões que (processos) e o alcance dos objetivos e das
são caracterizadas em categorias de descrição, metas propostos (resultados). Contudo, a medi-
logicamente relacionadas entre si e formando ação da tecnologia na aprendizagem propicia
uma hierarquia em relação a um dado critério. formas inovadoras de conhecimento e possibi-
Esse conjunto ordenado de categorias de des- lidades de documentação e análise para a ava-
crição é denominado o espaço de resultado liação. Esses ambientes oferecem os meios para
para as concepções do fenômeno. avaliações das habilidades metacognitivas, das
A fim de dispor das vantagens dessas duas estratégias de aprendizagem e do histórico das
estratégias, recomenda-se que sejam combinadas mudanças ocorridas no desempenho dos estu-
de modo que os métodos qualitativos sejam usa- dantes ao longo do curso, provendo evidências
dos para preparar estudos quantitativos e as acerca dos processos envolvidos nas atividades
medidas quantitativas apóiem a argumentação educativas em espaços digitais e subsídios sobre
qualitativa. Pope e Mays (2000) destacam o ca- a efetividade das tecnologias educacionais
ráter complementar dessas abordagens, nas quais (Gibson, 2003; University of Warwick, 2004).
Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 521
desempenho nos exames e testes, o tempo para às instituições convencionais, apresentam menor
completude do curso. custo por estudante, porém o custo-efetividade
Vale ressaltar que no tocante à adequa- em termos de custos por graduado é menor do
ção da tecnologia aos usuários, os profissionais que seria esperado devido à baixa taxa de con-
que desenvolvem e implementam ambientes clusão e ao maior tempo médio de estudo.
virtuais de aprendizagem se defrontam com Na avaliação externa com abordagem
desafios similares aos enfrentados pelos cons- dos coordenadores e promotores (stakeholders),
trutores de sistemas de TIC. Esses desafios di- os objetos de estudo são a variedade de níveis,
zem respeito à configuração de um ambiente os conflitos de interesses e o envolvimento dos
de aprendizagem segundo um modelo pedagó- responsáveis pelos cursos dentro da proposta
gico associado a uma determinada concepção de EaD digital. O quinto tipo engloba outros
de educação, à construção de um sistema ten- métodos e abordagens de avaliação, tais como
do em mente um usuário-prototípico, que pode a seleção e o uso de mídias adequadas à EaD
corresponder ou não ao estilo cognitivo e de digital; avaliação da qualidade para garantia de
aprendizagem, ao padrão de uso do sistema e disponibilidade de acesso, igualdade de opor-
às necessidades dos usuários atuais ou para tunidades, relevância e adequação dos cursos e
situações de aprendizagem que têm lugar em dos materiais; análise dos escores dos aprendi-
contextos diversificados, rapidamente modificáveis zes, taxas de conclusão ou evasão. Outras es-
e com resultados incertos. Mesmo em um ambiente tratégias empregadas na avaliação de EaD digi-
de aprendizagem cuidadosamente elaborado, as tal são a certificação ISO; auditorias; análise de
percepções dos aprendizes podem não ser compa- parceiros; revisão de especialistas; análise de
tíveis com as intenções dos formuladores do am- impacto e investigações psicológicas em comu-
biente. Nos ambientes virtuais de aprendizagem, a nicações mediadas por computador em ambien-
causa dessa incompatibilidade é associada à tes virtuais, que estão relacionadas à efetividade
contraposição, por um lado, entre o conhecimen- ou aos processos de grupo.
to relacionado às teorias de aprendizagem, os Freqüentemente empregado na avaliação
princípios de desenho instrucional e a pesquisa na da aprendizagem em programas de treinamen-
aprendizagem dos estudantes de nível superior e, to empresarial, o modelo de quatro níveis de
do outro lado, ao corpo de conhecimento relati- Kirkpatrick (1998) tem sido utilizado na avali-
vo ao uso das tecnologias de aprendizagem online. ação da aprendizagem em ambientes virtuais de
O terceiro tipo de avaliação, externa com aprendizagem (Dixon, 2001), particularmente
enfoque no ambiente sociocultural, tem como nas experiências de eLearning. No nível 1 (re-
objetivo a identificação da formação de uma ação), que mede a satisfação do aluno com os
rede interinstitucional de recursos intelectuais e distintos aspectos do curso, o aluno deve ser
físicos e a participação de agentes locais na inquirido com perguntas que possibilitem deter-
constituição de comunidades de aprendizagem minar se as suas expectativas foram alcançadas,
vinculadas a canais de comunicação e interação. se o que foi aprendido no curso é importante
Esse tipo de avaliação contempla análises de para o seu trabalho e se o instrutor foi um
custo-benefício e custo-efetividade em que se facilitador efetivo para a aprendizagem. A im-
comparam as experiência de EaD com métodos portância dessa avaliação deve-se à reação dos
tradicionais, com diferentes definições e perspec- estudantes que pode influenciar a transferência
tivas de custo e benefício, identificação dos do que aprenderam para o seu trabalho e o
custos ocultos e estimativa de modelos de cál- interesse dos seus colegas em participarem de
culo que podem influenciar os resultados dos treinamentos futuros. Na avaliação do nível 1
estudos. Valcke e Leeuw (2000) afirmam que as de um curso online , podem ser empregados
instituições de EaD digital, quando comparadas questionários online, votação dos conteúdos do
Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 523
vas com respeito ao curso, condições do ambien- quantitativa da participação dos estudantes no
te de aprendizagem (logística) e conhecimento em ambiente virtual de aprendizagem pode limitar-
tecnologia de informação e comunicação. Um dos se à constatação de quais exercícios foram re-
achados mais importantes desse questionário de alizados e as notas obtidas ou estender-se à
entrada é a informação sobre natureza do ambien- avaliação das mensagens trocadas e aos níveis
te de aprendizagem onde o estudante participará de participação, que podem ser mensurados
no curso a distância, pois dá ao tutor uma imagem por meio de técnicas sociométricas – por exem-
do cenário físico onde ocorre essa aprendizagem. plo: o índice de participação e o índice de
O questionário aplicado no final do cur- centralidade (Benigno; Trentin, 2000). A análise
so aborda as questões relativas a conteúdos, qualitativa dessa participação deve ir além da
abordagem educacional adotada, materiais usa- simples verificação (sim/não) ou do modo
dos, aspectos organizacionais (logística) dos como ele lidou com os principais tópicos em
alunos, aspectos técnicos relativos ao uso da uma dada unidade do curso online para incluir
Internet e de outras tecnologias e o desempenho a observação geral do desempenho do grupo
do tutor. As respostas podem ser obtidas por na aprendizagem para alcançar uma interação
meio de questões abertas e fechadas, escalas de construtiva. Além das técnicas específicas de
pontuação (Likert ou smile sheets ), listas de análise de conteúdo, Benigno e Trentin (2000)
checagem ou uma combinação de diversos es- sugerem um instrumento menos rigorosamen-
tilos e as respostas detalham os principais aspec- te científico, mas prático e fácil para uso pelos
tos que influenciam a satisfação do usuário. tutores – o grid qualitativo. Quatro elementos
Os questionários podem ser aplicados são considerados nessa ferramenta: o número
presencialmente, enviados pelo correio, preen- de mensagens enviadas por cada estudante, as
chidos online ou por telefone e apresentam as características de interatividade das mensagens,
seguintes vantagens: facilidade de codificação a extensão na qual a mensagem cobre os tópi-
das respostas fechadas, rapidez na coleta dos cos que os peritos do curso identificaram como
dados, uso de grandes amostras, menor custo significativos, e a profundidade (granularidade)
de administração e processamento, uso de em que os tópicos foram explorados. Os dois
abordagens padronizadas e taxas de retorno primeiros elementos cobrem a qualidade da
mais altas (Dixon, 2001). As principais desvan- participação do ponto de vista da presença e
tagens são o atraso ou vieses de memória que interação com outros estudantes, e os dois
podem distorcer os dados, má interpretação por últimos abordam os conteúdos estudados, sen-
problemas de desenho das questões, dificulda- do necessária uma compilação, pelos especia-
des de processamento e análise de questões listas de cada área, de uma lista de tópicos
abertas, recusa na resposta ao questionário e relevantes na análise do conteúdo. A participa-
extensão do questionário que pode torná-lo ção dos alunos no curso também pode ser
cansativo, aborrecido e comprometer a qualida- avaliada com a aplicação de um questionário
de das respostas. final que aborde questões relativas à interação
Além dos fatores relacionados ao contexto do aluno com o tutor e com outros estudantes.
físico e conhecimentos/experiências prévios, ou- As estratégias de avaliação qualitativa na
tros elementos do ambiente de aprendizagem educação caracterizam-se em geral pela coleta
influenciam a aquisição de novos conhecimen- de dados descritivos por meio do contato dire-
tos e habilidades e podem servir como variáveis to e prolongado do pesquisador com o ambi-
preditoras no estabelecimento da relação entre ente e a situação estudada, com uma ênfase
o ambiente em si e os resultados cognitivos e maior nos processos do que no produto e uma
afetivos obtidos, tais como a interação e comu- preocupação em retratar a situação a partir da
nicação entre os participantes. A avaliação perspectiva dos participantes (Lüdke; André,
Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 525
focais presenciais e assíncronos e à sub-repre- (2003) realizaram um chat com alunos sobre
sentação da população geral, pois somente são um texto selecionado em que foram definidas
incluídos aqueles que possuem conexão com a as questões a serem abordadas e o tempo
internet. Oringderff (2004) recomenda aos pes- médio de discussão para cada questão. A sua
quisadores interessados em desenvolver grupos análise, por meio do arquivo de log , serviu
focais online que critérios de seleção, procedi- como fonte material para avaliação da compre-
mentos e limitação do tempo a serem seguidos ensão dos conceitos expostos pelo referido
pelo moderador e os participantes devem ser texto e sua aplicação na prática. Os alunos
bem estabelecidos ao longo da duração do gru- também foram avaliados sobre a experiência de
po focal e que os participantes devem sentir-se participar do chat a partir das respostas a uma
confortáveis em um meio eletrônico. mensagem de correio. Nessa mensagem, os alu-
Na avaliação da aprendizagem em ambi- nos foram inquiridos sobre as dificuldades de
entes virtuais, os métodos utilizados podem estar expressar as idéias, como se sentiam ao conver-
relacionados à modalidade de avaliação (Benson, sar em um evento virtual e como eles compa-
2003). A avaliação diagnóstica, cuja atividade ravam a avaliação em um chat com uma ava-
antecede a formação e permite um ajuste tanto liação tradicional. Os pontos positivos apontados
do programa aos conhecimentos e às competên- foram a possibilidade de desenvolver a habilida-
cias atuais dos aprendizes quanto destes em re- de da escrita na expressão de idéias coerentes e
lação aos programas de formação, pode ser rea- a interação que permitiu a troca de informação e
lizada por meio de inquéritos eletrônicos (web a construção de uma conclusão coletiva enquanto
surveys) que abordam os aspectos relacionados às que as interrupções provocadas por outros cole-
expectativas dos alunos, seus estilos de aprendi- gas ou por problemas de conexão à internet são
zagem, abordagens de estudo e medidas de assinaladas como pontos negativos. A avaliação
auto-eficácia computacional. da discussão virtual assíncrona (lista de discussão,
A avaliação formativa, que aponta a ade- fórum) é reveladora de níveis de aprendizagem de
quação entre os objetivos e os processos de apren- alta-ordem porque provê a oportunidade para os
dizagem, o grau assimilação dos conceitos pelos aprendizes lerem as respostas dos seus colegas,
alunos, sua capacidade de avaliação crítica e apli- prepararem uma resposta mais elaborada e a
cação à realidade, pode ser feita por meio de ati- postarem posteriormente.
vidades reflexivas, uso de ferramentas síncronas e A técnica de mapeamento de conceitos
assíncronas, mapeamento conceitual e criação de permite que os alunos diagramem sua compre-
portifólios. Além da análise tradicional de res- ensão estrutural de idéias e delineie a relação
postas selecionadas (múltipla escolha, falso-ver- entre os componentes, assinalando para o tu-
dadeira e pareamento de questões) e de respos- tor as mudanças na compreensão e os pontos
tas construídas (preenchimento de lacunas), a que requerem uma discussão mais aprofundada.
retroalimentação informal dos estudantes medi- A avaliação de portifólio, considerado como
ante respostas resumidas dos principais pontos uma coleção intencional dos trabalhos realiza-
da lição pode fornecer aos instrutores indica- dos pelo aprendiz ao longo de um período de
ções para mudanças estruturais no curso. tempo, fornece uma ferramenta que integra a
O uso da ferramenta síncrona de bate- aprendizagem à avaliação e dá pistas ao aluno
papo (chat) permite que se avalie o aluno tan- e ao avaliador acerca da aquisição do conhe-
to na capacidade de resposta imediata a ques- cimento nas áreas cobertas pelo portifólio. Ele
tões levantadas pelo tutor e colegas quanto no tem um caráter dinâmico e interativo, colabo-
acompanhamento do desenvolvimento de habi- rando para que o professor e o estudante atu-
lidade de síntese, análise, avaliação e senso em conjuntamente na avaliação do desenvolvi-
crítico do aluno. Zaina, Bressan e Ruggiero mento e das conquistas do aprendiz. Dochy e
Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 527
EaD, metodologias de avaliação que contemplem quais os critérios estão sendo adotados para a
as especificidades das distintas modalidades de introdução de novidades tecnológicas nos pro-
aprendizagem a distância e forneçam subsídios cessos de ensino.
para revisão e adequação dos cursos. Mais impor- Face às várias possibilidades metodoló-
tante, a avaliação das experiências tecnológicas gicas apresentadas, o pesquisador deve ter em
na educação deve nos auxiliar a responder às mente que a avaliação é um processo empírico de
questões sobre a significância, do ponto de vista uma atividade vinculada ao serviço, modelada
da formação do aluno, da aprendizagem medi- pelos recursos disponíveis e com dados de formas
ada pelas novas tecnologias de comunicação, se e tamanhos diversos. Portanto, a metodologia
os recursos aplicados na EaD estão contribuin- mais pertinente para a avaliação de um curso
do para uma melhoria real dos mecanismos de online será aquela que se adequar ao contexto e
assimilação e acomodação dos conhecimentos e às condições do curso e da investigação.
Referências bibliográficas
ALMENARA, J. C. Avaliar para melhorar: meios e materiais de ensino. In: SANCHO, J. M. (Org.). Para uma tecnologia educacional
educacional.
Porto Alegre: ArtMed, 1998. p. 257-284.
AMMENWERTH, E. et al. Evaluation of health information systems – problems and challenges. International Journal of Medical
Inf orma
Informa tics
ormatics
tics, v. 71, p.125-35, 2003a.
AMMENWERTH, E.; ILLER, C.; MANSMANN, U. Can evaluation studies benefit from triangulation? International Journal of Medical
Inf orma
Informa tics
ormatics
tics, v. 70, p. 237-48, 2003b.
BARRETO, R. G. Tecnologia e educação: trabalho e formação docente. Educação & Sociedade, n. 89, p.1181-1201, 2004.
BENIGNO, V.; TRENTIN, G. The evaluation of online courses. Journal of Computer Assisted Learning
Learning, v.16, p. 59-70, 2000.
BENSON, A. D. Assessing participant learning in online environments. New Directions for Adult and Continuing Education
Education,
n.100, p. 69-78, 2003.
BRENDER, J. Trends in assessment of IT-based solutions in healthcare and recommendation for the future. Interna tional Journal
International
of Medical Inf orma
Informa tics
ormatics
tics, v. 52, p. 217-27, 1998.
CARVALHO, N. M.; MISOCZKY, M. C. A. Potencialidades da aprendizagem virtual: uma reflexão a partir da experiência do curso de
planejamento estratégico em saúde. In: CARVALHO, N. M.; MISOCZKY, M. C. A.; OLIVO, V. (Orgs.). Educação a distância
distância:
reflexões críticas e experiências em saúde. Porto Alegre: Dacasa, 2001. p. 65-84.
CONTANDRIOPOULOS, A. P. et al. A avaliação na área da Saúde: conceitos e métodos. In: HARTZ, Z. M. A. (Org.). Avaliação em Saúde
Saúde:
dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora FIOCRUZ, 1997. p. 29-48.
DOCHY, F.; SEGERS, M. Using information and communication technology (ICT) in tomorrow’s universities and using assessment as
a tool for learning by means of ICT. In: VAN DER MOLEN, H. J. (Ed.). Proceedings from a symposium held aatt the Wenner-Gren
enner-Gren
Centre, Stockholm
Stockholm. London: Portland Press, 2001. p. 67-83.
HILL, J. R. et al. Exploring research on internet-based learning: from infrastructure to interactions. In: JONASSEN, D. H. (Ed.).
Handbook of research on educa tional communica
educational tions and technolog
communications technologyy . New York: Macmillan, 2003.
_____. Quantitative and qualitative research: conflicting paradigms or perfect partners? In: BANKS, S. et al. (Eds.). Networked
learning 2004: proceedings of the fourth International Conference on Networked Learning 2004 2004. Lancaster: Lancaster
University and University of Sheffield, 2004.
KAPLAN, B.; DUCHON, D. Combining qualitative and quantitative methods in information systems research: a case study. MIS
Quarterl
Quarterlyy , v.12, n. 4, p. 571-586, 1998.
MAHONEY, C. Common qualitative methods. In: FRECHTLING, J.; SHARP, L. (Eds.). User -friendlyy handbook ffor
-friendl
User-friendl or mixed method
evaluations
evaluations. Arlington: National Science Foundation, 1997. Disponível em: <http://www.nsf.gov/pubs/1997/nsf97153/start.htm>
Acesso em: 26 ago. 2004.
MENA, M.; RODRIGUEZ, L. E.; DIEZ, M. L. La educacion a distancia: una propuesta para el diseño de proyectos. In: CARVALHO, N. M.;
MISOCZKY, M. C. A.; OLIVO, V. (Orgs.). Educação a distância
distância: reflexões críticas e experiências em saúde. Porto Alegre: Dacasa, 2001.
OTSUKA, J. L.; ROCHA, H. V. Avaliação formativa em ambientes de EaD. In: Simpósio Brasileiro de Inf ormática na Educação
Informática
(SBIE 2002)
2002), 13. Disponível em: <http://teleduc.nied.unicamp.br/pagina/publicacoes/ 17_jh_sbie2002.pdf> Acesso em: 13
nov. 2004.
PONS, J. P. Visões e conceitos sobre a tecnologia educacional. In: SANCHO, J. M. (Org.). Para uma tecnolog ia educacional
tecnologia educacional.
Porto Alegre: ArtMed, 1998.
ROBLEY, L. R. et al. This new house: building knowledge through online learning. Journal of Professional Nursing
Nursing, v. 20, n. 5, p. 333-
343, 2004.
Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 529
SARTORI, A. S. Educação a distância: novas práticas pedagógicas e as tecnologias da informação e comunicação. Linhas
Linhas, v. 3, n. 2,
p. 123-130, 2002.
STRUCHINER, M.; GIANNELLA, T. R. Formação de profissionais de saúde e educação a distância: elementos fundamentais. In:
CASTRO, J. L. (Org.). PROFAE: educação profissional em saúde e cidadania
cidadania. Brasília: Ministério da Saúde, 2002.
TORREZ, M. N. F. B. Educação a distância e a formação em saúde: nem tanto, nem tão pouco. Tra balho, Educação e Saúde
rabalho, Saúde,
v. 3, n. 1, p. 171-186, 2005.
WYATT, J. C.; WYATT, S. M. When and how to evaluate health information systems? Interna tional Journal of Medical
International
Inf orma
Informa tics
ormatics
tics, v. 69, p. 251-259, 2003.
ZAINA, L. A. M.; BRESSAN, G.; RUGGIERO, W. V. Interactive chat: an experience in a virtual assessment. In: International
Conference on Engineering and Computer Education,, 3. Proceedings
Proceedings. São Paulo, 2003, p. 1-6.
Recebido em 11.12.06
Aprovado em 13.08.07
Josué Laguardia é Assistente de pesquisa do Centro de Informação em Ciência e Tecnologia – CICT. Fundação Oswaldo
Cruz.