Sei sulla pagina 1di 7

Avaliação e Qualidade

de Recursos Educativos Digitais


José Luís Ramos – Universidade de Évora

Eu gostava, em primeiro lugar, de agradecer o convite que me foi dirigido pela Direcção-Geral de
Inovação e de Desenvolvimento Curricular – mais uma vez, espero corresponder à expectativa –,
e de cumprimentar também os colegas, sobretudo os que fazem parte da bolsa de avaliadores.
Alguns eu não tenho prazer de conhecer pessoalmente, e é hoje a oportunidade para isso, desejar-
-lhes as boas-vindas e desejar que tenham um dia bom.

O tópico que eu escolhi para poder fazer uma pequena intervenção está relacionado com a quali-
dade e avaliação de recursos educativos digitais. Também gostava de fazer uma ressalva e dizer
que o trabalho que vou aqui apresentar é o resultado do trabalho de uma equipa, já de há alguns
anos e, portanto, estas ideias, estas coisas que aqui estão, são um pouco minhas, mas são sobre-
tudo do grupo, e é um pouco também em nome do grupo que eu estou aqui a fazer esta pequena
intervenção, nomeadamente o Professor Vítor Teodoro, Francisco Melo Ferreira, José Moura
Carvalho e Vicência Maio.

A primeira preocupação é acertarmos um pouco as ideias acerca do que entendemos por “recurso
educativo digital”. Certamente haveria outras formas de o enunciar. Nós, depois de alguns anos
de trabalho e de discussão, chegámos a um conceito que consideramos que reflecte muito da
nossa perspectiva, do nosso trabalho. Um recurso educativo digital é um produto de software
ou um documento – e o documento é aqui tomado no sentido lato. Pode ser uma colecção de
documentos – com algumas propriedades: a primeira é que esses produtos têm uma finalidade
intrinsecamente educativa; a segunda é que se enquadrem nas necessidades do sistema educa-
tivo português; a terceira é que tenham uma identidade, uma autonomia, relativamente a outros
objectos, a outros documentos; e, finalmente, que correspondam a padrões de qualidade previa-
mente definidos. Portanto, com este conceito, com este entendimento, podemos agora avançar
um pouco mais.

Ainda em relação à questão dos recursos digitais, também era importante, do meu ponto de vista,
assinalar algumas diferenças. Os recursos não são todos iguais, nem todos são desenvolvidos e
criados da mesma maneira e exigem o mesmo investimento – investimento de recursos [materiais],
investimento intelectual, etc. Portanto, podíamos distinguir, para podermos olhar para os recursos
com alguma capacidade de os analisar, três níveis: o nível mecânico, que não tem grande exigência
do ponto de vista dos seus fundamentos, dos seus objectivos – é um pouco “copy and paste”,
é um pouco do que nós quase vamos fazendo no nosso dia-a-dia; o nível criativo – este nível já
exige fundamento, é um nível que já recorre, eventualmente, a outras fontes, a outros saberes,
a outros recursos; e, finalmente, o nível de design, que é o nível claramente dos grandes projectos
de software educativo, que exigem numerosas equipas, numerosos recursos e modelos de concepção
industrializados, digamos assim, e, claro, o resultado destes três níveis produz, evidentemente,
recursos de natureza diversa, com finalidades diversas e também, obviamente, com qualidades
diversas; não sendo de exigir o mesmo nível de qualidade a um recurso de nível mecânico e a um
recurso de nível de design, como é óbvio.

A questão da qualidade é, enfim, uma questão recorrente e uma questão muito interessante, sobre-
tudo, para as instituições que devem garantir a qualidade dos recursos. Eu diria que a qualidade
é uma propriedade – é uma propriedade atribuída a um produto de acordo com um conjunto
11
pré-estabelecido de dimensões e de critérios. Portanto, a qualidade não é algo vazio, refere-se a um
padrão que é predefinido e é em comparação com este padrão predefinido que se poderá dizer se um
produto tem ou não qualidade. Tem qualidade em relação a quê? As escalas de qualidade vão desde
uma escala menos exigente, que é a ausência de defeitos no produto, até aos produtos da mais elevada
excelência. E são os padrões que nos ajudam a definir onde é que o produto se vai situar.

Também algumas notas sobre os factores que, de alguma forma, condicionam, digamos, a questão
da qualidade do recurso. Desde logo, o escasso conhecimento do currículo pelo autor ou pelo criador.
Muitas vezes, relativamente aos produtos que não têm qualidade, a primeira constatação óbvia é que
aquela pessoa que fez aquele recurso não tem ideia do que é o currículo, não tem ideia do que é a
aprendizagem, não tem ideia do que é a sala de aula, tem uma perspectiva muito limitada; e, portanto,
esse é um dos factores que condicionam a qualidade. A outra é, às vezes, a utilização de tecnologias
ultrapassadas; também a escassez de investimentos em recursos humanos, financeiros e materiais na
concepção e desenvolvimento dos produtos. Eu recordo que desenvolver um produto é algo extrema-
mente oneroso e, muitas vezes, as pessoas não se dão conta de qual é o custo envolvido na produção
de determinado recurso: é bastante elevado, e isso é uma limitação para quem está (…) a criar e a
desenvolver [conteúdos e recursos digitais]. Por outro lado, nem sempre – e isto também é visível em
muitos produtos – se tira partido do conhecimento científico disponível para melhorar a qualidade peda-
gógica dos produtos. Já se sabe muito sobre a aprendizagem, já se sabe muita coisa sobre a interacção
homem-máquina, já se sabe muito sobre “n” aspectos, mas depois nós não vimos esse conhecimento
reflectido nem na concepção nem depois na fase final do produto.

Algumas notas sobre como melhorar a concepção e o desenvolvimento dos produtos, e o produto final
em termos de qualidade: apoiar os criadores, montar dispositivos de ajuda do ponto de vista, sobre-
tudo, da investigação e da educação; a disseminação dos critérios de qualidade nos lançamentos de
concursos, propostas, encomendas, convites – esse padrão de qualidade tem de estar visível, tem de
estar disseminado para todos os actores, desde os criadores aos consumidores –, isso é fundamental; e a
discussão pública de projectos de criação de recursos: é extremamente importante que as ideias sejam
submetidas ao crivo da discussão pública; passando pelo desenvolvimento do sistema de avaliação, certi-
ficação e apoio ao uso de recursos educativos digitais, comummente designado, até agora e até ver,
SACAUSEF – algo difícil de pronunciar, eu compreendo, mas é o nome que, por enquanto, ainda tem.

Este trabalho foi iniciado por volta de 2004 pela equipa que já mencionei. Tivemos a preocupação de
ver e de estudar modelos existentes, de estudar o que dizia a literatura científica sobre o assunto, e fomos
concebendo este modelo, que agora já está em fase de implementação. Esse modelo atenuava algumas
dificuldades relacionadas com outros modelos anteriores, nomeadamente a utilização de check-lists,
de instrumentos de verificação, de pontuações nos recursos, que não davam uma ideia muito aproxi-
mada e, às vezes, podiam induzir em erro os professores e as escolas nas suas escolhas. Por exemplo,
a utilização de uma escala de 0 a 100 para classificar um produto podia dar a ideia de que um produto
que tinha 70 pontos era claramente melhor que um que tinha 60. Bom, mas isso era obviamente insufi-
ciente para avaliar, de facto, a qualidade do produto. Portanto, este modelo que nós fomos desenhando
e construindo tentou evitar erros e dificuldades anteriores e aproveitar aquilo que se fazia de melhor neste
contexto. Aliás, este é um modelo que está muito condicionado pela questão da certificação. A certifi-
cação é um aspecto particular da avaliação e tem influências no desenho do modelo, e a resposta que
nós demos foi conceber o modelo a partir de duas fases: uma fase de avaliação descritiva das suas
características intrínsecas e uma fase de avaliação em contexto, isto é, o produto, o recurso, vai para o
contexto da sala de aula ou outro contexto para o qual foi desenhado e, portanto, vai ser sujeito à utili-
zação dos destinatários.

A primeira fase da avaliação do produto conduz directamente à certificação, isto é, a certificação não
poderia estar dependente de uma avaliação do produto em contexto. A certificação utiliza o conceito
12
de qualidade de um produto que não tem defeitos, há ausência de defeitos, digamos, entre aspas, no
produto. Não tem “defeitos” científicos, não tem “defeitos” técnicos, não tem “defeitos” de linguagem,
não demonstra inadequações relativamente a atitudes e valores… A ausência desses erros, desses
“defeitos” em relação à natureza do produto de que estamos a falar permite a certificação do produto,
o que, simplesmente, quer dizer que aquele produto está em condições de ir para a escola. Não tem
nada em si que possa provocar “danos” a terceiros. Portanto, eu diria que estamos perante os “serviços
mínimos” de qualidade do próprio produto. E depois, claro, existe a questão da avaliação em contexto,
que permite a recolha de experiências de trabalho educativo e, posteriormente, a sua partilha no sistema
de informação, de que falarei um pouco mais à frente.

Entre as duas fases da avaliação há uma fase que eu considero muito importante, que é a elaboração
de um plano de avaliação em contexto. O plano de avaliação em contexto é um instrumento de gestão
do processo de avaliação. Assegura-se que quando aquele produto for avaliado na sala de aula sê-lo-á
respeitando todas as indicações de carácter ético e de carácter moral, respeitando o ritmo do currículo,
respeitando os alunos, e respeitando aquilo que, evidentemente, é importantíssimo para nós, que é
a integridade dos nossos alunos. E, portanto, este plano funciona um pouco como a preparação do
avaliador que vai definir o tempo, o modo e a forma como vai avaliar esse produto ao longo do ano
lectivo. Portanto, isto depois, em termos de timing, a avaliação em contexto tem uma margem de tempo
bastante mais elevada.

Falámos há pouco da qualidade e das suas dimensões no caso do sistema de avaliação, as dimensões
de qualidade que privilegiamos. Foram: a dimensão técnica – um produto que não tenha qualidade
técnica, muitas vezes, simplesmente, não corre e, portanto, aí acabou-se a qualidade, já não há mais
para fazer; portanto, esta é uma das dimensões que é observada no produto; a dimensão do conteúdo;
a dimensão linguística; a dimensão pedagógica; e a dimensão de atitudes e valores. Estas são as princi-
pais dimensões de qualidade que são observadas no sistema de avaliação.

A partir destas dimensões foram desenvolvidos os instrumentos de avaliação, que contêm, digamos, todo
o conjunto de critérios e parâmetros que, para cada uma das dimensões, são observados no produto.

Foram, evidentemente, observados também processos de validação dos instrumentos, o que, aliás, foi
concomitante com a formação dos avaliadores. Já foram realizados três cursos de avaliadores, com
algumas exigências do ponto de vista dos requisitos de entrada. As modalidades do trabalho educativo
têm sido mistas, isto é, presencial mas também utilizando as plataformas LMS, e certificando também
essa formação.

O sistema de informação está pronto, está desenvolvido, foi submetido a testes finais há muito poucos
dias, e o sistema de informação tem, portanto, o que é normal num sistema destes: os processos de
registo dos utilizadores e os diferentes níveis de utilizadores, as áreas de trabalho do sistema de infor-
mação, permitindo o processamento automático da informação do produto, desde a entrada do produto
no sistema até à sua certificação e avaliação final. Evidentemente, com os avaliadores, a bolsa de avalia-
dores dispersa geograficamente, cada um pode entrar no sistema registando-se, sendo os produtos atri-
buídos por um supervisor, e fazendo-se toda a gestão e o controlo do workflow a partir do sistema de
informação.

O sistema de informação, para além dos processos mais automatizados de avaliação, dispõe ainda de
áreas de comunicação e interacção entre os avaliadores e também entre os utilizadores. Tem fóruns,
que permitirão a discussão à volta da utilização dos produtos, e os relatos de experiência, isto é, se um
produto é avaliado e é colocada uma avaliação em contexto que seja interessante, outros professores
podem, evidentemente, utilizar aquele produto e também podem complementar, trazer a sua perspectiva,
13
a sua experiência, também para o sistema de informação. Contém, evidentemente, todas as funcionali-
dades de pesquisa e de consulta dos resultados da avaliação.

O produto entra através do editor, que preenche uma ficha de produto, que depois é analisada, e são
entregues os devidos exemplares do produto (se for um produto em suporte CD-ROM) ou as chaves, os
códigos de acesso (se for um produto na Web).

Este é mais ou menos “o filme desta história” até aqui. A partir daqui, poderá haver outras opções e,
às vezes, há pausas que podem ser úteis no sentido em que, e especificamente neste caso, é possível
integrar o sistema de avaliação numa estratégia mais vasta de política educativa para este sector, o que
poderá trazer vantagens ao sistema educativo.

Este grupo… um pouco mais reduzido, foi também responsável pelos estudos preparatórios no que diz
respeito ao Eixo Conteúdos do Plano Tecnológico da Educação. Alguns dos estudos realizados: o diag-
nóstico da situação em relação à existência de recursos digitais em Portugal, o estudo de iniciativas inter-
nacionais de referência, e também ideias, propostas para o desenho de uma estratégia nacional de
recursos educativos neste domínio.

Foi um trabalho de alguns meses – aliás, deu-nos muito trabalho, mas deu-nos muito prazer – e eu
destacava uma ou duas notas. A primeira foi a quantidade de recursos que conseguimos inventariar, algo
verdadeiramente surpreendente para mim, e mesmo para os meus colegas, que “andamos” todos os dias
nestas coisas, foi a quantidade e, em muitos casos, a qualidade dos recursos que encontrámos. Encon-
trámos centenas e centenas de recursos de professores, de associações, de escolas, de uma grande varie-
dade de entidades. O que também observámos foi que, na maior parte dos casos, eram completamente
desconhecidos dos professores. Essa foi uma das notas do estudo diagnóstico. Uma segunda nota do
estudo diagnóstico foi a colaboração, quer de professores quer de alunos quer de escolas quer da parte
da indústria dos conteúdos – empresas que se dedicam a este domínio da criação de recursos, e que
foram verdadeiramente fantásticas, colaboraram imenso connosco, deram-nos todo o apoio, e as suas
ideias, as suas perspectivas – e é um pouco a partir dessa informação que este trabalho foi possível. Estas
ideias são, basicamente, dos professores e das pessoas que estiveram connosco e tiveram a amabilidade
de conversar connosco e de as partilhar.

Resumia agora um pouco algumas dessas ideias – evidentemente ainda num plano de propostas –,
quatro aspectos: o aspecto da criação, o aspecto da organização e disponibilização, o aspecto da
avaliação e, finalmente, o aspecto do uso.

Só para dar o exemplo de um projecto interessantíssimo, que se chama Mil Folhas: não é nenhum
bolinho, mas um trabalho de professores e alunos de uma escola e que, de facto, mostra que os profes-
sores e os alunos também podem ser criadores, também podem ser produtores de conteúdos (cf. em
http://www.esec-valenca.rcts.pt/folha_000.htm).

Este é apenas um das centenas de projectos, de conteúdos, de recursos que nós analisámos na Internet
e que estão inventariados – um trabalho feito por professores e alunos. E eu sublinhava um pouco esta
ideia de que, hoje em dia, com as facilidades e com a tecnologia de que dispomos, estes projectos são
altamente motivadores, para professores, mas, sobretudo, para os alunos. Depois poderão ver com mais
detalhe.

No final das contas, o resultado do estudo de diagnóstico trouxe-nos a uma perspectiva que é um pouco
contrária à perspectiva anterior de que a escassez era imensa, não havia recursos – e muitas vezes é esse
um pouco o senso comum: “(…) Não há recursos”, “(…) Na minha disciplina também não, não, não
há recursos”. Bem, a nossa conclusão é um pouco diferente. A nossa conclusão é a de que há recursos.
14
É evidente que não são suficientes para as necessidades de todas as áreas curriculares. Há áreas que
são um pouco mais favorecidas, outras menos. E, portanto, a cobertura curricular, em termos de recursos
educativos digitais, está longe de ser completa. Mas há recursos. E dizia-nos um professor, a certa altura,
um pouco a comprovar a nossa conclusão: “Há muitos recursos, mas é para quem os sabe encontrar”,
ou seja, também aqui há algum trabalho a fazer no sentido de, por um lado, organizar e facilitar, reunir
os recursos num determinado espaço, de forma a que seja mais fácil encontrá-los, e, por outro lado,
também, trabalhar ao nível das competências de pesquisa avançada, de modo a também facilitar esse
aspecto.

E, portanto, a partir desta fase de diagnóstico nós considerámos que havia, evidentemente, necessidade
de aumentar a quantidade e a qualidade dos recursos disponíveis em língua portuguesa para o sistema
educativo.

Algumas formas de o fazer são mais clássicas do que outras, mas são os concursos, as propostas, os
convites, o apoio a projectos que tenham interesse e que, manifestamente, tenham qualidade, acordos
e parcerias – há imensos recursos em instituições públicas que decorrem da actividade da instituição:
museus, bibliotecas, centros de investigação. São produtores de recursos, têm colecções de objectos
verdadeiramente interessantes e que podem facilmente ser reutilizáveis e, portanto, dar lugar a novos
recursos – e, como tal, há que articular, há que “pôr as mãos na massa” e definir as medidas necessárias
para aumentar a quantidade e a qualidade de recursos disponíveis.

Uma outra ideia também decorrente das nossas reflexões, da nossa observação da realidade e da nossa
interacção com os alunos, com os professores e com as escolas é, evidentemente, a questão do financia-
mento da escola para a aquisição de recursos. Este é um aspecto que, do nosso ponto de vista, já devia
ter sido resolvido há muito mais tempo. Primeiro, porque resolve aquilo que é verdadeiramente essencial,
que é que os professores e os alunos tenham acesso aos recursos e a escola tenha a sua dotação, no
orçamento, para que isso possa acontecer. Se não tiver recursos financeiros, não é possível. E, portanto,
se nós queremos fazer alguma coisa do ponto de vista estratégico, do ponto de vista daquilo que é a
política educativa neste momento, a primeira coisa a fazer é dar às escolas as verbas para que possam
adquirir os recursos. Não há outra maneira. Podemos inventar muitas coisas, mas sem essa medida não
me parece que as coisas possam funcionar. Para além de resolver o problema essencial do acesso aos
recursos e da sua disponibilização, creio que ajudaria muitos outros aspectos que acontecem nas nossas
escolas, nomeadamente relacionados com a questão dos direitos de autor.

Uma outra ideia seria, também, aproveitar melhor as capacidades das tecnologias instaladas: a criação
da WebTV, por exemplo, para a educação e para a formação. Existem projectos interessantíssimos.
Recordo, por exemplo, o projecto Ciência Viva TV, que é um bom exemplo de como tirar partido das
capacidades do vídeo (cf. em http://www.cvtv.pt/home/).

No que diz respeito à questão da organização, coloca-se a questão do repositório de recursos educa-
tivos digitais. Esta parece, evidentemente, uma questão, também, relativamente pacífica porque, em
primeiro lugar, poderemos reunir num espaço virtual aquilo que será, eventualmente, o repositório do
Portal da Escola, os recursos que estão dispersos um pouco por todo o país: desde sites de escolas,
páginas de escolas, páginas de professores, a blogues, páginas de associações, empresas, que estão
um pouco dispersos e que dá imenso trabalho procurar. Portanto, desde logo, facilitaria encontrar esses
recursos.

Em segundo lugar, as tecnologias hoje disponíveis permitem pensar um pouco mais além e sermos um
pouco mais ambiciosos do ponto de vista do próprio repositório. E também combinar aqui recursos
existentes. E, nesse sentido, o repositório foi concebido a partir do conceito de comunidade. O reposi-
tório é uma comunidade de comunidades. Mas nós não inventámos as comunidades, as comunidades
15
já existem. As comunidades já existem, são comunidades profissionais: da Matemática, da Biologia, da
História, das Ciências Naturais, o que seja; essas comunidades existem, têm membros – são associações,
são sociedades, são sociedades científicas, portanto, é algo que nós não inventámos. Essas comunidades
existem.

O que é que nós propomos: trazê-las para o repositório e dar-lhes a oportunidade de participarem e
de se responsabilizarem pelos conteúdos e recursos existentes no repositório. São estas comunidades que
vão inserir os recursos, são estas comunidades que vão avaliar a qualidade dos recursos lá colocados,
através de um sistema que é também utilizado no caso da publicação científica, a avaliação por pares:
eu produzo um recurso, eu sou de História, e a minha comunidade de professores de História vai avaliar,
do ponto de vista do conteúdo, do ponto de vista pedagógico, do ponto de vista técnico, se o recurso
tem condições para ser colocado no repositório – além de outros mecanismos de controlo de qualidade
que o repositório também prevê, nomeadamente, a pertença. A identidade e a pertença. Não pode ser
uma pessoa qualquer, que ninguém sabe quem é, não pode ser um anónimo. Ou seja, estão previstos
e propostos dispositivos que assegurem o controlo de qualidade.

A ligação com os repositórios europeus é fundamental. Nós, há muitos anos, felizmente, não estamos
sozinhos e, portanto, há mais gente a trabalhar neste domínio, há outras experiências, há outras escolas,
outros professores, outros recursos, e essa riqueza é, claramente, fundamental para o nosso próprio cres-
cimento e desenvolvimento.

E é aqui que eu vou apanhar outra vez a ideia do sistema de avaliação, porque é uma peça fulcral
desta estratégia. Nós vamos aumentar a quantidade e a qualidade dos recursos educativos digitais,
vamos promover a sua criação, vamos organizar e disponibilizar, mas temos de assegurar os aspectos da
avaliação e da certificação. No primeiro caso, nos recursos que são comerciais – portanto, são pagos –,
certamente têm todo o interesse em ser certificados por um selo que dirá que aquele produto é reconhe-
cidamente de interesse educativo; mas também os outros recursos que são de livre iniciativa das comuni-
dades, dos professores, dos alunos, dos centros de investigação, dos museus, etc., e submetê-los também
ao crivo da avaliação da sua qualidade.

No entanto, criar recursos não chega. Os recursos em si também não valem de muito, é preciso depois
fazer o resto do caminho: é preciso levá-los depois para a sala de aula, é preciso usá-los, é preciso
escrutiná-los, é preciso que os alunos tirem o melhor partido possível dos recursos.

Eu destacava talvez uma das nossas ideias: nós temos uma rede de bibliotecas escolares no país – não
fomos, evidentemente, nós que as inventámos, elas já existem, elas já trabalham – e a rede de biblio-
tecas escolares trabalha muito bem já sobre este campo da literacia informacional e dos recursos digitais
(cf. em http://www.rbe.min-edu.pt/).

Ora, não podemos, numa estratégia destas, deixar uma infra-estrutura desta dimensão e com esta quali-
dade, e que existe nas escolas, junto aos alunos e junto aos professores, sem que ela possa ter igual-
mente um papel relevante nesta componente. E, portanto, a nossa proposta vai no sentido também de
atender àquilo que acontece nas escolas, em que nem sempre há comunicação entre as várias equipas.
Há muitas equipas nas escolas, felizmente há já muitas equipas nas escolas, mas às vezes as equipas
não comunicam. E a nossa proposta era incitar as equipas que tratam destes aspectos a comunicarem
entre si.

Muitas vezes, estes produtos em suporte CD estão localizados e armazenados e “à guarda de alguém”
numa parte da escola, junto dos coordenadores TIC (por exemplo), ou com os professores de Informática,
ou no Conselho Executivo, mas depois não há informação da sua existência e não há comunicação;
como também pode não haver análise da realidade, das necessidades, podem não se estabelecer as
16
prioridades, pode não haver uma discussão que permitiria, por um lado, a aquisição racional dos
recursos de que a Escola precisa.

Provavelmente, o dinheiro a disponibilizar não dará para comprar tudo de uma vez, há que comprar
uma coisa agora, depois outra, há que gerir esses recursos e a nossa proposta é que se constitua uma
equipa de recursos digitais. Basicamente, é um dispositivo de comunicação entre as equipas que já
existem: a equipa da biblioteca e a equipa TIC da escola.

Evidentemente que numas escolas isto fará sentido, provavelmente noutras não será tanto assim, pois já
existem. Mas é uma ideia e, por isso, está aqui a ser submetida ao crivo da discussão pública.

As fontes consultadas para a preparação desta conferência foram as seguintes:


Ramos, J. L., Teodoro, V. D., Ferreira, F. M., Chagas, I. & Soares, J. P. ( 2008) Estudo de Imple-
mentação do Portal da Escola – Eixo Conteúdos. GEPE/ME (no prelo).
BECTA (s/d) Quality principles for digital learning resources: an introduction. Disponível em
http://partners.becta.org.uk/index.php?section=sa&catcode=_sa_cs_cf_in_04.

17