Evaluacion de Competencias

EVALUACIÓN DE
COMPETENCIAS CON
HERRAMIENTAS DE
INTERACCIÓN
DIALÓGICA
ASÍNCRONAS
(foros, blogs y wikis)
Gregorio Rodríguez Gómez (Dir.)

EvalHIDA:
EVALUACIÓN DE COMPETENCIAS CON
HERRAMIENTAS DE INTERACCIÓN DIALÓGICA
ASÍNCRONAS (foros, blogs y wikis)
Gregorio Rodríguez Gómez (Dir.)
Resultados del proyecto de Estudios y Análisis EA2008-0237 titulado “Proyecto

EvalHIDA: Evaluación de competencias con Herramientas de Interaación
Dialógica Asíncronas (foros, blogs y wikis)” financiado por la Dirección General
de Universidades del Ministerio de Educación. Resolución de 14 de julio de
2008 (BOE 194 de 12 de agosto de 2008).
© Servicio de Publicaciones de la Universidad de Cádiz
Los autores
Edita: Servicio de Publicaciones de la Universidad de Cádiz

C/ Doctor Marañón, 3. 11002 Cádiz
http://www.uca.es/publicaciones
publicaciones@uca.es
ISBN: 978-84-692-5152-2
ÍNDICE GENERAL
Presentación 3
1. Informe Ejecutivo EvalHIDA. Gregorio Rodríguez Gómez. 5
2. Evaluación de competencias con Herramientas de Interacción

Dialógica Asíncronas. Gregorio Rodríguez Gómez (Coord.) y Juan
Manuel Dodero Beardo. 18
3. Posibilidades y limitaciones del uso del foro para la evaluación

de competencias en estudios de postgrado. Ana Delia Correa Piñero
(Coord.), Remedios Guzmán Rosquete y David Pérez Jorge. 53
4. Desarrollo de aplicaciones Web: Evaluación de competencias

mediante herramientas asíncronas. Juan Manuel Dodero Beardo,
Davinia Hernández Leo y Camino Fernández Llamas. 87
5. La evaluación entre iguales como elemento potenciador de la

formación a través del uso de rúbricas en entornos wiki. Bartolomé
Rubia Avi (Coord.), Inés Ruiz Requies y Henar Rodríguez Navarro 148
6. La evaluación de competencias a través de los foros asíncronos:

El caso del Máster en Educación y TIC de la Universitat Oberta de
Catalunya. Lourdes Guàrdia Ortiz (Coord.), Nati Cabrera Lanzo, Marcelo
Maina Patrás y Albert Sangrà Morer 178
7. Diseño e implantación de procedimientos de evaluación basados

en HIDAs en el ámbito universitario: Un estudio de caso. Gregorio
Rodríguez Gómez (Coord.), María Soledad Ibarra Sáiz, Miguel Ángel
Gómez Ruiz, Beatriz Gallego Noche, Victoria Quesada Serra y Daniel
Cabeza Sánchez. 212
8. Estudio de la asignatura Web 2.0: Redes Sociales impartida a las

universidades del G9. Manuel Benito Gómez, Jesús María Romo
Uriarte, Javier Portillo Berasaluce. 276
9. Uso de herramientas de comunicación asíncronas para la

evaluación de competencias en el Máster de Informática de la UAH:
Un caso de estudio sobre un máster no presencial. Elena García
Barriocanal. 298
10. Evaluación de la competencia “aplicación de conocimientos”

en un master de Educación a través del uso de Herramientas de
Interacción Dialógica Asíncronas (foro y blog). M. Teresa Padilla
Carmona (Coord.), José Clares López, Juan Jesús Torres Gordillo y
Javier Rodríguez Santero. 314
11. Evaluación de competencias genéricas de postgrado: El caso
de la materia e-Learning en la Facultad de Informática de la UCM.
Baltasar Fernández Manjón (Coord.), Chantal Biencinto López,
Mercedes García García, Inmaculada Asensio Muñoz, Eva Expósito
Casas y Mª José García de la Barrera. 337
12. Evaluación de competencias en Sistemas Operativos

Avanzados. Jesús Carretero García y José Daniel García Sánchez. 356
13. Difusión internacional del Proyecto. Gregorio Rodríguez Gómez y

María Soledad Ibarra Sáiz (Coord.). 383
14. Encuentro EvalHIDA. 395
15. Conclusiones. Gregorio Rodríguez Gómez, María Soledad Ibarra

Sáiz, y Juan Manuel Dodero Beardo 397
PRESENTACIÓN
El informe que ahora se presenta corresponde a los resultados

obtenidos del proyecto EvalHIDA (Ref. EA2008-0237) subvencionado en el
Programa de Estudios y Análisis por Resolución del 14 de julio de 2008, de la
Secretaría de Estado de Universidades (BOE nº 194 del 12 de agosto de 200).
En el proyecto EvalHIDA nos planteamos el reto de estudiar y analizar la

utilización de Herramientas de Interacción Dialógica Asíncrona (HIDAs) para
evaluar algunas competencias genéricas de los estudiantes en la realización
activa y participativa de una tarea. En este sentido nos hemos centrado en los
Blogs, Foros y Wikis.
El trabajo ha sido realizado por equipos de trabajo de once

universidades públicas españolas.
La perspectiva conceptual y metodológica ha estado apoyada tanto en la

evaluación orientada al aprendizaje y evaluación de competencias (Gibss,
2003¸ Boud y Falchikov, 2007; Rodríguez y otros, 2009) como en la
complementariedad entre pedagogía y tecnología (Godwin-Jones, 2003; Ibarra,
2008).
Un aspecto clave ha sido reivindicar y analizar la participación e

interacción de los estudiantes y profesorado en el proceso de evaluación de
competencias.
Este informe se estructura en quince capítulos. El primero de ellos

corresponde al Informe Ejecutivo centrado en ofrecer una visión sintética del
estudio realizado.
El segundo capítulo Evaluación de competencias con Herramientas de

Interacción Dialógica Asíncrona, proporciona un marco conceptual sobre cómo
pueden utilizarse las Herramientas de Interacción Asíncrona (Blogs, Foros,
Wikis) para analizar y evaluar competencias genéricas en una actividad
realizada colaborativamente entre un grupo de estudiantes.
Con el fin de determinar los requisitos para adaptar las funcionalidades

más comunes de las Herramientas de Interacción Dialógica Asíncrona a las
exigencias de la evaluación de competencias se han realizado diez estudios de
caso por diferentes universidades que se presentan en los diez capítulos
siguientes.
En el capítulo trece está dedicado a presentar las aportaciones que han

sido publicadas durante la realización del estudio.
En el capítulo siguiente se adjunta el programa del Encuentro EvalHIDA,

reunión financiada por el propio proyecto, coordinada por el Grupo de
Investigación EVALfor y celebrada en la Universidad de Cádiz. A dicha reunión
asistieron participantes del Proyecto EvalHIDA, constituyendo un encuentro
que facilitó el compartir personalmente el trabajo realizado y la toma de
decisiones para los objetivos y fases siguientes.
Finalmente en el capítulo quince se presentan las principales conclusiones

del estudio organizadas en torno a tres aspectos prioritarios:
Utilidad de los procedimientos de evaluación
Fortalezas y oportunidades de las Herramientas de Interacción Dialógica

Asíncrona en el proceso de evaluación de competencias
Debilidades y amenazas de las Herramientas de Interacción Dialógica

Para finalizar con una especificación de los requisitos necesarios para

facilitar la evaluación de competencias mediante la utilización de las
Herramientas de Interacción Dialógica Asíncrona.
INFORME
EJECUTIVO
EVALHIDA
Gregorio Rodríguez Gómez

EVALHIDA: Evaluación de Competencias con Herramientas de Interacción Dialógica
Asíncronas (foros, blogs y wikis)
1. CONTEXTO DEL PROYECTO EvalHIDA
El Proyecto EvalHIDA se planteó sobre la base de la interacción de dos

áreas de interés: el proceso de evaluación del aprendizaje universitario y la
incorporación de las Tecnologías de la Información y la Comunicación (TICs)
en el mismo.
1.1. La evaluación del aprendizaje universitario
La evaluación de competencias es hoy un auténtico reto para el

profesorado universitario. Gracias a las diferentes experiencias y proyectos, a
través de los cuales las universidades españolas han venido adaptando las
enseñanzas al Espacio Europeo de Educación Superior, se ha podido avanzar
en la introducción de innovaciones en los procesos de enseñanza, pero en el
caso de la evaluación asistimos a una situación donde el profesorado
universitario se encuentra ciertamente desconcertado.
Cada vez son más frecuentes las publicaciones científicas focalizadas

sobre la “evaluación del aprendizaje” en la educación superior llegando autores
como Trillo y Porto (2002: 293) a “preconizar la evaluación de estudiantes
como una línea relevante en el estudio de la calidad universitaria”. Estos
autores presentan una excelente revisión sobre las investigaciones realizadas
hasta ese momento en torno a la evaluación del aprendizaje en la universidad.
Desde una perspectiva más actualizada podemos citar las interesantes
aportaciones de Boud y Falchikov (2007), Falchikov (2006), Bloxham y Boyd
(2007) y Bryan y Clegg (2006) además de los últimos números de las revistas
especializadas en el ámbito de la evaluación y de la educación superior.
No es de extrañar, pues, que en la actualidad la evaluación del

aprendizaje se plantee como un elemento estratégico en la universidad (Gibss,
2003) habida cuenta de la importancia que tiene la misma como elemento
“modulador” del proceso de aprendizaje en cuanto que determina el qué, el
cómo, el por qué y el cuánto estudian los alumnos. Como señala Nieto (2000),
“la evaluación constituye un factor que condiciona decisivamente la enseñanza
del profesor” o como mantienen Watts y García-Carbonell (2006: 2) “las
innovaciones introducidas en la evaluación inciden directamente en los
objetivos y la metodología de enseñanza-aprendizaje”. Consecuentemente,
prestar atención a la evaluación del aprendizaje permite situarse en un marco
6
Informe Ejecutivo
efectivo para trabajar en las instituciones educativas y una forma de centrarse

en lo realmente importante: el desarrollo y aprendizaje del alumnado.
Desde la década de los 90 se viene impulsando una evaluación basada

en la explicitación de los criterios, preocupada por los procesos, de carácter
colaborativo, en la que se intenta la corresponsabilidad del alumnado, su
focalización en las competencias y capacidades y preocupada por los
principales aprendizajes (Brown, Bull y Pendlebury, 1997) que no pueden
entenderse de forma descontextualizada, por lo que es preciso determinar el
contexto en el que el aprendizaje se realiza. Aún más, como señala Shepard
(2000), “si la evaluación tiene la finalidad de ayudar a los estudiantes a
aprender, debe modificarse de dos formas fundamentales. Primero, el
contenido y el carácter de las evaluaciones debe ser mejorado
significativamente. Segundo, la información obtenida en la evaluación debe
formar parte del proceso de aprendizaje”.
Esta importancia de los procesos de evaluación queda recogida en el

Real Decreto 1393/2007 por el que se establece la ordenación de las
enseñanzas universitarias oficiales, donde se especifica que “se debe hacer
énfasis en los métodos de aprendizaje de dichas competencias así como en los
procedimientos para evaluar su adquisición”.
Consecuentemente no es de extrañar que, desde diferente latitudes se

preste una especial atención a la evaluación de los aprendizajes en la
educación superior, como lo ponen de manifiesto proyectos de carácter
internacional como FAST Project (http://www.open.ac.uk/fast), LOAP
(http://www.ied.edu.hk/loap/intro.html) o EvalCAU (http://www.uca.es/evalcau)
en un claro interés de servir de medios de transferencia de experiencias en el
contexto específico de la evaluación del aprendizaje en la universidad.
1.2. TICs e innovación en la Evaluación
Las actuales tendencias en la evaluación de competencias exige al

profesorado universitario introducir, entre otros, dos elementos básicos: la
participación de los estudiantes y la utilización de múltiples técnicas e
instrumentos que permitan disponer de una visión global sobre el nivel de
desempeño en sus tareas y actividades.
7
Además, la incorporación del uso de las TICs en el proceso de

enseñanza universitaria añade un elemento más de dificultad a la función
evaluadora, como es la de propiciar un nuevo medio de interacción entre
profesorado y estudiantes que hace aún más difícil y complejo el proceso de
evaluación.
Concretamente en este proyecto se centró la atención en las

herramientas que sirven para evaluar ciertas competencias de un grupo de
estudiantes en la realización activa y participativa de una tarea, como son los
foros, blogs y wikis, a los que hemos denominado con el nombre general de
Herramientas de Interacción Dialógica Asíncrona (HIDA).
Así, el interrogante de partida del proyecto era ¿cómo puede un profesor

universitario evaluar las competencias (comunicación, discusión, negociación,
argumentación, colaboración, síntesis, liderazgo, iniciativa …) que se
desarrollan con el uso de herramientas como los foros, blogs y wikis?, o dicho
de otra forma:
¿Cómo puede el profesor universitario evaluar competencias y aptitudes

transversales y específicas mediante las plataformas informáticas
actuales, a través del uso de los foros, blogs y wikis como herramientas
de despliegue de cualquier estrategia avanzada de evaluación?
El carácter innovador de este proyecto se fundamenta en dos aspectos

fundamentales:
• Participación e interacción de estudiantes y profesores a través del uso

de wikis y aplicaciones web de autoría compartida.
• Complementariedad entre Pedagogía y Tecnología
La investigación en tecnología educativa han ahondado en cómo se

fomentan capacidades de comunicación, discusión y negociación constructivas
a través de la interacción basada en foros, la publicación de blogs y el uso de
wikis para la autoría web compartida (Godwin-Jones, 2003). Sin embargo,
llegada la hora de supervisar las actividades realizadas en dichas herramientas
con el fin y objeto de proceder a la e-evaluación, la tarea se torna dificultosa
(De Pedro, 2007), no sólo en cuanto a la exigencia de supervisión manual de
los contenidos intercambiados, sino también en cuanto a la dificultad para
identificar, clasificar y catalogar las competencias exhibidas por los estudiantes
8
Informe Ejecutivo
durante la realización de la actividad, en cuyo desarrollo se puede hallar

imbricada, pero oculta, información valiosa para la evaluación.
Cabe destacar el uso de wikis y aplicaciones web de autoría compartida

como la expresión actual más avanzada de estos mecanismos de desarrollo
compartido basados en la interacción entre estudiantes, cuyas aportaciones
pueden tenerse en cuenta para la e-evaluación. Entre dichas aportaciones
deben considerarse no sólo las originales de cada estudiante, sino también las
revisiones, modificaciones y valoraciones de aportaciones ajenas y del propio
tutor o supervisor del proceso de enseñanza-aprendizaje. Cabe reseñar que
estas aportaciones no sólo contribuyen con información valiosa para la
evaluación de competencias, sino que también sirven para fomentar y medir la
capacidad de evaluación, entre otras, como competencia a adquirir por los
propios estudiantes, como puesta en práctica de un método significativo y
efectivo de las diferentes modalidades participativas de evaluación:
autoevaluación, evaluación entre iguales y coevaluación.
Sin embargo, el uso de un wiki no simplifica mucho la labor de evaluación

del profesor, quien debe catalogar, clasificar y valorar manualmente cada una
de las aportaciones de los estudiantes durante la autoría compartida. Sin
desdeñar una estrategia basada en que los evaluadores etiqueten cualquier
aportación significativa con anterioridad a comenzar la evaluación, no parece
que ésta sea la aproximación más adecuada en cuanto a su escalabilidad a un
número elevado de estudiantes.
Finalmente, la medición de ciertas competencias y aptitudes transversales

puede resultar difícil en las HIDA actuales. Por ejemplo, evaluar aptitudes y
valores (v.g. liderazgo, iniciativa, etc.) puede resultar difícil de realizar con un
foro o un wiki. El presente proyecto debe tener esto muy en cuenta para abrir el
camino a futuras versiones evolucionadas de herramientas HIDA que permitan,
como continuación del proyecto, plantearse tales retos y sortear las dificultades
acaecidas con ayuda de las tecnologías informáticas más avanzadas, como por
ejemplo las relacionadas con las ontologías y la Web Semántica (Sicilia y
García-Barriocanal, 2004) y el procesamiento de lenguaje natural en la
evaluación de respuestas en texto libre (Alfonsea et al., 2005).
La complementariedad entre Pedagogía y Tecnología la concretamos en

dos aspectos fundamentales: el marco global del estudio y los casos de estudio
participantes.
9
El marco global del que partimos en este estudio lo tomamos de Burgos

(2008), en el cual se destaca la necesidad de la interacción e integración de
expertos en procesos y metodologías de enseñanza-aprendizaje y evaluación y
expertos en e-learning y/o desarrolladores de software en un conjunto
colaborativo bajo el concepto de “diseñadores de aprendizaje”.
Figura 1: Modelo adaptativo de e-aprendizaje (Burgos, 2008)
Por otra parte los casos de estudio se centraron, como veremos

posteriormente, en másteres tecnológicos y educativos, con el fin de analizar
los resultados desde esta doble perspectiva pedagógico-tecnológica, a través
del trabajo colaborativo entre profesores universitarios de estas dos áreas.
2. OBJETIVOS
El fin del proyecto era determinar los requisitos para adaptar las
funcionalidades más comunes de las HIDA a las exigencias de la evaluación de
competencias, concretándose el mismo en dos objetivos generales:
1. Diseñar los métodos de evaluación necesarios para evaluar las

competencias transversales y específicas surgidas del catálogo de
competencias de los másteres participantes en el proyecto.
10
Informe Ejecutivo
2. Analizar la aplicación de los métodos de evaluación de

competencias a partir de las evidencias depositadas en los registros
informáticos de las herramientas informáticas de interacción dialógica
asíncrona.
3. ORGANIZACIÓN
La organización y gestión del proyecto se basó en el trabajo colaborativo

de los investigadores en las áreas implicadas en el mismo, a saber:
• e-Aprendizaje
• e-Evaluación
• Evaluación de Competencias
• Ingeniería de la Web
Todos los participantes estaban vinculados orgánicamente a través del

coordinador del estudio y del Comité de Gestión. En la figura 1 podemos
observar la estructura organizativa asumida por los participantes para la
realización de este proyecto, pasando a describir en la tabla 1 las principales
funciones y actividades que desempeñó cada uno.
Figura 1: Estructura organizativa del Grupo de Trabajo
4. PRODUCTOS
Los productos logrados con el Proyecto EvalHIDA, que se incluyen como

documentación, han sido:
11
1. INFORME EJECUTIVO EvalHIDA
Informe que contextualiza el Proyecto EvalHIDA. Se centra en el propio

contexto en el que surge el proyecto, los objetivos que se pretendían alcanzar,
la organización de la estructura del grupo de trabajo, los principales productos
resultantes del estudio y finaliza con la inclusión de todos los participantes en el
Proyecto EvalHIDA.
2. EVALUACIÓN DE COMPETENCIAS CON HERRAMIENTAS DE

INTERACCIÓN DIALÓGICA ASÍNCRONAS.
En primer lugar se presenta el marco de referencia sobre la evaluación

de competencias en el que se ha situado este proyecto. A continuación ser
realiza una breve introducción a dos categorías de herramientas, wikis y
blogs/foros, indicando a continuación cómo puede usarse una herramienta de
visualización gráfica de los contenidos de un wiki para medir las competencias
observables durante la elaboración compartida. Por último se propone una lista
de indicadores para medir ciertas competencias.
3. POSIBILIDADES Y LIMITACIONES DEL USO DEL FORO PARA LA

EVALUACIÓN DE COMPETENCIAS EN ESTUDIOS DE POSTGRADO.
Este estudio de caso presenta la experiencia llevada a cabo en el máster

universitario “Intervención y Mediación Familiar”, impartido en la Universidad
de La Laguna. A través del mismo se planteó evaluar, mediante el uso del forO,
la adquisición de la competencia “Comunicación de conclusiones y
conocimientos y razones últimas que las sustentan de modo claro y sin
ambigüedades”.
4. DESARROLLO DE APLICACIONES WEB: EVALUACIÓN DE

COMPETENCIAS MEDIANTE HERRAMIENTAS ASÍNCRONAS.
Este estudio de casos múltiple se centró en la evaluación de

competencias en el aprendizaje de asignaturas directamente relacionadas con
el desarrollo de aplicaciones web, disciplina común a las áreas de Lenguajes y
Sistemas Informáticos, Ciencia de la Computación e Ingeniería Telemática,
dentro del campo de Ingeniería y Arquitectura. Para ello se llevaron a cabo tres
12
Informe Ejecutivo
estudios de caso distintos en la Universidad de Cádiz (UCA), la Universidad de

León (ULEON) y la Universidad Pompeu Fabra (UPF).
5. LA EVALUACIÓN ENTRE IGUALES COMO ELEMENTO POTENCIADOR

DE LA FORMACIÓN A TRAVÉS DEL USO DE RÚBRICAS EN ENTORNOS
WIKI.
Este caso de la Universidad de Valladolid centró su análisis en el Título

de Maestro Especialista en Educación Especial, y se llevó a cabo el análisis a
partir del uso de una rúbrica, como recurso de evaluación entre compañeros,
para evaluar una WIKIWEBQUEST elaborada en la asignatura “Nuevas
Tecnología Aplicadas a la Educación”.
6. LA EVALUACIÓN DE COMPETENCIAS A TRAVÉS DE LOS FOROS

ASÍNCRONOS: EL CASO DEL MÁSTER EN EDUCACIÓN Y TIC DE LA
UNIVERSITAT OBERTA DE CATALUNYA.
Este caso se situó en el Máster universitario en Educación y TIC (e-

learning) que se ofrece desde los Estudios de Psicología y Ciencias de la
Educación y desde el E-Learncenter de la Universitat Oberta de Catalunya. A
través del mismos se pretendía comprobar si el uso de instrumentos de
evaluación de competencias puede aportar respuestas a las preguntas y
preocupaciones planteadas en el proyecto. Concretamente, se utilizó en el
estudio una rúbrica para la valoración de los resultados obtenidos por los
estudiantes tras su participación en un foro virtual.
7. DISEÑO E IMPLANTACIÓN DE PROCEDIMIENTOS DE EVALUACIÓN

BASADOS EN HIDAs EN EL ÁMBITO UNIVERSITARIO.
A través de este estudio de caso, contextualizado en el Máster

universitario en Orientación y Evaluación SocioEducativas de la Universidad de
Cádiz, se pretendía implantar un procedimiento de evaluación de competencias
basado en la utilización de Herramientas de Interacción Dialógicas Asíncronas
a la práctica en el contexto de los nuevos estudios de Máster en la Universidad.
De forma paralela, se proponía comprobar las posibilidades y limitaciones de la
evaluación de competencias a través de la utilización de las HIDAs en la
Educación Superior, realizando no sólo evaluación del profesorado, sino
también prácticas de autoevaluación y evaluación entre iguales.
13
8. ESTUDIO DE LA ASIGNATURA “WEB 2.0: REDES SOCIALES”

IMPARTIDA A LAS UNIVERSIDADES DEL G-9.
La experiencia que se describe en este caso tuvo en el marco del

desarrollo del curso Web 2.0 práctica: Redes Sociales que se ofrece desde la
UPV/EHU a los miembros del Grupo 9 de Universidades (G9), partiendo de la
elección de la competencia “Trabajar en equipo y colaborativamente” se
pretendió dar respuesta a los siguientes interrogantes:
1. ¿Es el wiki una herramienta adecuada para desarrollar la competencia
de trabajo en equipo?
2. ¿Existen diferencias con otras herramientas HIDA cuando se usan
para evaluar dicha competencia?
3. ¿Cuáles serían, en su caso, los aspectos más positivos del uso de un
wiki para desarrollar dicha competencia, y cuáles los más negativos?
9. USO DE HERRAMIENTAS DE COMUNICACIÓN ASÍNCRONA PARA LA

EVALUACIÓN DE COMPETENCIAS EN EL MÁSTER DE INFORMÁTICA DE
LA UAH: UN CASO DE ESTUDIO SOBRE UN MÁSTER NO PRESENCIAL
El caso presentado por parte de la Universidad de Alcalá de Henares

centró su análisis en la evaluación de la competencia “Saber realizar
propuestas de trabajo – basadas en competencias previamente adquiridas en
el master— orientadas a la resolución de un problema original de diseño
abierto o a la propuesta de soluciones o líneas de trabajo innovadoras sobre el
estado actual de una cuestión”, y las tareas orientadas a la adquisición de la
misma con el fin de estudiar la utilidad de las herramientas de comunicación
asíncrona para la adquisición de la competencias en estudios de máster.
10. EVALUACIÓN DE LA COMPETENCIA “APLICACIÓN DE

CONOCIMIENTOS” EN UN MÁSTER DE EDUCACIÓN A TRAVÉS DEL USO
DE HERRAMIENTAS DE INTERACCIÓN DIALÓGICA ASÍNCRONA (FORO Y
BLOG).
Este estudio presentado por la Universidad de Sevilla se centró en

analizar las aportaciones de las HIDAs en la evaluación de la competencia,
recogida en el Real Decreto 1393/2007, que los estudiantes sepan aplicar los
conocimientos adquiridos y su capacidad de resolución de problemas en
entornos nuevos o poco conocidos dentro de contextos más amplios (o
multidisciplinares) relacionados con su área de estudio.
14
Informe Ejecutivo
Para ello se diseñó un procedimiento de evaluación que se implantó en

el Máster de Tecnologías para la Educación y el Conocimiento, de carácter
profesionalizante, que se imparte de forma virtual y en el que participan
alumnado español y de América Latina.
11. EVALUACIÓN DE COMPETENCIAS GENÉRICAS DE POSTGRADO: EL

CASO DE LA MATERIA E-LEARNING EN LA FACULTAD DE
INFORMÁTICA DE LA UCM.
El informe presentado por la Universidad Complutense presenta el

diseño de un procedimiento de evaluación de la competencia “comunicación de
resultados a distintas audiencias” y los resultados alcanzados con la realización
de un análisis DAFO, donde se señalan las fortalezas, amenazas,
oportunidades y debilidades del procedimiento de evaluación diseñado.
12. EVALUACIÓN DE COMPETENCIAS EN SISTEMAS OPERATIVOS

AVANZADOS
El caso presentado por parte de la Universidad Carlos III tiene como

objetivo la evaluación de la competencia “emitir juicios sobre artículos
susceptibles de ser publicados, teniendo en cuenta las responsabilidades
sociales y éticas ligadas a la participación un comité de programa o un comité
editorial de carácter científico”, para lo que se diseña un procedimiento de
evaluación y se analizas las posibilidades y limitaciones del mismo.
13. DIFUSIÓN INTERNACIONAL DEL PROYECTO
En este capítulo se recogen las comunicaciones internacionales que se

han publicado como aportaciones de los miembros del proyecto.
14. ENCUENTRO EvalHIDA
Se adjunta el programa del Encuentro EvalHIDA que se celebró durante

el mes de febrero en la Universidad de Cádiz y al que asistieron investigadores
del Proyecto EvalHIDA.
15
5. COMITÉS, EQUIPOS Y PARTICIPANTES
Coordinador:
Gregorio Rodríguez Gómez, Universidad de Cádiz
Comité de Gestión:
Juan Manuel Dodero Beardo (Universidad de Cádiz)
Luis Lizasoaín Hernández (Universidad del País Vasco)
Bartolomé Rubia Avi (Universidad de Valladolid)
Miguel Ángel Sicilia (Universidad de Alcalá)
Grupos de Trabajo:
Universidad Carlos III de Madrid
Jesús Carretero García
José Daniel García Sánchez
Telmo Zarraonandía Ayo
Universidad Complutense
Baltasar Fernández-Manjón
Mercedes García García
Isabel Inmaculada Asensio Muñoz
Chantal Biencinto López
Eva Expósito Casas
Mª José García de la Barrera
Universidad de Alcalá de Henares
Miguel Ángel Sicilia Urbán
Salvador Sánchez-Alonso
Elena García-Barriocanal
Universidad de Cádiz
Juan Manuel Dodero Beardo
Mercedes Ruiz Carreira
María Soledad Ibarra Sáiz
Antonio García Morilla
Cristina González O’Ferrall
Cristina Gavira Fernández
Universidad de La Laguna
Ana Delia Correa Piñero
Remedios Guzmán Rosquete
David Pérez Jorge
Universidad de León
Camino Fernández Llamas
Vicente Matellán Olivera
16
Informe Ejecutivo
Universidad de Valladolid
Bartolomé Rubia Avi
Ioannis Dimitriadis Damoulis
Rocío Anguíta Martínez
Inés Ruíz Requies,
Henar Rodríguez Navarro
Roberto Santos Fernández
Universidad del País Vasco
Luis Lizasoaín Hernández
Luis Joaristi Olariaga
Beronika Azpillaga Larrea
Rakel del Frago Arbizu
Eider Gamboa Ruiz de Eguilaz
Jesús María Romo Uriarte
Javier Portillo Berasaluce
Manuel Benito Gómez
Universita Oberta de Catalunya
Lourdes Guárdia Ortiz
Nati Cabrera Lanzo
Marcelo Maina Patrás
Albert Sangrá Morer
Universitat Pompeu Fabra
Davinia Hernández Leo
Comité de Apoyo y Seguimiento:
Miguel Angel Gómez Ruiz (UCA)
Victoria Quesada Serra (UCA)
Daniel Cabeza Sánchez UCA)
Daniel Burgos Solans (Atos Origin)
Ernie Ghiglione (MELCOE)
17
EVALUACIÓN DE
COMPETENCIAS CON
HERRAMIENTAS DE
INTERACCIÓN DIALÓGICA
ASÍNCRONAS

(Coord.)
Evaluación de Competencias con Herramientas de Interacción Dialógica Asíncrona
CONTENIDO
1. Introducción 20
2. El proyecto EvalHIDA 21
3. Un marco de referencia para la evaluación de competencia 22
4. Procedimientos para la evaluación de competencias 26
5. Introducción a las HIDA 29
6. Evaluación de competencias con wikis 35
7. Evaluación de competencias con foros y blog 37
8. Una propuesta alternativa para evaluar competencias con un wiki 40
9. Un procedimiento de evaluación de competencias utilizando

foros y wikis 48
10. Superando las limitaciones: primeros desarrollos con la

integración moodle-lams-evalcomix 49
11. Conclusiones 51
12. Referencias 51
19
1. INTRODUCCIÓN
La investigación en tecnología educativa ha profundizado en cómo se fomentan

capacidades de comunicación, discusión y negociación constructivas a través
de herramientas de aprendizaje colaborativo. La investigación sobre el análisis
de las interacciones llevadas a cabo a través de herramientas de trabajo y
aprendizaje colaborativo se ha orientado a la identificación y explotación de los
factores que incluyen en la efectividad y el éxito del aprendizaje colaborativo
(Dillenbourg, 1999).
Los instructores que desempeñen un rol de evaluador están especialmente

interesados en analizar el proceso o el producto de estas interacciones
colaborativas en un entorno de educación electrónica (MacDonald, 2003). La
interacción basada en foros, la publicación de blogs y el uso de wikis para la
autoría web compartida son herramientas de uso muy extendido en educación
electrónica (Godwin-Jones, 2003), ya que pueden proporcionar información
muy valiosa para analizar. Y evaluar una experiencia de aprendizaje
colaborativo.
Por ejemplo, se puede asignar a un estudiante o grupo de estudiantes el

análisis colaborativo de unproblema y la elaboración de un documento donde
aprendan a aplicar y argumentar sobre una serie de conceptos. Los estudiantes
individuales pueden realizar análisis elaborados del problema y colgarlos en
foros de discusión o en un documento de un wiki donde los compañeros
pueden leer y replicar a las contribuciones con críticas, interrogantes,
refinamientos, etc. (Weinberger and Fischer, 2006).
El uso de wikis y aplicaciones web de autoría compartida es la expresión más

actual de estos mecanismos de desarrollo compartido basados en la
interacción entre estudiantes, cuyas aportaciones pueden tenerse en cuenta
para la e-evaluación. Entre dichas aportaciones deben considerarse no sólo las
originales de cada estudiante, sino también las revisiones, modificaciones y
valoraciones de aportaciones ajenas y del propio tutor o supervisor del proceso
de enseñanza-aprendizaje. Cabe reseñar que estas aportaciones no sólo
contribuyen con información valiosa para la evaluación de competencias, sino
que también sirven para fomentar y medir la capacidad de evaluación, entre
otras, como competencia a adquirir por los propios estudiantes, como puesta
en práctica de un método significativo y efectivo de las diferentes modalidades
20
participativas de evaluación: autoevaluación, evaluación entre iguales y

coevaluación.
2. EL PROYECTO EVALHIDA
El proyecto EvalHIDA centra su atención en el estudio de herramientas

informáticas que sirven para evaluar ciertas competencias en un grupo de
estudiantes en la realización activa y participativa de una tarea. La categoría
general de dichas herramientas, que incluyen a los foros de discusión, los blogs
y los wikis, la denominamos con el nombre general de Herramientas de
Interacción Dialogística Dialógica Asíncrona (HIDA). El interrogante
que se plantea en este proyecto es ¿cómo puede un profesor universitario
evaluar las competencias (comunicación, discusión, negociación,
argumentación, colaboración, síntesis, liderazgo, iniciativa, etc.) que se
desarrollan con el uso de herramientas como los foros, blogs y wikis? Dicho de
otra forma: ¿cómo puede el profesor universitario evaluar competencias y
aptitudes transversales y específicas sobre una plataforma informática, a través
de los foros, blogs y wikis, como herramientas de despliegue de cualquier
estrategia avanzada de evaluación?
Sin embargo, llegada la hora de supervisar las actividades realizadas en dichas

herramientas con el objeto de proceder a la evaluación de competencias, la
tarea se torna dificultosa (De Pedro, 2007), no sólo en cuanto a la exigencia de
supervisión manual de los contenidos generados, sino también en cuanto a la
dificultad para identificar, clasificar y catalogar las competencias exhibidas por
los estudiantes durante la realización de la actividad, en cuyo desarrollo se
puede hallar imbricada, pero oculta, información valiosa para la evaluación. Por
ello se hace necesario disponer de herramientas informáticas que ayuden en el
análisis de dicha información.
En el resto del documento se hace, en primer lugar, una presentación del

marco de referencia sobre la evaluación de competencias en el que se sitúa
este proyecto. una breve introducción a dos categorías de herramientas, wikis y
blogs/foros, indicando a continuación cómo puede usarse una herramienta de
visualización gráfica de los contenidos de un wiki para medir las competencias
observables durante la elaboración compartida. También se propone una lista
de indicadores para que, a modo de discusión, se proponga y analice su
capacidad para medir ciertas competencias.
21
3. UN MARCO DE REFERENCIA PARA LA EVALUACIÓN DE

COMPETENCIAS
Son múltiples los términos utilizados para diferenciar entre los diversos tipos de
evaluación (sumativa, formativa, institucional, formadora ….) etc. En este
proyecto optamos por el término “evaluación orientada al aprendizaje”, acuñado
inicialmente por Carless (2003), por cuanto a través del mismo se abordan
muchos de los retos que el Espacio Europeo de Educación Superior plantea al
profesorado universitario.
La evaluación orientada al aprendizaje se centra, en primer lugar, en la

evaluación del aprendizaje del alumnado, ya sea para la determinación de un
nivel o la obtención de un grado, de tal forma que sirva como ayuda para
mejorar su trabajo, para diagnosticar las fortalezas y posibles mejoras, o para
una combinación ambas posibilidades.
En segundo lugar, presta una atención especial al proceso de aprendizaje,

por lo que lo importante es conocer cómo aprende el alumno y se intenta
empoderar al alumno para que aprenda de una forma más efectiva y pueda
conseguir el nivel de desempeño requerido en un curso o actividad.
Por último, como tercera característica diferencial, la evaluación orientada al
aprendizaje se centra en el desarrollo de la autonomía del estudiante y su
responsabilidad para orientar y gestionar su propio proceso de aprendizaje.
La evaluación orientada al aprendizaje se basa en tres aspectos fundamentales
(Carless y otros, 2006):
Las tareas de evaluación deben promover el tipo de aprendizaje

necesario para el lugar de trabajo en el contexto sociocultural del siglo
XXI.
Los procesos de evaluación deben implicar a los estudiantes de forma
activa, a través de técnicas como la evaluación entre iguales o la
autoevaluación, de tal manera que se promueva lo que van a necesitar
como “aprendices a lo largo de la vida”: su capacidad evaluadora
(aprender a evaluar) para tomar decisiones y orientar su propio proceso
de aprendizaje.
Se realiza una retroalimentación prospectiva, es decir, una
proalimentación a través de la cual se ofrecen orientaciones y
recomendaciones al alumnado que sean factibles de realización en un
futuro inmediato pudiendo modificar su trabajo y el nivel de desempeño.
22
Carless y otros (2006: 396) resume su concepción de la evaluación orientada al

aprendizaje como sigue: “Vemos la evaluación como un apoyo al aprendizaje
cuando las tareas están “ajustadas a los propósitos”; cuando los estudiantes
están implicados en el proceso de evaluación de forma que apoya el desarrollo
de su experiencia evaluadora; y cuando la retroalimentación con perspectiva de
futuro puede ponerse en práctica”.
Estos elementos básicos de la evaluación orientada al aprendizaje, y sobre los

cuales centraremos la atención a continuación, se presentan en la siguiente
figura.
Marco conceptual de la evaluación orientada al aprendizaje (Carless, 2007: 60)
En los siguientes epígrafes desarrollaremos de una manera sucinta las

principales características de la evaluación orientada al aprendizaje, con la
intencionalidad de que sirvan como elementos de reflexión de cara a la
planificación docente del profesorado universitario.
Tareas de evaluación como tareas de aprendizaje
La importancia de las tareas de evaluación ha sido puesta de manifiesto por

autores como Herman y otros (1997) para quienes la evaluación requiere que
el estudiante realice tareas complejas y con significado, basadas sobre el
23
aprendizaje anterior, el aprendizaje reciente y las habilidades relevantes para

resolver problemas reales o auténticos.
Desde esta perspectiva de la “autenticidad” de las tareas Wiggins (1998: 22-24)

señala que una tarea de evaluación será auténtica en la medida en que:
1. Sea realista
2. Requiera juicio e innovación
3. Permita al estudiante “construir” la materia
4. Simule los contextos reales en los que se desarrolla el trabajo y la vida
cívica y personal
5. Permite la evaluación de la habilidad del estudiante para el uso eficiente
y efectivo de un repertorio de conocimientos y capacidades para realizar
una tarea compleja
6. Proporciona oportunidades adecuadas para ensayar, practicar, consultar
fuentes y lograr retroalimentación, mejorando y refinando sus productos
y sus ejecuciones
Consecuentemente, una tarea de evaluación auténtica requiere (Wiggins,

1998:25):
Construcción del conocimiento

1. Organización de la información por parte del estudiante (tipos
más altos de competencias y capacidades)
2. Consideración de alternativas por parte del estudiante
Investigación disciplinada
3. Conocimiento de los contenidos fundamentales de la materia
4. Procesos fundamentales de la disciplina
5. Comunicación escrita para elaborar el entendimiento
Un valor más allá de lo meramente académico
6. Conectar los problemas al mundo más allá de las aulas
7. Implicar a las audiencias más allá del contexto académico
Las condiciones bajo las cuales las tareas de evaluación apoyan y favorecen el
aprendizaje han sido puestas de manifiesto por Gibbs y Simpson (2004-05):
Cantidad y distribución del esfuerzo del estudiante:

1. Las tareas evaluadas comprende el tiempo y esfuerzo suficientes
24
2. Estas tareas se distribuyen de forma equitativa a lo largo de los

tópicos tratados y las semanas de trabajo.
Calidad y nivel de esfuerzo del estudiante:
3. Tareas que implican a los estudiantes en actividades productivas
de aprendizaje
4. La evaluación comunica unas altas y claras expectativas a los
estudiantes
Retroalimentación prospectiva (proalimentación)
El concepto tradicional de “retroalimentación” (feedback) amplía su significado

en este contexto y es entendido como un proceso de aportar información sobre
el nivel de desempeño realizado por el estudiante, de tal forma que le permita
poder mejorar sus tareas y grado de desempeño. Por lo tanto, la información
que el profesorado facilite ha de realizarse con la antelación y detalles
suficientes que permitan al estudiante en un futuro inmediato la mejora de su
actuación. Ofrecer retroalimentación con perspectiva de futuro.
Las condiciones que Gibbs y Simpson (2004-2005) consideran como

necesarias para que la retroalimentación favorezca el aprendizaje del
estudiante son:
Cantidad y tiempo de retroalimentación

1. Se ofrece la suficiente retroalimentación y con el nivel de detalle
suficiente
2. La retroalimentación se ofrece lo suficientemente rápido para que
resulte de utilidad al estudiante
Calidad de la retroalimentación
3. La retroalimentación se centra sobre el aprendizaje antes que sobre
las calificaciones o sobre los propios estudiantes
4. La retroalimentación es comprensible para el estudiante
Respuesta del estudiante a la retroalimentación
5. La retroalimentación es bien recibida y atendida por el estudiante
6. La retroalimentación es puesta en práctica por el estudiante para
mejorar su trabajo o su propio aprendizaje
25
El estudiante como evaluador de su propio aprendizaje
El estudiante necesita desarrollar su capacidad de evaluación, a fin de

convertirse en un aprendiz que pueda orientar y gestionar sus propios procesos
de aprendizaje.
Las técnicas para implicar a los estudiantes en el proceso de evaluación son,

básicamente, la autoevaluación y la evaluación entre iguales.
4. PROCEDIMIENTOS PARA LA EVALUACIÓN DE COMPETENCIAS
Una vez explicitado nuestro marco teórico de referencia, aún siendo de forma
breve, nos centraremos en un nivel más práctico y tangible. Con las premisas
de la EOA de competencias, para realizar una evaluación estructurada,
coherente y útil para el alumnado universitario, deberemos, una vez
identificadas las competencias a desarrollar, establecer lo que denominamos
procedimiento de evaluación.
Entendemos como procedimiento de evaluación de competencias la forma

especificada de tareas y/o actividades a realizar por profesor y estudiante para
conocer y valorar el nivel competencial del estudiante. Por lo tanto, se trata de
una explicitación de la lógica del proceso evaluativo a seguir, donde se recogen
las tareas de evaluación a realizar por parte del alumno, la modalidad (si
procede) de esas tareas, los resultados o productos esperados de cada una de
dichas tareas, la evidencias, los métodos, técnicas e instrumentos concretos a
utilizar.
Como ejemplo de un procedimiento de evaluación, ofrecemos a continuación el

diseñado para la evaluación en uno de los másteres/doctorado que se
desarrollan en la Universidad de Cádiz.
26
Tabla 1: Procedimiento de evaluación del “Máster/Doctorado de Psicología, Educación y

Desarrollo. Orientación y Evaluación Educativas” de la Universidad de Cádiz
Competencia General (transversal o básica):
Aplicación de conocimientos
Competencia Específica:
Diseñar un proyecto de investigación acorde a normas estandarizadas
Métodos, Técnicas
Tareas a realizar por el Productos Persona que
e Instrumentos de
estudiante Esperados evalúa
Evaluación
- Asistencia a - Respuesta a - Profesor - Pruebas
clases teóricas pruebas objetivas Objetivas de
- Lectura de donde se explicite Conocimientos
a) Tareas documentación el dominio Básicos de
presenciales básica conceptual sobre Investigación
previas - Lectura de metodología de
documento: investigación
Orientaciones
para la realización
de proyectos de
investigación
- Selección de - Documento - Profesor - Lista de control
tema de interés escrito con - Evaluación de Selección
b) Tareas no - Selección de descripción del por Bibliográfica
presenciales bibliografía y tema de compañeros
documentación investigación
- Listado de
bibliografía
- Elaboración de - Documento - Profesor - Escala de

proyecto borrador borrador 1 de valoración de
1 Proyecto de Proyectos de
- Elaboración de Investigación Investigación
proyecto borrador - Documento
2 borrador 2 de
- Elaboración de Proyecto de
proyecto borrador Investigación
3 - Documento
borrador 3 de
Proyecto de
27
Investigación
- Elaboración de - Proyecto de - Profesor - Escalas de

proyecto definitivo Investigación - utoevaluación valoración de
- Evaluación Proyectos
por (autoevaluación y
compañeros evaluación por
compañeros)
c) Tarea - Presentación - Guión de - Profesor - Escala de
presencial oral del proyecto Presentación - valoración de la
de investigación - Presentación en Autoevaluación presentación oral
PowerPoint - Evaluación de proyectos
- Defensa pública por (autoevaluación,
del proyecto compañeros evaluación por
compañeros)
Este procedimiento diseñado cumple estrictamente con los tres requisitos de

una evaluación orientada al aprendizaje, por cuanto:
a) parte de una tarea auténtica como es el diseño de un proyecto de

investigación;
b) implica a los estudiantes en el proceso a través de la autoevaluación y
la evaluación entre iguales; y
c) ofrece proalimentación a través de las diferentes revisiones de los
diferentes borradores.
La descripción de este procedimiento se ha realizado bajo una modalidad que

podríamos denominar “tradicional”, al utilizar sólo texto escrito distribuido en
una tabla de contenido. No obstante, desde diferentes proyectos se vienen
desarrollando algunas aplicaciones a través de las cuales se pueden diseñar
los procedimientos desde una perspectiva gráfica o más intuitiva, como es el
caso de los planificadores pedagógicos como “London Pedagogy Planner”
(http://www.wle.org.uk/d4l/index.php?option=com_content&task=view&id=41&It
emid=17#)
28
O herramientas que pueden ser utilizadas en este sentido como Compendium

(http://compendiumld.open.ac.uk/)
5. INTRODUCCIÓN A LAS HIDA
A continuación se tratan por separado dos tipos de HIDA basadas en la

contribución de los usuarios: los wikis, por un lado, y los foros de discusión y
blogs por otro.
Para qué sirve una wiki
Según la definición en la wikipedia, los wikis son sitios web cuyas páginas
pueden ser editadas por usuarios a través de un simple navegador. La mayor
parte de los wikis ofrecen a los usuarios cuatro funciones básicas, accesibles a
través de pestañas como las de la Fig. 1.
Consultar artículos
Editar artículos
Historial de un artículo
Discutir sobre un artículo
Fig. 1 Pestañas de una wikipage para el artículo, discusión, edición, e historial
Funcionamiento de un wiki
Los usuarios pueden crear, modificar o borrar un mismo artículo compartido.

Las páginas wiki o wikipages tienen títulos únicos que identifican unívocamente
al contenido de cada artículo. Si se escribe el título de una wikipage en algún
lugar del wiki, esta palabra se convierte en un enlace al artículo en cuestión.
Por ejemplo, la Fig. 2 muestra la wikipage de la wikipedia a la que se llega
buscando el término “carnaval” o bien directamente a través del enlace
http://es.wikipedia.org/wiki/Carnaval.
29
Fig. 2 Wikipage con un artículo de la wikipedia sobre el Carnaval
Fig. 3 Historial de cambios realizados sobre un artículo de la wikipedia

Histórico de versiones
30
Los wikis conservan un histórico de cambios que permite recuperar cualquier

estado anterior y comprobar quién hizo cada cambio. La mayoría de los wikis
ofrecen esta posibilidad a través de una pestaña de nombre historial en la
wikipage. El historial da acceso a una relación de cambios realizados sobre la
wikipage, con la posibilidad de comparar versiones, deshacer y rehacer
cambios y buscar versiones. La Fig. 3 muestra cómo distintos usuarios han
realizado contribuciones en fechas diversas a la página sobre el carnaval de la
wikipedia. Al lado de cada contribución hay un enlace para deshacer dichos
cambios. También se ofrecen una serie de herramientas y estadísticas de
análisis de los cambios, como la lista de autores, los detalles de las
contribuciones y la búsqueda en el historial.
Edición de artículos
La edición de cambios sobre un artículo se realiza a través de un formulario

separado. Aunque en algunos wikis este formulario es un editor visual,
wikimedia y muchos otros wikis emplean un lenguaje especial de marcas
textuales que facilita mucho el control de cambios y versiones sobre los
artículos. Por ejemplo, en la Fig. 4 puede observarse cómo el término
“carnaval” se ha resaltado en negrita mediante triples comillas simples
alrededor del término; también puede verse cómo se ha insertado la imagen de
máscaras venecianas de la derecha del artículo mediante la inserción del
siguiente texto con marcas:
[[Imagen:Pietro Longhi 010.jpg|thumb|right|200px|

Máscaras venecianas - detalle de ''El rinoceronte'',
de [[Pietro Longhi]].]]
31
Fig. 4 Formulario de edición de un artículo de la wikipedia
La maquetación de la imagen en el texto la realiza automáticamente el sistema

wikimedia, no sin haber recibido antes algunas pistas del usuario en las marcas
anteriores: la imagen es pequeña (thumb), alineada a la derecha (right),
ocupa 200 pixels (200px) y el subtítulo de la imagen es “Máscaras venecianas
- detalle de El rinoceronte, de Pietro Longhi”. Además, en este subtítulo se ha
incluido un enlace al artículo de la wikipedia del autor de la imagen, encerrando
entre corchetes dobles el nombre de su wikipage ([[Pietro Longhi]]). Puede
que el lenguaje de marcas no sea intuitivo, pero resulta sencillo y rápido incluir
enlaces de unos artículos a otros de esta manera. De hecho, el término wiki
procede del hawaiano wikiwiki, que significa algo así como deprisa.
La Fig. 5 muestra un detalle de una wikipage estructurada en las secciones y

apartados expresados en la tabla de contenidos de la Fig. 6. La organización
en secciones del contenido de la página la define también el usuario a través
del lenguaje de marcas. Por ejemplo, los apartados 2 El carnaval en el
mundo (de nivel 1), 2.7 España} (de nivel 2), 2.7.2 Andalucía (de nivel 3) y
2.7.2.1 Cádiz (de nivel 4) se denotan añadiendo un símbolo = adicional por
cada nivel ―el nivel 1 comienza por dos símbolos:
32
== El carnaval en el mundo ==
=== [[España]] ===
==== [[Andalucía]] ====
===== [[Cádiz]] =====
Fig. 6 Tabla de contenidos del artículo de la

Fig. 5 Detalle sobre el carnaval de Cádiz en la
wikipedia sobre el carnaval
página de la wikipedia
La tabla de contenidos de la Fig. 6 no la tiene que escribir el usuario, sino que

es generada automáticamente por el wiki. Además, cada sección viene
acompañada de un enlace puesto automáticamente por el wiki para poder
editarla individualmente.
Discusión sobre un artículo
Otra posibilidad de las wikipages es discutir sobre los cambios efectuados en

su contenido. Las discusiones suelen estar separadas del propio contenido de
la página, para evitar sobrecargarla con información que los usuarios quieran
aportar para justificar los cambios que realizan (véase como ejemplo la Fig. 7).
Aunque las discusiones no son un foro, suelen adoptar la forma de mensajes
enhebrados cuyo hilo conduce a poder analizar la discusión en su conjunto.
33
Fig. 7 Discusión sobre los cambios realizados en un artículo de la wikipedia
En resumen, una wikipage es un documento que puede ser editado de forma

colaborativa y guarda un historial de todos los cambios realizados y quiénes los
realizaron.
Qué son los foros y blogs
Los foros (de discusión) son sitios web donde los usuarios pueden escribir
secuencias de mensajes que reflejan discusiones u opiniones sobre un tema.
Todos los mensajes pueden recibir respuestas, que forman hilos de discusión,
normalmente moderadas por un usuario coordinador o moderador. A diferencia
de los wikis, no se pueden modificar las aportaciones de otros miembros a
menos que se tengan permisos de moderador o administrador.
Una evolución de los foros de discusión son los blogs o bitácoras. Un blog es
un sitio web actualizado periódicamente que recoge cronológicamente artículos
de uno o varios autores, junto con los comentarios que otros usuarios hacen a
cada artículo. El autor tiene la libertad de dejar publicado o eliminar lo que crea
pertinente. Normalmente, los blog son individuales o están dedicados a un
tema particular. La diferencia con un foro es que en los mensajes de los blogs
están organizados en una secuencia lineal cronológica más clara, con
comentarios adjuntos. Los foros, en cambio, tienen una estructura arborescente
34
Evaluación de Competencias con Herramientas de Interacción Dialógica Asíncronas
que puede crecer indiscriminadamente en cualquier dimensión y perderse u

ofuscarse la organización lineal.
Los foros y, especialmente, los blogs, ofrecen una función adicional que es la
de clasificar las contribuciones asignándoles etiquetas (tagging). Esto lo
pueden hacer los moderadores o los usuarios regulares.
6. EVALUACIÓN DE COMPETENCIAS CON WIKIS
Sobre las bases funcionales que proporciona un wiki, pueden definirse

procedimientos para evaluar la participación de los autores en la confección de
una wikipage. Macdonald (2003) ha propuesto una evaluación del aprendizaje
colaborativo online que distingue entre evaluación del producto y evaluación
del proceso. Por un lado, dado que el wiki es un documento, pueden
evaluarse los tipos de competencias que resulte factible evaluar sobre la
confección de un producto dentro de una actividad de aprendizaje, tal como la
entrega de un escrito, un trabajo textual, una memoria, etc. Por otro lado, dado
que los artículos del wiki se elaboran en colaboración entre varios y a lo largo
del tiempo, puede medirse el proceso con que se ha llevado a cabo el artículo,
es decir, el grado de participación individual y conjunta de los estudiantes a lo
largo del tiempo, la temporización con que se han llevado a cabo las
actividades, etc. Todos estos datos quedan recogidos en el historial del wiki, y
pueden inspeccionarse siempre que se dispongan de las herramientas
oportunas.
Tanto el producto como el proceso pueden evaluarse individualmente o en

grupo. Una ventaja de los wikis sobre la tradicional entrega de un trabajo hecho
en grupo es que con un wiki queda constancia, en el propio producto y en su
historial, de cuál ha sido el grado de participación de cada alumno en el trabajo
grupal.
Si nos centramos en la evaluación del proceso, en un wiki pueden evaluarse,

de forma genérica, las siguientes competencias individuales:
La cantidad o capacidad de trabajo realizada por un usuario en relación al

trabajo del grupo.
El ritmo o la distribución temporal de las aportaciones de un usuario en
relación al trabajo del grupo.
35
La calidad del trabajo realizado por un usuario en relación al trabajo total

realizado por el grupo (v.g. añade o corrige detalles menores, añade
contenido sin prestar atención al formato, organiza en secciones el
contenido aportado por otros, sólo cambia cuestiones estéticas y de
formato, etc.)
La motivación por la calidad en el trabajo (v.g. continuas re-organizaciones
del contenido, ubicándolo y reubicándolo en sitios distintos del artículo, el
cuidado por los pequeños detalles de formato, puntuación, etc.)
La capacidad crítica, comprobando la frecuencia con que un usuario
propone deshacer los cambios realizados a la página por algún otro usuario.
La capacidad para resolver conflictos, comprobando si han habido guerras
de edición ―consistentes en sucesivos cambios a una misma parte de la
página, hechos y deshechos por autores distintos―, si se han resuelto y
cómo se han resuelto.
La autoridad de las aportaciones de un individuo al grupo, comprobando si
las aportaciones individuales se mantienen en el tiempo de vida de la
página, o la cantidad de contribuciones de un usuario en relación al resto.
En un wiki también pueden evaluarse las competencias anteriores de forma

conjunta, sobre la página elaborada, independientemente de las contribuciones
de cada usuario.
Gracias al historial de una wikipage se puede recuperar cualquier estado

anterior de un artículo y comprobar quién hizo los cambios. Esta facilidad se ha
usado tradicionalmente para controlar a los usuarios destructivos que
contribuyen a las wikipages con falsedades, insultos o contribuciones no
deseables intencionadamente. No obstante, esta misma facilidad puede
aprovecharse para examinar cómo ha evolucionado una página a lo largo de su
historia, quién ha hecho contribuciones, cuántas ha hecho y cómo se
distribuyen éstas en el tiempo. Sin embargo, esto es difícil de observar a través
de las simples herramientas de control de versiones de páginas que ofrecen los
wikis. No es realista pensar en que el evaluador acuda a páginas como la de la
Fig. 3 para evaluar las contribuciones individuales de cada alumno y el ritmo
temporal con que se han ido realizando estos cambios.
Los métodos y herramientas que permiten evaluar el proceso en un wiki son

escasos. Más adelante se describe una propuesta de cómo evaluar artículos de
un wiki ayudándose de una herramienta de representación gráfica del histórico
de contribuciones.
36
Ejemplo de evaluación de competencias con un wiki
Las competencias desarrolladas durante la creación de un wiki pueden

evaluarse con instrumentos de evaluación como listas de control, rúbricas,
escalas de valoración, etc. En la aplicación EvalCOMIX se han compartido dos
instrumentos de evaluación, diseñados para evaluar las competencias del wiki
del proyecto de desarrollo de una aplicación web en una asignatura sobre
Comercio Electrónico en Ingeniería Informática:
El primero es un ejemplo de lista de control y escala de valoración, de

nombre Web-based application development assessment list+scale.
El segundo es un ejemplo de rúbrica, de nombre Web-based application
development assessment rubric.
Estos instrumentos sirven para evaluar el producto realizado en el proyecto. La

evaluación del proceso se puede llevar a cabo aplicando repetidamente el
procedimiento de evaluación en las fases sucesivas del desarrollo del proyecto.
Como este método puede llegar a no ser escalable si el número de grupos
crece considerablemente, puede considerarse realizar un procedimiento de
coevaluación en determinadas fases del desarrollo del proyecto.
7. EVALUACIÓN DE COMPETENCIAS CON FOROS Y BLOG
Dado que los foros o blogs permiten elaborar discusiones online, las
competencias que pueden evaluarse tienen que ver con las capacidades psico-
sociales de colaboración, como el apoyo estructural entre iguales, la
participación activa, la formación de grupos, la generación de diálogo, etc. (Han
& Hill, 2007). Los blogs hacen más evidente el proceso de construcción del
conocimiento, dado que la estructura cronológica de sus entradas hace más
sencillo inspeccionar cuál ha sido la evolución de un participante a lo largo del
periodo de tiempo en que ha realizado sus aportaciones.
Para poder medir las competencias, es necesario definir previamente una serie
de indicadores, tales como la capacidad de organización del trabajo,
formulación de hipótesis, explicación argumentada, diálogo, refuerzo o estímulo
de las tareas ajenas, etc.
Las capacidades de los foros de discusión actuales exigen un examen del texto
para evaluar las competencias deseadas, en busca de evidencias de las
37
mismas. Sin embargo, gracias a la capacidad de etiquetado de las

contribuciones de un blog, se pueden asignar etiquetas a los mensajes que
representen información específica de evaluación. Mientras está examinando
un mensaje, el evaluador puede asignarle etiquetas para cada uno de los
indicadores observables, de forma que éstas constituyan una marca de que el
mensaje es una evidencia que da soporte a alguna competencia observada.
Posteriormente, el evaluador podrá hacer consultas, búsquedas, clasificaciones
y estadísticas en función de las etiquetas-indicadores otorgadas a los mensajes
de un estudiante o de un grupo de estudiantes. Sin embargo, los foros de
discusión no suelen disponer de la posibilidad de asignar etiquetas a los
mensajes, al contrario que los blogs. A continuación se describe un ejemplo de
este método de evaluación.
Ejemplo de evaluación con un blog
Para evaluar los contenidos de un blog pueden emplearse instrumentos de

evaluación de competencias como listas de control, rúbricas y escalas de
valoración. Supongamos una situación en la que queremos evaluar un blog
temático al que pedimos que contenga un número mínimo de entradas (por
ejemplo, cinco) donde se discute y argumenta sobre una serie de conceptos
estudiados en el tema. Para ello podría diseñarse una rúbrica como la
siguiente, a partir de una adaptada por Aníbal de la Torre:
Insuficiente Suficiente Notable Sobresaliente Peso Nota

Uso general Las entradas Se han Se han Se han enviado 40%
del Blog del blog son terminado la producido cinco cinco entradas y
escasas y mayoría de las entradas y cinco cinco
generalmente entradas y comentarios, comentarios
relatan eventos comentarios pero no se verdaderamente
personales requeridos detectan sustanciales.
evidencias de Más allá de los
contribuciones cinco
sustanciales requeridos, se
incluyen
muchas más
reflexiones de
interés
Relación con Las entradas Las entradas Las entradas El Blog está 25%
los del blog no del blog demuestran, en completamente
conceptos muestra muestran su mayor parte, relacionado con
centrales a ninguna alguna relación relación con los los conceptos
tratar relación con las con las lecturas conceptos tratados en el
lecturas y las y las tratados en aula y abarca la
actividades de actividades de clase mayor parte de
clase clase los mismos
38
Apreciacione No aparece Se muestran Aparecen El autor es 25%

s personales ningún algunas bastantes capaz de
sobre los planteamiento visiones visiones congeniar
conceptos de carácter personales personales perfectamente
tratados personal sobre los sobre los los conceptos
relacionado con conceptos conceptos tratados en el
los conceptos tratados tratados en aula con sus
tratados en las clase y en propias
lecturas y muchos casos apreciaciones
actividades de son personales
clase argumentadas sobre las
racionalmente, cuestiones.
demostrando Además, en
que el autor todos los casos
sabe congeniar se argumentan
aspectos correctamente
tecnológicos los
con realidades planteamientos
sociales o personales
científicas
Estilo Las entradas El Blog cuenta El autor Se demuestra 10%
tienen errores con pocos demuestra un una fluidez
ortográficos, errores buen dominio exquisita en el
gramaticales e ortográficos, del lenguaje, y uso del lenguaje
inconsistencia gramaticales, será leído sin que hace muy
sintáctica, etc. La problemas por agradable la
haciendo muy audiencia podrá su audiencia. La lectura del Blog.
difícil una seguir el texto mayoría de las Múltiples
lectura con cierta entradas son enlaces
continuada. No facilidad. Algún reforzadas con externos son
se incluyen enlace enlaces usados de
enlaces que ocasional es externos manera bien
refuercen las incluido integrada con el
ideas expuestas texto
Para agilizar la evaluación de competencias, puede diseñarse un conjunto de

etiquetas con las que anotar cada entrada del blog.
• Una posibilidad es definir una etiqueta para cada casilla de la rúbrica

anterior (v.g. USOG ENERAL-INSUFICIENTE, USOGENERAL-SUFICIENTE, …,
ESTILO-NOTABLE, ESTILO-SOBRESALIENTE, etc.) que sirva para señalar
las entradas del blog que son evidencias de la evaluación realizada.
• Otra posibilidad es disponer de etiquetas a los que asignarle un valor
(e.g. USOGENERAL="excelente", ESTILO="notable", etc.)
• Una tercera posibilidad es definir las etiquetas en función de los
conceptos que quieran cuantificarse para evaluar. Por ejemplo, una
pareja de etiquetas “ESCASA” y “SUSTANCIAL” nos permitiría anotar las
entradas del blog para contabilizar automáticamente las evidencias y
proponer una evaluación para la dimensión “Uso General”.
39
Las dos últimas alternativas no están disponibles en los blogs actuales, por lo
que puede discutirse cuál serían las mejoras que habría que realizar en el
método de operación y el software de un blog para poder llevar a cabo un
procedimiento mejorado de evaluación con instrumentos existentes tales como
las rúbricas, las listas de control y las escalas de valoración.
8. UNA PROPUESTA ALTERNATIVA PARA EVALUAR COMPETENCIAS

CON UN WIKI
Muchos de los elementos observables en un wiki, relatados en la sección

anterior, pueden trasladarse a la evaluación de competencias, tanto
individuales como grupales, sobre el proceso de elaboración de la página y
sobre el producto (esto es, la propia página). Entre las competencias
propuestas para evaluar se destacan las siguientes:
Capacidad de trabajo y participación

Organización y distribución del ritmo de trabajo
Capacidad de resolución de conflictos
Autoridad y liderazgo
Capacidad de observación y análisis crítico
Motivación por la calidad, orientación hacia el detalle y las formas o hacia el
fondo y el contenido
Las competencias anteriores son difícilmente observables a través de las

simples herramientas de control de versiones que ofrecen los wikis. Como
ayuda en el análisis y la evaluación de las aportaciones, a continuación se
muestra cómo emplear una herramienta de visualización gráfica del histórico de
una wikipage para medir cualitativamente las competencias, incluyendo
algunos ejemplos de evaluación. Más adelante se hace una propuesta de
indicadores para la evaluación de competencias en un wiki y de cómo
analizarlos con dicha herramienta gráfica. Sin embargo, la propuesta no es
exhaustiva y está abierta a discusión, modificación y extensiones.
Discusión sobre indicadores para evaluar competencias en un

wiki
La evaluación que puede realizarse con la herramienta anterior es cualitativa.

Para trasladarla al plano cuantitativo, sería necesario definir una serie de
40
indicadores de medida de cada una de las competencias, con base en el

histórico de aportaciones de cada wikipage.
A continuación se proponen algunos indicadores de competencias genéricas

que pueden medirse en un wiki, y una herramienta gráfica que permite analizar
más fácilmente el historial del wiki en busca de dichas competencias. La
mayoría de los indicadores pueden aplicarse individualmente o en grupo.
Puede medirse las contribuciones de un grupo de alumnos en la elaboración de
una wikipage, y también pude medirse las contribuciones de un individuo a una
wikipage en relación a las contribuciones del resto.
¿Cantidad de contribuciones?
Un primer indicador es la cantidad de contribución, entendida como la cantidad

de aportaciones que los usuarios hacen al wiki. Usando la herramienta History
Flow (Viegas et al., 2004) para visualizar las aportaciones a una página de la
wikipedia, puede observarse cómo la cantidad de trabajo es considerable.
Por ejemplo, la Fig. 8 es una visualización gráfica del historial de cambios a la

página de la wikipedia sobre el carnaval, entre julio de 2008 y enero de 2009.
El eje horizontal es la línea de tiempo y representa cada una de las versiones
de la página a lo largo de un periodo de fechas en que se han cambios. El eje
vertical representa el tamaño de la página, pudiéndose observar cómo este
crece a lo largo del intervalo analizado. A la izquierda aparece la lista de
usuarios que han hecho contribuciones a la página, cada uno resaltado en un
color distinto. Las líneas del gráfico están coloreadas en el mismo color del
autor de la contribución, y representan al texto de la página, también coloreado,
que aparece a la derecha del gráfico.
En la figura puede observarse cómo la capacidad de trabajo ha sido

relativamente elevada en este periodo, haciendo que la página creciera un 20%
aproximadamente en tamaño. Además, la actividad de los autores ha sido
razonable, según se observa en el patrón multicolor del gráfico, destacando las
contribuciones de un usuario por encima de los demás.
También pueden medirse las contribuciones de cada usuario individual a la

página. Por ejemplo, la Fig. 10 representa gráficamente las contribuciones de
un usuario especialmente activo en la página de la wikipedia sobre el carnaval.
41
En cambio, la Fig. 11 muestra las contribuciones a la misma página de un

usuario poco activo.
Fig. 8 Visualización gráfica del historial de cambios a la página de la wikipedia sobre el

carnaval, entre julio de 2008 y enero de 2009, con el eje horizontal distribuido en relación
a las versiones
Fig. 9 Contribuciones (resaltadas en violeta) del usuario Oscarjosejm a la página de la

wikipedia sobre el carnaval.
42
Fig. 10 Contribuciones (resaltadas en verde) del usuario Jotamar a la página de la

wikipedia sobre el carnaval
Fig. 11 Visualización gráfica del historial de cambios a la página de la wikipedia sobre el

carnaval, entre julio de 2008 y enero de 2009, con el eje horizontal distribuido
proporcionalmente a las fechas
43
¿Ritmo de contribución?
Otro posible indicador es el ritmo o avance de las contribuciones, entendido

éste como la distribución de la actividad de los autores del wiki a lo largo de
ciertos periodos de tiempo. Para medir este indicador vamos a cambiar
ligeramente la representación gráfica. En la Fig. 8, los puntos del eje horizontal
correspondían a cada una de las versiones de una página, siendo la distancia
horizontal entre ellos la misma. En cambio, la Fig. 11 es una alternativa a la
visualización anterior del historial de cambios, donde los puntos del eje
horizontal están distanciados proporcionalmente a las fechas en que fueron
realizados los cambios. De esta manera se puede observar que, por ejemplo,
entre el 28 de octubre y el 11 de diciembre de 2008 la actividad en la página
fue escasa en comparación con otros periodos.
¿Resolución de conflictos?
Una posibilidad interesante de los wikis es analizar si durante la edición de las

páginas se han generado conflictos de opinión, si éstos han provocado
cambios sucesivos de las mismas versiones de una página. La herramienta de
visualización evidencia estas situaciones con patrones de zig-zag, como se
muestra en la Fig. 12. El zig-zag de La parte derecha significa que ha habido
un conflicto sobre la ubicación de un cierto contenido, apareciendo un par de
versiones de una misma página cuyas incorporaciones a la versión final de la
wikipage se prolongan alternativamente durante un periodo de tiempo. Esto
evidencia la aparición de un conflicto y que, de algún modo, este se ha resuelto
antes del momento actual, representado por las líneas de más a la derecha del
gráfico.
44
Fig. 12 Visualización gráfica de las contribuciones a la página de la wikipedia sobre el

Chocolate. En la derecha puede observarse un patrón de zig-zag que evidencia una
guerra de ediciones.
¿Liderazgo?
Analizando las páginas de un wiki se puede observar si se da el patrón de

“ventaja para el primero en mover”, consistente en la tendencia a sobrevivir del
contenido inicial de una página, sufriendo menos modificaciones que
contribuciones más tardías a la misma página. De alguna manera, la aparición
de este patrón puede ser indicativa del liderazgo de cada contribuyente, y de si
ha mantenido ese liderazgo a lo largo del proceso de elaboración del wiki o lo
ha perdido a favor de otros contribuidores. Pr ejemplo, en la Fig. 11 se observa
cómo las contribuciones iniciales del usuario Oscarjosejm establecieron el tono
general de la página sobre el carnaval, que se ha mantenido a lo largo del
periodo analizado. Esto denota de algún modo el liderazgo de dicho usuario.
Bien es cierto que el patrón puede ser también sintomático de la indolencia de
los restantes contribuidores, y se requerirá un análisis más detallado de las
contribuciones para averiguar el motivo real.
¿Observación y análisis crítico?
Una tendencia observable en algunas páginas es que los usuarios tienden más
a insertar y borrar texto y contenidos que a trasladarlo de otro sitio. Este patrón
45
puede ser indicativo de no haber leído previamente la página completa, por lo

que podría equivaler a una competencia consistente en la capacidad de
observación, o bien de haberla leído pero no tener opinión crítica formada al
respecto. Este efecto puede observarse gráficamente buscando patrones de
tipo cruce de líneas en la evolución de una wikipage. Por ejemplo, la Fig. 13
muestra un cruce de líneas en la parte central que indica que ha habido una re-
ubicación de gran parte del contenido en otro lugar de la página. Cuando más
numeroso sea este patrón, más reorganizaciones habrá habido, en lugar de
inserciones y borrados de textos alternativos, pudiéndose considerar que la
capacidad de observación o de análisis crítico de las aportaciones ajenas es
más notable en los autores de dichos cruces.
Fig. 13 Visualización gráfica de la página de la wikipedia sobre el aborto. El cruce de

líneas situado en la parte central evidencia una re-ubicación de los contenidos en la
página.
46
Fig. 14 La visualización muestra el fino grano de las aportaciones a la página de la

wikipedia sobre Camarón de la Isla. A la derecha se detalla el texto coloreado según las
aportaciones de cada autor.
¿Forma o fondo?
La motivación por la calidad del trabajo elaborado en un wiki puede analizarse

estudiando las aportaciones de los usuarios. Éstas pueden ser de dos tipos:
añadidos sustanciales a los contenidos de la página, o cuestiones de formato y
marcado. Ambas pueden medirse observando el tamaño o superficie ocupada
por las aportaciones de un usuario y observando en el texto que acompaña al
gráfico el tipo de aportación en que consiste. Por ejemplo, en la Fig. 14 se
detallan las aportaciones de diversos autores a la versión final de la página de
la wikipedia sobre Camarón de la Isla. Las contribuciones del usuario Edescas
(marcadas en color rosa) y Dgilperez (marcadas en color naranja) son sobre
contenido. En cambio, hay un usuario anónimo cuyas aportaciones consisten
en añadir signos de puntuación y paréntesis a los párrafos superiores. Si este
patrón se reproduce a lo largo del texto, puede concluirse que el tipo de
aportaciones de estos usuarios con respecto a la motivación por la calidad y
revisión de los contenidos son de naturaleza distinta, unas más encaminadas al
contenido y el fondo (las de Edescas y Dgilperez) y otras más dedicadas a
cuestiones de forma y formato.
47
9. UN PROCEDIMIENTO DE EVALUACIÓN DE COMPETENCIAS

UTILIZANDO FOROS Y WIKIS.
Hasta este momento hemos visto algunas de las posibilidades que nos ofrecen
los fors/blogs y wikis en el proceso de evaluación. A continuación
presentaremos la integración de estos elementos en un procedimiento de
evaluación (ver tabla).
Concretamente nos centraremos en la propuesta planteada desde el Máster

universitario en Educación y TIC de la Universitat Oberta de Catalunya (UOC)
para evaluar la integración de conocimientos (competencia básica) y de forma
concreta valorar si los estudiantes son capaces de identificar y justificar
razonadamente los factores que intervienen en la toma de decisiones para el
diseño y desarrollo de un proyecto e-learning (competencia específica).
Productos Persona que Métodos y Técnicas de

Tarea/s a realizar
Esperados evalúa Evaluación
1.
1.1. Realización de una Listado de
búsqueda de información en recursos Instrumento Mixto:
referencia a los factores que compartidos en la Lista de control +
Profesor/a
intervienen en la elaboración de plataforma virtual escala de valoración.
un proyecto e-learning, (ejemplo LAMS o (Instrumento 1)
compartiendo al menos dos de Moodle).
los recursos encontrados.
2. Foro individual en Escala de valoración
2.1. Elección de uno de los el que se para la evaluación de
factores. presente una las reflexiones
propuesta personales.
2.1. Reflexión argumentada reflexionada (Instrumento 2)
sobre la relevancia e influencia sobre los factores Profesor/a
del factor elegido. que influyen, Escala de valoración
junto con los para los comentarios
2.2. Comentarios individuales comentarios de en los foros de los
en al menos dos de los foros de los compañeros compañeros.
los compañeros. al respecto. (Instrumento 3)
48
3. Elaboración del informe de Rúbrica para la

factores influyentes en la toma evaluación individual
de decisiones de un proyecto e- Wiki, de todo el en el desarrollo de la
learning. Se trata de un informe grupo clase, en la Profesor/a - wiki. (Instrumento 4)
describiendo, de forma que se presente evaluación
integrada, los factores el informe de individual Rúbrica para la
identificados al respecto, factores Los alumnos - autoevaluación en el
detallando la relevancia que, influyentes en la autoevaluación desarrollo de la wiki.
creen, tiene cada uno de ellos. toma de y evaluación (Instrumento 5)
decisiones de un del producto
proyecto e- grupal Escala de valoración
learning. para la evaluación
grupal de la wiki.
(Instrumento 6)
10. SUPERANDO LAS LIMITACIONES: PRIMEROS DESARROLLOS CON

LA INTEGRACIÓN MOODLE-LAMS-EVALCOMIX
Actualmente, en un intento de superar las limitaciones que las plataformas

ponen al desarrollo de la evaluación de competencias, sobre todo en lo que se
refiere a la participación de los estudiantes en este proceso, así como al ofrecer
proalimentación, hemos desarrollado una herramienta que permite la creación
de instrumentos de evaluación que pueden integrarse para su uso en
plataformas como LAMS o MOODLE. En estos momentos se encuentran en
fase de desarrollo estas integraciones.
En la figura 15 podemos observar, para el caso de LAMS, que en cada una de

las actividades a realizar se podrá seleccionar quién la evaluará (profesor,
autoevaluación o compañeros) y los instrumentos concretos que se utilizarán.
49
Figura 15: Integración de EvalCOMIX en LAMS
En la figura 16 podemos ver el ejemplo de integración de EvalCOMIX en

MOODLE.
Figura 16: Integración de EvalCOMIX en MOODLE
50
11. CONCLUSIONES
La evaluación de competencias en una herramienta de interacción dialógica

asíncrona puede realizarse aplicando instrumentos de evaluación de
competencias tales como las rúbricas, las listas de control y las escalas de
valoración. Se ha ejemplificado cómo usar una rúbrica para evaluar
competencias de un grupo de estudiantes en función de las contribuciones
realizadas a un wiki o a un blog. En el caso de los wikis, puede evaluarse tanto
el producto como el proceso de construcción, aunque este último aspecto es
ciertamente costoso. En el caso de los blogs, están más preparados para medir
capacidades psico-sociales de colaboración, siendo más evidente el proceso
seguido de construcción del conocimiento.
Sin embargo, las HIDA actuales no facilitan mucho la aplicación de

procedimientos de evaluación con un instrumento de evaluación, y no reflejan
cómo las contribuciones a un wiki o blog constituyen evidencias de las
competencias evaluadas. En el artículo se discuten métodos de mejora de la
evaluación de competencia basándose en extensiones a las HIDA existentes,
que pueden abrir paso a experiencias futuras más ricas para la evaluación de
competencias.
12. REFERENCIAS
Carless, D., Joughin, G. y Mok, M.M.C. (2006). Learning-oriented assessment:

principles and practice. Assessment & Evaluation in Higher Education,
31 (4), 395-398.
De Pedro, X. (2007): New method using Wikis and forums to evaluate individual
contributions in cooperative work while promoting experiential learning:
results from preliminary experience, International Symposium on Wikis,
Montreal, Quebec, Canada, pp. 87-92.
Dillenbourg, P. (1999): Collaborative Learning. Cognitive and Computational
Approaches. Elsevier Science Ltd., pp. 1-19.
Gibbs, G. & Simpson, C. (2004-05). Does your assessment support your
students’ learning? Learning and Teaching in Higher Education, 1, 3-31.
Godwin-Jones, R. (2003): Emerging Technologies: Blogs and Wikis:
Environments for On-line Collaboration. Language Learning & Technology,
7 (3), pp. 12-16.
Han, S. Y., Hill, J. R. (2007): Collaborate to Learn, Learn to Collaborate:
Examining the roles of context, community, and cognition in
51
asynchronous discussion, Journal of Educational Computing Research,

36 (1), pp. 89-123.
Herman, J.L. y otros (1997). Guía práctica para una evaluación alternativa.
Alexandria, VI: Association for Supervisión and Curriculo Development.
Macdonald, J. (2003): Assessing online collaborative learning: process and
product, Computers & Education, 40(4), pp. 377-391.
Viégas, F. B., Wattenberg, M., Dave, K. (2004): Studying Cooperation and
Conflict between Authors with history flow Visualizations, E. Dykstra-
Erickson & M. Tscheligi (eds.) Proceedings of the 2004 Conference on
Human Factors in Computing Systems (CHI 2004), Vienna, Austria, April 24
– 29.
Weinberger, A., Fischer, F. (2006): A framework to analyze argumentative
knowledge construction in computer-supported collaborative learning,
Computers & Education, 46(1), pp. 71-95.
Wiggiins, G. (1998): Educative Assessment. Designing Assessment to Inform
and Improve Student Performance. San Francisco, CA, Jossey-Bass
52
POSIBILIDADES Y
LIMITACIONES DEL USO DEL
FORO PARA LA EVALUACIÓN
DE COMPETENCIAS EN
ESTUDIOS DE POSTGRADO
Ana Delia Correa Piñero (Coord)

Remedios Guzmán Rosquete
David Pérez Jorge
1.- INTRODUCCIÓN
El caso objeto de estudio se ubica en el máster INTERVENCIÓN Y MEDIACIÓN

FAMILIAR, uno de los Programas Oficiales de Postgrado de la Universidad de La
Laguna, coordinado y promovido por la Facultad de Psicología 1. Es un máster
interuniversitario, que se imparte en la propia Universidad de La Laguna, la
Universidad de Las Palmas de Gran Canaria y la Universidad de Sevilla. Tal y
como se recoge en su programa 2:
Su contenido pretende cubrir un espacio de formación académica interdisciplinar en el

estudio de la familia como contexto de desarrollo y de educación, con el objeto de
proporcionar un marco conceptual sólido y coherente desde el que estudiar a la familia
con este enfoque interdisciplinar, una selección de los principales métodos y técnicas
de investigación utilizados en este campo y un amplio muestrario de estrategias y
programas de intervención y mediación familiar. Con esta oferta formativa se pretende
que los futuros profesionales diseñen acciones que permitan optimizar el contexto
familiar y social, tales como el desarrollo de programas de prevención primaria,
secundaria y terciaria, el apoyo y asesoramiento familiar en ámbitos de educación
formal e informal, la mediación familiar y la intervención psicopedagógica y comunitaria.
Específicamente, el máster se plantea los objetivos siguientes:

Conceptuales
1. Ser sensible a la diversidad cultural y de formas familiares a la hora de la evaluación de
situaciones familiares y los procesos de mediación e intervención.
2. Profundizar en el análisis de problemáticas asociadas a contextos familiares no
convencionales y de riesgo y sus principales consecuencias en los miembros de la familia.
3. Dar a conocer a los profesionales los marcos legales en los que se desarrolla la
mediación y la intervención familiar.
4. Conocer los distintos servicios y dispositivos en los que se desarrolla el ejercicio
profesional de la mediación e intervención familiar.
Metodológicos
1. Haber adquirido capacidad de análisis de la realidad social, de diseñar y planificar
acciones basadas en buenas prácticas profesionales.
1
Participa profesorado de las facultades de Educación, Derecho, Sociología, Trabajo Social de la ULL,
así como de otras universidades.
2
http://w3.ull.es/masteres/intervencionymediacionfamiliar/
54
Posibilidades y limitaciones del uso del foro para la evaluación de competencias en estudios de
postgrado
2. Conocer y aplicar las estrategias utilizadas en los procesos de la mediación e

intervención familiar.
3. Conocer y aplicar programas y estrategias de intervención destinadas a la optimización,
compensación y prevención del entorno familiar desde los distintos enfoques.
4. Divulgar de forma eficaz a diferentes colectivos (destinatarios, profesionales,
responsables institucionales, población en general) sobre los resultados del proceso de
mediación y de intervención llevado a cabo cuando proceda.
5. Diseño de estrategias comunicativas en los medios de comunicación y en las TICs.
Actitudinales
1. Promover y ejercitar en los profesionales de mediación y de intervención familiar
aquellas capacidades requeridas para el mejor desarrollo de su profesión.
2. Desarrollar capacidades de trabajo en equipo, con valores y una ética profesional
adecuada en el ámbito de la prevención, mediación e intervención familiar.
3. Desarrollar habilidades de comunicación, resolución de conflictos y negociación.
4. Mostrar flexibilidad, respeto y discreción en la comunicación y el uso de los resultados
obtenidos en las evaluaciones a las personas, grupos o familias.
5. Observar escrupulosamente los principios deontológicos, respetando los derechos de
las personas implicadas.
En concreto, el caso de estudio se ubica en la asignatura denominada

“Metodología para la evaluación y la intervención con la familia”, cuyas
características se definirán en el apartado 2 de este informe.
El informe está estructurado en los siguientes apartados:

Descripción del caso analizado, incluyendo los interrogantes formulados
para el estudio, la secuencia-cronología del estudio y la formulación del
procedimiento de evaluación diseñado.
Descripción de los instrumentos empleados para la recogida de
información, incluyendo tanto los específicos para la evaluación como
los dirigidos a obtener datos de diverso tipo útiles para el estudio.
Análisis de los datos, estructurado en torno a la especificación de
fortalezas y debilidades del foro como herramienta de evaluación, los
resultados de los instrumentos de evaluación y el análisis de la dinámica
de los foros.
Conclusiones finales.
55
2.- PLANTEAMIENTO DEL CASO ANALIZADO
El interrogante básico que guió el desarrollo del estudio de caso se centra en

torno a la posibilidad de diseñar y llevar a cabo actividades de evaluación de
competencias que se apoyen en el uso de herramientas de interacción
dialógica asíncrona. En concreto, nos planteamos evaluar mediante el uso del
foro la adquisición de la competencia Comunicación de conclusiones y
conocimientos y razones últimas que las sustentan de modo claro y sin
ambigüedades. En concreto, nos guiamos por los siguientes interrogantes:
¿Cómo son valoradas las distintas dimensiones/elementos que definen

la competencia indicada desde distintas modalidades de evaluación
(hetero, auto y co-evaluación?
¿Qué debilidades y fortalezas identifican los protagonistas de la tarea
(profesores y alumnos) respecto a las posibilidades del foro como
herramienta de evaluación?
¿Qué características tiene la dinámica de participación en un foro de
este tipo?
El caso analizado se integra en la asignatura Metodología para la evaluación y

la intervención con la familia. Esta materia es compartida por dos profesoras,
una de las cuales ha colaborado en este estudio. Se trata de una materia
optativa del 2º cuatrimestre integrada en la especialidad de Intervención
familiar.
Los motivos por los que seleccionamos este caso fueron, básicamente, los
siguientes:
Fácil acceso de los investigadores al caso (proximidad física, conocer a
la profesora…)
Compromiso y disponibilidad de la profesora del máster para participar
en el estudio.
Ajuste de los procedimientos de evaluación de la materia a los requisitos
del estudio, ya que incluye algunas actividades de evaluación on-line.
A partir de los objetivos incluidos en el programa de la asignatura, se procedió

inicialmente a identificar aquéllos que pudieran corresponderse de forma
directa con alguna de las competencias básicas definidas para el Postgrado.
En el diseño de su programa, la profesora tenía prevista la realización de un
“debate final” a través de un foro de discusión planteado en el aula virtual:
56
postgrado
Con esta actividad se pretende recapitular los conocimientos generales y

las habilidades principales desarrolladas por los estudiantes a lo largo de
esta parte de la asignatura. Se plantea como un ejercicio de evaluación
en el que cada estudiante tiene la oportunidad de demostrar los
resultados de su aprendizaje a partir de la reflexión invididual y su
puesta en común con los demás integrantes del grupo. Así, se podrán
obtener nuevos argumentos que alumbren otras posibilidades para la
práctica del trabajo comunitario con las familias. [Documentos de la
profesora: Guía para el debate final].
Así, la competencia básica que elegimos por su mayor afinidad con la actividad
propuesta fue “Comunicación de conclusiones y conocimientos y razones
últimas que las sustentan de modo claro y sin ambigüedades” (RD 1393/2007).
Esta competencia básica se identifica claramente en la primera parte del
objetivo propuesto para esta actividad (“Recapitular los conocimientos
generales y las habilidades principales desarrolladas a lo largo de la
asignatura a partir de la reflexión individual y su puesta en común con los
demás integrantes del grupo”). A partir de ahí, se formuló como objetivo del
procedimiento de evaluación de este estudio el de “Evaluar la capacidad del
alumno para exponer los conocimientos y conclusiones fundamentales de la
materia y argumentar y debatir sobre los mismos a través de un foro.”
Con posterioridad, este equipo sugirió a la profesora la conveniencia de

organizar tres foros independientes, organizados en torno a tres cuestiones
centrales planteadas por la ella para establecer el contenido del debate:
Foro 1. ¿Se puede considerar una entidad colectiva a las familias? ¿Cuáles
serían los límites y sus características?
Foro 2. ¿Se puede llevar a cabo una Investigación-Acción Participativa con
las familias? ¿Por qué? ¿Cómo?
Foro 3. ¿Cuáles son las ventajas y los inconvenientes principales del trabajo
comunitario con las familias?
Para la concreción del estudio, se elaboró el procedimiento que se presenta a

continuación:
57
EVALHIDA: Evaluación de Competencias con Herramientas de Interacción Dialógica Asíncronas (foros, blogs y wikis)
Competencia Básica: Comunicación de conclusiones y conocimientos y razones últimas que las sustentan de modo claro
y sin ambigüedades
Competencia Específica: Que el alumno sea capaz de recapitular los conocimientos generales y las habilidades
principales desarrolladas a lo largo de la asignatura a partir de la reflexión individual y su puesta en común con los demás
integrantes del grupo.
Tarea/s a realizar Productos Esperados Persona que evalúa Métodos y Técnicas de

Evaluación
(No presenciales)
Texto de las participaciones de los Profesor Instrumento 1. Escala de valoración
Participar en tres foros de discusión sobre alumnos en cada foro. para evaluar las aportaciones
la temática “El trabajo comunitario con las individuales de los alumnos al foro
familias”, abiertos en el aula virtual de la Registro de participación (nº de
asignatura. La participación en los foros intervenciones) en cada foro
está guiada por una serie de
interrogantes: Nota: Los foros son simultáneos y,
1º foro ¿Se puede considerar una entidad aunque son independientes, están
colectiva a las familias? ¿Cuáles serían relacionados, de manera que se Alumnos Instrumento 2. Escala de valoración
sus límites y sus características? tengan en cuenta las aportaciones para evaluar la organización del foro
2º foro ¿Se puede llevar a cabo una previas, no sólo dentro del mismo (evaluación del profesor) y su
Investigación Acción Participativa con las foro, sino en otros foros. propia participación (autoevaluación)
familias? ¿Por qué? ¿Cómo?
3º foro ¿Cuáles son las ventajas y los Instrumento 3. Rúbrica para valorar
inconvenientes principales del trabajo el nivel general del foro
comunitario con las familias? (coevaluación)
Contestar a las preguntas principales al

menos una vez, esto es: introducir su
aportación original al inicio de cada foro.
Plantear al menos una réplica en cada

uno de los foros.
58
postgrado
En los instrumentos, como se ve, se incluye evaluación por parte del profesor
(heteroevaluación), autoevaluación y coevaluación (Ver instrumentos de
evaluación en el Anexo).
La temporalización/secuencia puede resumirse a través de los siguientes pasos

principales:
Primera quincena de marzo.

o Revisión de másters disponibles.
o Elección inicial del caso.
o Primeros contactos (telefónicos) para proponer colaboración
o Análisis inicial de documentos escritos (programa de la
asignatura)
Segunda quincena de marzo
o Reunión de trabajo con la profesora colaboradora para
intercambio de ideas y toma de decisiones
o Elaboración del procedimiento e instrumentos (primer borrador)
o Intercambio de sugerencias profesora-investigadores sobre el
primer borrador
o Elaboración segundo borrador
Primera quincena de abril
o Redacción instrumentos definitivos
o Vaciado instrumentos a Herramienta Eval-Comix
o Toma de decisiones acerca del proceso de aplicación de los
instrumentos
Segunda quincena de abril
o Finalización de las clases presenciales
o Entrega de los cuestionarios definitivos a la profesora y los
alumnos
o Apertura de los foros de discusión
Primera y segunda quincena de mayo
o Plazo abierto para la participación en los foros
Primer quincena junio
o Recogida de instrumentos y otros comentarios acerca de la
experiencia
o Análisis de la información
o Elaboración del informe del estudio de caso
59
3.- INSTRUMENTOS DE RECOGIDA DE INFORMACIÓN
Los datos presentados en este informe se obtuvieron por diversas vías:
- Web del master en que se incluye la asignatura

- Entrevistas telefónicas con la profesora participante
- Reuniones de trabajo con la profesora participante
- Mensajes intercambiados a través del correo electrónico
- Documentos de la asignatura (Programa y Guía para el debate final)
- Aula virtual de la asignatura (aportaciones a los foros de debate)
- Los propios instrumentos de evaluación elaborados por el equipo.
Respecto a estos últimos, como se adelantó en el Cuadro de descripción del

Procedimiento, se elaboraron tres instrumentos (véase Anexo).
1. Una escala de valoración para que la profesora evaluara las aportaciones

individuales de los alumnos al foro. La escala incluía 5 dimensiones de
contenido:
1. Estilo expresivo y eficacia comunicativa (9 ítems)
2. Fundamentación teórica, dominio conceptual (10 ítems)
3. Interés, novedad y originalidad (6 ítems)
4. Participación, seguimiento e impacto (9 ítems)
5. Actitud (4 ítems)
Esta escala de valoración incluía además una pregunta abierta en la que se

solicitaba a la profesora que citara 5 fortalezas y 5 debilidades que, en su
opinión, pudiera tener el uso del foro como recurso para la evaluación del
alumnado.
2. Una escala de valoración para que cada alumno evaluara la organización del
foro (evaluación del profesor) y su propia participación en el foro
(autoevaluación). Incluía dos dimensiones:
1. Organización del foro (5 ítems)
2. Participación propia (8 ítems)
3. Rúbrica para que cada alumno valore el nivel general del foro
(coevaluación). Incluía 4 categorías, con 3 opciones de respuesta:
1. Nivel del contenido en las aportaciones al foro
2. Repercusiones para la práctica profesional
60
postgrado
3. Participación
4. Calidad global del foro
Esta rúbrica incluía además una pregunta abierta en la que se solicitaba al

alumno que citara 5 fortalezas y 5 debilidades que, en su opinión, pudiera tener
el uso del foro como recurso para la evaluación del alumnado.
Para iniciar la elaboración de los instrumentos de evaluación, nos basamos en

primer lugar, en el mencionado documento Guía para el debate final, donde se
recogían algunos criterios que la profesora formulaba como “Condiciones
generales” y “Criterios de evaluación:
- “Evitar las abreviaturas no convencionales y las jergas tipo mensajes de

móvil o de Chat”.
- “Preferible que sean cortos y concisos –no más de 15-20 líneas-“
- “Se valorará la claridad de la expresión, la concreción de las explicaciones,
el uso de ejemplos novedosos y el nº de intervenciones realizadas”.
- “Respetuosos en la forma y el trato (evitar juicios y ataques personales…)”
- “Es necesario que aporten argumentos procedentes de la teoría que se ha
estudiado para sostener la opinión propia”
- “Se mostrarán las conclusiones principales de forma clara y concisa”
- “Evitar reiteraciones a lo ya dicho”
- “Si se coincide con una opinión se intentará decir por qué y enriquecerla con
alguna aportación nueva”
- “Introduce nuevas preguntas a la discusión, relacionadas con el tema
central de debate”
- Deben contestar cada pregunta de inicio del foro al menos una vez.
- Deben plantear al menos una réplica en alguno de los debates.
A partir de estos criterios y de otros añadidos por este equipo, procedimos a

elaborar un primer borrador de los instrumentos previstos, que fueron
sometidos a revisión por parte de la profesora. En general se mostró satisfecha
con la propuesta (“me parece que recoge lo que hablamos, acertada, viable y
completa”), aunque ofreció una serie de aportaciones que comunicó a través
del correo electrónico. Sus comentarios permitieron la modificación y mejora
sustancial de los instrumentos y se refirieron a aspectos de diverso tipo, como:
La formulación del número de valores para la escala de estimación

Prefiero las escalas pares para evitar el “ni mucho ni poco
61
[correo-e 31/03/09 11:02:53]

Cambiar ítems de una dimensión a otra.
Esta no la entiendo bien en este grupo,

me parece más una valoración global que un indicador ¿de impacto?
[ibídem]
Clarificar conceptos o ítems enteros
Ítem “Ofrece respuestas precisas y comprensibles a sus dudas”...
¿a las que le plantean?
[ibídem]
Ítem “Es capaz de aceptar críticas razonadas y rectificar su posición”…
¿Intelectual o persona?. Creo que sirve para la segunda pero no para la
primera, que se acepte una crítica constructiva a la posición propia no
necesariamente implica la rectificación, bueno no añade valor para mí.
[ibídem]
Cambio de términos
Me gusta evitar la dicotomía “bueno-malo”, “positivo-negativo”,
me siento mejor con elementos que ayudan y que entorpecen
o debilidades y fortalezas…
[ibídem]
El segundo borrador, con las modificaciones propuestas por la profesora, se

constituyó ya en la versión definitiva de los instrumentos a emplear.
Hola de nuevo, por mi perfecto, creo que podemos probarlo.

Ya me dirná como proceder.
Todos aprendemos así que gracias para todos, ;-)
[correo-e 01/04/09 13:56:57]
62
postgrado
4.- ANÁLISIS DE DATOS
Fundamentalmente, aunque no exclusivamente, el análisis de los datos se

centra en los que se obtuvieron a través de los propios instrumentos de
evaluación creados para el procedimiento.
Procedimos, en primer lugar, a un vaciado, análisis y categorización de las

respuestas ofrecidas tanto por la profesora como por los alumnos3 en la
pregunta abierta relativa a fortalezas y debilidades.
En segundo lugar, analizamos los resultados obtenidos en los ítems (preguntas

cerradas) de las dos escalas de valoración y de la rúbrica. Dado el limitado nº
de alumnos, los análisis estadísticos que se ofrecen no van más allá de un
mero propósito descriptivo del grupo.
En tercer lugar, se efectuó un análisis de la participación en los foros

(frecuencia y distribución temporal de las aportaciones).
4.1. Análisis de preguntas abiertas. Fortalezas y debilidades del uso del

foro como herramienta de evaluación
De entrada hay que advertir que, con frecuencia, las respuestas de los alumnos
no se ajustaban de manera específica a la tarea planteada: se tendía a
responder sobre el uso del foro en general y no a su uso específico para la
evaluación.
Las categorías que hemos extraído respecto a fortalezas y debilidades a partir

de las respuestas de los participantes, se muestran en los dos cuadros
siguientes:
FORTALEZAS
Ha ayudado a analizar en profundidad los
contenidos de la materia [Alu.1]
Recoge la asimilación-elaboración personal
PROFUNDIZACIÓN DE LOS
de los contenidos de la asignatura, lejos de la
CONOCIMIENTOS
tradicional repetición de los mismos [Alu.2]
Creo que se demuestran más los
conocimientos adquiridos que con pruebas
tipo test [Alu.7]
3
El nº de alumnos se redujo a 7 porque uno de ellos no respondió a los instrumentos.
63
Suscita la creatividad, el desarrollo de nuevas

ideas y prácticas en la profundización de un
tema [Alu.3]
La posibilidad que permite ampliar y
profundizar contenidos impartidos en clase
[Alu.4]
Llevado con respeto y con un buen
moderador, es muy enriquecedor [Alu.1]
Ofrece tiempo para reflexionar sobre lo
aprendido y elaborarlo tranquilamente antes
de exponerlo a los demás. [Prof.]
Facilita la construcción conjunta entre los
alumnos, como iguales, de conocimientos
[Alu.3]
El nivel y posibilidad de co-construcción
(…)[Alu.4]
Propone una construcción conjunta del
conocimiento [Alu.5]
Ayuda a la construcción de conocimiento de
CONSTRUCCIÓN COMPARTIDA
forma cooperativa. [Prof.]
-Ha fomentado un diálogo constructivo [Alu.1]
He descubierto nuevas perspectivas a raíz
de la intervención de otros compañeros
[Alu.1]
Las oportunas sugerencias del docente sobre
la base de la ética profesional y el respeto a
la diversidad de opiniones [Alu.4]
Fomenta la implicación y participación de los
alumnos [Alu.1]
Propone una actividad dinámica y constante
de participación [Alu.3]
Implica a todos en el proceso [Alu.3]
PARTICIPACIÓN La participación democrática y activa de los
estudiantes [Alu.4]
Fomenta la participación e implica a todos los
alumnos [Alu.5]
El nivel y posibilidad de (…) coparticipación
de los alumnos [Alu.4]
Obliga a sintetizar los conocimientos y a
presentarlos de forma breve [Prof.]
Permite valorar la actitud de “escucha”, en
cuanto hay que tener en cuenta las opiniones
de los demás para elaborar la propia [Prof.]
Favorecen el uso de estos recursos en otros
contextos [Alu.2]
ADQUISICIÓN DE HABILIDADES Y
Te ayuda a organizar tus tiempos [Alu.6]
ACTITUDES
Ayuda a la reflexión, expresión y corrección
ortográfica [Alu.7]
Fomenta la capacidad gramatical [Alu.6]
Consigues un doble aprendizaje [Alu.7]
Entre líneas, se pueden leer los principios y
los valores que tienen los estudiantes en
relación con los temas tratados [Prof.]
64
postgrado
Es una herramienta práctica y accesible de

aprendizaje [Alu.3]
Acceso directo al postgrado en cualquier
momento [Alu.6]
Lleva el debate y la reflexión más allá de las
ACCESIBILIDAD Y RETROALIMENTACIÓN
paredes de la clase [Alu.5]
Tienes tiempo y es rápido, es bidireccional
[Alu.7]
Tienes material a mano para responder o
replicar [Alu.7]
El anonimato (no estar cara a cara), no
enfrenta [Alu.7]
Ayuda a las personas tímidas a expresarse
DESINHIBICIÓN en libertad [Alu.6]
Las personas que sean más tímidas en clase
a la hora de hablar pueden desinhibirse más
[Alu.5]
DEBILIDADES
Es difícil seleccionar temas
suficientemente amplios y variados para
dar vida al foro [Alu.1]
Podrían quedarse por fuera de la
evaluación otros conocimientos que no se
PROBLEMÁTICA INTRÍNSECA verían reflejados en el foro [Alu.3]
No da lugar a contestar directamente
(argumentación y refutación directa)
[Alu.6]
Personalmente, me siento más cómoda
en un debate cara a cara [Alu.2]
Exposiciones largas y repetidas [Alu.6]
El debate sigue el curso de las primeras
intervenciones lo que puede sacrificar
algunos contenidos de los tratados [Prof]
Se tiende a las exposiciones largas y
pocas, en lugar de muchas y cortas
[Alu.7]
Podría establecerse un criterio de mayor
exigencia de participación [Alu.2]
PROBLEMÁTICA EXTRÍNSECA
Puede caerse en dar respuestas sueltas
sin leer o contestar a los compañeros
[Alu.1]
Algunos estudiantes no disponen de
acceso a Internet en su lugar habitual de
estudio, con lo que hacen las
intervenciones a “salto de mata” o de
forma precipitada, con los consiguientes
errores y omisiones [Prof]
65
Al principio, me resultó un poco

complicado encontrar el lugar donde
colgar mis intervenciones [Alu.2]
El desconocimiento de los alumnos de la
forma en que debe llevarse a cabo [Alu.3]
El desconocimiento por parte de las
personas del uso y funcionamiento del
DESCONOCIMIENTO
foro [Alu.5]
No se domina esta herramienta en este
contexto ( universitario) [Alu.7]
La falta de hábito de los estudiantes con
este tipo de herramientas exige cierto
adiestramiento previo (sería necesaria
una simulación) [Prof.]
Al tratarse de una tarea a evaluar, se
preparan más las intervenciones y eso
resta espontaneidad a las intervenciones
Participación forzada por [Alu.2]
finalidad evaluadora Por el contexto en el que se plantea el
foro, tiene una connotación de “debate
obligatorio” [Alu.2]
PÉRDIDA DE
POTENCIALIDADES
DE LA ENSEÑANZA No todas las personas tienen Internet en
NO PRESENCIAL casa, con lo que al final se puede
convertir en una virtualidad presencial, es
No presencialidad, decir, tienes que ir a algún sitio
desvirtuada (biblioteca, etc.) para poder entrar en el
aula virtual, casi como si fueses a clase
[Alu.5]
Exige una supervisión casi diaria (por

tanto, tiempo del docente) mientras dure
la actividad [Prof.]
No es útil en grupos de más de 15
EXIGENCIAS AL PROFESORADO
personas, sería difícil asumir los costes
de tiempo que implica el seguimiento y la
evaluación sería mucho más compleja
[Prof.]
Además de las aportaciones de la profesora a la detección de debilidades del

procedimiento, ésta nos aportó una serie de reflexiones adicionales inspiradas
en las incidencias que detectó a lo largo de la realización de la tarea,
concretadas en los siguientes aspectos:
Los estudiantes utilizaron la opción “nuevo tema de discusión” en lugar de la

opción “responder”, a las cuestiones planteadas (pasó en los 3 foros), de
manera que hablaban de lo mismo en diferentes espacios. Esto dificultó el
seguimiento de la actividad y, por tanto, de la discusión. Aunque se intentó
regular este aspecto pidiendo que recolocaran sus mensajes, la mayoría de
los alumnos no lo hizo.
66
postgrado
En general, no se respetó la secuencia propuesta, que especificaba que

para iniciar la discusión de la segunda cuestión habría de estar cerrada la
primera y haber participado todos en ella.
No se hicieron preguntas que dieran lugar a dudas en los compañeros, no
hubo críticas que pudieran ser o no aceptadas por los demás, algunas
aportaciones se hicieron todas el mismo día. Por tanto, las valoraciones de
algunos ítems de las dimensiones 4 y 5 (aceptar críticas, responder dudas,
ralentizar el foro,…) de la escala de valoración respondida por el profesor
son más suposiciones o interpretaciones que apreciaciones “objetivas”
sobre lo ocurrido.
En cierto sentido, teniendo en cuenta el desorden de las intervenciones,
más que una discusión fue una exposición de ideas más o menos
conectadas, pero que dieron poco juego a las preguntas y las respuestas
sobre las posiciones defendidas. En todo caso, el contenido de las
aportaciones fue bastante bueno y creativo, es decir que logran reflejar los
contenidos trabajados, y tuvieron en cuenta las de los demás. De hecho en
el foro 3, enriquecen de forma notable la relación de ventajas e
inconvenientes de la Investigación-Acción Participativa con familias.
4.2. Análisis de los resultados de los instrumentos de evaluación
4.2.1. Resultados de la Escala de valoración para evaluar las aportaciones

individuales de los alumnos al foro
Esta escala, como se dijo, fue cumplimentada por el profesor, para cada uno de
los 8 alumnos matriculados en la asignatura. En las siguientes tablas, se
muestra la media y desviación correspondiente a los ítems de cada dimensión.
Las medias de los ítems de la Dimensión 1 (estilo expresivo y eficacia

comunicativa) oscilan entre 1 y 3,7. La media global de esta dimensión fue de
2,76.
67
DIMENSIONES ITEMS MEDIA (S)

(escala 1 a 4)
D1.2 1,00 (0,00)
D1.3 2,75 (0,70)
D1.5 2,75 (0,46)
D1.7 2,75 (0,70)
D1.6 2,87 (0,64)
1. ESTILO EXPRESIVO Y EFICACIA COMUNICATIVA D1.9 2,87 (0,83)
D1.4 3,00 (0,53)
D1.3 3,12 (0,64)
D1.1 3,75 (0,46)
Global Dim I 2,76 (0,38)

D2.8 1,00 (0,00)
D2.9 1,00 (0,00)
D2.7 2,62 (0,74)
D2.6 2,75 (0,70)
D2.10 2,87 (0,64)
2. FUNDAMENTACIÓN TEÓRICA Y DOMINIO D2.2 3,00 (0,75)
CONCEPTUAL D2.4 3,00 (0,75)
D2.3 3,12 (0,64)
D2.5 3,12 (0,35)
D2.1 3,25 (0,70)
Global D. II 2,57 (0,44)

D3.2 1,25 (0,46)
D3.3 1,37 (0,74)
D3.5 1,62 (0,74)
D3.4 2,25 (0,70)
3. INTERÉS, NOVEDAD Y ORIGINALIDAD
D3.6 2,62 (0,51)
D3.1 3,00 (0,53)
Global D. III 2,02 (0,24)

D4.9 1,00 (0,00)
D4.5 1,25 (0,46)
D4.6 1,75 (0,70)
D4.3 2,12 (0,64)
D4.4 2,12 (1,12)
4. PARTICIPACIÓN, SEGUIMIENTO E “IMPACTO” D4.8 2,87 (0,64)
D4.7 3,00 (0,75)
D4.1 3,75 (0,70)
D4.2 3,75 (0,70)
Global D. IV 2,40 (0,37)

D5.4 3,37 (0,91)
D5.3 3,71 (0,48)
D5.2 3,87 (0,35)
5. ACTITUD
D5.1 4,00 (0,00)
Global D. V 3,71 (0,33)
De forma general, el comportamiento de las dimensiones se observa en el

siguiente gráfico, en el que vemos como la Dimensión 5 obtuvo la mayor
valoración global. Se refiere a la Actitud (3,71) y recoge características como el
respeto, la valoración de las aportaciones de otros, la aceptación de las
68
postgrado
críticas, etc. En segundo lugar, la Dimensión 1 (2,76), de Estilo expresivo y

eficacia comunicativa, que refleja los aspectos formales del discurso, la claridad
y concisión, el nivel de argumentación, etc. En siguiente lugar va la Dimensión
2 (2,57), donde se valoran aspectos referidos a la Fundamentación teórica y al
dominio conceptual, como el rigor conceptual, la relevancia, actualidad y
pertinencia de la información que maneja, la profundización en el tema, etc. La
siguiente es la Dimensión 4 (2,40) de Participación, seguimiento e impacto,
donde se valora el nº de intervenciones, la regularidad de la participación, la
adecuación de las réplicas, etc. En último lugar se sitúa la Dimensión 3 (2,02)
de Interés, novedad y originalidad, referida a la aportación novedosa de
ejemplos, información, preguntas, reflexiones, etc. En total, la media de todo el
instrumento es de 2,69.
En suma, los mejores aspectos se refieren a una actitud correcta y a un buen

nivel de expresión. En un nivel intermedio de valoración se ubican el dominio
del tema y la propia participación en el foro. Finalmente, el menor nivel va
referido a la originalidad de las aportaciones.
4,00 Dimensiones de la Escala de Valoración de las aportaciones de los

alumnos al foro (heteroevaluación)
3,50
Media
3,00
2,50
2,00
Dim_1 Dim_2 Dim_3 Dim_4 Dim_5
69
4.2.2. Resultados de la Escala de valoración para evaluar la organización del

foro y su propia participación
En cuanto al objeto de evaluación, podemos considerar esta escala como

mixta: incluye una dimensión donde al evaluar la organización del foro se
evalúa indirectamente al profesor y otra que recoge la valoración de la propia
participación del alumno (autoevaluación). En la siguiente tabla se recogen las
medias y desviaciones obtenidas por cada uno de los ítems que conforman
ambas dimensiones, así como la media global de cada dimensión.
DIMENSIONES ITEMS MEDIA (S)

(escala 1 a 4)
D1.3 3,42 (0,53)
D1.4 3,71 (0,48)
D1.1 3,71 (0,48)
1. ORGANIZACIÓN DEL FORO D1.2 3,71 (0,48)
D1.5 3,85 (0,37)
Global Dim I 3,68 (0,27)

D2.4 2,71 (0,75)
D2.3 3,00 (0,81)
D2.5 3,14 (0,37)
D2.8 3,16 (0,98)
D2.1 3,42 (0,53)
2. PARTICIPACIÓN PROPIA
D2.2 3,42 (0,53)
D2.6 3,85 (0,37)
D2.7 3,85 (0,37)
Global D. II 3,32 (0,26)
Cabe destacar, por una parte, que la valoración del alumnado en los aspectos
de su referencia ha sido superior a la de la profesora. Sólo una de las
dimensiones valoradas por ésta (Actitud) superó el valor medio de 3. Dentro de
esta tendencia “alcista”, los alumnos valoran ligeramente más la organización
del foro que su participación en el mismo. La media global de ambos aspectos
es un 3,50 (S=0,22).
4.2.3. Resultados de la Rúbrica para evaluar el nivel general del foro.
Esta alta valoración por parte de los alumnos se refleja igualmente en la

coevaluación, recogida a través de una rúbrica donde se valora el nivel general
de las actuaciones de los compañeros en el foro. En este caso, el nivel de las
aportaciones y su repercusión para la práctica profesional obtienen las medias
70
postgrado
más altas (2,85)4. Tanto la participación como la calidad global del foro
obtienen la misma media de 2,42. El promedio global de las categorías de la
rúbrica es de 2,64.
CATEGORÍAS MEDIA (S)

(escala 1 a 3)
PARTICIPACIÓN 2,42 (0,53)
CALIDAD GLOBAL FORO 2,42 (0,53)
NIVEL DEL CONTENIDO EN LAS APORTACIONES DEL FORO 2,85 (0,37)
REPERCUSIONES PARA LA PRÁCTICA PROFESIONAL 2,85 (0,37)
Global 2,64 (0,19)
4.3. Análisis de la dinámica de los foros
En este apartado analizamos cómo se distribuye en el tiempo la participación

de los alumnos en los foros, con el fin de detectar si se plantea como una tarea
regular, bien repartida en el tiempo, o por el contrario, las intervenciones se
acumulan en un corto espacio. En el cuadro siguiente, se muestra un esquema-
calendario donde se recogen las distintas intervenciones de la profesora y los
alumnos en cada uno de los foros.
4
Hay que tener en cuenta que, mientras los elementos de las escalas de valoración se puntuaban de 1 a 4,
en el caso de la rúbrica, se puntúa de 1 a 3.
71
ABRIL
L M X J V S D
26
Profesora:
Crea los 3 foros
y sube las
preguntas
iniciales
27 28 29 30
MAYO
1 2 3
4 5 6 7 8 9 10
Nº int = 1
11 12 13 14 15 16 17
Nª int = 1 Profesora: Nº int = 1 Nº int = 1 Nº int = 5 Nº int = 6

interviene
para aclarar Nº int = 1 Nº int = 4 Nº int = 6 Nº int = 8
Nº int = 2 la dinámica
del foro Nº int = 11
18 19 20 21
Nº int = 1 Profesora:
síntesis-
recapitulación
cuestiones 1, 2
y3
Código cromático: Foro 1 (Total = 14 intervenciones) Foro 2 (Total = 21 intervenciones) Foro 3 ( Total = 13
intervenciones)
Aunque los foros permanecieron abiertos casi 4 semanas, en un análisis

superficial inicial se observa que la mayoría de las intervenciones se
concentraron en una semana (11-17 mayo), dándose además la circunstancia
de que el mayor nº de intervenciones tuvieron lugar ese fin de semana,
especialmente el domingo.
Los foros se abrieron el día 26 de abril y sólo 9 días después se obtiene la

primera intervención por parte de un alumno (5 mayo). Hay un vacío desde
este día hasta el 11 de mayo, que es cuando comienzan a participar de forma
masiva, es decir, dos semanas después de la apertura de los foros. Al ser
abiertos los tres foros simultáneamente, también los debates han sido
simultáneos, coexistiendo el mismo día intervenciones referidas a dos de ellos,
incluso a los tres.
En principio pretendíamos desglosar las participaciones distinguiendo diversos

tipos: respuestas a las preguntas iniciales, réplicas y contra-réplicas,
planteamiento de nuevas temáticas, etc.). Sin embargo, este análisis no pudo
efectuarse debido a que no se respetó siempre el mecanismo de los foros.
72
postgrado
Algunas respuestas a las preguntas iniciales se creaban como “temas nuevos”;

incluso se crearon como temas nuevos algunas réplicas a respuestas de otros
compañeros; a veces se observa como réplica lo que es una respuesta a la
pregunta inicial... Una correcta contabilización de los tipos de respuesta hubiera
exigido por nuestra parte un conocimiento del contenido debatido.
Otra perspectiva de análisis que nos parece de interés es la individual, es decir,

contabilizar el nº de aportaciones máximo de una misma persona, lo que se
refleja en los datos siguientes:
- En el primer foro
o 1 intervención 3 personas
o 2 intervenciones 4 personas
o 3 intervenciones 1 persona
- En el segundo foro
- En el tercer foro
o 1 intervención 2 personas
o 3 intervenciones 1 persona
La mayor tasa de intervenciones, tanto en total como a nivel individual se

observa en el Foro 2. El primero y el tercero tienen tasas similares tanto total,
como individual. Asimismo cabe señalar que nadie interviene más de 3 veces
en un mismo foro, cifra bastante reducida si consideramos que:
Los foros se mantuvieron abiertos todo el mes de mayo
Las condiciones mínimas de participación exigidas por la profesora incluían
(para cada foro) al menos una respuesta y al menos una réplica (es decir, al
menos dos intervenciones).
73
5.- CONCLUSIONES GENERALES Y PARTICULARES PARA EL

PROYECTO EVALHIDA
Organizamos la presentación de conclusiones en torno a las tres preguntas

planteadas al inicio.
- ¿Cómo son valoradas las distintas dimensiones/elementos que definen

la competencia indicada desde distintas modalidades de evaluación
(hetero, auto y co-evaluación?
En la modalidad de heteroevaluación (profesora a los alumnos), observamos

que las dimensiones más valoradas son las que integran elementos
actitudinales e instrumentales. La primera conclusión, pues, es que a través de
la herramienta del foro se generan intervenciones que son más valoradas por
sus aspectos éticos y relacionales (respeto, escucha activa, aceptación de
críticas…) y por el formato de la propia comunicación (estilo expresivo, eficacia
comunicativa, claridad…) que por el dominio teórico-conceptual y la originalidad
que revelan.
Otra variante de la heteroevaluación es la que se produce de los alumnos a la

profesora: al evaluar la organización del foro, indirectamente se valora parte de
la actuación del profesor, la referida a la forma en que condujo el propio
proceso de evaluación, que también alcanza una buena valoración. Esta buena
organización por parte de la profesora, sin embargo, contrasta con la relativa
desorganización y confusión que se detectó en las intervenciones del foro en
cuanto a su correcto manejo.
También detectamos cierta divergencia entre la autoevaluación y coevaluación,

por un lado, y la valoración de la profesora por otro, siendo mayor en el caso de
que los alumnos sean los agentes evaluadores.
- ¿Qué fortalezas identifican los protagonistas de la tarea (profesores y

alumnos) respecto a las posibilidades del foro como herramienta de
evaluación?
Las fortalezas identificadas son de diverso tipo, desde las referidas a aspectos
más conceptuales hasta otras más instrumentales.
74
postgrado
Profundización de los conocimientos. Hace referencia a las potencialidades

de la tarea realizada para profundizar y enriquecer los conocimientos
adquiridos, así como para reflexionar sobre los mismos.
Construcción compartida, que versa sobre la posibilidad de construcción
conjunta, participativa, del conocimiento.
Participación. Resalta como ventaja la implicación directa, activa y dinámica
de los alumnos en el proceso de aprendizaje.
Adquisición de habilidades y actitudes. Otra fortaleza identificada es la
consecución de beneficios “colaterales”, en forma de habilidades y actitudes
positivas, inicialmente no perseguidas.
Accesibilidad y retroalimentación. Hace referencia a la accesibilidad de la
herramienta, tanto por su facilidad de uso como por la supresión de límites
físicos y temporales que supone, y las posibilidades de feedback inmediato.
Desinhibición. Hace referencia a la seguridad que da el foro de cara a la
comunicación de ideas por parte de las personas tímidas y para no generar
enfrentamientos directos.
- ¿Qué debilidades identifican los protagonistas de la tarea (profesores y

alumnos) respecto a las posibilidades del foro como herramienta de
evaluación?
También identificamos debilidades de distinta naturaleza, y sobre todo se

insiste en aspectos referidos al manejo de la herramienta y las exigencias que
supone.
Problemática intrínseca. Con esto hacemos referencia a dificultades
inherentes al propio procedimiento del foro, como encontrar temáticas
apropiadas, insuficiencia de sus posibilidades evaluativas, o propiciar un
debate diferido e impersonal.
Problemática extrínseca. Este otro tipo recoge características que no son
intrínsecas al foro, sino defectos en el modo de intervención: longitud
excesiva, participación infrecuente, apresuramiento, redundancia,
individualismo.
Desconocimiento. Esta debilidad se puso de manifiesto de diversas
maneras y recoge la carencia de los conocimientos instrumentales
necesarios y la falta de práctica para usar adecuadamente esta HIDA.
Pérdida de potencialidades de la enseñanza no presencial. Aquí
recogemos, por una parte, la pérdida de ciertos rasgos atribuibles a priori al
foro, como la espontaneidad y la voluntariedad, cuando la actividad está
mediatizada por una finalidad evaluadora. Por otra, el hecho de en que
75
determinadas circunstancias la presunta no presencialidad y sus ventajas a

la postre quedan desvirtuadas debido a una carencia de recursos.
Exigencias al profesorado. Esta debilidad sólo es citada por su propia
protagonista (es decir, la profesora) y recoge las demandas adicionales que
este tipo de tareas hacen recaer sobre el docente (de tiempo, etc.)
- ¿Qué características tiene la dinámica de participación en un foro de

este tipo?
La respuesta a esta pregunta es una concreción de algunas de las debilidades

ya citadas y que reflejan el desconocimiento y escasa práctica con estas
herramientas que (en el momento presente, en el caso analizado y para la
finalidad citada –evaluación-), tienen los alumnos. En este sentido, el manejo
de los foros en el proceso de enseñanza aprendizaje parece haber heredado
ciertas características asociadas al uso de los foros en otros contextos, donde
se emplean más como herramientas de comunicación informal y de interacción
social, que como recurso didáctico. De diversas maneras los alumnos han
insistido en el condicionamiento, en buena medida negativo, que supone el
objetivo final asignado al foro (ser evaluados). Por todo ello, se observa un
cierto desequilibrio entre la dinámica realmente detectada (en términos de
regularidad y frecuencia de la participación y uso correcto) y las
potencialidades del foro. Dicho de otra forma, el foro-para-ser-evaluado se ha
contagiado de otros hábitos asociados a la evaluación presencial:
concentración del esfuerzo en pocos días, limitarse al cumplimiento de
mínimos, manejo desorganizado de los foros, etc.
El primer problema que hay que superar a la hora de implantar y utilizar

eficazmente herramientas interactivas es la cultura profesional acerca de las
posibilidades del uso del foro como herramienta para la evaluación. Creemos
que, tanto la cultura del profesor como la del alumnado respecto a las nuevas
tecnologías influyen enormemente en la adopción y utilización de herramientas
interactivas para este fin. En este sentido, mientras se predica una enseñanza
virtual, por el momento se sigue practicando una evaluación presencial.
76
postgrado
6.- ANEXO I
PROCEDIMIENTO DE EVALUACIÓN
77
1.- FICHA TÉCNICA DEL PROCEDIMIENTO
1. Título: Procedimiento de evaluación de la exposición y argumentación de los

conocimientos fundamentales de una materia a través de un foro
2. Autores: Correa Piñero, Ana Delia; Guzmán Rosquete, Remedios;
Pérez Jorge, David
3. Área: Ciencias Sociales y Jurídicas
4. Materia: Educación
5. Nivel:
5.1. Grado: 5.2. Máster: X 5.3. Doctorado: .
6. Competencia básica relacionada (Según RD 1393/2007):
6.1. Posgrado: Comunicación de conclusiones y conocimientos y
razones últimas que las sustentan de modo claro y sin
ambigüedades
7. Competencia específica: Recapitular los conocimientos generales y las
habilidades principales desarrolladas a lo largo de la asignatura a partir de la
reflexión individual y su puesta en común con los demás integrantes del grupo.
8. Objetivo del procedimiento: Evaluar la capacidad del alumno para
exponer los conocimientos y conclusiones fundamentales de la materia y argumentar
y debatir sobre los mismos a través de un foro.
9. Instrumentos de Evaluación:
1. Escala de valoración para evaluar las aportaciones individuales de los
alumnos al foro de debate
2. Escala de valoración para evaluar la organización del foro y su propia
participación
3. Rúbrica para valorar el nivel general del foro
10. Fecha de la propuesta: 31/03/2009

11. Fecha de la publicación (subida): 31/03/2009
78
Evaluación de Competencias con Herramientas de Interacción Dialógica Asíncronas (foros, blogs y wikis)
2.- DESCRIPCIÓN DEL PROCEDIMIENTO
Competencia Básica: Comunicación de conclusiones y conocimientos y razones últimas que las sustentan de modo claro y sin
ambigüedades
Competencia Específica: Que el alumno sea capaz de recapitular los conocimientos generales y las habilidades principales desarrolladas
a lo largo de la asignatura a partir de la reflexión individual y su puesta en común con los demás integrantes del grupo.
Tarea/s a realizar Productos Esperados Persona que evalúa Métodos y Técnicas de Evaluación
(No presenciales) Texto de las participaciones de los Profesor Escala de valoración para evaluar las
alumnos en cada foro. aportaciones individuales de los
Participar en tres foros de discusión sobre alumnos al foro (Instrumento 1)
la temática “El trabajo comunitario con las Registro de participación (nº de
familias”, abiertos en el aula virtual de la intervenciones) en cada foro
asignatura. La participación en los foros
está guiada por una serie de Nota: Los foros son sucesivos y, aunque
interrogantes: son independientes, están relacionados,
1º foro ¿Se puede considerar una entidad de manera que se tengan en cuenta las Alumnos Escala de valoración para evaluar la
colectiva a las familias? ¿Cuáles serían aportaciones previas, no sólo dentro del organización del foro (evaluación del
sus límites y sus características? mismo foro, sino en foros anteriores. profesor) y su propia participación
2º foro ¿Se puede llevar a cabo una (autoevaluación) (Instrumento 2)
Investigación Acción Participativa con las
familias? ¿Por qué? ¿Cómo? Rúbrica para valorar el nivel general
3º foro ¿Cuáles son las ventajas y los del foro (coevaluación) (Instrumento 3)
inconvenientes principales del trabajo
comunitario con las familias?
Contestar a las preguntas principales al

menos una vez, esto es: introducir su
79
aportación original al inicio de cada foro.
Plantear al menos una réplica en cada

uno de los foros.
80
(foros, blogs y Wikis)
3.- INSTRUMENTOS DE EVALUACIÓN
INSTRUMENTO 1. ESCALA DE VALORACIÓN PARA EVALUAR LAS 1 2 3 4

APORTACIONES INDIVIDUALES DE LOS ALUMNOS AL FORO
(Instrumento para ser respondido por el profesor)
Dimensión 1. Estilo expresivo y Eficacia comunicativa
Sus mensajes son gramaticalmente correctos.
No recurre a jergas y abreviaturas estilo SMS o chat.
Sus intervenciones son concisas.
Muestra claridad en su discurso.
Su expresión escrita es ágil y amena.
Sus explicaciones son concretas, carentes de ambigüedad.
Se muestra convincente en sus intervenciones.
Presenta sus conclusiones principales de forma clara y
concisa.
Ha trasmitido toda la información con un excelente nivel de
argumentación y reflexión.
Puntuación total de la Dimensión 1
Dimensión 2. Fundamentación teórica, dominio conceptual
Usa con rigor los términos y expresiones.
Ha incluido toda la información relevante y central en sus
distintas aportaciones al foro.
Los comentarios en el foro (preguntas, respuestas) revelan
suficiente profundización en la temática planteada.
Ha sido capaz de sintetizar las ideas principales y relevantes
del contenido.
Justifica su opinión con argumentos procedentes de la teoría
que se ha estudiado
Fundamenta sus réplicas con argumentos en la misma línea
de lo anterior.
Hace aportaciones creativas y realistas que demuestran un
buen dominio de los contenidos trabajados.
Introduce vínculos en el foro relacionados con el tema de
discusión y como apoyo a sus argumentaciones.
Los apoyos documentales que presenta son actuales y
pertinentes.
Sus aportaciones permiten valorar adecuadamente su nivel de
adquisición de las competencias implicadas en la tarea.
81
Dimensión 3. Interés, novedad y originalidad

Evita meras reiteraciones de lo ya dicho, enriqueciendo con
argumentos nuevos las opiniones que comparte.
Introduce nuevas preguntas en la discusión relacionadas con
alguno de los aspectos del tema central del debate.
Las preguntas formuladas son pertinentes e interesantes.
Ofrece argumentos que alumbran otras posibilidades para la
práctica del trabajo comunitario con familias.
Usa ejemplos novedosos y apropiados para ilustrar los
argumentos utilizados.
Realiza valoraciones y reflexiones críticas interesantes y
novedosas
Dimensión 4. Participación, seguimiento e “impacto”
Entendido este último como repercusión que tienen sus aportaciones al foro en
los demás: provoca respuestas, anima el debate, lo dinamiza, etc.
Cumple con los criterios de participación mínimos exigidos.
El nº de intervenciones realizadas es suficiente.
No ralentiza la dinámica del foro, sino que ofrece sus
aportaciones en el momento preciso.
Su participación no se limita a un momento temporal, sino que
participa regularmente a lo largo de la existencia del foro.
Sus aportaciones producen un efecto notable en el foro (avivar
la discusión, provocar más participación, interesar a sus
compañeros…).
Sus aportaciones tienen gran interés formativo para sus
compañeros.
No ha dejado “a medias” sus aportaciones ni ha dejado
preguntas pendientes de responder.
Sus réplicas se ajustan convenientemente a las intervenciones
que le dieron lugar.
Ofrece respuestas precisas y comprensibles a las dudas que
le son planteadas por otros participantes del foro.
Dimensión 5. Actitud
Se muestra respetuoso en la forma y el trato y no recurre a
juicios y ataques personales.
Tiene en cuenta y valora adecuadamente las aportaciones de
los demás, aunque sean contrarias a su punto de vista.
Es capaz de aceptar críticas razonadas si se le señala un error
de contenido y rectificarlo.
Sus aportaciones revelan una actitud de “escucha” activa y
atenta de lo que aportan los demás.
82
Indica cinco fortalezas y cinco debilidades que, en tu opinión, pueda tener el

uso del foro como recurso para la evaluación del alumnado.
Fortalezas:
1
2
3
4
5
Debilidades:
1
2
3
4
5
83
INSTRUMENTO 2. ESCALA DE VALORACIÓN PARA EVALUAR 1 2 3 4

LA ORGANIZACIÓN DEL FORO Y SU PROPIA PARTICIPACIÓN
(Instrumento para ser respondido por los alumnos)
Dimensión 1. Organización del foro
Se comunicó convenientemente la apertura del foro.
Se estableció claramente la finalidad (objetivos) del foro
Se establecieron claramente las tareas a realizar por los alumnos
en el foro
Se dieron a conocer claramente los requisitos mínimos de
participación en el foro.
El profesor recondujo adecuadamente la dinámica y contenido del
foro cuando fue necesario.
Dimensión 2. Participación propia
Pienso que mis aportaciones al foro han sido claras y concretas.
Creo que mis aportaciones revelan dominio del contenido
planteado.
No me he limitado a repetir o estar de acuerdo con lo que otros
dicen, sino que he enriquecido el debate.
He participado con regularidad en el foro
Pienso que he respondido y argumentado adecuadamente las
intervenciones de otros compañeros.
He sido respetuoso en mis intervenciones, aunque no estuviera de
acuerdo con lo que se planteaba.
He analizado atentamente las aportaciones de los demás.
He sido capaz de rectificar mis errores de contenido cuando me los
han argumentado adecuadamente.
84
INSTRUMENTO 3. RÚBRICA PARA VALORAR EL NIVEL GENERAL DEL FORO

(Instrumento para ser respondido por los alumnos)
Categoría 1 2 3
Creo que las Ha habido algunas Las aportaciones
aportaciones aportaciones hechas en el foro
Nivel del hechas en el foro nuevas, pero poco me han permitido
contenido en han sido simples nivel de profundizar
las repeticiones de lo profundización en considerablemente
aportaciones que ya se había las mismas. en los contenidos y
al foro dado me han aportado
muchos elementos
novedosos
Considero que lo Creo que las Creo que las

aportado en el aportaciones aportaciones
Repercusiones foro tiene una podrían ser hechas en el foro
para la escasa o nula relevantes para la tienen unas
práctica relevancia para la práctica, pero importantes y útiles
profesional práctica tendrían que ser repercusiones para
más factibles y la práctica
realistas. profesional.
La participación La participación ha Creo que las cifras

se ha limitado a sido muy irregular. de participación
Participación cubrir los mínimos han sido muy
exigidos por la buenas.
profesora
Creo que en El nivel de calidad En general

general puede ha sido muy calificaría la calidad
Calidad global
decirse que ha variable del foro como alta
del foro
sido un foro
mediocre
85
Indica cinco fortalezas y cinco debilidades que, en tu opinión, pueda tener el

uso del foro como recurso para la evaluación del alumnado.
Fortalezas:
1
2
3
4
5
Debilidades:
1
2
3
4
5
86
DESARROLLO DE
APLICACIONES WEB:
EVALUACIÓN DE
COMPETENCIAS MEDIANTE
HERRAMIENTAS
ASINCRÓNICAS

Davínia Hernández Leo
Camino Fernández Llamas
1.- INTRODUCCIÓN
El estudio que resume este documento se centra en la evaluación de

competencias en el aprendizaje de asignaturas directamente relacionadas con
el desarrollo de aplicaciones web, disciplina común a las áreas de Lenguajes y
Sistemas Informáticos, Ciencia de la Computación e Ingeniería Telemática,
dentro del campo de Ingeniería y Arquitectura. Para ello se han llevado a cabo
tres casos de estudio distintos en la Universidad de Cádiz (UCA), la
Universidad de León (ULEON) y la Universidad Pompeu Fabra (UPF).
Las competencias generales comunes a las tres experiencias objeto de análisis

están recogidas en el RD 1393/2007 de estudios de Grado y de Master. En
particular para el grado:
Que los estudiantes sepan aplicar sus conocimientos a su trabajo o

vocación de una forma profesional y posean las competencias que
suelen demostrarse por medio de la elaboración y defensa de
argumentos y la resolución de problemas dentro de su área de estudio
Y para el master:
Que los estudiantes sepan aplicar los conocimientos adquiridos y su

capacidad de resolución de problemas en entornos nuevos o poco
conocidos dentro de contextos más amplios (o multidisciplinares)
relacionados con su área de estudio;
Que los estudiantes posean las habilidades de aprendizaje que les

permitan continuar estudiando de un modo que habrá de ser en gran
medida autodirigido o autónomo.
Como competencias específicas, compartidas por las áreas de Ingeniería

Informática e Ingeniería Telemática, se diseñaron las siguientes:
C1: Dominar los métodos, técnicas y herramientas utilizadas durante el ciclo

de vida de un proyecto de desarrollo software para la Web
C2: Reconocer y justificar razonadamente los factores que intervienen en la
toma de decisiones para la selección de tecnologías y productos en el
diseño y desarrollo de aplicaciones Web
88
Desarrollo de aplicaciones web: Evaluación de competencias mediante herramientas
asíncronas
Dichas competencias se pueden resumir desglosadas en la tabla siguiente:
Nivel Competencia general Competencia

específica
Grado, Aplicación de conocimientos C1
Master
C2
Resolución de problemas C1
C2
Grado Elaboración razonada de C2
argumentos
Master Entornos nuevos o poco conocidos C1
Autonomía del aprendizaje C2
La diferencia de las competencias de aplicación de conocimientos y resolución

de problemas dentro del área de estudio en el Grado y al Master consiste en
que en el primer caso han de venir acompañadas de la elaboración razonada
de argumentos, y en el segundo caso deben tratarse de problemas nuevos o
poco conocidos. Por tal motivo se han planteado tres experiencias distintas, en
tres asignaturas de dos titulaciones y tres universidades, resumidas en la tabla
siguiente:
Asignatura Titulación Nivel Universida Competenci

d as
Ingeniería Web Ing. Informática 2º ciclo UCA Master
Comercio Electrónico Ing. Informática 2º ciclo UCA Master
Aplicaciones Ing. Último UPF Master
Telemáticas III Telecomunicaci curso
ón esp.
Telemática
Programación Ing. Informática Último ULEON Grado
Avanzada curso
El documento se estructura de la forma siguiente. La sección 2 describe el caso

de estudio realizado en la UCA, que incluye el planteamiento y contexto del
caso, el método de investigación utilizado y los instrumentos de recogida de
información, así como el análisis efectuado de la misma. A continuación, la
sección 3 describe el caso de estudio realizado en la UPF, con la misma
89
estructura. Por último, la sección 4 muestra la experiencia llevada a cabo en la

ULEON. En el apartado 4 se explican las conclusiones generales y específicas
extraídas de estos casos de estudio.
90
asíncronas
2. CASO DE ESTUDIO 1
2.1. Planteamiento
El objetivo de las asignaturas en las que se ha desarrollado el caso de estudio

es que los alumnos apliquen conocimientos de ingeniería del software para
resolver problemas típicos relacionados con el desarrollo de aplicaciones web.
El método de aprendizaje está basado en el desarrollo de un proyecto y plantea
las siguientes inquietudes para la evaluación de las competencias descritas:
• ¿Un único profesor es capaz de llevar a cabo la evaluación continuada

de la ejecución del proyecto y/o de los productos entregados? En
función del número de proyectos a tutorizar por un solo profesor, los
métodos tradicionales de evaluación pueden no ser sostenibles.
• ¿Recibe el alumno realimentación suficiente sobre cómo lleva el trabajo
a lo largo del proyecto? ¿Es consciente de las posibles desviaciones de
su proyecto con respecto a los objetivos de aprendizaje?
El análisis de casos de estudio se centra en comprobar si el uso de métodos e

instrumentos avanzados de evaluación de competencias puede aportar una
solución a estas inquietudes. Entre dichos métodos se contempla la
autoevaluación, la co-evaluación y la evaluación entre iguales durante el
desarrollo del proyecto. Los instrumentos considerados en el caso de estudio
serán glosarios, listas de control, escalas de valoración y rúbricas.
Las herramientas de interacción dialógica asíncrona (HIDA) se usarán durante

el aprendizaje como medio de depósito de los productos entregables
resultantes de cada proyecto. En particular se usarán wikis, cuyas ventajas
incluyen la posibilidad de autoría compartida entre el profesor y el equipo de
proyecto, así como llevar un control de versiones automático, a modo de
histórico, de los entregables realizados en cada fase.
2.2. Contexto del caso
Las asignaturas objeto de la experiencia en la UCA están contempladas dentro

del plan de estudios actual de Ingeniería Informática como optativas de
segundo ciclo en los últimos cursos de la titulación. Sin embargo, en la
situación actual de implantación de los nuevos planes de estudio del RD
1394/2007, tales asignaturas están a caballo entre los estudios de Grado y de
91
Master. Es el caso de las asignaturas Ingeniería Web1 y Comercio Electrónico2

de la UCA, cuyas competencias definidas en sus fichas docentes están dentro
de lo que los nuevos planes de estudio clasifican como estudios de Master. De
hecho, en los futuros planes de estudio de Grado en Informática de la UCA es
probable que dichas asignaturas no aparezcan, pues las competencias que
cubren corresponden a estudios de Master.
Para este caso, las dos asignaturas seleccionadas tienen objetivos

competenciales compartidos, consistentes en desarrollar en los alumnos la
capacidad para construir una aplicación para la web (una tienda electrónica en
el caso de la asignatura Comercio Electrónico y una aplicación gestora de wikis
para la asignatura de Ingeniería Web). Para ello tienen que resolver un
problema de Ingeniería del Software en entornos nuevos o poco conocidos. Los
alumnos conocen los fundamentos de la Ingeniería del Software que han
aprendido en el primer ciclo de la titulación, pero carecen de los conocimientos
específicos en métodos, técnicas y herramientas de desarrollo para la web.
Además se enfrentan a dominios nuevos, como son el negocio electrónico en
un caso y la web 2.0 en el otro.
Durante el curso 2008/09 la asignatura Ingeniería Web contó con un total de 27

alumnos matriculados, 4 de los cuales eran mujeres y los 23 restantes
hombres. Sólo 8 alumnos (todos hombres) no participaron en la experiencia.
Por su parte, la asignatura Comercio Electrónico contó con un total de 26
alumnos matriculados, 4 mujeres y 22 hombres. En este caso, sólo participaron
en la experiencia 11 alumnos (sólo 1 mujer). Por tal motivo se ha excluido del
estudio cualquier tipo de análisis en función del género. En ambas asignaturas,
el bloque trabajado representa un 60% de los créditos ECTS de la asignatura,
desarrollados con un enfoque de aprendizaje basado en proyectos. Los grupos
formados para el desarrollo fueron de tres o cuatro personas, habiendo un total
de seis grupos en el caso de Ingeniería Web, y cuatro grupos en el caso de
Comercio Electrónico.
En los instrumentos de evaluación diseñados se midieron las competencias

desarrolladas por los estudiantes en seis dimensiones distintas:
1 http://www.uca.es/wuca_fichasig_asignatura?titul=1713&asign=1713056
2 http://www.uca.es/wuca_fichasig_asignatura?titul=1713&asign=1713057
92
asíncronas
• La aplicación de un método de ingeniería del software para la gestión del

desarrollo del proyecto. La evidencia de la aplicación del método
quedaba difícilmente recogida en la wiki del proyecto.
• El correcto funcionamiento de la operativa solicitada para la aplicación.
Aunque esta característica no estaba recogida en la wiki del proyecto,
todas las aplicaciones se probaron delante de los interesados para
evaluarlas.
• La correcta aplicación de las técnicas de ingeniería web estudiadas,
muchas de ellas nuevas para los alumnos. Las evidencias de la
aplicación de estas técnicas quedaban recogidas en la wiki del proyecto.
• La correcta elección y utilización de un framework de desarrollo de
aplicaciones web. Las razones de elección debían quedar recogidas en
la wiki del proyecto.
• La calidad de los documentos entregables realizados durante todas las
fases de desarrollo del proyecto. Todos ellos eran parte de la wiki.
• La utilización de herramientas adecuadas para la gestión del proyecto.
La evidencia de la utilización de herramientas no formaba parte de la
wiki, sino de una aplicación web para el alojamiento y gestión del
proyecto3, de la que el wiki empleado constituía un servicio más.
2.3. Método de investigación
El método de investigación seguido está basado en casos de estudio, según

las etapas que se describen a continuación:
1. Identificar las competencias a adquirir en las asignaturas que constituyen

el caso de estudio. Esta labor fue realizada previamente al taller del
proyecto EvalHIDA que tuvo lugar en Cádiz en febrero de 2009; sus
resultados se perfilaron durante la primera jornada de dicho taller.
2. Diseño de los procedimientos e instrumentos de evaluación adecuados.
Algunos procedimientos e instrumentos ya estaban diseñados
previamente, como resultado de la actividad de las primeras fases del
proyecto EvalHIDA y otros se realizaron durante la segunda jornada del
taller citado.
3. Puesta en práctica de los procedimientos e instrumentos diseñados en
las asignaturas durante un cuatrimestre. Esta tarea se realizó durante el
primer y segundo cuatrimestre de 2009 de las asignaturas implicadas..
4. Análisis de datos y conclusiones sobre la problemática antes planteada.
3 La aplicación recomendada que todos los equipos emplearon fue www.assembla.com
93
Se diseñó un procedimiento de evaluación que consta de instrumentos

basados en escalas de valoración y rúbricas. El procedimiento de evaluación
realizado se denomina Evaluación de un proyecto de ingeniería Web y se
detalla como anexo a este informe.
2.4. Instrumentos de recogida de información
Para la recogida de información se emplearon los instrumentos de evaluación

disponibles en la aplicación EvalComix, en combinación con el sistema de
entregas de la plataforma virtual Moodle.
En este caso de estudio se sometieron a autoevaluación y co-evaluación la

realización del proyecto en dos grupos de dos asignaturas diferentes (A y B)
pero que compartían competencias para la parte práctica de la asignatura.
• La experiencia con el grupo de la asignatura A (Ingeniería Web) se

desarrolló a lo largo del primer cuatrimestre. La clase estaba
estructurada en cuatro equipos de proyecto formados por 3-4
estudiantes. Se empleó la rúbrica del anexo para la evaluación de las
competencias desarrolladas en el proyecto.
• La experiencia con el grupo de la asignatura B (Comercio Electrónico) se
desarrolló a lo largo del segundo cuatrimestre. La clase estaba
estructurada en seis equipos de proyecto, cada uno formado por 3-4
estudiantes. Exceptuando el caso de uno de los equipos, que también
participó en la experiencia del grupo A, los restantes equipos estaban
formados por alumnos que no participaron en ella. Se empleó la misma
rúbrica anterior para la evaluación del proyecto, pero esta vez se les
proporcionó copia a los alumnos para que realizaran una autoevaluación
y, a continuación, tuvieran la oportunidad de participar en la co-
evaluación con el profesor. Al plantear dicho método de evaluación con
los alumnos, estos expresaron su resquemor a estos métodos, por lo
que se decidió no hacer obligatorio este esquema de evaluación. Todos
los grupos menos uno decidieron realizar la autoevaluación. Sin
embargo, sólo un grupo decidió participar en la co-evaluación.
2.5. Análisis de datos
El objetivo de este caso de estudio es comprobar si puede confiarse en que un

procedimiento de autoevaluación de competencias apoyado por un wiki arroje
94
asíncronas
unos resultados que permitiesen confiar en un método tal para hacer más
sostenible la labor del profesor para la aplicación de métodos avanzados de
evaluación de competencias durante un enfoque de aprendizaje basado en
proyectos.
La fig. 1 representa el promedio de los resultados obtenidos para los cinco

equipos que participaron en la experiencia de autoevaluación. Puede
observarse que en general, la tendencia en la autoevaluación es a sobrevalorar
el trabajo realizado. Esta tendencia es más acusada cuando se trata de valorar
atributos que se dilucidan a lo largo del proceso continuo de desarrollo del
proyecto, como son la aplicación de un método y la utilización de herramientas
de gestión del proyecto. Sin embargo, la autoevaluación de aquellos atributos
que se contemplan como un producto y no como un proceso (por ejemplo, las
funcionalidades, los entregables, y el uso de técnicas y un framework para
desarrollo) es más similar a la evaluación de referencia del profesor.
Fig. 1 Promedio de evaluaciones de los equipos que participaron en la autoealuación

frente al promedio de las calificaciones asignadas por el profesor, para cada una de las
dimensiones de la rúbrica.
La fig. 2 refleja los resultados de la co-evaluación para el único grupo que

decidió someterse a la misma. La gráfica indica que los resultados de esta co-
evaluación estaban más influidos por los de la autoevaluación cuando se
trataba de atributos cuyas evidencias quedaban más difícilmente recogidas en
la wiki del proyecto, como es el caso del método aplicado.
95
Fig. 2 Promedio de evaluaciones del equipo que participó en la co-evaluación, frente las
calificaciones asignadas por el profesor y a las resultantes de la autoevaluación, para
cada una de las dimensiones de la rúbrica.
Para no contaminar los datos de la experiencia B, se decidió eliminar del

análisis al equipo de trabajo que también participó en la experiencia A,
obteniéndose los resultados de la fig. 3
Fig. 3 Calificaciones obtenidas en las asignaturas de los grupos A y B tras la evaluación

del profesor según distintos criterios definidos como dimensiones del instrumento de
evaluación empleado en ambos casos. El grupo B empleó autoevaluación, mientras que
el grupo A no lo hizo.
96
asíncronas
Según se observa en la figura, la evaluación del criterio de aplicación de un

método de ingeniería al proyecto ha mejorado sustancialmente en el grupo B
(sometido a autoevaluación). Sin embargo, las demás dimensiones de
evaluación de la rúbrica no ofrecen diferencias significativas en promedio en el
grupo A frente al grupo B.
97
3.1. Planteamiento
El objetivo del bloque de la asignatura Aplicaciones Telemáticas III en el que se

ha desarrollado el caso de estudio es que los alumnos reconozcan y justifiquen
razonadamente los factores que intervienen en la toma de decisiones para la
selección de tecnologías y productos en el diseño y desarrollo de aplicaciones
Web más allá de las tecnologías Java concretas tratadas con más profundidad
en el resto de bloques de la asignatura. Para ello se plantea un conjunto de
actividades con varias entregas asociadas y donde la mayoría de las cuales
han de realizarse en colaboración con otros alumnos. Este método plantea las
siguientes inquietudes para la evaluación de las competencias descritas:
• ¿Un único profesor es capaz de llevar a cabo la evaluación continuada

del proceso y los resultados (entregables) de cada una de las
actividades? ¿Cómo se puede calificar de una manera relativamente
justa a cada individuo si el trabajo se realiza en grupo?
• ¿Reciben los alumnos realimentación suficiente sobre cómo lleva el
trabajo a lo largo de las actividades? ¿Es consciente de los aspectos
más relevantes que tiene que considerar con respecto a los objetivos de
aprendizaje?
El análisis del caso de estudio se centra en comprobar si el uso de métodos e

instrumentos avanzados de evaluación de competencias puede aportar una
solución a estas inquietudes. Entre dichos métodos se contempla
principalmente la evaluación entre pares (o iguales) y la auto-evaluación. Los
instrumentos considerados en el caso de estudio serán listas de control,
escalas de valoración y rúbricas.
Las herramientas de interacción dialógica asíncrona (HIDA) se usarán durante

el aprendizaje como medio de depósito de los productos entregables
resultantes de cada proyecto. En particular se usarán glosarios y wikis (los
disponibles en el sistema de gestión del aprendizaje Moodle), cuyas ventajas
incluyen la posibilidad de autoría compartida entre los alumnos de cada grupo,
así como llevar un control de versiones automático, a modo de histórico, de los
entregables realizados en cada fase. Asimismo, se utilizarán foros para facilitar
la comunicación de los alumnos durante la realización de los wikis.
98
asíncronas
La asignatura objeto de la experiencia en la UPF está contemplada dentro del

plan de estudios actual de Ingeniería de Telecomunicaciones especialidad
Telemática como asignatura de último curso. Sin embargo, en la situación
actual de implantación de los nuevos planes de estudio del RD 1394/2007, el
bloque temático y las competencias tratadas en este caso de estudio están a
caballo entre los estudios de Grado y de Master.
Durante el curso 2008/09 la asignatura Aplicaciones Telemáticas III contaba

con un total de 38 alumnos matriculados, 2 de los cuales eran mujeres y los 36
restantes hombres. El bloque de la asignatura trabajado en este caso de
estudio representa un 15% del total de la asignatura. Los alumnos podían
conseguir un 5% adicional a la nota final de la asignatura a partir de la
valoración de sus aportaciones al grupo por parte de sus compañeros. Los
grupos formados para esta parte de la asignatura fueron de seis o siete
personas, habiendo un total de seis grupos.
La sección 2 del apéndice B detalla el conjunto de actividades planteadas en la

experiencia, que se resumen a continuación:
a. Elaboración de un glosario estructurado en dos dimensiones: tecnologías

para aplicaciones Web y productos para aplicaciones Web. Esta tarea se
llevará a cabo en grupos de seis o siete alumnos. Cada grupo trabajará en
unas tecnologías y productos diferentes. Hay dos entregas asociadas: un
borrador del glosario, que será revisado por la profesora para ofrecer
realimentación formativa sobre el trabajo en realización; y la versión final
del glosario, que será evaluado por los compañeros (evaluación entre
pares o iguales)
b. Evaluación de la compleción, calidad y estructuración de los glosarios
elaborados por los compañeros. Cada alumno evalúa dos glosarios.
c. A partir del resultado de la evaluación entre pares cada grupo tendrá la
oportunidad de mejorar su glosario.
d. Sobre el planteamiento de dos casos diferentes por grupo (de un total de
tres casos), elaborarán un informe, que tendrá que ser entregado en un
wiki, justificando las tecnologías y productos seleccionadas para ofrecer
una solución para cada caso. Se facilitará un foro privado para el trabajo
intra-grupal como apoyo a la realización del wiki.
99
e. Evaluación entre pares de las soluciones obtenidas por los demás grupos:
cada alumno evalúa los casos de otro grupo tal que uno de los casos ya
había sido analizado por él y otro es nuevo. La profesora también evalúa
los informes.
f. Evaluación de la participación activa y constructiva propia y del resto de
componentes del grupo.

1. Identificar las competencias a adquirir en el bloque de la asignatura que

constituye el caso de estudio. Esta labor fue realizada previamente al
taller del proyecto EvalHIDA que tuvo lugar en Cádiz en febrero de 2009;
sus resultados se perfilaron durante la primera jornada de dicho taller.
taller citado.
3. Puesta en práctica de los procedimientos e instrumentos diseñados en la
asignaturas. Esta tarea se realizó durante el tercer trimestre del curso
2008/2009. En concreto la experiencia con los alumnos se desarrolló
desde el 19 de abril al 9 de junio de 2009. Aunque los contenidos y
competencias tratadas en el caso de estudio sólo se corresponden con
una parte de la asignatura, el desarrollo de las actividades asociadas se
realizó a lo largo de la mayor parte del tiempo de impartición de la
misma.

realizado se denomina Procedimiento de evaluación “Reconocimiento de
Aproximaciones avanzadas al desarrollo de aplicaciones Web” y se detalla
como anexo B a este informe.
Como se detalla en la siguiente sección, además de los instrumentos de

evaluación recogidos en el anexo B se utilizaron los registros de actividad o
100
asíncronas
logs de Moodle y las observaciones cualitativas de la profesora como fuentes

de datos para la evaluación del proceso. Por consiguiente, los datos analizados
eran tanto cuantitativos como cualitativos, y han sido comparados y
contrastados con el objetivo de formular resultados lo más completos y
fidedignos posibles.

disponibles en la aplicación EvalComix, que fueron adaptados a las
características concretas del caso de estudio y facilitados a los alumnos a
través de formularios en GoogleDocs (ver sección 3 de apéndice B), en
combinación con las HIDAs disponibles en la plataforma virtual Moodle.
• Una lista de control con escala de valoración para la evaluación

entre pares de los glosarios y con preguntas abiertas. Cada glosario
fue revisado por entre 11 y 13 alumnos, pertenecientes a grupos
diferentes que habían trabajado en las distintas tecnologías y productos
planteados para cada uno de los glosarios. Los atributos considerados
en la lista de control estaban relacionados con la compleción, calidad y
estructuración del glosario y la graduación empleada en la escala va de
1 a 5.
• Rúbrica para la evaluación del informe a entregar en los wikis,
también con preguntas abiertas. Cada informe reflejado en el wiki
describiendo la solución propuesta para un caso fue evaluado por entre
cinco y siete iguales de grupos diferentes (expertos en diferentes
glosarios, habiendo trabajado en el mismo caso la mitad de ellos),
además de por la profesora. Los atributos de la rúbrica tienen que ver
con hasta qué punto se han considerado los requisitos en la propuesta
de su solución, qué tal se ha justificado la solución propuesta, la
pertinencia de lo redactado, y la precisión de la información aportada.
Cada argumento tenía cuatro graduaciones o niveles, además de
preguntas abiertas asociadas.
• Rúbrica de auto-evaluación con preguntas abiertas sobre sus
aportaciones al glosario y a las soluciones a los casos vertidas en
los wikis. Los atributos de esta rúbrica de auto-evaluación consideran
aspectos sobre la cantidad y frecuencia en la realización de acciones
sobre el glosario, el wiki y el foro, así como las posibles limitaciones de
las HIDAs, los conflictos de edición en el wiki y la valoración de las
101
reflexiones propias plasmadas en dichas HIDAs. Cada argumento tenía

cuatro graduaciones o niveles, además de preguntas abiertas.
• Lista de control y escala de valoración de la participación de cada
miembro del grupo con rúbrica asociada. Como cada grupo era de
seis o siete personas, cada uno de sus miembros fue evaluado por cinco
o seis compañeros (evaluación 360º). Los argumentos considerados en
la rúbrica tenían que ver con la implicación, las contribuciones y las
habilidades de trabajo en colaboración. Cada argumento disponía de
una escala de valoración de cuatro graduaciones. Además se incluía
una escala de valoración global de 0 a 10.
• Observaciones cualitativas de la profesora durante las fases
presenciales del proceso.
• Informes de logs de Moodle sobre el uso de los glosarios, los wikis
y los foros: Los glosarios siempre fueron públicos para todos los
grupos; los wikis fueron privados durante su realización y pasaron a ser
públicos en la fase de revisión entre pares; los foros siempre han sido
privados, i.e., sólo eran visibles para los miembros de cada grupo.
El resultado en cuanto a las notas finales de cada alumno para este bloque de
la asignatura también han sido consideradas como datos en el análisis del caso
de estudio.
El objetivo de este caso de estudio puede resumirse en comprobar si puede

confiarse en que un procedimiento de evaluación entre pares apoyado por
HIDAs como un glosario, un wiki y un foro arrojen unos resultados que
permitiesen confiar en un método tal para hacer más sostenible la labor del
profesor para la aplicación de métodos avanzados de evaluación de
competencias.
La fig. 4 compara la calificación asignada por la profesora con el promedio de

los resultados obtenidos de la revisión entre pares para las soluciones editadas
en el wiki para cada uno de los dos casos de los seis grupos. Cada caso fue
valorado por cinco o seis alumnos de grupos diferentes de manera que:
• la mitad de ellos aproximadamente había trabajado previamente en el
mismo caso y para la otra mitad el caso era nuevo,
• al menos había un experto en cada glosario (cada glosario trataba unas
tecnologías y productos diferentes)
102
asíncronas
10,0
9,0
8,0
7,0
6,0 Valoración media entre pares
(alumnos)
5,0
Valoración de la profesora
4,0
3,0
2,0
1,0
0,0
-c C
C
-c A
-c B
-c A
-c B
o
so
o
po cas
as
po cas
po cas
po cas
as
po cas
po cas
as
as
as
ca
-
-
1
6
po
po
po
po
po
po
ru
ru
ru
ru
ru
ru
ru
ru
ru
ru
ru
ru
G
G
Fig. 4 Promedio de evaluaciones de los grupos para cada caso por sus pares (cada caso
fue evaluado por 5 o 6 alumnos pertenecientes a otros grupos) frente a la calificación
asignada por la profesora (ver instrumento de evaluación 2 de apéndice B).
Puede observarse que en un número importante de casos, la tendencia en los

promedios de la evaluación entre pares es a infravalorar ligeramente el trabajo
realizado por los compañeros. En algunos casos la calificación asignada por la
profesora se acerca mucho al promedio de los pares. El hecho de que las
distancias entre las calificaciones de referencia de la profesora y el promedio
de la de los pares no sean significativamente acusadas podría deberse a:
1. la guía aportada por la rúbrica disponible para la evaluación del wiki, que
permitía a los alumnos-revisores reflexionar sobre las cuestiones
relevantes a considerar en su valoración,
2. y a la selección realizada del grupo revisores, escogidos de tal forma que
sus conocimiento y experiencia fuese lo más dispar posible y, por tanto,
sus valoraciones se complementaran.
La fig. 5 confronta, sobre una base normalizada de 10, las valoraciones

cualitativas de la profesora en cuanto a la participación de cada alumno en su
grupo (medido como un coeficiente de corrección que se utilizaba en el cálculo
de la nota final) con el total de las acciones realizadas por cada uno sobre las
HIDAs utilizadas (añadir entrada a glosario, editar entrada, eliminar entrada,
añadir comentario a entrada, ver glosario, editar wiki, ver wiki, añadir post en
foro, ver foro), con el promedio de las valoraciones 360º de los compañeros de
su grupo, y con la nota final obtenida. Curiosamente esta gráfica refleja un
comportamiento muy similar para cada uno de los aspectos contrastados.
103
12,0
10,0
Coeficiente
8,0
Total interacciones_n
6,0
360_n
4,0
Nota final_n
2,0
0,0
Al no1
Al no2
Al no3
Al no4
Al no5
Al no6
Al no7
Al no8
um 9
um 0
um 1
um 2
um 3
um 4
um 5
um 6
um 7
um 8
um 9
um 0
um 1
um 2
um 3
um 4
um 5
um 6
um 7
um 8
um 9
um 0
um 1
um 2
um 3
um 4
um 5
um 6
um 7
38
Al no
Al no1
Al no1
Al no1
Al no1
Al no1
Al no1
Al no1
Al no1
Al no1
Al no1
Al no2
Al no2
Al no2
Al no2
Al no2
Al no2
Al no2
Al no2
Al no2
Al no2
Al no3
Al no3
Al no3
Al no3
Al no3
Al no3
Al no3
Al no3
no
um
um
um
um
um
um
um
um
um
Al
Fig. 5 Sobre una base normalizada de 10, se compara:

- el coeficiente de corrección especificado por la profesora según sus
observaciones cualitativas para calcular la nota individual respecto a la nota
grupal del glosario (ver instrumento 1 de apéndice B) y el wiki,
- el número total de interacciones activas (editar) y pasivas (ver) sobre el glosario,
el wiki y el foro (calculadas a partir de los logs del Moodle),
- el promedio de la evaluación 360º de los compañeros en cuanto a la aportación
del alumno al grupo (ver instrumento de evaluación 4 de apéndice B) y
- la nota final obtenida por el alumno, que resulta del siguiente cálculo:
(nota_glosario+nota_solución_casos_wiki)*
coeficiente_corrección+nota_trabajos_de_revisión
En concreto, merece la pena resaltar las siguientes observaciones:

1. Los alumnos con menor nota final apenas han utilizado las HIDAs
disponibles para el desarrollo en grupo de las actividades propuestas. El
resto de sus compañeros también les otorgan una nota muy baja
cuando valoran su aportación al grupo. Y la profesora ha observado su
falta de participación a lo largo de las actividades, reflejándolo de esta
manera en el coeficiente de corrección. En cuanto a los resultados
cualitativos de auto-evaluación (ver instrumento de evaluación 3 de
apéndice B), se aprecia una ligera tendencia a no reconocer su baja
aportación al grupo. Algunos sí admiten “Por distintos motivos en esta
parte de la asignatura (glosario y wiki) no he participado, o sea, que no
me merezco ninguna parte de la nota [alumno7]”, pero otros simplemente
no completan la parte de auto-valoración cualitativa después de decir
que la relevancia, adecuación y precisión de sus aportaciones es
suficiente “Suficiente” o “Bastante” [alumno8] o dicen que “En general el
desarrollo del trabajo se ha realizado satisfactoriamente, aunque
reconozco que otros han aportado más que yo [alumno21].”
2. Aunque el comportamiento de las notas finales es muy similar a los
índices de participación directa sobre las HIDAs, las notas finales más
altas no se corresponden necesariamente con los mayores índices de
participación.
104
asíncronas
3. Algunos alumnos han obtenido una buena valoración 360º y una

notable nota final a pesar no haber utilizado cuantiosamente las HIDAs
(ver alumnos 28, 31 y 33). Este hecho podría deberse a que los alumnos
han utilizado herramientas de comunicación complementarias o
reuniones presenciales para la realización de las actividades.
Para profundizar sobre esta última observación, a continuación se analiza el

uso del glosario, el wiki y el foro. La Fig. 6 muestra una serie de gráficas
obtenidas del análisis de los logs de Moodle en cuanto a las acciones
realizadas en el glosario, el wiki y el foro. La Fig. 6 (a) muestra, a lo largo del
tiempo en que se desarrollaron las actividades propuestas (ver sección 2 del
apéndice B), la cantidad de interacciones totales que los alumnos del Grupo1
realizaron sobre el glosario. Las interacciones activas (añadir entrada, borrar
entrada, actualizar entrada o comentar entrada) se realizaron principalmente
durante la creación del borrador del glosario. Un gran número de
actualizaciones de las entradas al glosario se realizó posteriormente a la
entrega de comentarios sobre el borrador por parte de la profesora y antes de
entregar la versión final del mismo. Asimismo, después de la evaluación entre
pares de los glosarios los alumnos tuvieron una segunda oportunidad para
mejorar los glosarios a partir de los comentarios de sus compañeros para
incrementar hasta 0,5 puntos la nota correspondiente al glosario. En esta fase
de revisión del glosario (13-28/05/2009) también se pueden observar un
número significativo de interacciones activas sobre el glosario. En la rúbrica de
auto-evaluación (instrumento 3 del apéndice B) la mayoría de los alumnos
indican que “El trabajo se ha realizado a lo largo de todo el tiempo disponible,
aunque en la fase final se ha dedicado más esfuerzo” (55,9% de los alumnos
seleccionó esta afirmación en la rúbrica) y algunos de ellos admiten que “La
distribución temporal de las aportaciones realizadas se ha repartido
equitativamente a lo largo del tiempo disponible para hacer las contribuciones”
(26,5%).
El glosario del Grupo1 fue visitado a lo largo de la duración de todo el conjunto

de actividades, registrando un mayor número de visitas en las fechas de
entrega del borrador, las versiones definitivas del glosario y durante la primera
fase de realización del wiki. En esta primera fase de realización del wiki es
cuando se reflexiona sobre cuáles de las diferentes tecnologías y productos
tratados en los glosarios pueden ser más apropiados para satisfacer los
requerimientos de los casos planteados.
105
La Fig. 6 (b) muestra el número de aportaciones directas (acciones activas)

sobre el glosario de cada uno de los miembros de cada grupo, calculado a
partir de los logs de Moodle. En esta gráfica se aprecia cómo el mayor número
de aportaciones se ha realizado aproximadamente por cuatro de los seis o
siete alumnos que formaban cada grupo. Esta distribución de aportaciones
concuerda con las valoraciones realizadas por los alumnos en la rúbrica de
auto-evaluación. Un 55,9% dice haber realizado entre 5 y 10 aportaciones al
glosario y el 38,2% entre 1 y 5 aportaciones al glosario. En la pregunta abierta
de si utilizaban algún medio complementario a la realización del glosario
indicaban que habían utilizado principalmente el correo electrónico, pero
también herramientas de mensajería instantánea y reuniones presenciales para
coordinar sus aportaciones al glosario. Algunos de los comentarios eran:
“En clase hablamos sobre como nos podíamos organizar y comentábamos el estado
en cada momento [alumno de Grupo1]”
“Nos enviamos algún e-mail, pero solo al principio para recordar que es lo que
debíamos hacer y como íbamos a comunicar-nos para no repetir palabras. Utilizamos
el mismo glosario para indicar que definiciones quedaban pendientes [alumno de
Grupo1]”
“Principalmente la comunicación ha sido en persona los ratos libres en la universidad.
También desde casa mediante e-mail o con el Messenger [alumno de Grupo2]”
“Nos hemos comunicado mediante correo electrónico básicamente, y en algún caso
mediante mensajería instantánea (messenger). En clase no se ha hablado
prácticamente del tema [alumno de Grupo3]”
“Via e-mail con un documento donde se editaban las entradas antes de su
presentación en el glosario [alumno de Grupo3]”
“Realicé una propuesta para trabajar en Google Docs, pero al final se decidió trabajar
directamente sobre el glosario [alumno de Grupo4]”
“Algunos de nosotros nos hemos comunicado por messenger y hemos utilizado
Google Docs para coordinarnos y ponernos de acuerdo antes de colocar un post,
sobretodo en la fase final durante la ampliación del glosario [alumno de Grupo4]”
“Se enviaron e-mails entre los miembros del grupo para dudas y opiniones de los
demás compañeros. Además tuvimos una charla en grupo por el messenger al
principio (para ver entre todos que puntos teníamos que definir y como nos lo
repartíamos) y otra al final (para ver si estábamos todos de acuerdo con lo que había
hecho cada uno) [alumno de Grupo5]”
“Principalmente hablamos directamente sobre el tema y algún correo
electrónico/Messenger [alumno de Grupo6]”
106
asíncronas
La Fig. 6 (c) muestra el número de ediciones totales realizadas en los wikis

así como el número de visualizaciones. Se observa que el número de
visualizaciones es elevado pero que no lo es así en cuanto al número de
ediciones. La Fig. 6 (d) presenta un comportamiento similar del uso del foro
privado (por grupos) disponible en Moodle para apoyar la realización de los
wikis. La cantidad de aportaciones realizadas directamente en los wikis por
cada alumno de cada grupo se representa en la Fig. 6 (e), donde se aprecia
que la mayoría de las ediciones en los wikis han sido realizadas por uno,
dos o tres alumnos de los seis o siete que conformaban cada grupo. En la
rúbrica de auto-evaluación los alumnos confirman lo observado en los logs.
El 55,9% de los alumnos señala haber realizado entre 1 y 5 ediciones en el
wiki y el 32,4% dice no haber hecho ninguna. Asimismo, el 44,1% de los
alumnos indica que ha realizado entre 1 y 5 entradas en el foro y el 50,0%
dice no haber realizado ninguna.
El bajo número de aportaciones activas al wiki y al foro se debe a que los

alumnos han utilizado medios alternativos para acordar los textos que
deseaban incorporar al informe pedido en los wikis. Como explican sus
comentarios cualitativos:
“Para definir las tecnologías a usar en la wiki, antes quedamos para hablar
fuera de clase y comentar que tecnologías usaríamos. De manera simultánea
usamos un mail en cadena y el foro para discutir como agregar las
contribuciones a la wiki. Como las decisiones de la tecnología y su
argumentación estaban ya tomadas, la edición de la wiki fue sencilla. Solo
hubo que añadir mensajes del foro y parte de los emails y tan solo
preocuparse por el formato [alumno de Grupo1]”
“Igual que en el caso del glosario, el principal medio de comunicación entre los
miembros del grupo ha sido el correo electrónico. Por este motivo
personalmente he realizado poca aportación directa en la wiki y en el foro
[alumno de Grupo3]”
“Usamos el e-mail para redactar las propuestas [alumno de Grupo3]”
“Personalmente no puse nada en la wiki ni en el foro. Sin embargo si que se
discutieron los casos en grupo a través del messenger y se pasaron
aportaciones al trabajo a través de los mails [alumno de Grupo5]”
“Al igual que en el glosario hemos utilizado el MSN, el correo electrónico y
además para hacer el informe de casos quedamos con algunos de los
compañeros para para la elaboración de la parte que nos tocaba [alumno de
Grupo5]”
107
“Creímos conveniente que para discutir de manera rápida y eficaz el tema de

la wiki, nos juntamos todos los miembros en clase y realizamos en un Word
todas las explicaciones. Uno del grupo fue el encargado de subirlo al moodle.
en cuanto al foro no lo hemos utilizado [alumno de Grupo6]”
108
asíncronas
1000
185 187
116 121 Add entry
100 53 58
43 39 35 Add comment
30
20 23 Delete
15 12 12
10 Update
10 7
4 View
3
2 2 2 2
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0
1
19-25/04/2009 - 26-27/04/2009 - 28-3/05/2009 - 4-5/05/2009 - 6-10/05/2009 - 11-12/05/2009 - 13-26/05/2009 - 27-28/05/2009 - 30-03/06/2009 - 4-5/06/2009 -
Periodo inicial Entrega Revisión Entrega Inicio revision Entrega revision Inicio version2 Entrega Entrega wiki Evaluación
borrador borrador glosario entre pares de entre pares de glosario y wiki version2 entre pares wiki
glosario glosario glosario, trabajo
wiki
(a) Número de interacciones con el glosario del Grupo1 (añadir entrada, añadir comentario a entrada, borrar entrada, actualizar
entrada, ver entrada) a lo largo del tiempo en que se desarrollaron las actividades. La interacción “ver entrada” puede haber
sido realizada también por miembros de otros grupos.
250
alumno7 (si procede)

200
alumno6
150 alumno5
alumno4 (b) Número de
100 alumno3 aportaciones directamente
alumno2 en la glosario por cada
50
alumno1 alumno de cada grupo
0
Grupo1 Grupo2 Grupo3 Grupo4 Grupo5 Grupo6
250 180
158
186 200 160
200 131
140
131 120
150
w iki edit 100 add post
w iki view 80 view post
100
60
40 32
50 22 12
18 30
20
0 0
0 0
25-31/05/2009 - Inicio 01-03/06/2009 - 4-5/06/2009 - 25-31/05/2009 - 01-03/06/2009 - 4-5/06/2009 -
trabajo w iki Entrega w iki Evaluación entre pares Inicio trabajo w iki Entrega w iki Evaluación entre
w iki pares w iki
(c) Número de ediciones y visitas a en las wikis (d) Número de posts y visitas a los foros
privados para el apoyo a la realización de wikis
14
12
alumno7 (si procede)
10
alumno6
8 alumno5
alumno4
6 alumno3 (e) Número de
4
alumno2 aportaciones directamente
alumno1 en la wiki por cada alumno
2 de cada grupo
0
Grupo1 Grupo2 Grupo3 Grupo4 Grupo5 Grupo6
Fig. 6 Gráficas que resumen los datos obtenidos a partir de los logs de Moodle sobre el
uso de los glosarios, las wikis y los foros utilizados en el caso UPF
109
El uso de medios alternativos en mayor o menor medida para coordinar la

elaboración del wiki puede justificar, por un lado, que el 67,6% de los alumnos
indiquen en la rúbrica de auto-evaluación que “No han habido guerras de
edición” y que el 20,6% digan que “Han habido guerras de edición pero se han
resuelto muy pronto.” Y, por otro lado, que exista una tendencia a que “Las
aportaciones iniciales tienden a sobrevivir en las versiones finales de la página”
como señala el 55,9% de los alumnos, o que “Dependiendo del caso, las
aportaciones iniciales sobreviven o se sustituyen pero existe una tendencia a
que las aportaciones iniciales sobrevivan en las versiones finales de la página”
como expresa el 32,4% de los alumnos.
La distribución temporal de las aportaciones al wiki ha sido variada, como se

observaba en la Fig. 6 (c) y como expresan los propios alumnos en la rúbrica:
El 41,2% afirma que “La distribución temporal de las aportaciones realizadas se
ha repartido equitativamente a lo largo del tiempo disponible para hacer las
contribuciones”, el 23,5% dice que “El trabajo se ha realizado a lo largo de todo
el tiempo disponible, aunque en la fase final se ha dedicado más esfuerzo”, y el
26,5% indica que “Bastante parte del trabajo se ha realizado al final, aunque se
fue haciendo alguna cosa desde el principio”.
En cuanto a las limitaciones de las HIDAs enunciadas por los alumnos en la

rúbrica de auto-evaluación:
La mayoría de ellos dice que no es que encuentren limitaciones a estas
HIDAs sino más bien que en ocasiones prefieren utilizar otros medios.
“Las herramientas ya son correctas, aunque la mayor parte de la
comunicación es en persona o por chat”
“Las herramientas proporcionadas han sido suficientes para desarrollar la
actividad”
“No nos han dificultado sino que hemos preferido utilizar otras herramientas de
comunicación”
“Más que limitaciones, no hemos usado tanto las herramientas de la web ya
que los otros métodos que ya he comentado antes nos resultan más cómodos”
“Las herramientas han cumplido perfectamente con su función, siendo claras y
fáciles de utilizar”
“Ninguna, lo que pasa que es más fácil hablar todos a la vez y de manera
instantánea por Messenger”
“El foro es una buena herramienta de comunicación y debate y además es
algo que pueden ver todos los miembros del grupo en cualquier momento,
aunque no lo hemos aprovechado lo suficiente”
110
asíncronas
Algunos señalan que la dificultad se encuentra principalmente en la

coordinación de los miembros del grupo.
“Creo que el problema es como casi siempre ponernos de acuerdo entre los
diferentes miembros del grupo, más que la limitación de las herramientas
disponibles."
Las principales limitaciones concretas se aprecian en el glosario de Moodle.

"El problema más grande ha sido en el glosario, ya que no ha sido una buena
herramienta. El no poder editar entradas de los demás nos ha limitado
bastante la edición entre los mensajes de cada componente”
“Quizás fui yo y no lo encontré, pero me hubiese gustado poder hacer enlaces
entre entradas del glosario”
111
4.1. Planteamiento
La asignatura en la que se ha llevado a cabo la experiencia es una asignatura

optativa de último curso de una titulación de cuatro años y que, por ello, se
puede considerar equivalente a los nuevos grados propuestos dentro del marco
de Bolonia. El contenido de la asignatura tiene como objetivo ofrecer una visión
global a los alumnos acerca del desarrollo de proyectos de ingeniería en el
mundo real, concretamente aquellos circunscritos al desarrollo de aplicaciones
web.
El método de aprendizaje trata de simular el trabajo en una empresa en la que
se forma parte de un grupo. Esta forma de trabajar se ha elegido porque
posiblemente sea la que los alumnos deban seguir en su vida laboral, y
también porque se ha detectado una carencia a lo largo de la titulación de
asignaturas que potencien el trabajo en grupo así como cierta reticencia por
parte del alumnado a trabajar de una forma que no sea individual.
Debido a este cambio en el planteamiento de trabajo del alumno surgieron las
siguientes cuestiones en cuanto a la evaluación de las competencias descritas:
• ¿Existe alguna forma de evaluar el trabajo individual de cada alumno

dentro de un grupo de manera objetiva y que sea percibida como tal por
parte de los alumnos? ¿Cuál es la actitud de los alumnos al adoptar el
rol de evaluador?
• ¿Qué información/formación debería recibir cada alumno para que el
trabajo del grupo en conjunto no se desvíe del objetivo que debería
alcanzar?
El análisis de casos de estudio trata de dar respuesta a estas cuestiones

mediante la utilización de métodos e instrumentos avanzados de evaluación de
competencias. Los métodos incluyen la autoevaluación, la co-evaluación y la
evaluación entre iguales, mientras que los instrumentos utilizados incluyen
glosarios, listas de control, escalas de valoración y rúbricas.
Las herramientas de interacción dialógica asíncrona (HIDA) se utilizaron

durante el aprendizaje como medio básico tanto para el desarrollo del trabajo
como para su entrega final. Éstas herramientas incluyen wikis, como
herramienta para la autoría compartida por los miembros del grupo, y los foros,
como herramienta para la comunicación asíncrona interna del grupo.
112
asíncronas
La asignatura objeto de la experiencia en la ULEON está contemplada dentro

del plan de estudios actual de Ingeniería Informática como optativa de último
curso. En la futura implantación de los nuevos planes de estudio del RD
1394/2007, las competencias asignadas a esta asignatura se encuentran
incluidas en los estudios de Grado.
Tanto en el caso de la asignatura actual, como en el de la asignatura que

asumirá las competencias de la actual en los nuevos planes, el planteamiento
es el mismo. En ambos casos se trata de asignaturas de último curso cuyo
objetivo competencial pasa porque los alumnos se enfrenten al desarrollo de
una aplicación web partiendo de un pliego de condiciones para el que deben
elaborar una propuesta dentro de un determinado contexto. Para ello, deberán
aplicar los conocimientos obtenidos en la carrera en la elaboración razonada de
dicha propuesta.
Durante el curso 2008/09 la asignatura de Programación Avanzada contó con

un total de 17 alumnos matriculados, 2 de los cuales eran mujeres y los 15
restantes hombres. Sólo 3 alumnos (hombres) no participaron en la
experiencia. El trabajo que aquí se describe supone un 40% de los créditos
ECTS de la asignatura. Los alumnos se dividieron en dos grupos de siete
alumnos cada uno siguiendo el orden de lista; grupo par y grupo impar. Con el
objetivo de facilitar la comunicación entre los miembros de los grupos se
habilitaron sendos foros que trataron de suplir la dificultad de sus miembros
para mantener reuniones en persona. Al mismo tiempo, los foros sirvieron para
que el profesor llevara a cabo un seguimiento del desarrollo del trabajo de cada
grupo.
Los instrumentos de evaluación utilizados midieron las competencias

desarrolladas por los estudiantes en cuanto a:
• La elaboración de un glosario estructurado que incluyera las tecnologías

y productos aplicables al desarrollo de aplicaciones web. Cada uno de
los dos grupos tenía el ámbito de actuación restringido a tecnologías
Java para uno y tecnologías no Java para el otro. La evidencia del
trabajo realizado y el producto final quedaba recogida en una wiki creada
al efecto.
113
• El desarrollo de una propuesta como respuesta a un pliego de

condiciones extraído del mundo real. Dicha propuesta se llevaba a cabo
mediante otro wiki distinto al anterior.

1. Identificar las competencias a adquirir en las asignaturas que constituyen

el caso de estudio. Esta labor fue realizada previamente al taller del
proyecto EvalHIDA que tuvo lugar en Cádiz en febrero de 2009; sus
resultados se perfilaron durante la primera jornada de dicho taller.
taller citado.
primer y segundo cuatrimestre de 2009 de las asignaturas implicadas.

realizado se denomina Evaluación de la aplicación e integración razonada de
conocimientos y se detalla como anexo a este informe.

disponibles en la aplicación EvalComix y los formularios de Google.
La experiencia se llevó a cabo durante cinco semanas de la parte final del

segundo cuatrimestre. La clase se dividió en dos grupos de siete alumnos cada
uno. La composición de los grupos se estableció según el órden de lista de
clase.
114
asíncronas
El objetivo de este caso de estudio es comprobar si las herramientas

disponibles, en su estado actual, pueden ofrecer una forma objetiva de calificar
de manera individual el trabajo desarrollado por los alumnos dentro de un
grupo. Más en concreto, se perseguía que dicho proceso de evaluación fuera lo
suficientemente transparente como para que resultara también fiable a los ojos
de los alumnos, que no estaban acostumbrados, por ejemplo, a la evaluación
por pares.
Como resultado del análisis de los datos se pueden extraer las siguientes
conclusiones:
1. En su estado actual, la evaluación individual del trabajo realizado en un

wiki presenta grandes dificultades que podrían, en cierta medida, verse
mitigadas por el desarrollo de herramientas informáticas. Dichas
herramientas deberían ser capaces de llevar a cabo diversos análisis,
configurables por el profesor, acerca de la actividad en el tiempo del
alumno. Los resultados de dichos análisis deberían ofrecerse en
diversos formatos manipulables a posteriori. A falta de dichas
herramientas, el profesor se ve obligado a realizar una tediosa labor de
comprobación de esas actividades basándose casi exclusivamente en la
información reflejada en los logs, en este caso, de Moodle.
2. El uso de métodos y herramientas avanzadas de evaluación ha sido
utilizado como mecanismo que ha servido de guía a los alumnos a la
hora de conseguir sus objetivos. Conocer desde un principio de manera
clara y concisa cuales serían los criterios de corrección les ha servido
para no desviarse del objetivo marcado.
3. La formación de dos grupos de clase ha puesto de manifiesto las
distintas dinámicas de cada uno de ellos. Las figuras 7 y 8 muestran
parte de estas distintas dinámicas.
115
Fig. 7 Grupo Java – Evaluación del trabajo en grupo: Participación, interacción e interes
y respeto. Ordenación según calificación obtenida en la parte previa de la asignatura
(presentaciones en clase).
Fig. 8 Grupo Java – Evaluación del trabajo en grupo: Participación, interacción e interes
y respeto. Ordenación según calificación obtenida en la parte previa de la asignatura
(presentaciones en clase).
En el caso del grupo Java el trabajo en equipo no ha funcionado tan bien

como en el caso del grupo no Java. Como se puede apreciar en la figura
7, aparece una significativa caída en la apreciación de la participación
del resto de miembros del grupo por parte de aquellos alumnos que
obtuvieron mejor nota en la etapa inmediatamente anterior. Además, se
aprecia también cómo hay dos alumnos que respondieron con la
calificación máxima en todas las preguntas, por lo que sus respuestas
serían candidatas a ser exluidas del estudio. En cambio, en el otro
grupo, como se puede apreciar en la figura 8, el desarrollo del trabajo ha
tenido lugar de manera más fluida.
Este resultado viene a reforzar la necesidad de herramientas efectivas
de análisis de la participación individual de cada alumno en el trabajo del
grupo al quedar de manifiesto que existen diferencias dignas de tenerse
en consideración en cuanto a la posible influencia del resto de
componentes del grupo en el producto final.
116
asíncronas
5. CONCLUSIONES GENERALES Y PARTICULARES PARA EL PROYECTO

EVAL-HIDA
Como conclusiones generales de estos casos de estudio se han extraído las

siguientes:
- Sobre las ventajas e inconvenientes del procedimiento y los

instrumentos avanzados de evaluación, se han encontrado conclusiones
dispares, aunque no contradictorias, en los casos de estudio. Medidos
con respecto a las valoraciones del profesor, la autoevaluación tiende a
supravalorar los resultados, mientras que la evaluación entre iguales
tiende a infravalorar los resultados. Esto plantea dudas sobre la validez
de dichos procedimientos e instrumentos para la evaluación sumativa.
Sin embargo, las ventajas encontradas de utilizar dichos procedimientos
para la evaluación formativa han sido numerosas.
- Sobre las limitaciones de las HIDA, la mayor limitación sigue siendo

poder animar o convencer a los alumnos para que las usen. Muchos de
los alumnos emplean otras herramientas, típicamente de mensajería
síncrona o asíncrona, a las que ya están acostumbrados y a las que
normalmente no se tiene acceso para poder observar el comportamiento
realizado a través de las mismas. Otras limitaciones observadas,
especialmente notable en el caso de las wiki, son la ausencia de
herramientas gráficas de análisis de la actividad y la ausencia de
mecanismos de coordinación que permitan una mejor organización del
trabajo de edición de las páginas.
Como conclusión particular del caso de estudio 1, se observa que confiar

solamente en la autoevaluación para hacer la labor del profesor más sostenible
no aporta un nivel de fiabilidad aceptable. Es necesario combinar la
autoevaluación con la co-evaluación para garantizar dicha fiabilidad, pero esto
redunda en hacer aún menos sostenible la labor del profesor, algo contrario a
los objetivos deseables. Del estudio de los casos anteriores se han obtenido
evidencias de que la introducción de un procedimiento de autoevaluación ha
mejorado el aprendizaje del método de ingeniería empleado. Sin embargo, las
restantes dimensiones del instrumento de evaluación arrojaron resultados
similares. En particular, los resultados para la dimensión de funcionalidad están
muy ajustados entre autoevaluación y evaluación del profesor en parte debido
a que esta última se realizó presencialmente con los alumnos en sesiones de
117
pruebas controladas del entregable software realizado. Para la dimensión de

elección de herramientas los resultados son particularmente dispares. Estos
resultados pueden deberse a que, exceptuando la dimensión de funcionalidad,
ésta es la única dimensión que no se ha evaluado a través del wiki del
proyecto.
Como trabajo futuro se plantea realizar un instrumento de evaluación separado

para la dimensión de elección del framework, ya que algunos estudiantes se
quejaron de que con anterioridad al desarrollo del proyecto no se veían con la
capacidad crítica suficiente como para elegir un framework adecuado con el
que acometer el desarrollo del proyecto. El único equipo del grupo de la
asignatura B que confió en su capacidad de decisión fue el que ya había
participado en la experiencia previa del grupo de la asignatura A. Esta tarea
podrá realizarse aplicando a los estudiantes del caso de estudio 1 el
procedimiento de evaluación diseñado para el caso de estudio.
Como conclusión específica del caso 2, es posible resaltar que los resultados
de la evaluación entre pares o iguales son relativamente fidedignos y tienen
tendencia a ser ligeramente inferiores a la que podría otorgar el profesor,
cuando (1) se realiza el promedio de varios alumnos seleccionados de tal
manera que sus conocimientos y experiencia previa sea lo más dispar posible,
y cuando (2) se les ofrece una rúbrica que les guíe en dicha evaluación. La
correlación entre el total de acciones sobre las HIDAs registradas en el Moodle
(aunque tengan más peso las acciones pasivas de de visualización) de cada
alumno con la valoración de sus aportaciones por parte de sus compañeros, las
observaciones de la profesora y la nota final es bastante significativa. Los
alumnos con menor nota final apenas han utilizado las HIDAs disponibles, y
algunos de ellos no acaban de reconocer su baja participación cuando realizan
su auto-evaluación. En algunos casos, a partir de un umbral de uso razonable
de las HIDAs, la cantidad de acciones sobre las HIDAs no se corresponde
directamente con las contribuciones reales aportadas al trabajo en grupo.
Una de las mejoras inmediatas que a partir del caso 2 es posible proponer para
las HIDAs es la creación automática de gráficas con estadísticas de uso
similares a las elaboradas a partir de los logs de Moodle (Fig. 6). La
elaboración de dichas gráficas ha requerido una cantidad de tiempo
considerable, del que en general no disponen los profesores. Bien es cierto que
en el caso de estudio estas gráficas no han sido suficientes para entender cuál
ha sido el comportamiento de los alumnos durante todo el proceso de
118
asíncronas
aprendizaje. En el caso de estudio se ha visto que es difícil animar a los

alumnos a utilizar únicamente las herramientas institucionales disponibles (en
este caso las de Moodle) para comunicarse y realizar los trabajos
conjuntamente, ya que existe una tendencia muy fuerte a utilizar el correo
electrónico y las herramientas de mensajería instantánea, presentes en el día a
día de los alumnos. Puede que este hecho se acentúe en un escenario
educativo como el del caso, presencial o semi-presencial, donde los alumnos
se conocen y es posible que tengan hábitos de trabajo adquiridos previamente
(en otras asignaturas). Sin olvidar que además estos alumnos tienen la
facilidad de reunirse cara a cara antes o después de clase. Adicionalmente, el
caso de estudio arroja ciertos indicios que pueden sugerir que las HIDAs
podrían mejorarse con funcionalidades dedicadas a la coordinación del trabajo
a realizar (Ej., herramientas de votación para la distribución de tareas).
119
6.- ANEXO I
1.- FICHA TÉCNICA DEL PROCEDIMIENTO 1
1. Título: Evaluación de un proyecto de ingeniería Web

2. Autores: Juan Manuel Dodero Beardo
3. Área: Ingeniería y Arquitectura
4. Materia: Informática
5. Nivel:
6.1. Posgrado: Aplicación de conocimientos, Comunicación clara de
conclusiones, Aprendizaje autónomo
7. Competencia específica: Dominar todas las etapas del ciclo de un

proyecto software para la Web
8. Objetivo del procedimiento: Evaluar la aplicación de un método,
técnicas y herramientas de desarrollo de software para la web y la calidad de los
entregables generados
9. Instrumentos de Evaluación: Rúbrica de evaluación de un proyecto de
ingeniería Web
120
Competencia Básica: Aplicación de conocimientos, Comunicación clara de conclusiones, Aprendizaje autónomo
Competencia Específica: Control y gestión del desarrollo del proyecto, Analizar y recoger nuevas técnicas y herramientas, Redacción de
los informes de seguimiento del proyecto, Realizar el análisis y diseño detallado, Realizar pruebas que verifiquen la validez funcional de la
aplicación, Mantenerse al día en técnicas, métodos y herramientas de análisis y diseño
1. Formación de grupos Foro de discusión para la formación de Profesor Escala de valoración para garantizar la
grupos equidad en la formación de grupos
1.1 Discusión en un foro para la
formación de grupos Wiki con los miembros de los grupos
1.2 Anuncio en el wiki de los grupos

formados
2. Elección de framework Entregable– Glosario de tecnologías de Profesor supervisa compleción de Lista de control para glosario
desarrollo de aplicaciones web (wiki) glosario
2.1. Introducción de nuevas herramientas Escala de valoración para wiki
de diseño: frameworks MVC y ORM Entregable – Wiki de tecnologías web Alumnos evalúan Wiki
Rúbrica para informe razonado
2.2. Elección de frameworks MVC y ORM Entregable – Informe razonado del Alumnos evalúan informe razonado (reutilizar del “procedimiento de
y elaboración de wiki temático framework elegido (wiki) evaluación de la aplicación e
integración razonada de
conocimientos” de EvalHIDA)
121
3. Planificación del proyecto Entregable – Planificación (wiki + issue Alumnos Rúbrica de evaluación de proyectos de
tracking) Ingeniería Web (dimensión “Método”)
3.1 Propuesta de calendario de fases e
hitos
3.2 Asignación de roles a miembros del

equipo
4. Requisitos y arquitectura Entregable – Documento de requisitos Cliente evalúa requisitos Rúbrica de evaluación de proyectos de
Ingeniería Web (dimensión “Requisitos
4.1 Introducción de nuevas técnicas de Entregable – Documento de arquitectura Profesor evalúa arquitectura y Arquitectura”)
ingeniería de requisitos Web
Listas de control para garantizar la
4.2 Introducción de nuevas herramientas cobertura de los nuevos tipos de
CASE para análisis y diseño UML requisitos de una aplicación web
4.3 Elaboración de requisitos

(funcionales, de información, de interfaz,
de navegación, de personalización, no
funcionales)
4.4 Elaboración de la arquitectura del

sistema web
5. Análisis y diseño Ampliación del entregable – Wiki de Alumnos evalúan wikis Escala de valoración para wikis
tecnologías web
5.1 Introducción de nuevas técnicas de Profesor y alumnos evalúan análisis y Rúbrica de evaluación de proyectos de
análisis de aplicaciones Web Entregable – Wiki de patrones diseño Ingeniería Web (dimensiones
“Técnicas”, “Análisis” y “Diseño”)
5.2 Recordatorio de patrones de diseño Entregable – Documento de análisis
122
5.3 Elaboración de diagramas de análisis Entregable – Documento de diseño
5.4. Introducción de nuevas técnicas:

AJAX y REST
5.5. Elección de framework AJAX y

elaboración de wiki temático
5.3 Elaboración de diagramas de diseño
6. Implementación y pruebas Entregable – Código fuente Alumnos evalúan código fuente Rúbrica de evaluación de proyectos de
Ingeniería Web (dimensiones
Entregable – Documento de pruebas “Framework” y “Pruebas”)
7. Instalación y despliegue Entregable – Manual de instalación y Alumnos evalúan manual Rúbrica de evaluación de proyectos de
despliegue Ingeniería Web (dimensiones “Manual
7.1 Elaboración de manual de usuario e Alumnos evalúan pruebas de aceptación de instalación” y “Funcionalidades”)
instrucciones de instalación y despliegue Entregable – Manual de usuario
7.2 Pruebas de aceptación
123

1. Rúbrica de evaluación de proyectos de ingeniería Web
Peso # Evaluable Excelente (8‐10) Bien (6‐8) Regular (4‐6) Pobre (0‐3) GLOBAL

10% 1 Método 0
1.1 Planificación realizada Propone una planificación del Propone una planificación del Propone una planificación del Propone una planificación del
desarrollo que contempla todas las desarrollo que no contempla desarrollo que no contempla los desarrollo que no contempla las fases,
fases, roles y entregables fases, los entregables o los roles entregables ni los roles los entregables ni los roles
Valoración: 0
1.2 Fases cumplidas en Cumple más del 80% de los hitos del Cumple entre el 60% y el 80% de Cumple entre el 40% y el 60% de los Cumple menos del 40% de los hitos del
calendario los hitos del calendario hitos del calendario calendario
calendario
Valoración: 0
1.3 Roles asignados La asignación de roles a los La asignación de roles es Han habido bastantes cambios en la La asignación de roles no era
miembros del equipo es equilibrada equilibrada, pero han habido asignación de roles a los miembros del equilibrada y no se ha mantenido la
y se ha mantenido durante toda la algunos cambios en la asignación equipo asignación durante la ejecución del
ejecución del proyecto de roles antes de acabar el proyecto
proyecto
Valoración: 0
1.4 Entregables a tiempo Más del 80% de los entregables se Entre el 60% y el 80% de los Entre el 40% y el 60% de los Menos del 40% y de los entregables se
ha completado en el tiempo debido entregables se ha completado en entregables se ha completado en el ha completado en el tiempo debido
el tiempo debido tiempo debido
Valoración: 0
10% 2 Funcionalidades 0
2.1 Usuarios Todas las operaciones relativas a Como máximo una de las Sólo la mitad de las operaciones La mayoría de las operaciones relativas
gestión de usuarios (registros, bajas, operaciones relativas a usuarios relativas a usuarios (registros, bajas, a usuarios (registros, bajas,
actualizaciones y listados) funcionan (registros, bajas, actualizaciones y actualizaciones y listados) funcionan actualizaciones y listados) no
correctamente listados) no funciona correctamente funcionan correctamente
correctamente
Valoración: 0
124
2.2 Páginas Todas las operaciones relativas a Como máximo dos de las Sólo la mitad de las operaciones La mayoría de las operaciones relativas

gestión de páginas (crear, borrar, operaciones relativas a páginas relativas a páginas (crear, borrar, listar, a páginas (crear, borrar, listar, ver,
listar, ver, editar, publicar y (crear, borrar, listar, ver, editar, ver, editar, publicar y despublicar) editar, publicar y despublicar) no
despublicar) funcionan publicar y despublicar) no funcionan correctamente funcionan correctamente
correctamente funciona correctamente
Valoración: 0
2.3 Seguridad/Control de Todas las operaciones relativas a Como máximo una de las Sólo la mitad de las operaciones Ninguna de las operaciones relativas a
control de acceso (inicio de sesión, operaciones relativas a control de relativas a control de acceso (inicio de control de acceso (inicio de sesión,
acceso
otorgar permiso de acceso a acceso (inicio de sesión, otorgar sesión, otorgar permiso de acceso a otorgar permiso de acceso a páginas,
páginas, quitar permiso de acceso a permiso de acceso a páginas, páginas, quitar permiso de acceso a quitar permiso de acceso a página)
páginas) funcionan correctamente quitar permiso de acceso a páginas) funcionan correctamente funciona correctamente
páginas) no funciona
correctamente
Valoración: 0
2.4 Etiquetas Todas las operaciones relativas a Como máximo dos de las Sólo la mitad de las operaciones La mayoría de las operaciones relativas
gestión de etiquetas (crear, borrar, operaciones relativas a gestión de relativas a gestión de etiquetas (crear, a gestión de etiquetas (crear, borrar,
listar, etiquetar, desetiquetar) etiquetas (crear, borrar, listar, borrar, listar, etiquetar, desetiquetar) listar, etiquetar, desetiquetar) no
funcionan correctamente etiquetar, desetiquetar) no funcionan correctamente funcionan correctamente
funciona correctamente
Valoración: 0
20% 3 Técnicas 0
3.1 Arquitectura MVC La arquitectura de la aplicación La arquitectura de la aplicación La arquitectura de la aplicación aplica La arquitectura de la aplicación aplica
aplica y respeta siempre el patrón aplica y respeta el patrón MVC pero no suele respetar a menudo el pero no respeta nunca el patrón MVC
MVC en el modelo, la vista y el salvo algunas excepciones patrón MVC
controlador
Valoración: 0
3.2 Persistencia DAO La arquitectura de la aplicación La arquitectura de la aplicación La arquitectura de la aplicación aplica La arquitectura de la aplicación aplica
aplica y respeta siempre el patrón aplica y respeta el patrón DAO pero no suele respetar a menudo el pero no respeta nunca el patrón DAO
DAO en el acceso a los datos salvo algunas excepciones patrón DAO
persistentes
Valoración: 0
3.3 Otros patrones La arquitectura de la aplicación tiene La arquitectura de la aplicación La arquitectura de la aplicación tiene La arquitectura de la aplicación ni tiene
en cuenta y respeta otros patrones tiene en cuenta y respeta otros en cuenta pero no respeta otros en cuenta ni respeta otros patrones de
(dos o más) de interés para el patrones (al menos uno) de patrones de interés para el desarrollo interés para el desarrollo de una
desarrollo de una aplicación web interés para el desarrollo de una de una aplicación web aplicación web
aplicación web
125
Valoración: 0
3.4 Interfaz AJAX La interfaz emplea AJAX para todas o La interfaz emplea AJAX para la La interfaz emplea AJAX solo para La interfaz no emplea AJAX para
casi todas las interacciones del mayor parte de las interacciones algunas de las interacciones del ninguna de las interacciones del
usuario con la aplicación del usuario con la aplicación usuario con la aplicación usuario con la aplicación
Valoración: 0
10% 4 Framework 0
4.1 MVC Se ha razonado la elección de un Se ha elegido un framework para Se ha elegido un framework para el No se ha elegido un framework para el
framework para el desarrollo de el desarrollo de aplicaciones MVC, desarrollo de aplicaciones MVC, pero desarrollo de aplicaciones MVC, ni éste
aplicaciones MVC y éste se ha y éste se ha empleado éste no se ha empleado correctamente se ha empleado correctamente
empleado correctamente correctamente, pero no se ha
razonado su elección
Valoración: 0
4.2 DAO Se ha razonado la elección de un Se ha elegido un framework DAO Se ha elegido un framework DAO para No se ha elegido un framework DAO
framework DAO para persistencia de para persistencia de datos y éste persistencia de datos, pero éste no se para persistencia de datos, ni éste se
datos y éste se ha empleado se ha empleado correctamente, ha empleado correctamente ha empleado correctamente
correctamente pero no se ha razonado su
elección
Valoración: 0
4.3 AJAX Se ha razonado la elección de un Se ha elegido un framework AJAX Se ha elegido un framework AJAX para No se ha elegido un framework AJAX
framework AJAX para la interacción para la interacción con el usuario y la interacción con el usuario, pero éste para la interacción con el usuario, ni
con el usuario y éste se ha empleado éste se ha empleado no se ha empleado correctamente éste se ha empleado correctamente
correctamente correctamente, pero no se ha
razonado su elección
Valoración: 0
30% 5 Entregables 0
5.1 Planificación y El entregable contiene todos o casi El entregable contiene la mayor En el entregable faltan bastantes de En el entregable faltan la mayoría de
todos los elementos siguientes: parte de los elementos siguientes: los elementos siguientes: planificación, los elementos siguientes: planificación,
configuración (E1)
planificación, recursos y roles, planificación, recursos y roles, recursos y roles, entregables, hitos, recursos y roles, entregables, hitos,
entregables, hitos, reuniones, entregables, hitos, reuniones, reuniones, elección de frameworks y reuniones, elección de frameworks y
elección de frameworks y elección de frameworks y herramientas, configuración del herramientas, configuración del
herramientas, configuración del herramientas, configuración del entorno y herramientas de desarrollo, entorno y herramientas de desarrollo,
entorno y herramientas de entorno y herramientas de configuración del sitio de alojamiento, configuración del sitio de alojamiento,
desarrollo, configuración del sitio de desarrollo, configuración del sitio del sistema de control de versiones y del sistema de control de versiones y
alojamiento, del sistema de control de alojamiento, del sistema de del seguimiento de tareas del seguimiento de tareas
de versiones y del seguimiento de control de versiones y del
tareas seguimiento de tareas
126
Valoración: 0
5.2 Requisitos y arquitectura El entregable contiene todos los Alguno de los elementos En el entregable falta alguno de los En el entregable faltan o no son
elementos siguientes: especificación siguientes no es correcto: elementos siguientes o hay varios correctos la mayoría de los elementos
(E2)
de requisitos, casos de uso, especificación de requisitos, casos incorrectos: especificación de siguientes: especificación de
arquitectura de uso, arquitectura requisitos, casos de uso, arquitectura requisitos, casos de uso, arquitectura
Valoración: 0
5.3 Análisis (E3) Los diagramas de análisis que La mayoría de los diagramas de Sólo la mitad de los diagramas de La mayoría de los diagramas de análisis
realizan todos los casos de uso son análisis que realizan los casos de análisis que realizan los casos de uso qu erealizan los casos de uso faltan o
correctos uso son correctos son correctos son incorrectos
Valoración: 0
5.4 Diseño (E4) Los diagramas de diseño realizados Los diagramas de diseño Algunos diagramas de diseño Los diagramas de diseño realizados son
son correctos y usan dos o más realizados son correctos y usan al realizados son incorrectos o bien no se incorrectos y no se utiliza ningún
patrones de diseño menos un patrón de diseño utiliza ningún patrón de diseño patrón de diseño
Valoración: 0
5.5 Casos de prueba (E5) Se han diseñado e implementado Se han diseñado e implementado Sólo se han diseñado e implementado Se han implementado sólo pruebas
pruebas unitarias, funcionales y de al menos las pruebas unitarias y pruebas unitarias que se apoyan en unitarias que se apoyan en objetos
integración apoyadas en objetos funcionales, con al menos algunas objetos mock reales, o bien no se han diseñado e
mock de ellas apoyadas en objetos mock implementado ningún tipo de prueba
y otras apoyadas en objetos reales
Valoración: 0
5.6 Persistencia de datos (E6) Se proporciona el esquema de la BD Se proporciona el esquema de la Solo se proporciona el esquema de la Al resolver la persistencia se ha
y los mecanismos de ORM del BD pero faltan los mecanismos de BD porque no se ha usado ningún mezclado SQL con el código de la
framework de persistencia ORM del framework de framework de persistencia, aunque aplicación, o bien no se proporciona
persistencia ésta se ha resuelto sin mezclar SQL con esquema alguno de la BD
el código de la aplicación
Valoración: 0
5.7 Implementación (E7) Se incluye el código fuente y scripts Se incluye el código fuente, pero Se incluye el código fuente, pero no se Faltan el código fuente, los scripts de
de despliegue, creación y carga de la faltan algunos scripts de proporciona ningún script de despliegue, creación y carga de la BD,
BD, preparación de logs, y fichero despliegue, creación y carga de la despliegue, creación y carga de la BD, preparación de logs, y el fichero war
war con la aplicación preparada para BD, preparación de logs, ó el preparación de logs, ni el fichero war
su despliegue en el servidor fichero war
Valoración: 0
127
5.8 Wiki de desarrollo (E8) El wiki de desarrollo está bien El wiki de desarrollo está bien El wiki de desarrollo está El wiki de desarrollo está

organizado y refleja el histórico del organizado pero no refleja el escuetamente organizado y no refleja desorganizado y no refleja el histórico
progreso del proyecto histórico del progreso del el histórico del progreso del proyecto del progreso del proyecto
proyecto
Valoración: 0
5.9 Manual de instalación (E9) El manual de instalación está bien El manual de instalación está bien El manual de instalación está El manual de instalación es ausente o
explicado e indica claramente cómo explicado, pero presupone que escasamente explicado, presupone no está bien explicado, presuponiendo
instalar la aplicación desde cero, algunos componentes (servidores, que bastantes componentes que la mayoría de los componentes
incluyendo todos los componentes BD, etc.) están ya instalados y no (servidores, BD, etc.) están ya (servidores, BD, etc.) están ya
del diagrama de despliegue los contempla en la explicación instalados y no los contempla instalados y no los contempla
(servidores, bd, etc.)
Valoración: 0
20% 6 Herramientas 0
6.1 Planificación (assembla) Se han usado correctamente a lo Se han usado correctamente a lo Apenas se han usado las funciones de No se han usado las funciones de
largo de todo el proyecto las largo la mayor parte del proyecto assembla para la planificación del assembla para la planificación del
funciones de assembla para la las funciones de assembla para la proyecto, o se han usado proyecto
planificación del proyecto planificación del proyecto incorrectamente
Valoración: 0
6.2 Gestión de versiones (svn) Se han usado correctamente a lo Se han usado correctamente a lo Apenas se han usado las funciones de No se han usado las funciones de svn
largo de todo el proyecto las largo la mayor parte del proyecto svn para la gestión de versiones, o se para la gestión de versiones
funciones de svn para la gestión de las funciones de svn para la han usado incorrectamente
versiones gestión de versiones
Valoración: 0
6.3 Control de cambios (trac) Se han usado correctamente a lo Se han usado correctamente a lo Apenas se han usado las funciones de No se han usado las funciones de trac
largo de todo el proyecto las largo la mayor parte del proyecto trac para la gestión de para la gestión de tareas/incidencias
funciones de trac para la gestión de las funciones de trac para la tareas/incidencias (tickets), o se han (tickets)
tareas/incidencias (tickets) gestión de tareas/incidencias usado incorrectamente
(tickets)
Valoración: 0
6.4 Comunicación grupal (blog) Se ha usado intensivamente un blog Se ha usado un blog o un foro para Se ha usado esporádicamente un blog No se ha usado ningún blog o foro para
o un foro para la comunicación entre la comunicación entre los o un foro para la comunicación entre la comunicación entre los miembros
los miembros del equipo miembros del equipo, pero sólo en los miembros del equipo del equipo
algunas etapas de la ejecución del
proyecto
Valoración: 0
128
100% Valoración GLOBAL: 0
129
1.- FICHA TÉCNICA DEL PROCEDIMIENTO 2 (CASO UPF)
1. Título: Procedimiento de evaluación “Reconocimiento de Aproximaciones

avanzadas al desarrollo de aplicaciones Web”
2. Autores: Davinia Hernández Leo
4. Materia: Telemática
5. Nivel:
6.1. Grado: Desarrollar habilidades de aprendizaje necesarias para
emprender estudios posteriores con un alto grado de autonomía.
6.2. Posgrado: Aplicación de conocimientos, Comunicación clara de
conclusiones, Aprendizaje autónomo
7. Competencia específica: Reconocer y justificar razonadamente los factores
que intervienen en la toma de decisiones para la selección de tecnologías y
productos en el diseño y desarrollo de aplicaciones Web
8. Objetivo del procedimiento: Evaluar la capacidad de reconocer y justificar

selección de tecnologías y productos en el diseño y desarrollo de aplicaciones Web
Instrumento 1. Escala mixta: lista de control + escala de valoración para la
evaluación de los recursos compartidos (evaluación entre pares - alumnos, y co-
evaluación con proalimentación - profesor)
Instrumento 2. Rúbrica para la evaluación de un informe desarrollado sobre un wiki

(evaluación entre pares – alumnos, y por parte del profesor).
Instrumento 3. Escala de valoración para evaluar la participación de los restantes

miembros del grupo en las tareas asignadas (evaluación por parte de alumnos y
profesor)

130
Competencia Básica: Desarrollar habilidades de aprendizaje necesarias para emprender estudios posteriores con un alto grado de
autonomía
Competencia Específica: Reconocer y justificar razonadamente los factores que intervienen en la toma de decisiones para la selección de
tecnologías y productos en el diseño y desarrollo de aplicaciones Web
1. Glosario (en Moodle) de tecnologías y Alumnos - evaluación por pares entre Instrumento mixto: Lista de control +
1.1 Elaboración de un glosario de productos para aplicaciones web grupos (cada persona revisará dos escala de valoración (Instrumento 1)
estructurado en dos dimensiones: (wiki). glosarios de otros grupos, de manera
tecnologías para aplicaciones web y que en cada grupo de 6 se tendrán
productos para aplicaciones web. El conocimientos de todos los temas para
glosario debe mostrar las relaciones entre poder dar solución a los casos
tecnologías y productos. Esta tarea se planteados en la tarea 2)
llevará a cabo en grupos de seis o siete
alumnos, debiendo haber al menos dos Profesor - co-evaluación de un borrador
grupos en clase. intermedio de los glosarios con
(Del 19 de abril al 5 de mayo, entrega de proalimentación
borrador intermedio el 27 de abril)
1.2 Evaluación de la completitud, calidad

y estructuración de los glosarios
elaborados.
(Del 6 al 12 de mayo)
131
2. Informe razonado de la solución elegida Alumnos – evaluación entre pares para Rúbrica para la evaluación del informe
2.1 Sobre el planteamiento de dos casos para los dos casos asignados (en una los grupos + preguntas abiertas (Instrumento 2)
diferentes por grupo (de un total de tres wiki – en Moodle). Cada grupo no tiene
casos), elaborar un informe justificando acceso a las wikis de los otros grupos.
las tecnologías y productos seleccionadas El acceso se hace posible en la fase Profesor – evaluación por grupos
para ofrecer una solución. posterior de evaluación de las wikis
(Del 20 de mayo al 3 de junio) entre pares.
2.2 Evaluación de las soluciones Disponible un foro (en Moodle) privado

obtenidas por los demás grupos haciendo para el trabajo intra-grupal de apoyo a la
uso de la rúbrica. Cada alumno evalúa los realización de la wiki.
casos de otro grupo tal que uno de los
casos ya había sido analizado por él y Rúbrica resultado de la evaluación entre
otros nuevo. pares de las wikis.
(El 4 y 5 de junio)
3. Evaluación de la participación activa y Rúbrica de auto-evaluación sobre las Alumnos – auto-evaulación Rúbrica de auto-evaluación +
constructiva propia y del resto de aportaciones a las diversas tareas preguntas abiertas (Instrumento 3)
componentes del grupo. utilizando las herramientas disponibles. Alumnos – evaluación individual del
(Del 5 al 9 de junio) Preguntas abiertas sobre el uso de otras resto de miembros del grupo
herramientas de apoyo. Instrumento mixto: Lista de control +
Profesor – evaluación individual escala de valoración de la
Lista ordenada según diversos criterios participación de cada miembro del
de la participación de los componentes grupo + rúbrica (Instrumento 4)
del grupo en el trabajo desarrollado.
132
1. Instrumento mixto: Lista de control + escala de valoración (alumnos)

2. Rúbrica para la evaluación del informe (alumnos y profesor)
3. Rúbrica de auto-evaluación + preguntas abiertas (alumnos)
4. Instrumento mixto: Lista de control + escala de valoración de la participación
de cada miembro del grupo + rúbrica (alumnos y profesor)
1. Instrumento mixto: Lista de control + escala de valoración para la evaluación

de los glosarios (alumnos y profesor)1
1
Creado con GoogleForms:
http://spreadsheets.google.com/viewform?formkey=clFhZGo3R0VGdmtRbExQUDBkdDhhWlE6MA..
133
134
2. Rúbrica para la evaluación del informe (alumnos y profesor)2
2
Creado con GoogleForms siguiendo algunos ejemplos de rúbricas disponibles en EvalCOMIX,
http://spreadsheets.google.com/viewform?hl=en&formkey=clpCbFY1UnpwRWJQd3ZnbGxMSlhZWGc6MA..
135
3. Rúbrica de auto-evaluación + preguntas abiertas (alumnos)3
3
http://spreadsheets.google.com/viewform?hl=en&formkey=cjAtd1dUX1pUNW5zalc2S3hfbGtLM0E6MA..
136
137
138
4. Instrumento mixto: Lista de control + escala de valoración de la participación

de cada miembro del grupo + rúbrica (alumnos y profesor)4
4
http://spreadsheets.google.com/viewform?hl=en&formkey=cko1elBsZ094SnpuYnlnVG9DTXROY1E6MA..
139
(…) Repetido 4 o 5 veces dependiendo de si el grupo estaba compuesto por 6 o 7

personas
140
1.- FICHA TÉCNICA DEL PROCEDIMIENTO 3 (CASO ULEON)
1. Título: Procedimiento de evaluación “Aplicación e integración razonada de

conocimientos – aplicaciones web”.
2. Autores: Camino Fernández
4. Materia: Informática
5. Nivel:
5.1. Grado: X 5.2. Máster: 5.3. Doctorado: .
6.1. Grado: Desarrollar habilidades de aprendizaje necesarias para
emprender estudios posteriores con un alto grado de autonomía.
7. Competencia específica: Reconocer y justificar razonadamente los factores
que intervienen en la toma de decisiones para la selección de tecnologías y
productos en el diseño y desarrollo de aplicaciones Web
8. Objetivo del procedimiento: Evaluar la capacidad de reconocer y justificar

selección de tecnologías y productos en el diseño y desarrollo de aplicaciones Web
Instrumento 1. Escala mixta: lista de control + escala de valoración para la
evaluación de los recursos compartidos (evaluación entre pares - alumnos, y co-
evaluación con proalimentación - profesor)
Instrumento 2. Rúbrica para la evaluación de un informe desarrollado sobre un wiki

(evaluación entre pares – alumnos, y por parte del profesor).
Instrumento 3. Escala de valoración para evaluar la participación de los restantes

miembros del grupo en las tareas asignadas (evaluación por parte de alumnos y
profesor)

141
Competencia Básica: Desarrollar habilidades de aprendizaje necearias para emprender estudios posteriores con un alto grado de
autonomía
Competencia Específica: Reconocer y justificar razonadamente los factores que intervienen en la toma de decisiones para la selección de
tecnologías y productos en el diseño y desarrollo de aplicaciones Web
1. Glosario de tecnologías y de productos Alumnos - evaluación por pares entre Instrumento mixto: Lista de control +
1.1 Elaboración de un glosario para aplicaciones web (wiki). grupos escala de valoración (Instrumento 1)
estructurado en dos dimensiones:
tecnologías para aplicaciones web y Profesor - co-evaluación de los grupos
productos para aplicaciones web. El con proalimentación
glosario debe mostrar las relaciones entre
tecnologías y productos. Esta tarea se
llevará a cabo en grupos de unos ocho
alumnos, debiendo haber al menos dos
grupos en clase.
1.2 Evaluación de la completitud, calidad

y estructuración de los glosarios
elaborados.
142
2. Informe razonado de la solución elegida Alumnos – evaluación entre pares para Rúbrica para la evaluación del informe
2.1 Sobre el planteamiento de casos (wiki). los grupos (Instrumento 2)
diferentes por grupo (cliente), elaborar un
informe justificando las tecnologías y Foro por grupos en el que cada grupo Alumnos – co-evaluación entre grupos
productos seleccionadas para ofrecer una pueda discutir los resultados obtenidos
solución. en la evaluación que sobre su trabajo Profesor – evaluación por grupos
han llevado a cabo los demás grupos.
2.2 Evaluación de las soluciones
obtenidas por los demás grupos haciendo
uso de la rúbrica conocida a priori.
2.3 Defensa de los resultados vertidos en

la evaluación de los restantes grupos en
un foro.
3. Evaluación de la participación activa y Lista ordenada según diversos criterios Alumnos – evaluación individual del Escala de valoración de la
constructiva del resto de componentes del de la participación de los componentes resto de miembros del grupo participación de cada miembro del
grupo. del grupo en el trabajo desarrollado. grupo (Instrumento 3)
Profesor – evaluación individual
143
1. Instrumento 1 – Evaluación del glosario
144
2. Instrumento 2 – Evaluación del informe
145
146
3. Instrumento 3 – Evaluación del trabajo en grupo
147
LA EVALUACIÓN ENTRE
IGUALES COMO ELEMENTO
POTENCIADOR DE LA
FORMACIÓN A TRAVÉS DEL
USO DE RÚBRICAS EN
ENTORNOS WIKI
Bartolomé Rubia Avi (Coord.)

Inés Ruiz Requies
Henar Rodríguez Navarro
La evaluación entre iguales como elemento potenciador de la formación a través del uso de
rúbricas en entornos wiki
1.- INTRODUCCIÓN
El caso que nos ocupa está centrado en el análisis efectuado en el Título de

Maestro Especialista en Educación Especial, dentro de la asignatura Nuevas
Tecnologías aplicadas a la Educación. Dicho caso no se encuentra
exactamente dentro de los marcos generales de los nuevos títulos
universitarios, centrados especialmente en la configuración de competencias
formativas, pero si está en los parámetros de los requerimientos del proyectos.
Ha sido cuatro años proyecto de innovación educativa promovido por la
Universidad de Valladolid, así como apoyado en las convocatorias a tal efecto
de la Junta de Castilla y León (2004, 2005 y 2006-2007), así como parte de un
proyecto del Programa de Estudios y Análisis del MEC (2007). No ha podido,
por tanto, realizarse en el marco de un master oficial, pero si dentro de una
experiencia de innovación educativa adaptada al nuevo EEES.
Es por esto, que creemos que cumple sobre todo el objetivo relacionado con
(2) La aplicación de métodos de evaluación de competencias a partir de las
evidencias depositadas en los registros informáticos de las herramientas de
interacción dialógica asincrona. Y concretamente dentro de los intereses
específicos del proyecto EvalHIDA, en el diseño de instrumentos de evaluación,
así como en la práctica de métodos y estrategias de evaluación en el ámbito de
los foros, blogs y wikis.
En este punto, el informe se centra en los resultados obtenidos en nuestro caso

de estudio, donde hemos pretendido analizar el valor de los recursos para
generar procesos de evaluación en la elaboración de este tipo de entornos de
trabajo.
Otro aspecto fundamental de nuestro caso, tiene que ver con la forma en que
están diseñados los espacios donde se ha puesto en marcha la dinámica
formativa que soportan las wikis. También entendiendo dichos espacios como
un lugar de aprendizaje colaborativo (Koschman, 1996), por tanto, enmarcado
en un estilo de trabajo que condiciona la formación, como un proceso que ha
de facilitar la interacción, la interdependencia positiva entre los estudiantes,
generando espacios de responsabilidad y corresponsabilidad en el aprendizaje,
desarrollando habilidades sociales y por último, estableciendo procesos
grupales de aprendizaje.
Apoyado en estas premisas el informe que aquí presentamos contiene en sus
diferentes partes:
149
Una relacionada con la descripción del caso de análisis, donde contamos los
aspectos que lo configuran y le dan relevancia para el proyecto EvalHIDA, así
como el diseño del proceso de indagación llevado a cabo.
También contiene un apartado donde analizamos los recursos utilizados para la
evaluación, explicando los apoyos tecnológicos que hemos utilizado.
En un cuarto apartado incluimos el análisis de datos extraído de la indagación
llevada a cabo, donde pretendemos mostrar la información sobre el ejercicio de
evaluación puesto en marcha en nuestra experiencia, así como los aspectos
relacionados con las competencias en dichas habilidades.
Y por último incluiremos un apartado de conclusiones, así como los anexos
relacionados con el estudio.
150
Si tenemos que empezar definiendo nuestro caso de estudio, lo haremos

diciendo que se ha centrado en el uso de una rúbrica como recurso de
evaluación entre compañeros, para evaluar una WIKIWEBQUEST elaborada
en la asignatura Nuevas Tecnología Aplicadas a la Educación.
Esta definición sencilla y concreta de todo un entramado de formación, así

como el ámbito de desarrollo del lugar donde se ha realizado el estudio, nos
ayuda a identificar una serie de aspectos que tenemos que conocer antes de
entender los resultados del mismo. En un primer lugar, tenemos que hablar de
la asignatura donde se ha centrado el estudio, lugar principal de trabajo de las
personas que lo hemos llevado a cabo. Dicha asignatura se encuentra, en los
planes de estudio, enmarcada en los tres cursos de la carrera de magisterio,
dependiendo de la especialidad, pero tiene un planteamiento similar en todas
las demás. En nuestra investigación hemos elegido Educación Especial, que se
encuentra en el segundo curso y se imparte a la vez que la asignatura
Didáctica General. En ella se realizan varios tipos de tareas para la formación,
siendo muy significativa la que tiene que ver con la construcción de
instrumentos y recursos para la formación de los futuros docentes. En este
caso nos referimos a uno de los temas donde el alumnado construye una Wiki,
pero con la filosofía y el significado que tiene una WEBQUEST (Area, 2002). Es
una combinación de elementos que suponen el uso de tecnología de manera
colaborativa y a la vez, la creación de un recurso / diseño educativo, usando
como referente las características de un Colegio Real de la ciudad de
Valladolid. Esto ha venido ocurriendo de igual manera en los últimos 5 cursos
académicos, cambiando sólo de soporte para realización de la misma (a través
un soporte web durante los tres primeros años, y por medio de un servicio wiki
en los dos últimos).
En palabras de M. Area (2002:1) Webquest significa indagación, investigación

a través de la web. Originariamente fue formulado a mediados de los años
noventa por Bernie Dodge (1995; 1998; 1999) (Universidad de San Diego) y
desarrollado por Tom March (1998; 2000). La WEBQUEST es básicamente un
juego de diseño educativo con un recurso que la soporta, pero además de la
planificación educativa, sirven para establecer un mecanismo de formación en
la creación de recursos educativos por parte de los propios maestros. Este
aspecto de formación nos plantea una necesaria formación en el análisis del
trabajo que hacen los demás, y por tanto, es fundamental realizar un proceso
151
de evaluación entre contrarios, a la vez que con esta estrategia, conseguimos

iniciar el proceso de compartir recursos que promueve la estrategia de
WEBQUEST.
Con la intención de seguir contextualizando la asignatura, tenemos que decir

que ha sido la base de la tesis doctoral de Dª Inés Ruíz Requies (2009) donde
se ha puesto el énfasis en la identificación de las competencias adquiridas en
el proceso de formación, a través de la innovación que estamos refiriendo.
Respecto al diseño de investigación y temporalización lo hemos configurado en

los siguientes pasos:
1º.- Un primer paso está relacionado con la elección del grupo donde realizar la
experiencia.
2º.- Un segundo paso se centró en la elaboración del instrumento que
recogiera los comentarios y valoraciones de los alumnos, apoyado en una
rúbrica.
3º.- Un tercer paso ha consistido en la elaboración de un soporte en forma de
cuestionario, basado en la rúbrica que hemos construido para la evaluación.
Dicho instrumento ha sido cargado en un servicio de encuestas on-line que
hemos elaborado y puesto en marcha desde 2002 en el Grupo de Investigación
Reconocida de la UVA GSIC-EMIC.
4º.- El cuarto paso consistió en la ejecución de la rúbrica apoyada en QUEST
(Gómez et alt. 2002-ver figura 3)
5º.- Y por último, el paso final ha sido la elaboración del análisis de resultados y
la construcción de este informe final.
El proceso de elaboración, ejecución y análisis ha tenido una temporalidad de 3

meses. En el siguiente esquema mostramos los elementos de la evaluación
reflejados en los pasos de la misma:
152
DISEÑO EDUCATIVO DE N.N.T.T.
Evaluación
profesor
Comentarios
profesor
E
V WEBQUEST
A
L
A
C
RÚBRICA
Evaluación QUEST
alumnado
(Figura. 1: Esquema del proceso de evaluación)
153
Dentro de este estudio hemos utilizado un recurso organizado alrededor de los

planteamientos de valoración de una Wiki, en cuanto al tipo de contribución y
motivación que se puede realizar con este instrumento. Para ello, hemos
construido una rúbrica que contiene los elementos de análisis correspondientes
a los siguientes aspectos1:
a.- Identificación de los usuarios.

b.- Valoración global de la WIKI-WEBQUEST
c.- Aspectos de calidad.
d.- Valoración didáctica del recurso.
Estos aspectos se han desarrollado en un formato de encuesta, para ser

usados a través de un recurso tecnológico vía Web, que asociado a un sistema
de confección de encuestas (ver fig 2.) nos proporciona un cuestionario que es
capaz de recoger los distintos aspectos de un número ilimitado de usuarios.
Dicho sistema nos ha permitido que la información de la rúbrica sea posible
tratarla, puesto que los resultados los transforma de manera automática en
diversos formatos: archivos rtf que son los que utiliza el programa Nud.ist Vivo
para análisis cualitativo; así como, tablas organizadas para las respuestas de
los usuarios, donde se pueden publicitar los resultados de las valoraciones de
los mismos (ver fig.4).
1
Para un reconocimiento más profundo del cuestionario ver Anexo.
154
(Figura. 2: Cuestionario utilizado, creado por el sistema de

creación de encuestas asociado a QUEST)
La herramienta que ya hemos mencionado que ha servido para el desarrollo de

este proceso es el Sistema de Generación de Encuestas QUEST (ver figura 3)
(Figura. 3: Cuestionario en el sistema QUEST)
(Figura. 4: Tabla resultante del cuestionario en el sistema

QUEST)
155
Todo el proceso de realización de la rúbrica, por medio de la encuesta

anteriormente mencionada, nos ha permitido llegar al siguiente análisis sobre:
a.- Los aspectos relacionados con el caso de estudio, el análisis de las

Wikis elaboradas por el alumnado.
Dentro de estos apartados, presentaremos las aportaciones hechas sobre las

valoraciones de los recursos Wiki, creados atendiendo a los apartados que la
rúbrica en formato de encuesta ha propuesto.
Identificación.
Así empezaremos por analizar la importancia que ha tenido la obligación de
identificarse ante los compañeros y compañeras para hacer una valoración del
trabajo realizado por éstos. Dicho aspecto ha supuesto una merma en la
objetividad de las valoraciones, que más adelante matizaremos, pero que
simplemente han venido a corroborar la dificultad que tiene el alumnado para
hacer una valoración sincera de sus propios compañeros (Brown y Glasner
2003), teniendo en cuenta la escasa práctica en este sentido que tienen.
También nos ha abierto la expectativa de la necesaria planificación de un
proceso más profundo en este sentido, teniendo en cuenta la puesta en
práctica del portafolio en los nuevos planes.
Valoración Global de la Wiki

Respecto a este elemento importante de las cuestiones, la valoración global
que ha realizado el alumnado respecto al trabajo de sus compañeros ha sido
alta. De hecho, la media en una escala de 5 ha sido de 4.08, con una
desviación de 1.00. Esto nos da ha entender que la valoración ha sido
escasamente objetiva, pero que se ha matizado respecto a los comentarios que
incluyeron en siguiente apartado de este cuestionario. Esto sólo ocurre en
cuanto a las matizaciones que se aportan en la valoración comentada de
manera global sobre la elaboración de las wikis. De estos comentarios hay
algunos que tienen un matiz más simple respecto a cómo valoran las tareas de
los compañeros, por ejemplo:
Document 'valoración global'

Esta wiki-webquest está bastante completa según nuestro criterio, aunque
siempre se podría ir ampliando información
156
Y hay sobre todo, un montón de valoraciones positivas donde casi todo el

mundo se ve obligado a matizar su apreciación, resaltando algún aspecto a
mejorar. Siendo en algunos casos sólo cuestiones de forma y color:
En general la wiki-webquest está bien elaborada, respetando las partes
que se proponían en la asignatura. Los ejercicios son adecuados para la
edad a la que está dirigida la unidad didáctica y los contenidos están
relacionados con el tema a la que la wiki está¡ dirigida. Sin embargo, si
hay algún elemento negativo que debería destacar sería la presentación
ya que algunos colores no se ven con claridad y los títulos están
separados, dejando alguna letra suelta. Por lo demás me parece una wiki
muy completa y adecuada.
Y en otros, profundizan en los aspectos y en la adecuación de las tareas que

proponen:
Realmente me parece que está muy bien, tiene mucho colorido, muchas
animaciones y lo único que he echado un poco en falta es que se dirijan
directamente a los niños de 5 años. Que hablen más de ellos, porque
parece que esta wiki no esta destinada para ello (hablan en 3ª persona)
Calidad de los apartados de la Wiki

En cuanto a la valoración que hacen de los distintos aspectos de la Wiki,
podemos decir que respecto a la calificación que extraemos de los datos
numéricos, las Wikis están muy valoradas. Así, los aspectos relacionados con:
Partes de la Media Desviación

Wiki
Introducción 4.27 0.52
Tarea 4.27 0.90
Proceso 4.42 0.69
Recursos 4.00 0.88
Evaluación 4.08 0.87
Estos datos nos muestran la alta valoración de los apartados, así como la
escasa desviación de las mismas, pero si analizamos las valoraciones que este
alumnado ha realizado respecto a los comentarios que deslizan en los
apartados respectivos al efecto, nos podemos encontrar con situaciones en las
que dentro de las valoraciones globales se observa un alto nivel de aceptación,
157
pero en dichos comentarios observamos matices importantes y a veces

contradictorios. Un ejemplo claro lo podemos observar en la siguiente
secuencia:
Document 'calidad de los componentes'

Valoración Comentario valorativo respecto a los componentes de la Wiki-Webquest
numérica
5
4 Se trata de una wiki- webquest con actividades muy diversas y adaptadas al
alumnado de 2Âº Ciclo de Primaria. La introducción de los gifs y los colores,
ayudan a hacer la página más amena y fácil de comprender. Únicamente
considero que hay demasiados objetivos para las horas de trabajo que se han
propuesto en clase (6 horas)
4 Los pasos a seguir están bien estructurados permitiendo de acceder de forma
fácil
4 Únicamente incluiría la temporalización para saber cuanto tiempo va a
llevarnos cada actividad.
5 Me ha gustado mucho el apartado de autoevaluación de la wiki para los
propios maestros.
En este dato/respuesta podemos observar que el primer número sobre la

valoración de la introducción es 5 y por tanto, no hay comentarios que hacer,
pero sin embargo, cuando seguimos descendiendo en los aspectos de
valoración, nunca bajan de 4 y si se incluyen comentarios sobre cuestiones
importantes, como es el caso del número de objetivos que en este apartado se
puede como una crítica importante a la construcción en ese apartado de la
página.
El único apartado que sufre algún tipo de críticas, teniendo en cuenta ese matiz
de la valoración numérica alta, es el que tiene que ver con la tarea. Apartado
que contiene una serie de aspectos relacionados con el diseño educativo y en
el que se encuentran más capacitados por estar participando en la asignatura
Didáctica General, en la que están realizando un trabajo de diseño muy
exhaustivo, por tanto, sus comentarios son más críticos respecto a la parte del
diseño educativo.
Document 'calidad de los componentesa'.
Creo q se han extendido demasiado con los objetivos, para mi gusto mÃ¡s
concreto y menos objetivos.
158
Valoración didáctica del Recurso.

Como último apartado dentro de los aspectos relacionados con las
aportaciones del caso en cuanto a la tarea que proponemos en el uso de las
wikis, vamos a sintetizar ideas sobre la valoración del recurso de manera
didáctica y en cuanto a su aportación como diseño curricular. En este apartado
y cuando se analiza la utilidad de los recursos planificados de manera
didáctica, al igual que pasó en el apartado anterior con la tarea, son mucho
más críticos. De hecho la media es de 3.73 encontrándonos con una
desviación de 1.40. Esto nos muestra una actitud distinta a la hora de enjuiciar
el trabajo de sus propios compañeros.
Posteriormente, en la valoración numérica que hicieron de los aspectos

relacionado con los aspectos didácticos de la Wiki, las valoraciones sufren un
nuevo ajuste hacia arriba sin encontrar más variaciones que en los apartados
anteriores. Entendemos que a la hora de analizar paso a paso los distintos
aspectos, no han querido ejercer la crítica respecto a los aspectos analizados.
Cuestiones a valorar Media Desviación
¿El tema seleccionado se corresponde con los contenidos

4.35 0.55
curriculares que marca el Sistema Educativo?
¿Los objetivos específicos se adaptan al nivel y ciclo
4.15 0.60
seleccionado?
¿Los contenidos seleccionados son los adecuados para
4.31 0.54
alcanzar los objetivos definidos y desarrollar competencias?
¿Las tareas presentadas trabajan los contenidos
4.54 0.50
curriculares seleccionados?
¿Las tareas diseñadas son creativas, intuitivas y fáciles de
4.27 0.65
utilizar por el alumnado?
¿Los recursos seleccionados de Internet tienen un valor
4.35 0.68
didáctico y educativo?
¿Los criterios de evaluación definidos se corresponden con
4.12 0.85
los objetivos específicos?
¿Las tareas de evaluación nos permiten conocer y valorar
4.08 1.03
los contenidos adquiridos?
Analizando más concretamente los comentarios relativos a los distintos

apartados, podemos decir que las valoraciones son muy altas. Pero si
159
entramos en los matices de las mismas, nos encontramos con múltiples

apreciaciones que han servido para aportar valoraciones concretas y de un
nivel de profundidad alto. Así, nos encontramos con algunos ejemplos
representativas de la mayoría de los comentarios respecto a:
La relación de lo que trabajan la Wikis y la correspondencia de contenidos,

donde hay respuestas que han facilitado la construcción de argumentos que
ayudan a la construcción de principios procedimentales y de aplicación de
conocimientos, que están entre los que aportan las asignaturas teóricas.
Document 'diseño'.
4 Es en este momento del período educativo, el primer ciclo de
educación infantil, cuando se aprenden las letras, empezando por las
vocales. Considero que es uno de los pilares que van a permitir al
alumnado aprender otras muchas cosas a lo largo de su vida, por ello me
parece un tema importante de enseñar y motivar. Creo que es necesario
que los niños aprendan a divertirse aprendiendo.
Respecto a la relación de los objetivos y el nivel de adaptación al ciclo, hemos

conseguido que se elaboren argumentos más críticos y profesionales, además
de los consabidos argumentos de apoyo al trabajo de las personas que
elaboran las Wikis. El siguiente argumento es un ejemplo de esos argumentos
críticos.
Document 'diseño'.
3 Yo creo que son demasiados y muy exigentes para niños de 5 años,
pero realmente desconozco si son los que se piden en educación infantil.
Respecto a la relación entre contenidos y objetivos, así como con las

competencias, han construido argumentos que apoyan las decisiones que se
toman, pero sustentadas en explicaciones profesionalizadoras. Este argumento
es un claro ejemplo de lo que comentamos:
Document 'diseño'.
4 Son muy repetidos los mismos contenidos, pero creo que eso puede
hacer que se afiancen los conceptos. De hecho, ese es uno de los
objetivos del recurso, ya que, como se indica el principio, la intención es
ser un recurso de refuerzo.
En cuanto a la relación entre las tareas presentadas y los contenidos, no

podemos significar algún dato que no esté en el marco de la alta valoración de
las tareas realizadas. La relación entre valor didáctico y educativo, ha sido
160
valorada de manera generalizada como muy positiva, sólo en algunos casos

existen datos donde las apreciaciones se centran más en aspectos a mejorar.
Document 'diseño'.
3 Son páginas con muchas actividades bien buscadas y relacionadas
con el tema que se quiere tratar, quizás demasiadas para niños pequeños,
ya que en muchos casos no van a saber que elegir por el gran contenido
de actividades que se le plantean. Algunas de las páginas seleccionadas
de Internet no son muy llamativas físicamente para niños, pero otras si
que están muy bien. Quizás un poco difícil trabajar con niños de primer
ciclo de primaria con un ordenador para que utilicen programas de
Internet.
Y para terminar este apartado, podemos decir que respecto a la evaluación,

todos los argumentos han estado centrados en un nivel alto respecto a la
evaluación.
Los aspectos relacionados con el valor del recurso (rúbrica) para la

valoración del trabajo del alumnado.
Los niveles de profundización para el análisis del valor de las tareas realizadas
son muy altos, puesto que ha venido a aportarnos un número muy amplio de
aspectos de análisis y valoración de una tarea, que antes sólo se analizaban
por medio de un solo comentario global. De hecho la extensión de las
aportaciones de cada una de las personas, un total de 26 que ha valorado los
recursos, pasa a ser de 5 páginas de información por cada persona. Esto ha
supuesto un número muy alto de documentación que hemos analizado con
Nud.Ist Vivo, como hemos mencionado anteriormente.
También dentro de ese número de personas que han escrito y analizado en
profundidad dichos recursos, el uso de la rúbrica ha facilitado la profundización
en aspectos y el establecimiento de relaciones con otras materias que les
aportan formación, pero que no existía ningún tipo de vinculación. Con este
medio hemos apoyado conexiones con asignaturas como Didáctica General,
Organización Escolar, etc.
Y por último, respecto al valor que ha tenido en el análisis de competencias

formativas, podemos decir que fué muy eficiente. Si cogemos el listado de
competencias formativas que proponen los nuevos planes de estudio para la
Reforma Europea, sobre las que hemos basado nuestro diseño educativo en la
asignatura objeto de este estudio y desde que surgen en el 2007, podemos
identificar algunas de ellas la formación que hemos puesto en marcha con esta
161
tarea de las Wikis. Dichas competencias están claramente reflejadas en la

valoración que han hecho nuestros alumnos a través de la rúbrica y que han
sido objeto de análisis en este caso.
Han quedado identificadas competencias como:

Analizar y comprender los procesos educativos en el aula y fuera de ella
relativos al periodo 6-12.
Conocer los procesos de interacción y comunicación en el aula.
Promover el trabajo cooperativo y el trabajo y esfuerzo individuales.
Diseñar, planificar y evaluar la actividad docente y el aprendizaje en el
aula.
Participar en la definición del proyecto educativo y en la actividad
general del centro atendiendo a criterios de gestión de calidad.
162

PROYECTO EVAL-HIDA
Como conclusiones extraídas de este estudio, podemos concretar la

importancia que ha tenido dicha experiencia en la definición de un
procedimiento para realizar la evaluación compartida entre los estudiantes de
las tareas que ellos mismos generan para su aprendizaje. Dichos aprendizajes
se basan en competencias claras, en este caso dentro del ámbito del diseño
educativo, así como en la generación de recursos propios por parte del
profesorado en las escuelas. Es fundamental que el currículum esté definido y
diseñado por el maestro en su aula, puesto que el valor contextual que tiene
dicho diseño es fundamental para adaptar los procesos de aprendizaje del
alumnado a las circunstancias en las que vive. Así pues, la creación de
recursos propios y la integración de éstos en el desarrollo curricular son
aspectos fundamentales, que el alumnado tiene que dominar, profundizando en
ejercicios como este, donde tiene que analizar de manera intensa cada uno de
los pasos del diseño y de la elaboración de materiales. Además, esta
generación de recursos propios tiene que superar el estancamiento tecnológico
que sufre el mundo de la escuela, muy rica en elaboración de recursos
manuales y analógicos, pero no tan desarrollados en el ámbito tecnológico
digital. Aunque en los últimos años, la creación de WEBQUEST ha sido una de
las diversas experiencias relacionadas con la integración de las TICs como
recurso de apoyo a la docencia. Si cabe ésta tiene una virtualidad novedosa
que tiene que ver con el paso de la tecnología WEB básica, a la combinación
de un procedimiento tecnológico y su relación con una nueva tecnología de la
WEB 2.0
Sin embargo, esto no ha supuesto una mejora de la evaluación por parte del
alumnado. Tal vez por la falta de costumbre, la poca tradición en este sentido,
así como la actitud gregaria que imposibilita a veces que el alumnado sea
crítico con él mismo frente al profesor. Pero creemos que esto no es más que
un problema de entrenamiento, de desarrollo de tendencias nuevas, donde el
alumnado aprenda a conocer los beneficios de la evaluación entre iguales,
como un elemento no de sanción ante el profesor y si una mejora de su
conciencia crítica, así como de los procesos de evaluación.
Respecto a los instrumentos utilizados en la evaluación, tenemos que plantear

la validez de las rúbricas como un elemento fácil de usar y que ayuda en los
aspectos de orden cualitativo en relación a los procesos de evaluación.
163
Posibilita que los evaluadores, en este caso los propios alumnos, puedan
profundizar en los diversos aspectos que tiene un trabajo determinado. Esto
ayuda a que las valoraciones sean especialmente formativas, puesto que
aportan argumentos textuales y numéricos al proceso de valoración, abriendo
camino a los nuevos pasos en la formación, así como a la expresión abierta y
argumentada con ideas de los conceptos valorados.
Y por último, tenemos que concluir la importancia que tiene el uso de recursos
tecnológicos sencillos como instrumentos de evaluación, pero a la vez de
potencia probada en la elaboración, recogida y tratamiento de la información. El
uso de recursos tecnológicos como QUEST nos abre la puerta a una
elaboración sencilla y fácil de los instrumentos de recogida de información en
general y de especial importancia a la hora del desarrollo de los usos de la
evaluación. Dicho recursos nos facilita que un profesor pueda de manera
rápida preparar un espacio conceptual, la rúbrica, así como tecnológico, el
cuestionario en un soporte digital, y hacer que de manera igualmente ágil, el
alumnado pueda cumplimentar dicho proceso. Igualmente abre muchas
posibilidades cuando el tipo de evaluación cae de la mano del profesor,
facilitándole aún más el desarrollo de este tipo de procesos.
Pero también está el aspecto relacionado con el manejo de la información, así

como su estudio por parte de profesorado y alumnado. Éste último, cuando
realiza una tarea como la propuesta en el estudio, necesita la visualización
rápida de la opinión de sus compañeros, por tanto, la creación de tablas o
repositorios visibles de este tipo de argumentaciones es FUNDAMENTAL. No
tiene ningún sentido el uso de instrumentos que luego no son visibles o que
tardan en ser tratados.
Respecto al profesorado, la situación no es menos importante, puesto que la
recogida de información para evaluar o para hacer visible la información que
recogen estos instrumentos si cabe más trascendente. El uso de recursos para
poder ordenar, clasificar y diferenciar datos y argumentos con recursos como
Nud.ist Vivo u otros programas similares facilita la acción en estos procesos.
164
6.- REFERENCIAS BIBLIOGRÁFICAS
Area Moreira,Manuel. WEBQUEST.Una estrategia de aprendizaje por

descubrimiento basada en el uso de Internet.
http://webpages.ull.es/users/manarea/webquest/webquest.pdf
Brown, S., Glasner, A. (coord.) (2003): Evaluar en la universidad :
problemas y nuevos enfoques. Narcea.
Dodge, B. (1995). “WebQuests: a technique for Internet-based
learning”. Distance Educator, 1, 2: 10-13.
Dodge, B. (1998). “WebQuests: a strategy for scaffolding higher level
learning”. Comunicación presentada en National Educational
Computing Conference, San Diego, 22-24 de junio de 1998.
http://webquest.sdsu.edu/necc98.htm
Dodge, B. (2002). “WebQuest design process”.
http://webquest.sdsu.edu/designsteps/index.html
Gómez-Sánchez, E., Rubia-Avi, B., Dimitriadis, Y., Martínez-Monés,
A. (2002): Quest, a telematic tool for automatic management of
student questionnaires in educational research Proceedings of the
Second European Conference on Technology, Information, Education
and Citizenship, TIEC, Barcelona, Spain, June.
Koschman, T. (1996): Theory and Practice of an Emerging Paradigm..
Mahwah, N.J. Lawrence Erlbaum
March, T. (1998). “WebQuests for learning. Why WebQuest? An
introduction”. http://www.ozline.com/webquests/intro.html
March, T. (2000). “WebQuests 101”. Multimedia Schools, 7, 5: 55-58.
http://www.infotoday.com/MMSchools/oct00/march.htm
165
7.- ANEXO I
166
1. Título: La evaluación entre iguales como elemento potenciador de la

formación a través del uso de rúbricas en entornos wiki.
2. Autores: Rubia Avi, Bartolomé (UVA), Ruíz Requies, Inés (UVA)
3. Área: Didáctica y Organización Escolar
4. Materia: Nuevas Tecnologías aplicadas a la Educación; Educación;
5. Nivel:
5.1. Grado: X 5.2. Máster: 5.3. Doctorado: .
6.1. Grado: Recabar e interpretar datos
6.2. Grado: Aplicación de conocimientos
7. Competencias específicas:
Analizar y comprender los procesos educativos en el aula y fuera de ella
relativos al periodo 6-12.
Diseñar, planificar y evaluar la actividad docente y el aprendizaje en el aula.
Participar en la definición del proyecto educativo y en la actividad general del
centro atendiendo a criterios de gestión de calidad.
8. Objetivo del procedimiento: Evaluar la capacidad de los estudiantes
para realizar evaluación entre iguales basadas en la construcción de recursos
educativos y diseños curriculares, con apoyo tecnológico.
1. Rúbrica basada en los criterios para realizar un proyecto de una WEBQUEST
a través de una wiki.
167
Competencia Básica: Recabar e interpretar datos, aplicación de conocimientos

Competencias Específicas:
Analizar y comprender los procesos educativos en el aula y fuera de ella relativos al periodo 6-12.
Diseñar, planificar y evaluar la actividad docente y el aprendizaje en el aula.
Participar en la definición del proyecto educativo y en la actividad general del centro atendiendo a criterios de gestión de calidad.
1.Diseño de una propuesta curricular a a) Ficha de diseño de una WEBQUEST Profesor

través de la formula WEBQUEST
1.1. Búsqueda y discusión de criterios y
guías para la elaboración de la propuesta
curricular.
1.2. Creación colaborativa en grupos de
cuatro personas de una ficha donde se
recogen los procesos de diseño que se
van a seguir.
168
2. Creación de un wiki a la luz del diseño Wiki creada y en uso en todos sus Profesor Rúbrica para evaluar entre iguales la
educativo en forma de WEBQUEST apartados. Evaluación entre iguales wiki de cada grupo.
2.1. Montaje de la wiki en
http://www.wikispaces.com Comentarios sobre las demás wikis
2.2. Debate y análisis sobre las tareas
realizadas por parte de todos los grupos.
169
1. Rúbrica basada en los criterios para realizar un proyecto de una WEBQUEST

a través de una wiki.
CUESTIONARIO DE EVALUACIÓN WIKIWEBQUEST
Este cuestionario es para evaluar cómo habéis realizado la wikiwebquest y qué

opináis de vuestro trabajo y del trabajo de vuestros compañeros. Por favor contesta
sinceramente y sin olvidarte ninguna pregunta.
A. IDENTIFICACIÓN
A.1 Especialidad
A.2 Escribe tú nombre y el nombre de los compañeros y compañeras con los que
has hecho la wiki-webquest
A.3 Escribe el nombre de la wiki que vas a evaluar
170
B. VALORACIÓN GLOBAL DE LA WIKI-WEBQUEST
En esta sección lo que se pretende es valorar la wiki-webquest en general

(Presencia, adaptada al ciclo y nivel que se indica, realista....)
B.1 Valora del 1 a 5 (1 Muy deficiente 5 Excelente) la completitud de la wiki-

webquest en cuanto a que incluye todos los componentes más representativos
(Introducción motivadora, Tareas adaptadas y reales, Proceso bien explicado,
Recursos útiles, Evaluación, etc.)
B.2 Comentarios sobre tu valoración respecto a la completitud (cómo podría mejorar

la wiki-webquest)
C. CALIDAD
Valoración de la calidad de la Wiki-webquest en cuanto al rigor-precisión de la

información mostrada, tareas realizables, variedad de actividades, creatividad,
descripción correcta de los pasos que el estudiante debe seguir, lista de recursos
web bien especificados y explicados, evaluación y criterios de evaluación bien
definidos)
C.1 Valora cada uno de los componentes de la wiki-webquest de (1 a 5) y comenta

cómo podrían ser mejorados.
171
Comentarios sobre como mejorar la calidad del

Valora la calidad
componente
Introducción
Tareas
Proceso
Recursos
172
Evaluación
D. VALORACIÓN DIDÁCTICA DEL RECURSO
En esta sección te pedimos que valores el diseño curricular y didáctico de la wiki-

webquest
D.1 Valoración del diseño curricular de (1 a 5) en cuanto a que la wiki-webquest

presenta unos objetivos específicos, unos contenidos curriculares, unas áreas de
conocimiento, unos criterios de evaluación, etc. bien definidos y acordes con el Real
Decreto de Currículo de Educación Primaria o Infantil.
D.2 A continuación valora de 1 a 5 los siguientes aspectos justificando tu respuesta:

Valora la calidad Justificación de la valoración
¿El tema
seleccionado se
corresponde
con los
contenidos
curriculares que
marca el
Sistema
Educativo?
173
¿Los objetivos
específicos se
adaptan al nivel
y ciclo
seleccionado?
¿Los
contenidos
seleccionados
son los
adecuados para
alcanzar los
objetivos
definidos y
desarrollar
competencias?
174
¿Las tareas
presentadas
trabajan los
contenidos
curriculares
seleccionados?
¿Las tareas
diseñadas son
creativas,
intuitivas y
fáciles de
utilizar por el
alumnado?
175
¿Los recursos
seleccionados
de Internet
tienen un valor
didáctico y
educativo?
¿Los criterios
de evaluación
definidos se
corresponden
con los
objetivos
específicos?
176
¿Las tareas de
evaluación nos
permiten
conocer y
valorar los
contenidos
adquirdos?
177
LA EVALUACIÓN DE
COMPETENCIAS A TRAVÉS
DE LOS FOROS
ASÍNCRONOS: EL CASO DEL
MÁSTER EN EDUCACIÓN Y
TIC DE LA UNIVERSITAT
OBERTA DE CATALUNYA
Lourdes Guàrdia Ortiz (Coord.)

Nati Cabrera Lanzo
Marcelo Maina Patrás
Albert Sangrà Morer
La evaluación de competencias a través de los foros asíncronos: el caso del Máster en
Educación y TIC de la Universitat Oberta de Catalunya
1.- INTRODUCCIÓN
El estudio de caso que presentamos se sitúa en el sí del Máster universitario en

Educación y TIC (e-learning) que se ofrece desde los Estudios de Psicología y
Ciencias de la Educación y desde el E-Learncenter de la Universitat Oberta de
Catalunya.
Dicho programa cuenta, actualmente, con más de 400 estudiantes

matriculados y más de 150 graduados desde que pasó a ser oficial en el 2006.
Es un programa diseñado en su totalidad en base a competencias y ofrece dos
itinerarios formativos (profesional e investigador) con tres especialidades
distintas en el ámbito del e-learning (dirección, diseño tecnopedagógico, y
procesos docentes).
Es un programa de 60 créditos ECTS, 30 de los cuáles tienen un enfoque

completamente práctico y aplicado. Éste es el caso de la asignatura de 3 ECTS
en qué hemos contextualizado la investigación Dirección de la formación con el
uso de las TICs. Ésta tiene como finalidad fundamental analizar y reflexionar
sobre la gestión organizacional de los proyectos e iniciativas de e-learning.
Es una asignatura pensada para aquellos profesionales cuyo perfil es o llegará

a ser el de responsables que ocupan niveles de dirección, gestión y
administración de instituciones y proyectos de e-learning.
La asignatura se compone de tres casos prácticos. Para acercar al estudiante a

la variedad de situaciones con las que se puede encontrar, dichos casos
provienen de realidades de educación formal, no formal y empresarial.
Asimismo, la metodología de trabajo es práctica y participativa para conseguir
una capacitación con un alto grado de transferibilidad a cualquier escenario.
El estudio de caso que presentamos mediante este pequeño informe, en primer

lugar, se inicia con una breve introducción que permite situar el estudio en el
marco general del programa y de la asignatura en que éste se desarrolla. En
segundo lugar, se presenta el contexto concreto de actuación describiendo la
actividad de aprendizaje y el sistema de evaluación de los aprendizajes
utilizado en relación al proyecto EvalHIDA. En tercer lugar, se describen los
instrumentos utilizados para la recogida de datos, resultantes de la discusión
del equipo docente y de investigación, en relación a los instrumentos de
evaluación diseñados, y de los resultados de su aplicación en la evaluación de
179
los estudiantes. En cuarto lugar, se presenta cómo se ha realizado el análisis

de los datos, y finalmente se describen las conclusiones más relevantes y de
utilidad para el proyecto EvalHIDA. Tras los capítulos descritos se anexan los
documentos más relevantes utilizados durante todo el proceso (procedimiento,
rúbrica, resultados y modelo de informe).
180
2.1. Objetivo y planteamiento
El objetivo de la asignatura en la que se ha desarrollado el estudio de caso es

el de que los estudiantes analicen y reflexionen sobre la gestión organizacional
de los proyectos e iniciativas de e-learning. La metodología utilizada es diversa,
pero sea cual sea el tipo de actividades que se plantean, algunas de las
dinámicas propuestas siempre giran entorno a la discusión y puesta en común
de los participantes. Por lo que las preguntas e inquietudes que nos
planteamos son las siguientes:
Que el docente virtual (o consultor) disponga de pautas y criterios explícitos,

claramente estructurados, ¿Puede facilitar el proceso de evaluación y permitir
que ésta sea más objetivable y de fácil comunicación?
¿Puede mejorar la calidad e inmediatez del feedback en pro del aprendizaje de
los estudiantes cuando los docentes aplican pautas explícitas como las rúbricas
de evaluación?
¿Pueden los instrumentos de evaluación de esta tipología reutilizarse (total o
parcialmente) en otras actividades de evaluación?
El estudio de caso analizado se centra en comprobar si el uso de instrumentos

de evaluación de competencias puede aportar respuestas a las preguntas y
preocupaciones planteadas.
Uno de los instrumentos de evaluación que se ha aplicado en la evaluación de

la competencia escogida ha sido la rúbrica y concretamente se aplica en la
valoración de los resultados obtenidos por los estudiantes tras su participación
en un foro virtual (herramienta dialógica asíncrona –HIDA-).
2.2. Contexto del estudio de caso
La asignatura donde se desarrolla el estudio de caso se denomina Dirección de

la formación con el uso de las TIC de 3 ECTS y se ubica en el Módulo II del
programa del Máster universitario en Educación y TIC (e-learning). Para
contextualizar mejor la asignatura en el marco del programa, nos parece
interesante mencionar que en este módulo también encontramos las siguientes
asignaturas, todas ellas del ámbito de especialización de dirección del e-
learning:
181
Políticas de calidad en e-learning, Gestión de la producción de programas,

marketing y captación, Gestión docente, tecnológica, financiera y
presupuestaria.
El Módulo II pretende capacitar a los estudiantes en la dirección de propuestas

formativas y en aquellos aspectos relacionados con la organización, toma de
decisiones, dirección, gestión y administración de proyectos e instituciones que
utilizan las TIC para la educación y la formación de manera intensiva.
Específicamente, el estudiante podrá identificar, de forma argumentada, los
principales factores que intervienen en la toma de decisiones en relación al
desarrollo de proyectos educativos y/o formativos de e-learning; conocerá,
identificará y será capaz de aplicar las herramientas tecnológicas que pueden
utilizarse para el diseño de entornos y materiales de aprendizaje; aprenderá a
tener en cuenta los factores del entorno de la organización, de la gestión del
cambio organizativo en la dirección de propuestas formativas, así como
también las políticas de calidad, los procesos de marketing y comunicación y la
gestión de equipos interdisciplinares.
Para visualizar mejor la ubicación del módulo donde se sitúa la asignatura y en

concreto el caso que estudiamos en relación con el resto del programa de
Máster es la siguiente:
Módulo I Módulo II Módulo III Módulo IV

Fundamentos A. Dirección y 1. Iniciación a la 1. Seminario de
básicos de la gestión de proyectos investigación en la iniciación a la
aplicación de las e instituciones con la aplicación de las investigación en la
TIC en la aplicación de las TIC TIC a la educación aplicación de las TIC a
educación y la (e-learning) y a la formación (e- la educación y a la
formación (e- learning) formación (e-learning)
learning) B. Diseño de
programas, entornos y 2. Aplicación de las 2. Proyecto de
materiales con apoyo TIC en el ámbito aplicación profesional
de las TIC (e-learning) profesional (e- (e-learning)
learning)
C. Procesos docentes
con la aplicación de
las TIC (e-learning)
182
Obligatorios Opcionales Opcionales Opcionales

(Una vez optado por
A, B o C, se deben
cursar 12 ECTS del
ámbito escogido y 6
ECTS de los otros dos
ámbitos)
20 ECTS 18 ECTS 10 ECTS 12 ECTS
Y a continuación se describe con detalle la actividad concreta donde se ha

llevado a cabo la actividad de aprendizaje utilizando la herramienta de
comunicación asincrónica (foro) para trabajar parte de la competencia
Gestión y administración de los procesos operativos vinculados al e-
learning.
Actividad 3.
Nombre de la actividad
Situación de aplicación en el ámbito de la formación en la empresa. El caso Virtaula.
Enunciado
Elaboración grupal de un “modelo organizativo” para la implantación del e-learning en una empresa
privada, todo ello a partir de la información facilitada en el caso, y a través de la discusión y el
consenso.
Competencia
Gestión y administración de los procesos operativos vinculados al e-learning.
Descripción
Desarrollo grupal de un modelo organizativo que permita concretar la operativa del e-learning en
una empresa privada del sector financiero (Caso: Dirección de un Departamento de e-learning).
Para poder realizar la actividad, contamos con la información del caso, los documentos de referencia
y la información generada en las actividades anteriores. El modelo organizativo resultante debería
representar y englobar las grandes líneas de actuación de un “departamento de e-learning”, así
como la planificación de los diferentes procesos de gestión y administración necesarios para
cubrir cada una de las líneas planteadas.
La actividad se desarrollará en gran grupo, a través de una discusión guiada en el espacio de

debate del aula. Es imprescindible la lectura comprensiva del caso Virtaula, además de la consulta a
los documentos de referencia de la asignatura que sea necesario, así como al material generado en
183
las dos actividades anteriores.
Objetivos Metodología
- A partir de la comprensión de la estrategia En el espacio de debate, se procederá a la

de una entidad privada determinada, ser elaboración conjunta del “modelo” bajo la
capaz de formular la misión de su supervisión del consultor.
departamento de e-learning en coherencia
con dicha estrategia. A partir de la presentación de la actividad por
parte del consultor, y habiendo leído y
- Proponer un modelo organizativo para el reflexionado sobre el caso Virtaula, a través de la
departamento de e-learning que dé documentación del mismo, se generará una
respuesta a las necesidades planteadas discusión guiada en el espacio de debate del
según el plan estratégico de la entidad, aula a partir de las cuestiones inicialmente
mostrando conocimiento de las diferentes planteadas.
opciones y consecuencias en la elección
de las estructuras organizativas. La dinámica del debate nos ha de llevar a
proponer una misión para el departamento de e-
- Describir las funciones del departamento, learning de una entidad bancaria, así como un
los procesos que hay que poner en marcha modelo organizativo que operativice las
y los roles/perfiles profesionales que harán necesidades que hay que cubrir y los objetivos
falta para su implementación. estratégicos que hay que alcanzar.
El resultado de la actividad será un documento

elaborado por el grupo que recogerá el modelo
organizativo propuesto.
Durante el curso 2008/09 (segundo semestre) la asignatura Dirección de la

formación con el uso de las TIC contó con 26 estudiantes en un aula virtual, un
profesor coordinador, y una profesora consultora.
En el instrumento de evaluación diseñado se midió la competencia desarrollada

por los estudiantes en diferentes dimensiones. Si bien éstas no recogen todos
los aspectos a tener en cuenta en la valoración global de la consecución de la
competencia, nos pareció relevante contemplar de forma destacada las
siguientes:
184
Aspectos participativos (implicación y calidad de la expresión escrita)

Aspectos de contenido y de aportación en relación a la asignatura
(cantidad, significatividad, creatividad, precisión y comprensión del tema)
Aspectos actitudinales (netiquettes, actitud positiva e integradora).
2.3. Calendario y secuencia de investigación

1. Para el diseño de la investigación nos hemos apoyado en la metodología

ADDIE (Análisis, Diseño, Desarrollo, Implementación y Evaluación) muy
utilizada para el desarrollo de proyectos y como modelo de diseño
instruccional.
2. Se identificó una competencia a adquirir en la asignatura que constituye

el estudio de caso. Esta labor fue realizada previamente al taller del
proyecto EvalHIDA que tuvo lugar en Cádiz en febrero de 2009, tal y
como solicitaron los coordinadores del proyecto. El documento base que
se tomó para dicha identificación fue el plan docente de la asignatura
que se utiliza como planificación del aprendizaje de los estudiantes.
3. Se diseñaron los procedimientos e instrumentos de evaluación

adecuados. Algunos procedimientos e instrumentos ya estaban
diseñados previamente, pero el instrumento básico se diseñó tras el
taller del proyecto EvalHIDA (la rúbrica de evaluación del foro por parte
del profesor).
4. Grupo de discusión (profesorado implicado) sobre los puntos fuertes,

débiles, amenazas y oportunidades (DAFO) de la aplicación de dicho
instrumento. Revisión y validación del instrumento.

segundo cuatrimestre de 2009 de la asignatura implicada, y básicamente
al final de éste.
6. Nuevamente grupo de discusión (profesorado implicado) para confirmar

los aspectos detectados en el DAFO.
185
8. Propuesta de mejoras a implementar en el instrumento de evaluación.

basados en rúbricas y escalas de valoración, pero sólo se usó una rúbrica.
El procedimiento de evaluación realizado se denomina Evaluación de la
capacidad de gestión y administración mediante rúbricas y se detalla como
anexo “Procedimientos” a este informe.
186
A partir del diseño de los diferentes instrumentos de evaluación, se decidió

utilizar sólo la rúbrica del profesor, ya que por el calendario de la asignatura y la
actividad del foro a evaluar en relación a la finalización del proyecto EvalHIDA,
no había tiempo material para que los estudiantes la utilizaran como sistema
de autoevaluación y nos dieran su feedback a tiempo para incluirlo en este
informe.
Antes del diseño de la rúbrica, se llevó a cabo un grupo de discusión formado

por los docentes relacionados con la asignatura y con alguna responsabilidad
en el programa de máster (Director académico del programa, coordinador de
los sistemas de evaluación de los aprendizajes, profesor responsable de la
asignatura y el consultor o docente virtual). De este grupo de discusión surgió
como resultado un DAFO para analizar las debilidades y amenazas, las
fortalezas y oportunidades, tanto como factores internos como externos. Lo
exponemos en la página siguiente.
Éste nos sirvió para reflexionar en profundidad sobre las ventajas e

inconvenientes de la aplicación del instrumento y nos ayudó a construirlo y a
predecir algunos de los aspectos que surgieron durante y tras el proceso de
diseño y aplicación.
En lo que se refiere a las categorías de evaluación que se contemplan

mediante la aplicación del instrumento rúbrica (documento que adjuntamos en
el apartado Anexos), tenemos desde aspectos participativos (implicación y
calidad de la expresión escrita), a aspectos de contenido y de aportación en
relación a la asignatura (cantidad, significatividad, creatividad, precisión y
comprensión del tema), a aspectos actitudinales (netiquettes, positiva e
integradora). Si bien, en el instrumento rúbrica, no se recogen todos los
aspectos que el consultor tuvo en cuenta para la redacción final del informe de
evaluación que entregó a cada uno de los alumnos, y del cual adjuntamos un
ejemplo en el apartado Anexos.
Una vez aplicado el instrumento de evaluación, el grupo de discusión ha

procedido a reflexionar nuevamente sobre los aspectos tratados en el DAFO
para comprobar si los resultados obtenidos confirman los elementos descritos.
Así como a evaluar todo el proceso seguido en base al modelo ADDIE, descrito
187
en el apartado 2.3. Con ello, el proceso de análisis y la formulación de

conclusiones ha sido más ágil.
188
DAFO 1 (previo a la elaboración del instrumento rúbrica)
FACTORES INTERNOS FACTORES EXTERNOS
DEBILIDADES AMENAZAS
Criterios a veces demasiado genéricos. Incremento de la carga docente, al

menos en su fase inicial.
Complejidad de aplicación del
instrumento Falta de cultura evaluadora.
Equilibrio y coherencia entre la aplicación Falta de formación y/o experiencia en

de estos instrumentos y otros que se evaluaciones de este tipo, tanto para
utilizan en la evaluación de otras docentes como para estudiantes.
actividades de la asignatura.
Exceso de información (evaluación
Es necesario explicitar el cómo y el para concreta y clara, no excesiva)
qué de la evaluación desde el primer día
y ello puede limitar.
FORTALEZAS OPORTUNIDADES
Es una guía útil para el profesor. Dar coherencia a los criterios de

evaluación que se aplican en todo el
Los criterios de evaluación son explícitos programa.
y semejantes para todos los alumnos.
Versatilidad y adaptación de instrumentos
Se consigue una mayor objetividad. ya diseñados.
Feedback inmediato y personalizado. Encontrar mecanismos que ayuden la

tarea de evaluación del profesor.
Calidad del feedback (retroalimentación y
mejora en cada aplicación-semestre). Utilización de la misma herramienta tanto
para docentes como para estudiantes.
Tener las dimensiones seccionadas a
evaluar de forma claramente identificada.
Posibilidad de reutilización de los

instrumentos de evaluación.
189
DAFO 2 (posterior a la aplicación del instrumento rúbrica)
Criterios a veces demasiado genéricos. Incremento de la carga docente, al menos

en su fase inicial.
Complejidad de aplicación del instrumento
cuando las intervenciones en el fórum han Falta de referentes claros sobre el texto
sido dispares y hay un número elevado de más adecuado para cada uno de los
participantes. indicadores de cada dimensión y nivel.
Equilibrio y coherencia entre la aplicación de Falta de cultura evaluadora.

estos instrumentos y otros que se utilizan en
la evaluación de otras actividades de la Falta de formación y/o experiencia en
asignatura. evaluaciones de este tipo, tanto para
docentes como para estudiantes.
Necesidad de diseñar o adaptar diferentes
instrumentos en función de diferentes Versatilidad de descripción en la rúbrica
resultados obtenidos a partir del uso de (limitación del campo de texto).
distintos fórums en la misma asignatura o en
otras. Exceso de información (evaluación
concreta y clara, no excesiva)
Es necesario explicitar el cómo y el para qué
de la evaluación.
Es una guía útil para el profesor. Generalizar herramientas de este tipo en la

evaluación de otras actividades del
Los criterios de evaluación son explícitos y programa.
semejantes para todos los alumnos.
Dar coherencia a los criterios de
Se consigue una mayor objetividad. evaluación que se aplican en todo el
programa.
Aplicación de criterios concretos en el proceso
de evaluación de las competencias Versatilidad y adaptación de instrumentos
(evaluación objetivable y de fácil ya diseñados.
comunicación)
Encontrar mecanismos que ayuden la
190
Feedback inmediato y personalizado. tarea de evaluación del profesor.
Calidad del feedback (retroalimentación y Utilización de la misma herramienta tanto

mejora en cada aplicación-semestre). para docentes como para estudiantes.
Tener las dimensiones seccionadas a evaluar Presentación de informes finales de

de forma claramente identificada (aspectos evaluación de forma semiautomática.
disciplinares, actitudinales y procedimentales).
Posibilidad de reutilización de los

instrumentos de evaluación aunque sea con
adaptaciones.
191
Para el análisis de los datos del caso, utilizamos el modelo ADDIE:
Fase de Análisis: donde se analizaron los elementos situacionales del caso,

los cuales nos determinan siempre el contexto (Tipo de programa, número de
estudiantes, perfil de éstos, competencias, objetivos, elementos territoriales y
marco normativo, perfil del profesorado, etc.). Todo se ha analizado antes de
proceder a la fase de diseño.
Fase de Diseño: se determinó un plan docente que actuó como guía de

aprendizaje para el estudiante, en el cual se describieron las competencias a
alcanzar con la asignatura, las actividades de aprendizaje a realizar y el modelo
e instrumentos de evaluación.
Fase de Desarrollo: concretamente aquí se diseñó el procedimiento de

evaluación donde a partir de la competencia escogida se determinan los
resultados y evidencias a evaluar. Se desarrolló la rúbrica teniendo en cuenta
dicho proceso. Este proceso tuvo cierta complejidad por ser la primera vez que
se llevaba a cabo un diseño de estas características. Pero se consultaron
algunas fuentes interesantes que se detallan en la bibliografía de este informe.
Fase de Implementación: el rol que mayormente tuvo que ver con la

implementación de la rúbrica fue el profesor consultor de la asignatura, ya que
es quien ejerce la docencia directa en los entornos virtuales de aprendizaje
como el de la UOC.
La actividad sobre la que se actuó tuvo lugar hacia el final del cuatrimestre, lo
que dificultó que hubiera tiempo material para aplicar otros instrumentos de
evaluación complementarios y que los propios alumnos utilizaran también la
rúbrica para autoevaluarse y obtener de ese modo más datos sobre su
influencia.
La aplicación de la rúbrica no fue fácil, ya que era la primera vez que el

consultor utilizaba un instrumento semejante en una actividad de estas
características. El propio consultor manifestó que le parecía interesante la
herramienta pero que el proceso resultó más largo de lo previsto. Aún así, el
resultado final y el feedback proporcionado a los estudiantes se realizó de
forma personalizada y a través de un informe que si bien recoge los
192
comentarios en función del nivel alcanzado en cada indicador expresado en la

rúbrica, también presenta unos comentarios individuales que resaltan los
aspectos más relevantes que el estudiante debe tomar en cuenta para su
reflexión.
Fase de Evaluación: esta fase de alguna manera forma parte de las

posteriores discusiones con el equipo de profesores en que el DAFO inicial fue
contrastado y ampliado, así como la propia elaboración de este informe, el cual
nos obliga a describir los objetivos propuestos y cómo y a qué nivel estos se
han alcanzado.
Para el análisis del uso de la herramienta rúbrica hemos recogido en un

documento adjunto en el apartado Anexos un resumen de los resultados de la
evaluación de cada alumno, así como un ejemplo del informe de feedback
entregado a cada uno de ellos. También a partir de los datos obtenidos la
propia consultora de la asignatura nos ha hecho llegar las siguientes
observaciones cómo análisis de la aplicación de la herramienta.
Obliga al profesor a reflexionar sobre todos los aspectos que se han

considerado relevantes para conseguir los objetivos planteados en la
actividad con cierta ecuanimidad. Sin la rúbrica, es posible caer en la
simplificación de evaluar aquello que más resalta, sean estos aspectos
positivos o negativos.
Lleva mucho tiempo aplicarla a cada participante.
Se pierde un poco la valoración del trabajo grupal, ya que la herramienta

está mayormente pensada para una valoración individual. En algunos
casos es posible que sea importante hacer una valoración global de lo
que el grupo de trabajo o discusión ha conseguido.
Cada grupo y cada debate tienen particularidades que son difíciles de

prever en una sola y única rúbrica. Estas especificidades guardan
relación con el clima que se crea, la orientación que se le da al tema, los
intereses propios del grupo, los perfiles de los participantes, etc. Es
difícil recoger en una herramienta estos matices, por otro lado muy útiles
en las valoraciones, tanto individuales como del trabajo global del grupo.
193
De cada individuo, se debería también hacer una evaluación más

holística, que no tenga en cuenta aspectos aislados, sido relacionados.
La interrelación de cada elemento de la rúbrica con otros, no se refleja
en la herramienta.
Existen criterios de la rúbrica que aisladamente pierden significación: ej.

La cantidad de aportaciones, si las ha realizado todas en un mismo día
no tiene el mismo valor que si las ha hecho a lo largo del período donde
el alumno ha podido recoger las impresiones y aportaciones de los
demás miembros del debate.
Existen criterios de la rúbrica pueden tener un mayor peso al momento

de la evaluación, por ejemplo, la significatividad de las aportaciones y la
comprensión del tema. Se tendría que poder recoger la mayor
importancia de estos u otros aspectos en relación con el resto. La
rúbrica debiese incluir una columna donde agregar los porcentajes
atribuidos a cada criterio.
Al criterio “Calidad de expresión escrita”, además de las reglas

gramaticales cabría incluir también la claridad en la exposición de los
temas, en si se la redacción facilita la comprensión o no.
Hubiera sido útil poder sistematizar el proceso de evaluación mediante

una herramienta que permita relacionar la lista de estudiantes con cada
criterio de la rúbrica y con los textos de los mensajes, de los documentos
que se van generando, etc.
194

PROYECTO EVAL-HIDA
En relación a las conclusiones de esta investigación se presentan inicialmente

las que responden a las preguntas formuladas en el apartado 2.1
Sobre la facilitación del proceso de evaluación por parte del consultor:
El uso de una rúbrica permite la aplicación de criterios concretos y explícitos en

la evaluación de las competencias de forma que ayuda al docente a agilizar el
proceso de evaluación.
La evaluación es más objetivable porque permite aplicar criterios comunes a

todos los procesos de evaluación individual y es de fácil comunicación porqué
permite generar un informe personalizado que describe el nivel alcance del
aprendizaje (cuantitativo y cualitativo) de cada uno de los criterios aplicados.
En cuanto al rendimiento en términos de aprendizaje que aporta el feedback

proporcionado:
El hecho de estructurar en dimensiones los criterios de evaluación a aplicar y

para cada uno de ellos explicitar de forma clara en qué consiste el alcance de
cada uno de los niveles de aprendizaje, mejora claramente la calidad del
feedback.
No es el caso de los aspectos relacionados con la inmediatez que

augurábamos al principio, ya que la implementación de la rúbrica de manera
manual no permite la inmediatez que nos daría una herramienta que
automatizara parte del proceso, generando informes detallados (por ejemplo,
mediante la selección de cada uno de los criterios) a los que sólo cabría
agregar un nivel de detalle del feedback sólo posible mediante la intervención
directa del profesor (consultor).
En cuanto a los aspectos de reutilización y/o adaptación de los

instrumentos construidos:
La rúbrica, si bien detallada, permite evaluar aspectos genéricos de un foro o

debate asíncrono en línea, pero quizás menos los aspectos específicos y
disciplinares.
195
En función de los objetivos de la actividad es posible sustraer ciertos criterios

como así también asignar diferentes pesos en la evaluación final.
En cuanto al proceso de evaluación en general, concluimos que el desarrollo

de herramientas de este tipo es necesario para agilizar los procesos, para
darles coherencia y objetividad, para adecuar los sistemas de evaluación por
competencias de acuerdo con el planteamiento metodológico del EEES.
El uso de este tipo de estrategias de evaluación nos obliga a reflexionar sobre

el diseño y la planificación del aprendizaje de forma que nos vemos con la
necesidad de rediseñar los viejos planteamientos. En ese sentido, este tipo de
prácticas te sumerge necesariamente en el cambio metodológico requerido.
Con lo cual, determinar el tipo de evaluación y los instrumentos a utilizar forma
parte del diseño, no es una estrategia que de plantea durante o al final del
proceso, tiene que estar debidamente planificada al inicio.
Automatizar los procesos de generación de informes permitiría personalizar

mucho más los feedbacks y hacer frente a números más elevados de
estudiantes por aula. Para que todo ello sea posible, es necesario que las
herramientas permitan relacionar no sólo los elementos y los criterios de
evaluación, sino también las aportaciones de los estudiantes durante el
proceso, de tal forma que el feedback pueda hacer referencia a aspectos
concretos.
La experiencia con este caso ha sido altamente positiva y nos abre camino
para seguir trabajando la línea iniciada en una fase todavía muy preliminar. Nos
hubiera gustado poderla saborear y profundizar disponiendo de más tiempo
para aplicar más instrumentos y estrategias que seguro hubieran sido muy
ilustrativas y enriquecedoras.
196
6.- BIBLIOGRAFÍA CONSULTADA
Campos, M. (2004) L'integration des forums de discussion dans

l'enseignement superieur. Montreal: Les dossiers du CEFES-Université
de Montréal.
Collison, G., Erlbaum, B., Haavind, S. & Tinker, R. (eds) (2000).
Facilitating On-line Learning: Effective Strategies for Moderators. Atwood
Publishing: Madison.
Salmon, G. (ed) (2000). E-moderating: The Key to Teaching and
Learning Online. Kogan: London.
197
7.- ANEXO I
198
1. Título: Evaluación de la capacidad de gestión y administración mediante

rúbricas
2. Autores: Lourdes Guàrdia, Nati Cabrera, Marcelo Maina, Albert Sangrà
3. Área: Educación y TIC (e-learning) (Didáctica y organización, y Tecnología
educativa)
4. Materia: Dirección de proyectos de e-learning
5. Nivel:
6.1. Posgrado: Aplicación de conocimientos, comunicación clara y
colaboración.
7. Competencia específica: Gestión y administración de los procesos
operativos vinculados al e-learning
8. Objetivo del procedimiento: Evaluar con criterios claramente descritos
mediante una rúbrica la capacidad de trabajo en equipo, la capacidad crítica y la
capacidad de negociación, así como la capacidad gestión y administración de los
procesos operativos vinculados al e-learning
9. Instrumentos de Evaluación: Rúbrica de evaluación aplicada al Foro
199
Competencia Básica: Aplicación de conocimientos, Comunicación clara y Colaboración
Competencia Específica: Gestión y administración de los procesos operativos vinculados al e-learning

Competencia instrumental: Capacidad de trabajo en equipo. Capacidad crítica. Capacidad de negociación (consenso)
1.1 Leer comprensivamente la • Reflexión personal y argumentada Profesor Valoración del contenido de las
documentación del caso. en el foro en relación a la misión de aportaciones al debate y de la
la empresa y a la del departamento dinámica que ha seguido el
1.2 Identificar la misión de la de formación, a través de mensajes participante en el mismo a través de la
empresa y la misión del (ideas concretas) o de documentos rúbrica.
departamento de formación de la adjuntos (ideas desarrolladas).
empresa descrita en el caso. Valoración del contenido de los
• Y/o comentarios argumentados en documentos aportados por cada
1.3 Llegar a un acuerdo con el grupo relación a las reflexiones de los participante y el consensuado por el
en relación a la tarea anterior compañeros, con el objetivo de grupo a través del análisis
para poder basar en dicho llegar a un acuerdo. documental.
acuerdo las tareas siguientes.
• Propuesta grupal de la formulación
de la misión del departamento de
formación de la empresa
(documento del grupo)
200
Valoración del contenido de las

2. A partir de la documentación del caso y • Reflexión argumentada de las Profesor aportaciones al debate y de la
del consenso alcanzado por el grupo en funciones y procesos que ha de dinámica que ha seguido el
cuanto a la misión de la empresa y del llevar a cabo el departamento de participante en el mismo a través de la
departamento de formación, intervenir en formación en cuestión, a través de rúbrica.
el debate proponiendo las funciones y los mensajes (ideas concretas) o de
procesos que debe llevar a cabo el documentos adjuntos (ideas Valoración del contenido de los
departamento de formación para alcanzar desarrolladas, mapas conceptuales, documentos aportados por cada
sus objetivos estratégicos. matrices organización, etc.). participante y el consensuado por el
grupo a través del análisis documental
• Comentarios individuales a las
reflexiones de los compañeros con
el objetivo de construir una
propuesta de funciones y procesos
conjunta.
Valoración del contenido de las

3. Identificar los perfiles profesionales que • Reflexiones individuales Profesor. aportaciones al debate y de la
hacen falta en el departamento de argumentadas en torno a los perfiles dinámica que ha seguido el
formación descrito a partir de las tareas profesionales, a través de mensajes participante en el mismo a través de la
anteriores. (ideas concretas) o de documentos rúbrica.
adjuntos (ideas desarrolladas;
gráficos; mapas conceptuales, etc.). Valoración del contenido de los
documentos aportados por cada
• Comentarios a las reflexiones de los participante y el consensuado por el
compañeros con el objetivo de grupo a través del análisis
construir una propuesta conjunta. documental.
• Documento grupal que contenga

una propuesta organizacional
completa del departamento de
formación: Misión; Funciones;
201
Procesos; perfiles/roles
profesionales.
202
3.- Instrumentos de evaluación
Rúbrica de evaluación aplicada al Foro
203
I II III IV V
PARTICIPACIÓN
Implicación Tu implicación Tu implicación Tu implicación Tu implicación NC
en el foro ha en el foro ha en el foro ha en el foro ha
sido muy alta, sido buena, sido mediana, sido baja, tanto
tanto en la tanto en la tanto en la en la
participación participación participación participación
como en el como en el como en el como en el
seguimiento, seguimiento, seguimiento, seguimiento,
su evolución y su evolución y su evolución y su evolución y
crecimiento crecimiento crecimiento crecimiento
Netiquettes Has Has respetado Has olvidado Has olvidado NC
respetado las la mayoría de respetar respetar
reglas de las reglas de algunas reglas algunas reglas
cortesía y has cortesía y has de cortesía y de cortesía y
tratado con tratado con has tratado has tratado
mucho respeto a tus con cierta con
respeto a tus colegas negligencia a negligencia a
colegas tus colegas tus colegas
Calidad de Tus Tus Tus Tus NC
expresión contribucione contribuciones contribucione contribuciones
escrita s han han respetado s han generalmente
respetado la mayor de respetado en no siguen las
siempre las las veces las algunas veces las
reglas reglas ocasiones las reglas
gramaticales gramaticales reglas gramaticales
de la lengua de la lengua gramaticales de la lengua
de la lengua
APORTACIONES
Cantidad de Has Has Has Has No has
aportaciones participado participado participado participado con enviado
con un con un con un 1 solo mensaje mensaj
número número entre número entre en el foro. e
alguno
superior a 7 4 y 7 mensajes 2y3
al foro
mensajes en en el foro. mensajes en
el foro. el foro.
Significativida Tus Tus Tus No has NC

d de las contribucione contribuciones contribucione realizado
contribuciones s al tema de al tema de s al tema de aportes
al tema discusión han discusión han discusión han significativos al
sido muy sido de interés sido poco desarrollo del
significativas para su significativas tema
para su desarrollo para su
desarrollo desarrollo
Creatividad Has realizado Has realizado Has realizado Has realizado NC
aportes al aportes al aportes al aportes al
desarrollo del desarrollo del desarrollo del desarrollo del
tema con un tema con un tema con un tema poco
204
enfoque muy enfoque enfoque originales

creativo creativo tradicional
Precisión de la Toda la La mayor La mayor La información NC
información información parte de la parte de la tiene varios
presentada ha información ha información errores; no ha
sido clara, sido clara, ha sido sido siempre
precisa y precisa y presentada en presentada en
minuciosa minuciosa forma clara y forma clara y
precisa, pero precisa.
no fue
siempre
minuciosa
Comprensión Has Has Has Has NC
del tema demostrado demostrado demostrado demostrado no
haber haber haber haber
entendido el entendido bien entendido entendido
tema en el tema correctamente suficientement
profundidad el tema e el tema
ACTITUD
Positiva En todo Habitualmente En momentos Tu actitud ha
momento, has , has mostrado puntuales, has denotado un
mostrado una una actitud mostrado una carácter poco
actitud constructiva y actitud nada
constructiva, conciliadora. constructiva y constructivo ni
conciliadora y conciliadora. conciliador,
motivadora. manteniéndote
al margen del
clima del
debate.
Integradora En todo Habitualmente Escasamente Has
momento, has , has has demostrado no
demostrado demostrado demostrado tener
capacidad capacidad capacidad capacidad para
para conducir para conducir para conducir conducir y
y reconducir y reconducir la y reconducir reconducir la
la discusión, discusión, así la discusión, o discusión, ni
así como para como para para integrar para integrar
integrar las integrar las las las
aportaciones aportaciones aportaciones aportaciones
de los de los de los de los
compañeros compañeros compañeros compañeros en
en las tuyas en las tuyas en las tuyas las tuyas
propias. propias. propias. propias.
205
Anexo 2- Resultado de la aplicación de la rúbrica de evaluación

PARTICIPACIÓN APORTACIONES ACTITUD G
L
O
B
A
L
Implica Calida Cantidad Significat Creati Precisión Com Netiquettes Positiv Integ
ción d ivi-dad vidad prensión a rado
expresi del tema ra
ón
escrita
Maria I I I II II I I I I II A
Diego
Adriana
Christia III II II II III III III I I II C
n +
Yanet IV II III III IV III III II III III C-
Natalia III II II III III II II I I I B
Edgar I II II I II I I I I I A
Johan II III I III III IV III II III III C

+
PARTICIPACIÓN APORTACIONES ACTITUD
Implicac Calida Cantida Signifi Creativi Precisión Comprensi Netiquettes Positiv Integ G
ión d d cativi- dad ón a rado L
expresi dad del tema ra O
ón B
escrita A
L
Jhon IV III IV IV IV II IV I III III C-
José III II II II II III I II II II B
Fredy II II II III III II I I II II C

+
Leticia III II III III III II II II II II C+
Carmen I I I I II I III III III B
206
Juan
José
Jaime
Manuel I I II II I I I I I II A
Silvia II I III II III I I I I II B
PARTICIPACIÓN APORTACIONES ACTITUD
Impl Calidad Cantida Signifi Creativi Precisión Comprensi Netiquettes Positiv Integ G
icaci expresión d cativi- dad ón a rado L
ón escrita dad del tema ra O
B
A
L
Raúl III II III III III III II II II II C
+
II III I III III III III II II II C
+
John
Margarit II II II II III II II II I II B
a
Claudia I II II II III III II II I II B
Lucía I I I I II I I I I I A
Indira I I I I II I I III II III B
Concha IV I III III II III II III III III C+
Daniel III II III III III III II II II III C+
207
Anexo 3.- Informe enviado al alumno (feedback)
Nombre del alumno: Edgard

Asignatura: Dirección de la Formación con el uso de las TIC
Actividad: Debate realizado en el contexto de la actividad 3, “Situación de
aplicación en el ámbito de la formación en la empresa. El caso Virtaula”.
Fecha: 12 de junio de 2009
Calificación global: A (excelente)
208
I II III IV V
PARTICIPACIÓN
Implicación Tu implicación Tu implicación Tu implicación Tu implicación NC
en el foro ha en el foro ha en el foro ha en el foro ha
sido muy alta, sido buena, sido mediana, sido baja, tanto
tanto en la tanto en la tanto en la en la
participación participación participación participación
como en el como en el como en el como en el
seguimiento, seguimiento, seguimiento, seguimiento,
su evolución y su evolución y su evolución y su evolución y
crecimiento crecimiento crecimiento crecimiento
Calidad de Tus Tus Tus Tus NC
expresión contribucione contribuciones contribucione contribuciones
escrita s han han respetado s han generalmente
respetado la mayor de respetado en no siguen las
siempre las las veces las algunas veces las
reglas reglas ocasiones las reglas
gramaticales gramaticales reglas gramaticales
de la lengua de la lengua gramaticales de la lengua
de la lengua
APORTACIONES
Cantidad de Has Has Has Has No has
aportaciones participado participado participado participado con enviado
con un con un con un 1 solo mensaje mensaj
número número entre número entre en el foro. e
alguno
superior a 7 4 y 7 mensajes 2y3
al foro
mensajes en en el foro. mensajes en
el foro. el foro.
Significativida Tus Tus Tus No has NC

d de las contribucione contribuciones contribucione realizado
contribuciones s al tema de al tema de s al tema de aportes
al tema discusión han discusión han discusión han significativos al
sido muy sido de interés sido poco desarrollo del
significativas para su significativas tema
para su desarrollo para su
desarrollo desarrollo
Creatividad Has realizado Has realizado Has realizado Has realizado NC
aportes al aportes al aportes al aportes al
desarrollo del desarrollo del desarrollo del desarrollo del
tema con un tema con un tema con un tema poco
enfoque muy enfoque enfoque originales
creativo creativo tradicional
209
Precisión de la Toda la La mayor La mayor La información NC

información información parte de la parte de la tiene varios
presentada ha información ha información errores; no ha
sido clara, sido clara, ha sido sido siempre
precisa y precisa y presentada en presentada en
minuciosa minuciosa forma clara y forma clara y
precisa, pero precisa.
no fue
siempre
minuciosa
Comprensión Has Has Has Has NC
del tema demostrado demostrado demostrado demostrado no
haber haber haber haber
entendido el entendido bien entendido entendido
tema en el tema correctamente suficientement
profundidad el tema e el tema
ACTITUD
Netiquettes Has Has respetado Has olvidado Has olvidado NC
respetado las la mayoría de respetar respetar
reglas de las reglas de algunas reglas algunas reglas
cortesía y has cortesía y has de cortesía y de cortesía y
tratado con tratado con has tratado has tratado
mucho respeto a tus con cierta con
respeto a tus colegas negligencia a negligencia a
colegas tus colegas tus colegas
Positiva En todo Habitualmente En momentos Tu actitud ha
momento, has , has mostrado puntuales, has denotado un
mostrado una una actitud mostrado una carácter poco
actitud constructiva y actitud nada
constructiva, conciliadora. constructiva y constructivo ni
conciliadora y conciliadora. conciliador,
motivadora. manteniéndote
al margen del
clima del
debate.
Integradora En todo Habitualmente Escasamente Has
momento, has , has has demostrado no
demostrado demostrado demostrado tener
capacidad capacidad capacidad capacidad para
para conducir para conducir para conducir conducir y
y reconducir y reconducir la y reconducir reconducir la
la discusión, discusión, así la discusión, o discusión, ni
así como para como para para integrar para integrar
integrar las integrar las las las
aportaciones aportaciones aportaciones aportaciones
de los de los de los de los
compañeros compañeros compañeros compañeros en
en las tuyas en las tuyas en las tuyas las tuyas
propias. propias. propias. propias.
210
COMENTARIOS
Edgar,
Mis más sinceras felicitaciones por un excelente trabajo a lo largo de todo el debate. No
sólo destaco la significación de tus aportaciones, sino también la creatividad de las
propuestas, la precisión de su formulación y, por supuesto, tu actitud positiva e integradora
del resto del grupo.
Ánimo, que la actividad 4 la puedes "bordar". Tienes las ideas muy claras y planteas
soluciones muy prácticas. Recuerda que se trata de un esfuerzo de síntesis y conclusiones
de todo lo que hemos ido trabajando a lo largo de estos meses.
211
DISEÑO E IMPLANTACIÓN DE
PROCEDIMIENTOS DE
EVALUACIÓN BASADOS EN
HIDAS EN EL ÁMBITO
UNIVERSITARIO: UN ESTUDIO
DE CASO
Gregorio Rodríguez Gómez (Coord)

Maria Soledad Ibarra Sáiz
Miguel Ángel Gómez Ruiz
Beatriz Gallego Noche
Victoria Quesada Serra
Daniel Cabeza Sánchez
Diseño e implantación de procedimientos de evaluación basados en HIDAs en el ámbito
universitario: un estudio de caso
1.- INTRODUCCIÓN
La experiencia que se analiza en este informe se diseña y desarrolla en el

contexto del Máster Oficial en Orientación y Evaluación SocioEducativas que
se imparte en la Universidad de Cádiz. El actual curso es el primer año del
Máster con esta denominación, anteriormente representaba una de las dos
especialidades de un Máster más general denominado “Psicología, Educación
y Desarrollo”. En total, el curso 2008/2009 es el tercer año académico en el que
se imparte estos estudios dentro de los estudios de posgrado de la Facultad de
Ciencias de la Educación.
La actividad realizada se ejecuta al finalizar los módulos teóricos del máster. Es

importante resaltar que la participación de los estudiantes en la actividad ha
sido totalmente voluntaria y sin repercusión en la calificación del alumnado. Los
estudiantes que cursan esta titulación suman un total de 18 (1 hombre y 17
mujeres).
La responsabilidad del diseño, implantación y seguimiento de la actividad ha

recaído en el grupo de investigadores del Proyecto EvalHIDA de la Universidad
de Cádiz. Respecto a la evaluación de las distintas tareas realizadas por los
estudiantes, ha sido efectuada por:
1. Un investigador del Proyecto EvalHIDA que ha realizado un seguimiento

pormenorizado de los movimientos en los foros y la wiki utilizados para
la ejecución de la actividad.
2. El Coordinador del Máster e investigador del proyecto que se ha
mantenido al margen del desarrollo de la experiencia y que ha evaluado
a los estudiantes utilizando como evidencias tan sólo los productos
resultantes.
Podemos resumir como objeto de la investigación el implantar un

procedimiento de evaluación de competencias basado en la utilización de
Herramientas de Interacción Dialógicas Asíncronas (HIDAs) (ANEXO 1) a la
práctica en el contexto de los nuevos estudios de Máster en la Universidad. De
forma paralela, nos proponemos comprobar las posibilidades y limitaciones de
la evaluación de competencias a través de la utilización de las HIDAs en la
Educación Superior, realizando no sólo evaluación del profesorado, sino
también prácticas de autoevaluación y evaluación por compañeros.
213
Profundizando algo más en el contenido de la actividad, podemos citar como

objetivo, y a su vez producto final que los estudiantes realicen una propuesta
colaborativa y fundamentada de:
1. La Estructura del Trabajo Fin de Máster (describiendo la organización,

apartados que debería contener, dimensiones, formato, requisitos, citas
bibliográficas…)
2. Evaluación del Trabajo Fin de Máster y de su defensa oral (explicitando
los criterios de evaluación, las personas que evalúan, los instrumentos
de evaluación utilizados…)
Es destacable citar que los estudiantes son informados desde el comienzo que
la propuesta será tomada en consideración para ampliar, modificar o mejorar el
marco general existente y que se detalla en el documento interno del Máster:
“Guía de Presentación de las Memorias”. Este hecho supone unos de los
pilares fundamentales para realizar la llamada a la participación del alumnado
en la actividad. En el momento de escribir este informe, la viabilidad de la
propuesta y su posible aplicación están siendo estudiadas por los responsables
del Máster.
Hemos de aclarar que para el desarrollo del contenido de la propuesta se han

tenido en cuenta desde el diseño de la actividad las dos opciones posibles en
el Trabajo Fin de Máster:
a) Propuesta para el Trabajo de Investigación

b) Propuesta para las Prácticas de Empresa
En ambos casos de han tenido en consideración los mismos aspectos que ya

hemos comentado con anterioridad: requisitos del trabajo, diseño de evaluación
del trabajo y diseño de la evaluación de la defensa oral del trabajo.
Por otro lado, describimos a continuación las Competencias Básicas

relacionadas con el RD 1393/2007 que se pretenden desarrollar con la puesta
en práctica de esta actividad:
1. Que los estudiantes sepan aplicar los conocimientos adquiridos y su

capacidad de resolución de problemas en entornos nuevos o poco
conocidos
214
2. Que los estudiantes sean capaces de integrar los conocimientos

adquiridos y enfrentarse a la complejidad de formular juicios
3. Que los estudiantes sepan comunicar sus conclusiones -y los
conocimientos y razones últimas que las sustentan- a públicos
especializados y no especializados de un modo claro y sin
ambigüedades
4. Que los estudiantes posean las habilidades de aprendizaje que les
permitan continuar estudiando de forma autónoma y autodirigida
5. Que los estudiantes sean originales en el desarrollo y/o aplicación de
ideas, a menudo en un contexto de investigación, sobre la base de la
ampliación y mejora de los conocimientos y competencias adquiridos en
el grado previo.
De forma más específica, las competencias y habilidades relacionadas con el

desempeño de las tareas del procedimiento de evaluación diseñado son:
1. Responsabilizar e involucrar a los estudiantes en su propio proceso de

enseñanza, aprendizaje y evaluación
2. Potenciar la capacidad para buscar recursos sobre temáticas educativas
especializadas
3. Realizar una propuesta integral de evaluación argumentada con la
necesaria fundamentación teórica
4. Fomentar la capacidad crítica y evaluativa de los estudiantes en su
propio trabajo y en el de sus compañeros
5. Desarrollar habilidades para la creación colaborativa de conocimiento
con medios virtuales
6. Poner en práctica habilidades personales de empatía, capacidad de
escucha activa, comunicación, colaboración y consenso.
Como hemos destacado anteriormente, las tareas diseñadas e implementadas

giran en torno a la utilización de las Tecnologías de la Información y de la
Comunicación (TIC’s) en el proceso de aprendizaje/evaluación de los
estudiantes universitarios, de forma concreta mediante el uso de HIDAs como
son los Foros y las Wikis.
Para complementar la investigación de este estudio de caso, más allá de la

indagación de las propias dificultades de ejecutar un procedimiento sistemático
de evaluación basado en las HIDAs, nos proponemos:
215
• Que al menos dos docentes evalúen los foros (un docente que realice el
seguimiento del proceso y otro que sólo valore teniendo en
consideración el producto final)
• Realizar una comparación entre las distintas evaluaciones realizadas a

los estudiantes en el proceso y producto de la wiki final. Compararemos
la valoración de dos docentes (externo e interno a la experiencia) con la
autoevaluación y con la evaluación por compañeros, utilizado en todos
los casos rúbricas de evaluación de semejante contenido (ANEXO 1)
Este informe comienza con la presentación de las preguntas iniciales de

investigación y la descripción de la actividad desarrollada. Posteriormente, se
explicitan los instrumentos utilizados para obtener información sobre las
distintas líneas de interés de esta experiencia. Continuamos el informe con el
análisis de los datos y las conclusiones globales de la aplicación del
procedimiento de evaluación diseñado.
216
PREGUNTAS INICIALES:
- ¿Qué dificultades debemos de abordar en la puesta en práctica de un

procedimiento de evaluación sistemático previamente diseñado con
HIDAs?
- ¿Qué posibilidades y limitaciones encontramos en la evaluación de

competencias con HIDA’s en el contexto de estudios de máster?
- ¿Existen relaciones entre las evaluaciones de HIDAs a estudiantes

cuando se realiza una evaluación formativa respecto a realizar
únicamente la evaluación sumativa?
- ¿Existen relaciones entre las evaluaciones de estudiantes realizadas por

los docentes respecto a la evaluación por compañeros y autoevaluación
en actividades desarrolladas mediante HIDAs?
CONTEXTO Y PROCEDIMIENTO
De forma general, se optó por tomar el Campus Virtual de la Universidad de

Cádiz, desarrollado con MOODLE, como referencia para la implantación de la
actividad. Los estudiantes ya estaban familiarizados con este entorno, pues
durante la impartición del Máster, cada módulo de los que se componía tenía
su correspondiente curso en el Campus Virtual.
Concretamente, las tareas, que se hacían visibles de forma gradual según su

fecha de ejecución, estaban alojadas en un tema del curso virtual denominado
“Máster_OESE: Coordinación General” que había sido utilizado durante el
transcurso del año académico como punto de encuentro general entre los
estudiantes y docentes del máster.
Con anterioridad, ya existía en el curso virtual contenido de interés para el

alumnado como las guías del máster, convocatorias de becas, artículos de
revistas, etc.
La actividad se alojó en el primer tema del curso y su imagen completa se

puede observar a continuación:
217
Figura 1: Apariencia de la actividad completa en el Campus Virtual
En un primer momento, podemos apreciar en la imagen del curso el título

completo de la actividad: “Diseño colaborativo de una propuesta de estructura y
evaluación del Trabajo Fin de Máster”. Posteriormente aparece un espacio
general denominado “Comunicación, novedades e información general”
compuesto por:
1. Un foro de “Novedades de la actividad”. Este recurso se utilizó para

mantener informados puntualmente a los participantes sobre el
transcurso de las distintas tareas, así como contestar cualquier duda o
problema que surgiera.
2. Un “Diálogo sobre dudas y problemas con la actividad” como
herramienta complementaria para la comunicación entre estudiantes y
docentes.
3. La presentación general de la actividad en .PDF para que el alumnado lo
tuviera permanentemente de referente.
218
Por último, y a continuación de este espacio general, se pueden visualizar en la

imagen las distintas tareas que describiremos a continuación. Antes de
comenzar con la mencionada descripción, debemos señalar que el número
asignado a las tareas para los estudiantes no coincide con el diseño, ya que la
que se consideró a efectos de diseño como Tarea 1 (sesión de presentación)
no se incluyó como tarea para los alumnos, comenzando su labor en la Tarea 2
del diseño inicial, es decir, la búsqueda de información.
Tarea 1: Sesión presencial
Durante la sesión presencial se presentó al alumnado las tareas de las que se

compone el procedimiento de evaluación que ha inspirado esta experiencia,
atendiendo a los siguientes apartados generales para el desarrollo de la
actividad:
- Introducción y objetivos de la actividad

- Competencias básicas y específicas
- Contenidos de las tareas y temporalización
- Metodología a seguir
- Productos esperados
- Evaluación
La presentación de la actividad en la sesión presencial programada se realizó

durante una hora aproximadamente y la responsabilidad de la exposición fue
del Coordinador General del Máster. Para apoyar la explicación se diseñó y
proyectó una presentación en PowerPoint cuya primera diapositiva se muestra
en la siguiente figura:
219
Figura 2: Primera diapositiva de la presentación utilizada en la sesión presencial
Por otro lado, se aprovechó esta misma sesión para realizar las aclaraciones y
demostraciones que fueron necesarias.
Se controló la asistencia de los estudiantes a esta sesión y se completó un

documento con el nombre y apellidos del alumnado junto con su e-mail1, no
tanto como medida de control, sino para proceder a darles de alta como
usuarios en la wiki, cuando fue oportuno.
Para finalizar, recordaremos que la información contenida en la presentación

en PowerPoint estuvo en todo momento disponible para los estudiantes en
formato .PDF en el espacio general de la actividad en el Campus Virtual.
Tarea 2: Búsqueda de información (Foro de Recursos)
Como primera tarea para el alumnado, segunda en el diseño, los estudiantes

fueron emplazados a buscar en Internet o por cualquier otro medio información
sobre los tópicos de interés de la actividad, es decir:
- Posible estructura, apartados y requisitos del Trabajo Fin de Máster.

- Diseño de evaluación para el Trabajo Fin de Máster y su defensa oral.
1
Este documento se corresponde al Instrumento 1 del procedimiento de evaluación que no se
incluye al contener los datos de los participantes
220
Como soporte de esta tarea se abrió un foro de Moodle denominado “Foro de

Recursos” con tres temas en su interior para ordenar las aportaciones de los
estudiantes, aunque se tenía la posibilidad de crear nuevos temas en el foro.
Los temas creados eran:
1. Recursos sobre la estructura, apartados y requisitos del Trabajo Fin de

Máster
2. Recursos sobre la evaluación del Trabajo Fin de Máster
3. Recursos sobre la evaluación de la defensa oral del Trabajo Fin de
Máster
En cada uno de los temas del Foro de Recursos se debían aportar enlaces,
archivos o transcripciones literales de libros o revistas sobre cada uno de los
tópicos mencionados. También se aceptaron aportaciones personales
fundamentadas. El objetivo de este foro era recabar y compartir información
con los compañeros para poder tomar decisiones argumentadas a la hora de
plantear la propuesta final.
Como recursos de referencia, los docentes realizaron las siguientes

aportaciones:
- Documento del Boletín Oficial del Estado (BOE) con el RD 1393/2007 en

el tema “Recursos sobre la estructura, apartados y requisitos del Trabajo
Fin de Máster”.
- El enlace al libro Ibarra Sáiz, M.S. (Dir.) (2008). EvalCOMIX: Evaluación
de competencias en un contexto de aprendizaje mixto. Cádiz: Servicio
de Publicaciones de la Universidad de Cádiz. Disponible en la URL:
http://minerva.uca.es/publicaciones/asp/docs/obrasDigitalizadas/evalcom
ix.pdf Este recurso se alojó en el tema “Recursos sobe la evaluación del
Trabajo Fin de Máster”.
Tarea 3: Toma de decisiones (Foro de Decisión)
Una vez que se han aportado los recursos que se han creído necesarios para
poder fundamentar la propuesta, era tiempo de tomar decisiones concretas,
para ello se abrió un nuevo foro en Moodle denominado “Foro de Decisión”.
Este foro contaba con tres temas para organizar la discusión y alcanzar
acuerdos precisos. Los temas en cuestión eran:
221
1. Decisiones sobre los requisitos que debe contemplar el Trabajo Fin de

Máster
2. Decisiones sobre los aspectos a considerar en el diseño de la
evaluación del Trabajo Fin de Máster
3. Decisiones sobre los aspectos a considerar en la evaluación de la
defensa oral del Trabajo Fin de Máster
El objetivo de este foro es obtener los elementos básicos de cada una de los
temas para poder establecer la estructura para la construcción y discusión de la
wiki como producto final donde quedara reflejada la propuesta colaborativa.
Para facilitar y orientar la tarea de los estudiantes, se describieron ejemplos de

posibles intervenciones en cada uno de los temas. Los ejemplos ofrecidos
fueron los siguientes:
- Decisiones sobre los requisitos que debe contemplar el Trabajo Fin de

Máster, tanto para el trabajo de investigación como para las prácticas de
empresa.
Por ejemplo, una propuesta sería: "Creo que hay que tener el cuenta el
formato (tipo y tamaño de letras...), las secciones (introducción,
conclusiones...), el tamaño del documento y las citas bibliográficas".
- Decisiones sobre los aspectos a considerar en el diseño de la
evaluación del Trabajo Fin de Máster, tanto para el trabajo de
investigación como para las prácticas de empresa.
Un ejemplo sería: "Creo que habría tener en cuenta para el diseño de la
evaluación: los participantes, los intrumentos y los criterios de
evaluación"
- Decisiones sobre los aspectos a considerar en la evaluación de la
defensa oral del Trabajo Fin de Máster.
Por ejemplo, "Los aspectos a considerar en la evaluación de la defensa
oral serían el contenido de la presentación, el PowerPoint utilizado y la
capacidad de expresión"
Tarea 4: Construcción colaborativa de la propuesta en una wiki
Como última tarea, una vez se han tomado las decisiones oportunas sobre los
apartados que debe poseer la propuesta, se trabajará en el contenido de cada
uno de los elementos establecidos.
222
La wiki utilizada es un recurso externo a MOODLE, concretamente este servicio

web se alojó de forma gratuita en el servidor de MindTouch, disponible en
http://www.mindtouch.com/Products/MindTouch_Express, aunque con un
enlace directo desde el curso de MOODLE utilizado como referencia para el
desarrollo de la actividad.
Una vez que se procede a dar de alta una nueva wiki en este servicio gratuito,
se le asigna una URL del tipo http://nombre.wik.is, concretamente la wiki que se
creó y utilizó en la actividad se encontraba en la dirección: http://evalhida.wik.is.
Los motivos por los que se decidió recurrir a una wiki diferente a la disponible
con MOODLE, fueron los siguientes:
1. Tiene la posibilidad de diseñar una wiki con varios apartados y

subapartados, confiriéndole un aspecto atractivo, bastante parecido al
de una Web habitual.
2. Posee numerosas opciones respecto al formato, organización y
estructura de la wiki, cuestión que dota de flexibilidad al diseño que se
realice con la wiki.
3. Las herramientas para la edición y seguimiento de las aportaciones son
muy intuitivas tanto para colaboradores como para los administradores
de la wiki, algo que facilita la participación a pesar de no estar habituado
a utilizar este recurso.
4. Las opciones de configuración permite tener una interfaz totalmente en
español, asignar distintos roles a los participantes o convertir la wiki en
un espacio privado donde solo se pueda acceder mediante usuario y
contraseña fijado por los administradores, como era el caso.
A continuación podemos apreciar una imagen con una captura de pantalla de la

wiki real utilizada en esta experiencia:
223
Figura 3: Captura de la wiki utilizada para realizar la propuesta colaborativa
Como podemos comprobar en la anterior figura, a la izquierda hay dos

pestañas
Prácticas de empresa, y Trabajo de Investigación, que son los apartados
principales de la wiki para realizar la propuesta.
Pinchando en ambas aparece un menú con los siguientes subapartados:
1. Requisitos del trabajo. Lo que aparecía inicialmente es una adaptación

del contenido de la Guía para que los estudiantes lo modificasen y
completasen según sus intereses.
2. Evaluación del trabajo. Aparecían los aspectos básicos a rellenar y
preguntas guía para realizar la propuesta. Mencionados aspectos
básicos de la evaluación propuestos y basados en el Foro de Decisión
eran: a. Personas que evalúan, b. Métodos y técnicas de evaluación, c.
Criterios de evaluación y d. Temporalización.
3. Evaluación de la defensa oral. Al igual que en el caso anterior, aparecían
los componentes fundamentales de esta evaluación y algunas preguntas
para orientar las aportaciones de los estudiantes. En esta ocasión, se
completaron las siguientes opciones: a. Personas que evalúan, b.
224
Métodos y técnicas de evaluación, c. Criterios de evaluación (c1.

Contenido de la presentación; c2. Expresión oral; c3. Materiales
utilizados) y d. Temporalización.
La wiki debía ser el producto final del procedimiento de evaluación como

propuesta real para el Trabajo Fin de Máster OESE, propuesta que se valorará
para su posible inclusión total o parcial en los requisitos para la realización y
evaluación del trabajo, como se tenía previsto desde el comienzo.
Para facilitar el trabajo de los estudiantes, se escribieron una serie de

orientaciones básicas y recomendaciones de uso en la página inicial de la wiki,
un extracto del escrito original lo ofrecemos en las siguientes líneas:
“Una vez estemos en la página que deseamos, es tan sencillo como

pinchar en "Editar pagina", a continuación aparecerá un editor de texto
como el Word y ya se puede escribir, borrar, modificar, cambiar de
color... lo que viene en dicha página.
Es muy importante, una vez finalizada la edición Guardar los cambios
en el símbolo de disquete arriba a la izquierda del editor.
La wiki posee muchas posibilidades complementarias que podéis ir
descubriendo si os gusta este tema. Es interesante considerar la
posibilidad de enviar comentarios en cada una de las páginas en su
parte inferior. De esta forma, además de modificar el contenido, se
puede establecer conversaciones entre los participantes, como si de un
foro se tratara.
Escribid y modificad el contenido sin miedo (todo se puede rehacer de
nuevo) hasta que tengamos una página web con una propuesta real,
como si de un documento que vamos a presentar se tratara. Lo que
consideráis oportuno lo dejáis, aportáis ideas nuevas, podéis corregir
expresiones de otros compañeros... lo que queráis.
Para cualquier duda sobre la wiki o el trabajo a realizar en ella, podéis
escribir aquí vuestros comentarios (parte inferior de la página) o enviar
un e-mail al docente
Un saludo.”
Una vez concluido el proceso de edición colaborativa de la wiki con las

aportaciones y comentarios de los estudiantes en cada una de las secciones, el
investigador responsable de la actividad se puso en contacto vía e-mail con el
alumnado participante en la wiki para que completaran dos rúbricas de
225
evaluación sobre el proceso y producto final de la propuesta reflejada en dicha

wiki:
1. Una rúbrica de autoevaluación

2. Una rúbrica de evaluación por compañeros para valorar el trabajo
realizado por un igual asignado al azar.
Cuando las rúbricas fueron cumplimentadas por los estudiantes participantes y

enviadas al investigador responsable, se dio por finalizada la actividad.
TEMPORALIZACIÓN Y SECUENCIA DE INVESTIGACIÓN
La temporalización prevista para el desarrollo de las distintas tareas que

componen el procedimiento de evaluación diseñado, se puede visualizar en la
siguiente tabla:
Temporalización de la actividad
Tarea Fecha prevista Días previstos
Tarea 1 04/05/2009 1
Tarea 2 06-08/05/2009 2
Tarea 3 19-25/05/2009 6
Tarea 4 26/05/2009 – 20
15/06/2009
TOTAL 29
Tabla 1: Temporalización prevista para la actividad
Como será expuesto más adelante, esta previsión del tiempo se vio alterada en
prácticamente todas las tareas. El control de los plazos y los motivos de sus
desfases han sido uno de los puntos de interés en nuestra investigación. Las
conclusiones al respecto se describen en el apartado de “Análisis de datos del
estudio”.
226
Por otro lado, los hitos fundamentales en la investigación se reflejan en el

cuadro 1:
Secuencia de Investigación
Responsable Acción Momento
Equipo de Diseño del procedimiento de evaluación Se cierra en el mes de
investigadores de la abril de 2009
UCA
Equipo de Implantación y puesta en marcha del Durante los meses de
investigadores de la procedimiento mayo y junio de 2009
UCA
Equipo de Control de la actividad utilizando un Durante la implantación
investigadores de la Registro de Seguimiento del procedimiento
UCA
Profesor que realiza Evaluación de la Tarea 2 Al finalizar la Tarea 2
seguimiento
seguimiento
seguimiento
Estudiantes Autoevaluación y evaluación por Al finalizar la Tarea 4
compañeros de la Tarea 4
Profesor que no Evaluación de las Tareas 2, 3 y 4. Al finalizar la actividad
realiza seguimiento
Equipo de Realización de una entrevista no Al finalizar la actividad
investigadores de la estructurada al profesor que realiza y al que
UCA no realiza seguimiento
Equipo de Análisis de datos y redacción del informe Al finalizar la actividad
investigadores de la
UCA
Cuadro 1: Secuencia completa de la investigación
227
3.- INSTRUMENTOS DE RECOGIDA
Antes de realizar una descripción de cada instrumento utilizado para la

recogida de la información, ofrecemos en el siguiente cuadro la relación entre
los instrumentos, las personas que lo han aplicado y las preguntas de
investigación asociadas a mencionados instrumentos, cuyos datos pueden
ofrecernos luz para dar respuestas a los interrogantes planteados.
INSTRUMENTOS DE RECOGIDA DE DATOS

Instrumento Persona que lo Pregunta de investigación asociada
aplica
¿Qué dificultades debemos de abordar
Equipo de en la puesta en práctica de un
1. Registro de Seguimiento investigadores de la procedimiento de evaluación
UCA sistemático previamente diseñado con
HIDAs?
2. Documento de ¿Qué posibilidades y limitaciones
Equipo de
conclusiones de las encontramos en la evaluación de
investigadores de la
entrevistas a los profesores competencias con HIDA’s en el
UCA
que evalúan las tareas contexto de estudios de máster?
3. Instrumento 2 del
procedimiento: Lista de Profesor que realiza
control + Escala de seguimiento y profesor
valoración de las que no realiza ¿Existen relaciones entre las
aportaciones. seguimiento evaluaciones de HIDAs a estudiantes
cuando se realiza una evaluación
4. Instrumento 3 del formativa respecto a realizar
Profesor que realiza
procedimiento: Lista de únicamente la evaluación sumativa?
seguimiento y profesor
control + Escala de
que no realiza
valoración de los
seguimiento
comentarios del foro
5. Instrumento 4 del Profesor que realiza ¿Existen relaciones en las evaluaciones
procedimiento: Rúbrica seguimiento y profesor de estudiantes realizadas por docentes
para la evaluación de la que no realiza respecto a la evaluación por
wiki (profesor) seguimiento compañeros y autoevaluación en
6. Instrumento 5 del actividades desarrolladas mediante
procedimiento: Rúbrica de Estudiantes HIDAs?
autoevaluación de la wiki participantes en la wiki
(estudiante)
228
7. Instrumento 6 del
procedimiento: Rúbrica
Estudiantes
para la evaluación por
participantes en la wiki
compañeros de la wiki
(estudiante)
Cuadro 2: Instrumentos de recogida de información, personas que lo aplican y preguntas de
investigación asociadas
1. Registro de seguimiento de la actividad
Con la ayuda de este instrumento hemos realizado un seguimiento

pormenorizado de los hitos fundamentales de la actividad. Mediante este
registro cruzábamos los siguientes datos:
1. Fechas y días previstos para la realización de las tareas

2. Fechas y días reales de realización de las tareas
3. Motivos del desfase temporal
4. Participantes en la actividad
2. Documento de conclusiones de las entrevistas a los profesores que

evalúan las tareas
Una vez que la actividad llegó a su fin, se realizó de forma conjunta una
entrevista no estructurada a los profesores que han evaluado las tareas
desarrolladas por el alumnado. Las principales ideas y conclusiones de dicha
entrevista se reflejaron en este documento de conclusiones aportadas por el
profesor que realizó un seguimiento de cada tarea y el profesor que realizó la
evaluación teniendo únicamente como referencia los productos finales.
3. Instrumento 2 del procedimiento: Lista de control + Escala de

valoración de las aportaciones.
Este instrumento fue utilizado para que los profesores evaluaran el Foro de
Recursos correspondiente a la Tarea 2.
El instrumento está compuesto por dos tres grandes apartados:
1. Cantidad de aportaciones. Donde se reflejaban el número de

aportaciones que había realizado cada estudiante, en el número de
229
temas del foro que había intervenido y si había abierto nuevos temas de
debate.
2. Calidad de las aportaciones. En esta apartado se valoraba de 1 a 10 los
siguientes aspectos de las aportaciones realizadas por los estudiantes:
- Pertinencia con el tema donde se colocaron
- Utilidad para los estudiantes
- Si se ofrece explicación del recurso compartido
- Si se acompaña de las fuentes
- Lenguaje apropiado
- Interés de los compañeros por la aportación
- Si las entradas han sido motivadoras para la interacción entre los
estudiantes
3. Valoración total. Donde se ofrece la calificación total del foro asignada
por el docente en una escala de 1 a 10 puntos.
4. Instrumento 3 del procedimiento: Lista de control + Escala de

valoración de los comentarios del foro
Este instrumento ha sido empleado para que los profesores responsables

valoraran los comentarios que los estudiantes realizaron en el marco del Foro
de Decisión de la Tarea 3.
La estructura de este instrumento es bastante similar al anterior, quedando

dividido en tres grandes bloques:
1. Cantidad de comentarios. Donde se especificaban el número de

entradas totales que había realizado cada estudiante, en el número de
temas del foro que había intervenido y si había abierto nuevos temas
de debate.
2. Calidad de los comentarios. En esta apartado se valoraba de 1 a 10
los siguientes aspectos de las aportaciones realizadas por los
estudiantes:
- Pertinencia con el tema donde se colocaron
- Utilidad para los estudiantes
- Relevancia de las ideas presentadas
- Reflexión argumentada de las opiniones
- Si se acompaña de las fuentes cuando es necesario
- Lenguaje apropiado
- Interés de los compañeros por los comentarios
230
- Si las entradas han sido motivadoras para la interacción entre los

estudiantes
3. Valoración total. Donde se ofrece la calificación total del foro asignada
por el docente en una escala de 1 a 10 puntos.
5. Instrumento 4 del procedimiento: Rúbrica para la evaluación de la wiki

(profesor)
Las rúbricas para la evaluación de la wiki (tanto la versión del profesor, la

versión de autoevaluación y la de evaluación por compañeros) giran en torno a
la valoración de los siguientes atributos:
- Implicación del estudiante con el desarrollo de la propuesta en la wiki

- Colaboración del estudiante
- Aportaciones realizadas
- Pertinencia del contenido de las aportaciones
- Formato y estructura de la wiki
- Relevancia de las aportaciones de cada estudiante con respecto a la
propuesta final
- Creatividad de los comentarios y aportaciones realizadas
Para valorar cada atributo, la rúbrica se divide en cuatro dimensiones (baja,

media, alta y muy ata), describiéndose en cada nivel los requisitos para estar
situados en ellos. Además, cada dimensión tiene asignada una calificación
numérica que oscila en total de los 5 a los 100 puntos por atributo, de forma
resumida, cada dimensión poseía los siguientes valores numéricos:
- Baja (5 10 15 20 25)
- Media (30 35 40 45 50)
- Alta (55 60 70 75)
- Muy alta (80 85 90 95 100)
Para completar la rúbrica existe un último apartado para especificar una

valoración total a cada estudiante en su trabajo en la wiki. La valoración total
posee una escala similar a la descrita para cada uno de los atributos,
exceptuando las descripciones.
231
6. Instrumento 5 del procedimiento: Rúbrica de autoevaluación de la wiki

(estudiante)
Es similar al instrumento “5. Instrumento 4 del procedimiento: Rúbrica para la
evaluación de la wiki (profesor)”, sólo que adaptando el lenguaje de las
descripciones de las dimensiones para ajustarlo a las exigencias de la
autoevaluación.
7. Instrumento 6 del procedimiento: Rúbrica para la evaluación por

compañeros de la wiki (estudiante)
Es similar al instrumento “5. Instrumento 4 del procedimiento: Rúbrica para la

evaluación de la wiki (profesor)”, sólo que adaptando el lenguaje de las
descripciones de las dimensiones para ajustarlo a las exigencias de la
evaluación por compañeros.
232
4.- ANÁLISIS DE DATOS EXTRAÍDOS DEL ESTUDIO
Para organizar la exposición del análisis de los datos extraídos del estudio,
dividiremos este apartado a partir de las preguntas de investigación propuestas
para esta experiencia.
1. ¿Qué dificultades debemos de abordar en la puesta en práctica de un

procedimiento de evaluación sistemático previamente diseñado con
HIDAs?
Para realizar el seguimiento de la puesta en práctica del procedimiento de

evaluación diseñado, nos ayudamos de un Registro de Seguimiento en el que
comparamos las fechas y tiempos estimados con los ejecutados, le dábamos
respuesta a los desfases temporales surgidos y llevábamos un control de los
participantes en la actividad, cuestión esta última fundamental si tenemos en
consideración el carácter voluntario que poseía la actividad.
Comenzaremos con la temporalización, en la siguiente tabla se ofrece un

resumen con las fechas previstas para cada actividad y los días de duración
planificados y los reales de ejecución:
Temporalización de la actividad
Tarea Fecha prevista Días Fecha de Días de Desfase
previstos realización realización
Tarea 04/05/2009 1 04/05/2009 1 0
1
Tarea 06/05/2009- 2 11/05/2009- 10 +8
2 08/05/2009 21/05/2009
Tarea 19/05/2009- 6 22/05/2009- 8 +2
3 25/05/2009 30/05/2009
Tarea 26/05/2009- 20 31/05/2009- 6 -14
4 15/06/2009 06/06/2009
TOTAL 29 25 -4
Tabla 2: Fechas y días previstos para la actividad y fechas y días de realización
Como podemos comprobar, tan solo la Tarea 1 (Sesión presencial) se ha

desarrollado en la fecha prevista. Las demás tareas han sufrido importantes
desfases. Después del análisis de los motivos de los desajustes, las
conclusiones al respecto han sido las que se citan a continuación:
233
Desfase en la Tarea 2 (+8 días): Los comienzos de la actividad no

fueron sencillos. Los estudiantes estaban a finales de curso ultimando los
diversos trabajos exigidos desde el máster y preparando el propio Trabajo Fin
Máster. Este factor, unido al carácter voluntario de una actividad y a que
muchos se podían enfrentar por primera vez a tareas apoyadas en unas
herramientas poco comunes en el ámbito universitario, como son los foros y
sobre todo las wikis, hizo que la participación prácticamente fuera nula en los
primeros días.
De esta forma, se optó por esperar varios días más para que el alumnado
perdiera el miedo y se animaran a realizar aportaciones. Durante este espacio
de tiempo, incluso nos propusimos anular la actividad, y así se le hizo saber
mediante correo electrónico a los estudiantes si no existía mayor participación.
Gratamente, este aviso tuvo una respuesta positiva y se alcanzó un nivel
mínimo de participación para que la experiencia pudiera continuar con su
implantación.
En conclusión, las fechas en las que se desarrolló la experiencia, junto con el

carácter voluntario de la misma y lo novedoso de la propuesta, hizo que se
extendiera en el tiempo más de lo previsto la primera tarea para el alumnado.
Desfase en la Tarea 3 (+2 días): La baja participación volvió a ser el

motivo por el que se alargó la Tarea 3. En la Tarea 2 los estudiantes
simplemente debían aportar algún recurso y explicarlo brevemente, pero en
esta ocasión se trataba de discutir y llegar a acuerdos mediante un foro, algo
que exigía un seguimiento permanente de la tarea, exigencia que muchos
estudiantes no podían o no querían hacer.
Desfase en la Tarea 4 (-14 días): Los motivos que han ocasionado esta
importante variación en los días dedicados a esta última tarea, han sido muy
distintos que en las anteriores ocasiones. En la wiki sí existió una participación
aceptable desde el comienzo, pero nos percatamos de un problema ajeno a los
estudiantes y que nos afectaba directamente al Equipo de Investigadores, se
trataba de que la fecha límite prevista en principio (15 de junio de 2009) no
dejaba margen para el estudio y posible inclusión de aspectos de la propuesta
realizada en la wiki.
La consideración real de la propuesta colaborativa de los requisitos y

evaluación del Trabajo Fin de Máster, había sido anunciada desde la sesión de
234
presentación de la actividad, por lo que se decidió acortar la fecha límite al 6 de

junio para que, en efecto, pudiese ser tenida en cuenta por los docentes
responsables del máster. A pesar de esto, se les informó a los estudiantes con
anterioridad al comienzo de la wiki sobre cuál sería la nueva fecha límite y el
por qué de esta modificación, situación que fue acogida sin problemas por los
estudiantes que decidieron participar en el diseño de la propuesta.
Esta mala previsión del tiempo por parte del Equipo de Investigadores, junto
con el desfase de días que ya arrastrábamos de las anteriores tareas, hizo que
de los 20 días previstos, sólo se pudieran dedicar 6.
Por otro lado, la participación de los estudiantes en la actividad se resume en la

siguiente tabla:
Participación de los estudiantes en la actividad

Nº Estudiantes Tarea 2 Tarea 3 Tarea 4 Total tareas
1 Estudiante1 Sí No No 1
2 Estudiante2 Sí Sí No 2
3 Estudiante3 Sí Sí Sí 3
4 Estudiante4 No No Sí 2
7 Estudiante7 Sí No Sí 2
Total participantes 7 6 4 5
Porcentaje respecto
al alumnado del 38.89% 33,33% 22,22% 27,78%
máster
Tabla 3: Participación de los estudiantes en la actividad
Como observamos en la Tabla 3, se evidencia la discreta participación de los

estudiantes a la que hacíamos mención con anterioridad. Recordamos que el
total de los estudiantes del máster sumaban 18, y los que en alguna Tarea han
participado, 7 (todas mujeres), representando el 38,89% del alumnado del
máster.
Respecto a los 7 participantes, comprobamos como 3 han realizado las 3

tareas propuestas, otros 3 estudiantes, 2 y una alumna ha contribuido en sólo
una tarea.
235
Aunque no habíamos estimado con anterioridad cuál sería el grado de

participación en la actividad, consideramos que ha sido reducida para la
repercusión que dicha actividad puede tener para la superación de uno de los
principales requisitos del máster, como es el Trabajo Fin de Máster.
2. ¿Qué posibilidades y limitaciones encontramos en la evaluación de

competencias con HIDAs en el contexto de estudios de máster?
Las principales conclusiones obtenidas de la entrevista no estructurada con los

profesores que han realizado la evaluación a los estudiantes (profesor que
realiza el seguimiento y profesor que no lo realiza) están referidas a las
siguientes cuestiones:
Posibilidades en la evaluación de competencias
1. Evaluar un foro o una wiki permite tener siempre disponible los

productos a evaluar, sólo con una conexión a Internet.
2. Son múltiples los diseños de aprendizaje y evaluación que se pueden
implementar con estos recursos, algo que facilita la adquisición y
valoración de diversas competencias.
3. Debido a su propia naturaleza interactiva, estas herramientas parecen
estar especialmente indicadas para el trabajo colaborativo en grupos,
hecho que puede ser utilizado para valorar la participación y la
colaboración entre los componentes de los equipos o su producto final.
4. La utilización de nuevas herramientas que favorecen las relaciones
entre estudiantes parecen mejorar la motivación a la hora de afrontar
trabajos en equipo y de realizar experiencias de autoevaluación o
evaluación por compañeros.
Limitaciones en la evaluación de competencias
1. No se han detectado problemas relevantes por los profesores a la hora

de realizar evaluaciones con los foros, ya que de una forma
organizada, se muestran las entradas de cada estudiante,
convirtiéndose en las evidencias y productos de su aprendizaje de
forma individual.
2. Situación bien distinta se da en la evaluación de los estudiantes en la
wiki. Cuando se visualiza el contenido no se puede diferenciar en
ningún momento donde empiezan las intervenciones o modificaciones
236
de unos y cuándo las de otros. La wiki se presenta como un todo y, a

excepción de los comentarios, es imposible individualizar las
aportaciones que componen la wiki.
La única fuente de evidencias individuales de las aportaciones están

presentes en la sección de la wiki “Cambios Recientes”. Justamente
debajo de estas líneas ofrecemos una captura de pantalla, omitiendo
los participantes que han realizado las ediciones.
Figura 4: Captura del apartado “Cambios recientes” de la wiki
Como podemos comprobar en la imagen, la información que podemos

extraer de la wiki se divide por días y se basa en describir qué página
ha sido modificada, a qué hora, por qué usuario y un resumen de la
acción realizada. El resumen aporta información sobre el número de
palabras agregadas, el número de palabras borradas, los comentarios
agregados y editados, los archivos añadidos, las páginas creadas o
borradas y los títulos de páginas modificados.
237
Esta información se ha revelado como insuficiente, sobre todo para el

profesor que no ha realizado el seguimiento de la actividad, para
aportar una valoración ajustada a la realidad del trabajo desempeñado
por el alumnado. Esta dificultad es compleja de superar; sólo se atisba
el seguimiento pormenorizado, un diseño en el que se contemplen
diferencias de formato en las aportaciones (por ejemplo, escribiendo
en distintos colores) o la asignación de espacios individuales para el
trabajo, como posibles formas de paliar, que no superar, esta
problemática para la evaluación individual del alumnado.
Probablemente la solución efectiva deberá ser propuesta desde el
contexto técnico.
3. ¿Existen relaciones entre las evaluaciones de HIDAs a estudiantes

cuando se realiza una evaluación formativa respecto a realizar
únicamente la evaluación sumativa?
Para realizar el estudio, nos hemos apoyado en los resultados de la evaluación

de los dos foros correspondientes a las Tareas 2 y 3, es decir, las valoraciones
de los estudiantes en el Foro de Recursos y el Foro de Decisión. Cada uno de
los foros ha sido valorado por el profesor que ha realizado un seguimiento
diario de los foros y por el docente que tan sólo ha visto dichos foros una vez
finalizados y para realizar su evaluación.
Algunos datos cuantitativos que se pueden extraer de las aportaciones y

comentarios de los estudiantes a los foros, se detallan en la siguiente tabla:
Foro de Recursos (Tarea 2) Foro de Decisión (Tarea 3)

Estudiantes Aportaciones Temas en los Comentarios Temas en los
totales al que interviene totales al foro que interviene
foro
Estudiante1 2 1 - -
Estudiante2 1 1 4 3
Estudiante3 3 1 3 3
Estudiante5 2 2 1 1
Estudiante6 1 1 1 1
Estudiante7 2 1 - -
Total 11 3 9 3
Tabla 4: Resumen cuantitativo de las aportaciones y comentarios de los estudiantes en los
foros
238
Respecto al contenido de las aportaciones, mostramos en el siguiente cuadro

algunos ejemplos de ambos foros:
Ejemplos de aportaciones Ejemplos de comentarios

Foro de Recursos (Tarea 2) Foro de Decisión (Tarea 3)
Este documento hace referencia al trabajo A continuación, aporto las secciones que creo
de fin de master en la rama de imprescindibles en el trabajo escrito de la
investigación. Incluye formato de la modalidad investigación: Introducción,
memoria, formato de la exposición oral y hipótesis y objetivos, material y métodos,
un reglamento de elaboración. resultados y discusión, conclusiones y por
[Adjunta archivo en .pdf] último bilbiografía.
Hola dejo un ejemplo de "normas para la Para evaluar el trabajo creo que hay que tener
realización del trabajo de investigación fin en cuenta:
de máster" de la Universidad de Huelva, da La memoria de las prácticas: contenido,
una visión muy general de los apartados originalidad, elaboración, presentación...
que debe recoger así como de la forma de Exposición oral: métodos que se emplean,
evaluación. como se desenvuelve la personas, saber
[Adjunta archivo en .pdf] defender su trabajo ante el jurado...
Hacer una valoración general:
- Los trabajos del máster, asistencia a clase,
actitud en clase, implicación en el máster...
- Valoración de la memoria, no tan sólo el
entregarla, sino como he dicho como está
presentada esa memoria, la originalidad, el
esfuerzo a la hora de hacer el trabajo (si es
elaborado o no..)
- Valoración de la exposición oral, no tan sólo
ver la presentación sino cómo es, cómo la
defiende...
El esfuerzo, el interés... Si realmente ha
aprendido o no la persona, si ha sabido valorar
y sacar provecho de las prácticas
239
Hola, Desde mi punto de vista, los aspectos a

Adjunto un ejemplo de sistema de considerar en la evaluación de la defensa oral,
evaluación para los trabajos fin de carrera, serán: exposición oral del contenido,
considero que podría ser igualmente válida materiales utilizados en la presentación y
para una evaluación de trabajo fin de capacidad de respuesta a las preguntas y
Máster. aclaraciones que planteen los miembros de la
un saludo, Comisión Evaluadora.
[Adjunta archivo en .pdf]
Cuadro 3: Ejemplos de aportaciones y comentarios de los estudiantes en los foros
Volviendo a la cuestión planteada y para dar respuesta a este interrogante, se

ha diseñado un estudio estadístico para corroborar si existe alguna relación
entre las calificaciones aportadas por el profesor que ha realizado el
seguimiento de la actividad, respecto al docente que no ha realizado ningún
seguimiento y se ha limitado a evaluar el producto final de la tarea.
Teniendo en consideración las características de este estudio, debemos

puntualizar en primera instancia, que mediante los distintos estudios
estadísticos realizados no se pretende generalizar ni extrapolar a otros
contextos las conclusiones, simplemente extraer relaciones válidas para la
experiencia concreta que se ha desarrollado.
Las variables se han construido a partir de los propios instrumentos de

recogida de datos. Si recordamos, dichos instrumentos para la evaluación de
los foros (Instrumentos 2 y 3 del procedimiento de evaluación) se componían
de tres grandes bloques:
1. Cantidad de aportaciones o comentarios.

2. Calidad de las aportaciones o los comentarios.
3. Valoración total.
De esta forma, las variables quedan definidas como se describe a continuación:
- Cantidad: Media de los 3 atributos que componen el bloque de

Cantidad de aportaciones o comentarios. Cuando no existía algún
atributo, se le asigna el valor “0”.
- Calidad: Media de la valoración de los 7 o 9 atributos (dependiendo del
instrumento) que componen el bloque Calidad de las aportaciones o
los comentarios. Recordamos que la escala oscilaba de 1 a 10. Al
240
Igual que en el caso anterior, cuando no existía algún atributo, se le

asigna el valor “0”.
- Total: Valoración total aportada al estudiante por su participación en
cada uno de los foros. La escala también era de 1 a 10.
Las relaciones se han indagado para estas tres variables respecto al profesor
que realizó el seguimiento (en adelante código _01) y respecto al que no la
realizó (código _02) quedando así configuradas las 6 variables que se
relacionan en esta sencilla comprobación.
Comenzaremos la exposición de los resultados de las evaluaciones realizadas

al primer foro, el Foro de Recursos utilizado en la Tarea 2 de Búsqueda de
Información, los estadísticos descriptivos de las evaluaciones de los 6
estudiantes participantes y el estudio de correlaciones entre las distintas
variables pueden observarse en las siguiente tablas:
N Media Desv. típ. Mínimo Máximo

Cantidad_01 6 ,9967 ,29964 ,66 1,33
Calidad_01 6 2,4767 ,43219 2,14 3,29
Total_01 6 4,3333 1,03280 3,00 6,00
Cantidad_02 6 ,9950 ,36697 ,66 1,33
Calidad_02 6 3,6667 1,16194 1,43 4,71
Total_02 6 5,1667 ,98319 4,00 6,00
N válido (según lista) 6
Tabla 5: Estadísticos descriptivos de las calificaciones del Foro de Recursos
241
Cantidad_01 Calidad_01 Total_01 Cantidad_02 Calidad_02 Total_02

Cantidad_01 Correlación
1 ,440 ,644 ,816(*) ,771 ,681
de Pearson
Sig.
,383 ,167 ,047 ,073 ,136
(bilateral)
N 6 6 6 6 6 6
Calidad_01 Correlación
,440 1 ,859(*) ,363 ,440 ,449
de Pearson
Sig.
,383 ,029 ,479 ,383 ,372
(bilateral)
N 6 6 6 6 6 6
Total_01 Correlación
,644 ,859(*) 1 ,707 ,443 ,722
de Pearson
Sig.
,167 ,029 ,116 ,379 ,105
(bilateral)
N 6 6 6 6 6 6
,816(*) ,363 ,707 1 ,629 ,928(**)
de Pearson
Sig.
,047 ,479 ,116 ,181 ,007
(bilateral)
N 6 6 6 6 6 6
,771 ,440 ,443 ,629 1 ,708
de Pearson
Sig.
,073 ,383 ,379 ,181 ,116
(bilateral)
N 6 6 6 6 6 6
,681 ,449 ,722 ,928(**) ,708 1
de Pearson
Sig.
,136 ,372 ,105 ,007 ,116
(bilateral)
N 6 6 6 6 6 6
* La correlación es significante al nivel 0,05 (bilateral).
** La correlación es significativa al nivel 0,01 (bilateral).
Tabla 6: Correlaciones entre variables del Foro de Recursos
242
De estas tablas destacamos las siguientes apreciaciones:
1. Como observamos en la Tabla 5, y siendo lógico, la media las

cantidades reflejadas por el docente que ha realizado el seguimiento
(_01) y por el profesor que no lo ha realizado (_02) es prácticamente la
misma (0,9967 y 0,9950) salvando algún error o diferencia de criterio a
la hora de realizar el recuento de los ítems que componen esta
categoría. Este hecho se ve igualmente reflejado en la correlación
existente entre ambas variables (0,816), siendo significativa al nivel 0,05.
2. Por otro lado, parece constatarse que las calificaciones asignadas por el
docente que no realiza seguimiento son más altas en líneas generales
que las calificaciones del profesor que realiza el seguimiento de la
actividad. Como comprobamos en la Tabla 5, tanto la media de la
calidad como la valoración total para _02 es mayor que para _01 (3,6667
vs. 2,4767 en la calidad y 5,1667 vs. 4,3333 para la valoración total).
3. Respecto a la relación existente entre las valoraciones de los docentes
parece existir una moderada correlación. Si nos fijamos en las
valoraciones totales la correlación entre _01 y _02 es de 0,722, una
relación media-alta que no llega a ser suficientemente alta como para
considerarse significativa. Respecto a la calidad percibida por los
evaluadores, la relación es de 0,440, apreciablemente más débil que en
el caso de la valoración total.
4. En último lugar, destacaremos las dos relaciones, a parte de la de
cantidades de ambos evaluadores antes comentadas, halladas en este
estudio. Es interesante observar que, en primer lugar, que la valoración
total de _01 está correlacionada significativamente con la calidad de _01
(0,859) y la cantidad de _02 con la valoración total de _02 (0,928). La
explicación más evidente ante este hecho sería afirmar que las
valoraciones asignadas por el profesor que ha realizado el seguimiento
están relacionadas con la calidad percibida por parte de las aportaciones
del alumno, mientras que las valoraciones asignadas por el docente que
no realiza el seguimiento varía de la misma forma que lo hace la
cantidad de aportaciones del estudiantes. Este hecho produce una
equivalencia entre evaluación formativa con la calidad de las
aportaciones y la sumativa con su cantidad.
Realizado este breve análisis de los datos que arrojó las evaluaciones del Foro
de Recursos, intentaremos corroborar las conclusiones extraídas con los datos
243
que se ofrecen a continuación correspondientes a las valoraciones de los

docentes del Foro de Decisión.

Cantidad_01 4 1,4125 ,87929 ,66 2,33
Calidad_01 4 3,6375 ,48266 3,22 4,33
Total_01 4 4,2500 ,50000 4,00 5,00
Cantidad_02 4 1,4125 ,87929 ,66 2,33
Calidad_02 4 2,0800 ,87205 1,11 3,22
Total_02 4 3,7500 ,50000 3,00 4,00
Tabla 7: Estadísticos descriptivos de las calificaciones del Foro de Decisión
Cantidad_01 Calidad_01 Total_01 Cantidad_02 Calidad_02 Total_02

1 ,181 ,445 1,000(**) -,095 ,571
de Pearson
Sig.
,819 ,555 ,000 ,905 ,429
(bilateral)
N 4 4 4 4 4 4
,181 1 ,957(*) ,181 -,038 ,273
de Pearson
Sig.
,819 ,043 ,819 ,962 ,727
(bilateral)
N 4 4 4 4 4 4
,445 ,957(*) 1 ,445 -,153 ,333
de Pearson
Sig.
,555 ,043 ,555 ,847 ,667
(bilateral)
N 4 4 4 4 4 4
1,000(**) ,181 ,445 1 -,095 ,571
de Pearson
Sig.
,000 ,819 ,555 ,905 ,429
(bilateral)
N 4 4 4 4 4 4
-,095 -,038 -,153 -,095 1 ,742
de Pearson
Sig.
,905 ,962 ,847 ,905 ,258
(bilateral)
244
N 4 4 4 4 4 4
,571 ,273 ,333 ,571 ,742 1
de Pearson
Sig.
,429 ,727 ,667 ,429 ,258
(bilateral)
N 4 4 4 4 4 4
* La correlación es significante al nivel 0,05 (bilateral).
Tabla 8: Correlaciones entre variables del Foro de Decisión
Comprobando el contenido de estas tablas donde se exponen los datos de la

evaluación del Foro de Decisión, y teniendo de referencia las conclusiones del
Foro de Recursos, apreciamos que:
1. En esta ocasión no ha existido ninguna diferencia de criterio a la hora de

aportar la cantidad de aportaciones de los estudiantes, observándose el
mismo valor en las medias de ambos profesores (1,4125) y una
correlación total.
2. Por el contrario que ocurría con el Foro de Recursos, las valoraciones
más elevadas de forma general, las realiza el profesor que realiza el
seguimiento, tanto en la calificación media de la calidad de las
aportaciones, como en la valoración total. Si observamos la Tabla 7,
encontramos en calidad una media para _01 de 3,6375 y para _02 de
2,0800, mientras que la valoración total media para _01 es de 4,2500 y
de 3,7500 para _02.
3. Respecto a la relación entre las valoraciones de los docentes, los
valores, tanto de la relación en la calidad (-0,038) y en la valoración total
(0,333) nos indican claramente la prácticamente inexistencia de relación
entre las valoraciones en este foro aportadas por cada evaluador. Por lo
que en ningún caso podemos afirmar, a la luz de los resultados, que
existe relación entre las valoraciones del profesor que realiza el
seguimiento de la actividad con el docente que no lo realiza.
4. Por último, observamos nuevamente como la media de la calidad de _01
posee una relación altamente significativa con la media de las
valoraciones totales de dicho profesor (0,957). Por su contra, las
valoraciones totales del profesor que no realiza el seguimiento no se
correlaciona significativamente ni con la calidad ni con la cantidad,
aunque la relación esta vez con la cantidad (0,571) es menor que con la
calidad (0,742).
245
4. ¿Existen relaciones entre las evaluaciones de estudiantes realizada por

el docente respecto a la evaluación por compañeros y autoevaluación en
actividades desarrolladas mediante HIDAs?
Para abordar esta cuestión nos hemos basado en el trabajo realizado por los
estudiantes en la wiki desarrollada en la Tarea 4 para el Diseño de una
propuesta colaborativa de estructura y evaluación del Trabajo Fin de Máster.
Como se describió en la Tarea 4, al finalizar la propuesta en la wiki, se envió a

los estudiantes una rúbrica para la autoevaluación del trabajo realizado y otra
para la evaluación de una compañera asignada al azar.
Por otro lado y utilizando también una rúbrica (todas las rúbricas citadas con
contenido semejante) evaluaron a los estudiantes el profesor que ha realizado
el seguimiento diario de la wiki (_01) y el docente que tan sólo ha visualizado y
valorado mencionada wiki cuando las intervenciones habían tocado a su fin
(_02).
Se ha puesto ya de manifiesto en este informe las dificultades detectadas por

los docentes para realizar una evaluación individual del trabajo desempeñado
en este entorno, incluso para realizar un seguimiento pormenorizado, a pesar
de contar con pocos participantes en la experiencia (tan sólo 5).
Para efectuar la evaluación, tanto los estudiantes como el profesor _01 han
realizado un seguimiento de la tarea y de las distintas aportaciones del
alumnado participante, el profesor _02, sólo ha visualizado la wiki una vez
finalizada. De lo que disponían todos era de la información, básicamente
cuantitativa, que guarda esta herramienta en su registro de los cambios
realizados por los usuarios dados de alta. Esta información, junto con los
comentarios que sí son individuales, es la única forma de aislar las
aportaciones de una wiki que se presenta como un todo, como un escrito
homogéneo donde no es posible distinguir las distintas intervenciones.
En la Figura 4 presentada más arriba, se ofrece una captura del apartado

“Cambios recientes” de la wiki, fuente principal de información cuantitativa
individualizada de la participación de los estudiantes. A continuación se
presenta una tabla resumen con todos los datos que hemos podido extraer de
esta utilidad:
246
Estudiante Total Total Comentarios Comentarios Número Número Archivos Títulos

palabras palabras agregados editados total de de días añadidos de
agregadas borradas registros con páginas
registros editados
Estudiante3 0 0 15 8 23 1 0 0
Estudiante4 74 24 6 0 11 2 0 0
Estudiante5 477 203 0 0 4 1 0 0
Estudiante6 211 121 0 0 5 2 0 0
Estudiante7 1364 846 2 1 13 2 2 3
TOTAL 2126 1194 23 9 56 6 máx 2 3
Tabla 9: Resumen de la información registrada en el apartado “Cambios recientes” de la wiki
A modo de ejemplo, presentamos también un cuadro con un fragmento literal

de la propuesta final reflejada en la wiki y tres comentarios realizados:
Fragmento de la wiki – Página Trabajo de Investigación/Evaluación del Trabajo Fin de

Máster
2.1. Personas que evalúan
El trabajo será evaluado por el Comité de Evaluación, el cual está integrado por 5 miembros:
- El tutor de prácticas del alumno/a
- Uno de los coordinadores de los cursos del Máster.
- Un profesor que haya impartido clase en el Máster.
- Un alumno o una alumna.
2.2. Métodos y técnicas de evaluación
La evaluación está integrada por un componente cuantitativo y otro cualitativo.

El componente cuantitativo consiste en una escala numérica o una lista de verificación para
valorar la calidad del Trabajo Fin de Máster (ver archivos adjunto).
El componente cualitativo consiste en la valoración del Comité de evaluación del progreso del
alumno/a en su desempeño profesional, comparándolo con las características con las que
inició y destacando los cambios positivos que presenta. El objetivo de esta evaluación es
proporcionar al alumno/a una retroalimentación desde diferentes perspectivas sobre su
desempeño. Seguramente, el tutor será quien cuente con más elementos que aportar, pero la
aportación de los otros miembros enriquecerá al alumno/a.
La suma de ambas evaluaciones será la calificación final de Trabajo escrito que se promediará
con los otros elementos (defensa oral, asistencia, calificaciones en los cursos, etc.).
247
Ejemplos de comentarios en la wiki:
1. Se requiere la construcción de una escala numérica o rúbrica que incluya los criterios de
evaluación. Este mismo instrumento sería utilizado por el Comité de evaluación y por los pares.
En referencia, a la autoevaluación, propongo que el ponente valore estos puntos: - El logro de
los objetivos planteados al inicio del Máster y de las prácticas. - El Avance del dominio de las
competencias profesionales. - Las dificultades afrontadas en el Máster. - Las habilidades
desarrolladas. - Los aspectos a seguir mejorando. Como una pregunta genérica que el Comité
de evaluación puede realizar propongo: ¿Cuál fue tu experiencia personal al realizar este
Máster/trabajo final de Máster?
2. Opino lo mismo que en el anterior, en cuanto a bibliografía buscar proyectos similares y

comparar y añadiría una valoración crítica, una opinión personal: que la persona valore el
trabajo realizado, los métodos empleados... es decir, valorar en su conjunto la investigación
3. En cuanto al 4º punto si me lo permite, yo personalmente, tendría un feedback de comentario

pero no de evaluación en el momento, opino que la evaluación se tendría que hacer
posterimente a la defensa oral, teniendo todas las partes después valorar en su conjunto y dar
la valoración pertinente.
Cuadro 4: Fragmento de una página y ejemplos de comentarios en la wiki
Volviendo de nuevo a la cuestión que deseamos solventar, hemos de recordar

que las rúbricas utilizadas para la evaluación en todos los casos tenía un
contenido similar, se componía de la valoración de nueve criterios o atributos y
una valoración total que podía oscilar de los 5 a los 100 puntos. Para relacionar
las calificaciones, hemos tomado como referencia la puntuación total asignada
por los evaluadores a los estudiantes evaluados. Se presenta a continuación un
gráfico con las valoraciones realizadas y una tabla con los estadísticos
descriptivos:
248
90
80
70
60
Profesor_01
50
Profesor_02
40 Autoevaluación
Compañero
30
20
10
0
e3
e4
e5
e6
e7
nt
nt
nt
nt
nt
ia
ia
ia
ia
ia
d
d
tu
tu
tu
tu
tu
Es
Es
Es
Es
Es
Gráfico 1: Valoraciones totales del profesor_01, profesor_02, autoevaluación y evaluación por

compañeros

profesor_01 5 59,00 16,355 40 75
profesor_02 5 31,00 14,748 10 45
autoevaluacion 5 65,00 12,748 50 80
compañero 5 61,00 18,166 30 75
Tabla 10: Estadísticos descriptivos de las calificaciones del profesor_01, profesor_02,
autoevaluación y evaluación por compañeros
Atendiendo al gráfico y la tabla mostrada, podemos comprobar como la

calificación media más baja en líneas generales es asignada por el profesor
que no realizó el seguimiento (31). Las calificaciones medias más altas se
asignan en la autoevaluación (65), siendo además la medición que menos
variabilidad presenta (12,748). La media de las calificaciones del profesor que
sí realiza el seguimiento (59) y la media de las evaluaciones por compañeros
(61) están igualmente muy alejadas de la calificación del profesor _02. La
evaluación por compañeros es el tipo de evaluación que más dispersión
presenta en sus resultados (18,166).
249
Para el estudio de las relaciones existentes entre las puntuaciones de cada

evaluación, se presenta en la siguiente tabla las correlaciones entre variables:
Auto
profesor_01 profesor_02 evaluacion compañero
profesor_01 Correlación de Pearson 1 ,964(**) -,060 -,627
Sig. (bilateral) ,008 ,924 ,258
N 5 5 5 5
profesor_02 Correlación de Pearson ,964(**) 1 -,199 -,611
Sig. (bilateral) ,008 ,748 ,273
N 5 5 5 5
autoevaluacion Correlación de Pearson -,060 -,199 1 -,594
Sig. (bilateral) ,924 ,748 ,291
N 5 5 5 5
compañero Correlación de Pearson -,627 -,611 -,594 1
Sig. (bilateral) ,258 ,273 ,291
N 5 5 5 5
Tabla 11: Correlaciones entre calificaciones totales de las distintas evaluaciones de la wiki
Observamos en esta ocasión que la única correlación significativa existente se

da entre las evaluaciones de ambos profesores (0,964) siendo significativa al
nivel 0,01. Es curioso, por tanto, comprobar que a diferencia de lo que ocurría
con los foros, las calificaciones a los estudiantes de ambos docentes en la wiki
están altamente relacionadas.
Del análisis de los datos, no es posible extraer ninguna otra relación clara entre
variables, sin embargo llama la atención que las evaluaciones de los docentes
están relacionadas de forma inversa con la autoevaluación (-0,060 y -0,199) y
de forma más sustancial con la evaluación por compañeros (-0,627 y -0,611).
La relación entre autoevaluación y evaluación por compañeros también es
negativa (-0,594).
Comprobando las escasas relaciones entre las evaluaciones, nos propusimos

insertar otras variables para intentar extraer nuevas conclusiones. En una
nueva correlación, quisimos comprobar si alguna de las evaluaciones tenía
relación con el número de palabras o comentarios que habían aportado los
participantes a la wiki. Los resultados se muestran a continuación:
250
profesor_01 profesor_02 autoevaluacion compañero palabras comentarios

profesor_01 Correlación
1 ,964(**) -,060 -,627 ,272 ,674
de Pearson
Sig.
,008 ,924 ,258 ,658 ,213
(bilateral)
N 5 5 5 5 5 5
profesor_02 Correlación
,964(**) 1 -,199 -,611 ,236 ,623
de Pearson
Sig.
,008 ,748 ,273 ,702 ,261
(bilateral)
N 5 5 5 5 5 5
autoevaluacion Correlación
-,060 -,199 1 -,594 -,628 ,606
de Pearson
Sig.
,924 ,748 ,291 ,256 ,278
(bilateral)
N 5 5 5 5 5 5
compañero Correlación
-,627 -,611 -,594 1 ,515 -,988(**)
de Pearson
Sig.
,258 ,273 ,291 ,375 ,002
(bilateral)
N 5 5 5 5 5 5
palabras Correlación
,272 ,236 -,628 ,515 1 -,471
de Pearson
Sig.
,658 ,702 ,256 ,375 ,423
(bilateral)
N 5 5 5 5 5 5
comentarios Correlación
,674 ,623 ,606 -,988(**) -,471 1
de Pearson
Sig.
,213 ,261 ,278 ,002 ,423
(bilateral)
N 5 5 5 5 5 5
Tabla 12: Correlaciones entre calificaciones totales de las distintas evaluaciones de la wiki, el
número de palabras y los comentarios de los participantes
251
Podemos comprobar que existen enormes variaciones de las relaciones

existentes entre el número de palabras y comentarios con las calificaciones que
provienen de las distintas modalidades de evaluación. Únicamente podemos
destacar la alta correlación inversa que se evidencia entre la evaluación por
compañeros y los comentarios de los participantes (-0,988), dato que puede
entenderse como que en esta experiencia a mayor número de comentarios
realizados, los compañeros asignan una menor puntuación a sus iguales por el
trabajo realizado en la wiki.
252

PROYECTO EVALHIDA
Mediante esta experiencia hemos tenido oportunidad de diseñar, aplicar y

realizar el seguimiento a un procedimiento de evaluación basado en la
utilización de HIDAs y centrado en los nuevos estudios de máster en la
Universidad de Cádiz.
La actividad, de carácter voluntario, tenía como objetivo que los estudiantes del
Máster Oficial de Orientación y Evaluación SocioEducativas realizaran una
propuesta colaborativa de los requisitos y evaluación de su propio Trabajo Fin
de Máster.
La actividad estaba compuesta por una sesión presencial de presentación, una

búsqueda de recursos sobre los tópicos de interés que se debían compartir en
un foro, la toma de decisiones sobre la propuesta utilizando igualmente otro
foro y la realización final de la propuesta concreta en una wiki.
Las cuestiones que nos planteábamos, y en torno a las cuales ha girado la

indagación realizada por el Equipo de Investigación del Proyecto EvalHIDA de
la Universidad de Cádiz sobre esta experiencia, se basaban en:
1. Dificultades de la puesta en práctica de un procedimiento de evaluación

basado en HIDAs
2. Posibilidades y limitaciones de la evaluación de competencias con
HIDAs
3. Relaciones entre la evaluación formativa del proceso respecto a la
evaluación sumativa del producto de tareas basadas en HIDAs
4. Relaciones entre la evaluación del profesor, la evaluación por
compañeros y la autoevaluación de tareas basadas en HIDAs
Para la recogida de datos se han utilizado, además de los instrumentos de

evaluación incluidos en el procedimiento, de un registro para el seguimiento de
la actividad y de una entrevista no estructurada con los profesores evaluadores
de las tareas.
A la luz de los datos extraídos y de su posterior análisis, las principales

conclusiones que podemos extraer las podemos agrupar en torno a las
preguntas de investigación planteadas desde el inicio:
253
1. ¿Qué dificultades debemos de abordar en la puesta en práctica

de un procedimiento de evaluación sistemático previamente diseñado con
HIDAs?
En nuestro caso, las principales dificultades detectadas en la puesta en

práctica del procedimiento han sido la baja participación y una defectuosa
previsión de la fecha límite.
En primer lugar, parecen factores fundamentales para explicar la baja

participación, esencialmente dos: las fechas de implantación que coincidieron
con las obligaciones del final de curso y sobre todo, el carácter voluntario con
que se dotó la participación e la experiencia.
La decisión de hacer voluntaria la actividad estaba basada precisamente en las

fechas donde se desarrollaría y que ya desde el inicio de curso se habían
presentado los requisitos para superara cada módulo y esta actividad por
aquellos días, ni tan si quiera estaba diseñada.
Por otro lado, se debió realizar una estimación de las fechas límites más
ajustadas a la realidad. Esta problemática surgió cuando se comparó la fecha
programada para el fin de la propuesta en la wiki, respecto a las posibilidades
de introducir cambios en los criterios previstos desde el inicio. El margen de
maniobrabilidad era inexistente, por lo que se decidió adelantar la fecha del fin
de la actividad para que su producto pudiese ser considerado por los
responsables del máster.
En el momento de la redacción de este informe, la propuesta colaborativa

reflejada en la wiki está siendo estudiada por los coordinadores del máster para
acordar la inclusión o modificación de criterios en los requisitos y evaluación del
Trabajo Fin de Máster.
2. ¿Qué posibilidades y limitaciones encontramos en la evaluación

de competencias con HIDAs en el contexto de estudios de máster?
Una vez que realizaron la evaluación a los estudiantes a partir de su trabajo en

dos foros y una wiki, los docentes evaluadores destacaron algunas
posibilidades en la evaluación de competencias con HIDAs:
254
- Disponibilidad de los productos del aprendizaje

- Posibilidad de valorar competencias muy diversas
- Es posible tener evidencias de la colaboración y la interrelación en el
trabajo en equipo
- Parecen indicadas para fomentar experiencias de autoevaluación y
evaluación por compañeros
La principal limitación detectada está centrada en la wiki y se refiere a la

complejidad que requiere realizar un seguimiento de las aportaciones
individuales. La única forma de desarrollar una valoración exhaustiva del
proceso de creación de una wiki sería contrastando continuamente los registros
de cambios de la wiki con el antes y el después de las páginas donde se
produzcan las aportaciones, tarea prácticamente imposible cuando existe un
número aceptable de usuarios en una wiki.
La solución a esta dificultad es compleja y está más relacionada con las

características técnicas de la herramienta que con sus posibilidades
pedagógicas.
3. ¿Existen relaciones entre las evaluaciones de HIDAs a

estudiantes cuando se realiza una evaluación formativa respecto a
realizar únicamente la evaluación sumativa?
Con el análisis de datos realizado basado en un estudio de correlaciones entre

las evaluaciones desarrolladas por un docente que ha realizado el seguimiento
a los foros, y otro, que simplemente ha valorado las aportaciones de los
estudiantes mediante el producto final, nos revela que para este caso, no se
pueden establecer relaciones significativas entre las puntuaciones ofrecidas por
ambos docentes.
Recordamos que las dimensiones estudiadas de las evaluaciones de los

docentes eran la cantidad de aportaciones o comentarios, la calidad percibida
de dichas aportaciones y la valoración total a la participación de cada
participante. Las únicas relaciones percibidas entre ambos docentes han sido,
y como puede resultar lógico, las mediciones de la cantidad de aportaciones o
comentarios de los estudiantes, en ningún caso entre la calidad o la valoración
total.
255
Ante las evidencias presentadas en el estudio de este caso, nos preguntamos

si han podido existir más factores que hayan provocado este desajuste en las
evaluaciones de los docentes, a parte de haber realizado o no el seguimiento a
los foros, después de la reflexión, concretamos que otros posibles motivos
podrían ser:
- Complejidad del instrumento

- Interpretación desigual de los criterios a aplicar
- Desequilibrio en el tiempo empleado por cada evaluador, siendo
superior el dedicado por el docente que realizaba el seguimiento
Por último, destacaremos que la puntuación de la calidad percibida por el

profesor que realizó el seguimiento ha estado en las dos evaluaciones
relacionada significativamente con la valoración total aportada por dicho
profesor. El docente que no realizó el seguimiento se relacionó en una ocasión
y de forma significativa la puntuación total con la cantidad de aportaciones, en
la otra evaluación, con ninguna de las dimensiones.
La relación entre calidad y valoración total puede ser fruto del mayor tiempo
dedicado para la reflexión y ajuste a los criterios planteados en el instrumento,
por lo que podemos afirmar, al menos en esta experiencia, que el seguimiento
de los foros ha permitido realizar una valoración a los estudiantes en
coherencia con la percepción de la calidad de las aportaciones a dicho foro que
ha tenido el evaluador.
4. ¿Existen relaciones entre las evaluaciones de estudiantes

realizadas por los docentes respecto a la evaluación por compañeros y
autoevaluación en actividades desarrolladas mediante HIDAs?
Para dar respuesta a esta cuestión utilizamos como referente el trabajo

realizado en la wiki. La evaluación de los profesores la volvieron a realizar el
docente que había realizado el seguimiento y el que no. También se les pidió a
los estudiantes que realizaran una autoevaluación y evaluaran el trabajo de
alguna compañera asignada al azar. En todos los casos se utilizó una rúbrica
con contenido similar.
El estudio de correlación efectuado entre las puntuaciones a los estudiantes

que provienen de las distintas evaluaciones, nos revela que la única relación
256
significativa existente es, precisamente ahora, entre los dos profesores

evaluadores.
Nos preguntamos entonces ¿por qué ahora sí existe una fuerte relación entre
ambos profesores? Las respuestas que podemos proponer tras el análisis giran
en torno a la mayor claridad del instrumento utilizado y la dificultad de realizar
un seguimiento eficaz de las aportaciones de los estudiantes, situación que
parece haber unificado las evidencias en las que basarse ambos docentes para
ofrecer sus puntuaciones.
Como mencionamos con anterioridad, no existe ninguna otra relación

significativa con las otras prácticas evaluativas, es decir, autoevaluación y
evaluación por compañeros. Sin embargo, de la lectura de los resultados
podemos extraer otros aspectos de relevancia que comentamos a
continuación:
- Los estudiantes parecen que tienden a sobrevalorar su trabajo en

líneas generales. Esta afirmación la basamos atendiendo a que la
media de las autoevaluaciones ha sido la superior de las cuatro
evaluaciones analizadas.
- La gran dispersión encontrada entre las evaluaciones por compañeros
puede ser un indicio de la ausencia de criterios comunes por parte de
los estudiantes y/o de la necesidad de formación en la práctica
evaluativa.
Por último, destacaremos que intentamos establecer relaciones entre el

número de palabras y el número de comentarios aportados por los
participantes a la wiki con alguna de las cuatro evaluaciones, pero el resultado
ha sido negativo. Tan sólo hemos podido destacar una relación inversa
significativa entre la evaluación por compañeros y el número de comentarios
realizados. Este dato nos parece poco relevante si tenemos en cuenta que el
65% de los comentarios los ha realizado un solo estudiante y dos participantes
no han realizado ninguno.
Nuestra intención con la puesta en práctica de esta experiencia era la de

acercarnos a la evaluación de competencias mediante el trabajo con HIDAs.
Las conclusiones que de aquí extraemos son muy particulares y difícilmente
extrapolables a otros contextos por las características particulares de la
investigación y el bajo número de participantes.
257
Pretendemos abrir nuevas líneas y tópicos de investigación en la evaluación

universitaria, de forma que puedan responder a las nuevas demandas que la
sociedad digital nos demanda. Esperamos que existan otros muchos estudios
en los que se profundicen en alguna de las cuestiones aquí planteadas y que
se puedan ir forjando conclusiones más certeras y fiables a medida que avanza
el conocimiento sobre la utilización educativa en ámbitos universitarios de estas
Herramientas de Interacción Dialógicas Asíncronas.
258
6.- ANEXO I
259
1. Título: Procedimiento para el Diseño Colaborativo de una Propuesta de

Estructura y Evaluación del Trabajo Fin de Máster OESE.
2. Autores: Rodríguez Gómez, G.; Ibarra Sáiz, M. S; Gómez Ruiz, M. A.;
Gallego Noche, B.; Quesada Serra, V. y Cabeza Sánchez, D.
3. Área: CCSS
5. Nivel:
6.1. Posgrado: Aplicación de conocimientos
6.2. Posgrado: Aprendizaje autónomo
7. Competencia específica: Identificar y justificar razonadamente la
estructura del Trabajo Fin de Máster OESE y los componentes y procedimiento para
su evaluación.
8. Objetivo del procedimiento: Realizar una propuesta formal de la
estructura y la evaluación del Trabajo Fin de Máster OESE.
Instrumento 1. Lista de control de asistencia. (Profesor)
Instrumento 2. Lista de control + Escala de valoración de las aportaciones. (Profesor)
Instrumento 3. Lista de control + Escala de valoración de los comentarios del foro.
(Profesor)
Instrumento 4. Rúbrica para la evaluación de la wiki-producto final. (Profesor).
Instrumento 5. Rúbrica de autoevaluación en el desarrollo y producto de la wiki.
(Alumnos)
Instrumento 6. Rúbrica para la evaluación por compañeros en el desarrollo y
producto de la wiki (Alumnos)
260
261
Evaluación de Competencias con Herramientas de Interacción Dialógica Asíncronas (foros, blogs y Wikis)
Competencia Básica: Aplicación de conocimientos y aprendizaje autónomo
Competencia Específica: Identificar y justificar razonadamente la estructura y procedimiento de la evaluación del Trabajo Fin de Máster
OESE.
1. Asistencia a una sesión presencial en Documento con los datos de los El profesor. Lista de control de asistencia (Instrumento 1)
la que se presentan la tareas a realizar, estudiantes
presentando:
- Contenidos
- Objetivos
- Metodología y temporalización
- Productos esperados
- Evaluación
2. Búsqueda de información sobre: En un foro de Moodle, listado de El profesor. Lista de control + escala de valoración de las
recursos encontrados por el alumnado aportaciones. (Instrumento 2)
- Posible estructura, apartados y divididos por temáticas.
requisitos del Trabajo Fin de Máster
(investigación y prácticas en empresa).
- Diseño de evaluación para el Trabajo
Fin de Máster y su defensa oral.
262
3. Realizar comentarios en un foro para Foro en el que podemos ver las El profesor Lista de control+ escala de los comentarios
decidir y llegar a consenso sobre: argumentaciones y contra- del foro (Instrumento 3)
argumentaciones de los estudiantes.
- Composición del Trabajo Fin de Máster
(investigación y prácticas en empresa)
- Composición de la evaluación del
Trabajo Fin de Máster
- Composición de la evaluación de la
defensa oral del Trabajo Fin de Máster
4. Trabajo colaborativo para la creación Wiki como producto final de la propuesta El profesor Rúbrica para la evaluación de la wiki por
de: de estructura y evaluación del Trabajo parte del profesor producto final.
Fin de Máster. Alumnado- Autoevaluación (Instrumento 4)
- Estructura y requisitos del Trabajo Fin
de Máster (investigación y prácticas en Alumnado- Evaluación por Rúbrica para la autoevaluación del proceso-
empresa) compañeros (individuo a producto de la wiki por parte de los alumnos.
- Diseño de evaluación del Trabajo Fin de individuo) (Instrumento 5)
Máster y su defensa oral (investigación y
prácticas en empresa) Rúbrica para la evaluación por compañeros
del proceso-producto de la wiki por parte de
En el diseño se deberán especificar los los alumnos. (Instrumento 6)
criterios, productos, instrumentos y
participantes de la evaluación
diferenciando entre los trabajo fin de
master orientados al trabajo investigador
y los derivados de prácticas en empresas.
263
Instrumento 1. Lista de control de asistencia1. (Profesor)

Instrumento 2. Lista de control + Escala de valoración de las aportaciones.
(Profesor)
Instrumento 3. Lista de control + Escala de valoración de los comentarios del
foro. (Profesor)
Instrumento 4. Rúbrica para la evaluación de la wiki-producto final. (Profesor).
Instrumento 5. Rúbrica de autoevaluación en el desarrollo y producto de la
wiki. (Alumnos)
Instrumento 6. Rúbrica para la evaluación por compañeros en el desarrollo y
producto de la wiki
1
El instrumento 1 no se adjunta al aparecer los nombres de los participantes
264
265
266
INSTRUMENTO 4: RÚBRICA PARA LA EVALUACIÓN DE LA WIKI - PROFESOR
A cumplimentar por el profesor para cada estudiante participante en la Wiki.

NOMBRE DEL ESTUDIANTE:
BAJA MEDIA ALTA MUY ALTA
El estudiante no ha
Ha participado activamente Ha participado de forma muy
participado, sólo ha La participación ha sido
Implicación el en desarrollo de la destacada en el desarrollo de la
seguido la evolución de la moderada
propuesta wiki con la propuesta
wiki
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
El estudiante ha realizado Algunas veces ha De forma general consulta

cambios importantes sin realizado cambios con sus compañeros para Siempre ha consultado posibles
Colaboración
consultar con sus importantes sin consultar introducir cambios cambios con sus compañeros
compañeros con sus compañeros importantes en la wiki
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
El estudiante no ha
El estudiante ha realizado El estudiante ha realizado El estudiante ha realizado más de
Aportaciones realizado ninguna
entre 1 y 3 aportaciones entre 4 y 10 aportaciones 10 aportaciones
aportación
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
267
El contenido de la
El contenido de la
El contenido de la propuesta se puede
propuesta ha sido poco El contenido de la propuesta es
Pertinencia del propuesta no es adecuado considerar en líneas
adecuado y poco adecuado y coherente con el
contenido ni coherente con el generales adecuado y
coherente con el objetivo objetivo de la actividad
objetivo de la actividad coherente con el objetivo
de la actividad
de la actividad
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
El estudiante ha tenido en cuenta

El estudiante no ha tenido El estudiante ha tenido en
El estudiante ha tenido en tanto el formato como la estructura
en cuenta ni el formato ni cuenta tanto el formato
Formato cuenta la estructura de la de la wiki en sus aportaciones y
la estructura de la wiki en como la estructura de la
wiki pero no el formato además ha modificado los errores
sus aportaciones wiki en sus aportaciones
de los compañeros
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
La relevancia de todas las La relevancia de todas las

La relevancia de todas las La relevancia de todas las
Contribuciones a aportaciones del aportaciones del
aportaciones del estudiante aportaciones del estudiante a la
la propuesta estudiante a la propuesta estudiante a la propuesta
a la propuesta final es alta propuesta final es muy significativa
final es nula final es moderada
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
268
Las aportaciones no han Las aportaciones han sido Las aportaciones han sido
Las aportaciones han sido
sido originales y nunca ha discretas y casi nunca ha originales y alguna vez ha
originales y siempre ha aportado
Creatividad aportado enlaces ni aportado enlaces ni aportado enlaces o
enlaces y documentos que
documentos que apoyen documentos que apoyen documentos que apoyen
apoyan sus intervenciones
sus intervenciones sus intervenciones sus intervenciones
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
VALORACIÓN TOTAL
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
269
INSTRUMENTO 5: RÚBRICA PARA LA AUTOEVALUACIÓN DE LA WIKI
NOMBRE DEL ESTUDIANTE:
No he participado, sólo he He participado activamente He participado de forma muy

Mi participación ha sido
Implicación seguido la evolución de la el en desarrollo de la destacada en el desarrollo de la
moderada
wiki propuesta wiki con la propuesta
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
Algunas veces he De forma general consulto

Ha realizado cambios
realizado cambios con mis compañeros para Siempre he consultado posibles
Colaboración importantes sin consultar
importantes sin consultar introducir cambios cambios con mis compañeros
con mis compañeros
con mis compañeros importantes en la wiki
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
No he realizado ninguna He realizado entre 1 y 3 He realizado entre 4 y 10 He realizado más de 10

Aportaciones
aportación aportaciones aportaciones aportaciones
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
270
El contenido de la
El contenido de la
de la actividad
de la actividad
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
He tenido en cuenta tanto el

No he tenido en cuenta ni He tenido en cuenta tanto
Ha tenido en cuenta la formato como la estructura de la
el formato ni la estructura el formato como la
Formato estructura de la wiki pero wiki en mis aportaciones y
de la wiki en mis estructura de la wiki en mis
no el formato además he modificado los errores
aportaciones aportaciones
de los compañeros
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
La relevancia de todas mis

La relevancia de todas mis La relevancia de todas mis La relevancia de todas mis
Contribuciones a aportaciones a la
aportaciones a la aportaciones a la propuesta aportaciones a la propuesta final
la propuesta propuesta final es
propuesta final es nula final es alta es muy significativa
moderada
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
271
Mis aportaciones no han Mis aportaciones han sido Mis aportaciones han sido
Mis aportaciones han sido
sido originales y nunca he discretas y casi nunca he originales y alguna vez he
originales y siempre he aportado
apoyan mis intervenciones
mis intervenciones mis intervenciones mis intervenciones
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
VALORACIÓN TOTAL
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
272
INSTRUMENTO 6: RÚBRICA PARA LA EVALUACIÓN POR COMPAÑEROS
NOMBRE DEL EVALUADOR:

NOMBRE DEL ESTUDIANTE EVALUADO:
El estudiante no ha
Ha participado activamente Ha participado de forma muy
participado, sólo ha La participación ha sido
Implicación el en desarrollo de la destacada en el desarrollo de la
seguido la evolución de la moderada
propuesta wiki con la propuesta
wiki
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
El estudiante ha realizado Algunas veces ha De forma general consulta

cambios importantes sin realizado cambios con sus compañeros para Siempre ha consultado posibles
Colaboración
consultar con sus importantes sin consultar introducir cambios cambios con sus compañeros
compañeros con sus compañeros importantes en la wiki
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
El estudiante no ha
El estudiante ha realizado El estudiante ha realizado El estudiante ha realizado más de
Aportaciones realizado ninguna
entre 1 y 3 aportaciones entre 4 y 10 aportaciones 10 aportaciones
aportación
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
273
El contenido de la
El contenido de la
de la actividad
de la actividad
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
El estudiante ha tenido en cuenta

El estudiante no ha tenido El estudiante ha tenido en tanto el formato como la
El estudiante ha tenido en
en cuenta ni el formato ni cuenta tanto el formato estructura de la wiki en sus
Formato cuenta la estructura de la
la estructura de la wiki en como la estructura de la aportaciones y además ha
wiki pero no el formato
sus aportaciones wiki en sus aportaciones modificado los errores de los
compañeros
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
La relevancia de todas las La relevancia de todas las La relevancia de todas las

La relevancia de todas las
Contribuciones a aportaciones del aportaciones del aportaciones del estudiante a la
aportaciones del estudiante
la propuesta estudiante a la propuesta estudiante a la propuesta propuesta final es muy
a la propuesta final es alta
final es nula final es moderada significativa
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
274
Las aportaciones no han Las aportaciones han sido Las aportaciones han sido
Las aportaciones han sido
sido originales y nunca ha discretas y casi nunca ha originales y alguna vez ha
originales y siempre ha aportado
apoyan sus intervenciones
sus intervenciones sus intervenciones sus intervenciones
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
VALORACIÓN TOTAL
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
275
ESTUDIO DE LA ASIGNATURA
WEB 2.0: REDES SOCIALES
IMPARTIDA A LAS
UNIVERSIDADES DEL G9
Manuel Benito Gómez

Jesús María Romo Uriarte
Javier Portillo Berasaluce
Estudio de la asignatura Web 2.0: Redes Sociales impartida a las universidades del G9
1.- INTRODUCCIÓN
La experiencia que se describe a continuación ha tenido lugar en el marco del

desarrollo del curso Web 2.0 práctica: Redes Sociales que se ofrece desde la
UPV/EHU a los miembros del Grupo 9 de Universidades (G9); han participado
54 estudiantes de todas las universidades del grupo: Universidad de Oviedo, de
Cantabria, del País Vasco, de la Rioja, de Navarra, de Zaragoza, Islas
Baleares, Extremadura y Castilla la Mancha; esta experiencia se ha llevado a
cabo en el segundo semestre del curso 2008/09, se trata de una asignatura de
libre elección y representa 6cr ECTS con una carga de 150 horas de trabajo
para el estudiante. Se ha elegido esta asignatura por dos motivos: los máster y
cursos de doctorado que podrían haber servido para realizar el estudio previsto
ya se habían impartido en el 1ºC y en esta asignatura participan estudiantes
que en su mayoría están a punto de acabar sus estudios de grado; no
habiendo, por lo tanto, posibilidad de usar un escenario de postgrado esta
asignatura es la que guarda un parecido mayor con el escenario deseado. Por
otra parte, la asignatura trata sobre los principales tópicos de web 2.0 y de las
Redes Sociales; en la misma se revisan las principales herramientas de web
2.0: podcast, vídeos, wikis, blogs, etc…, y es, por lo tanto, un escenario
adecuado para las pretensiones del estudio porque usa las tres herramientas
HIDA (Herramientas de Interacción Dialógica Asíncrona) toda vez que que a los
wikis y blogs se sumaba la existencia de foros abiertos en la propia plataforma
Moodle que sirvió de soporte al desarrollo de la experiencia.
El diseño de esta asignatura prevé que al finalizar la misma los estudiantes

habrán conseguido mejorar las siguientes competencias:
• Comprender que es web 2.0 y sus principales características
• Conocer las herramientas y servicios web 2.0 más importantes
• Entender qué es una red social, las diferentes formas en que se pueden
presentar y aproximarse al análisis social y sus técnicas
• Manejar algunas herramientas básicas de software social
• Trabajar en equipo y colaborativamente
• Buscar y discriminar información
277
• Análisis crítico de la tecnología en general y de los usos de la misma en

relación a las redes sociales y a la sociedad en general.
Para su consecución el curso prevé una metodología de trabajo que estimule:

La construcción del conocimiento por parte de cada estudiante, el trabajo
colaborativo, la reflexión crítica; para ello se han previsto una serie de
actividades que se detallan en cada tema; en cada una de ellas se especifica si
ha de desarrollarse individual o grupalmente (la mayoría serán grupales), el
periodo de tiempo máximo en que han de realizarse, el tiempo que habrá de
invertirse en su realización, así como su carácter obligatorio u optativo. En la
evaluación se han tenido en cuenta la correcta realización del contenido de las
actividades, la adecuada fundamentación de las valoraciones, juicios, etc... , la
adecuada documentación de las entregas que se realicen, la actitud positiva y
participativa, el trabajo en equipo y, en particular, la colaboración y ayuda
prestada a los compañeros en las actividades, la innovación en el uso y
aplicación de los recursos, la originalidad de la temática elegida para las
actividades, de las presentaciones, de los trabajos realizados, etc... y el
cumplimiento de los plazos para la entrega de las tareas encomendadas
278
Diversos autores como Frydenberg (2008), Parker y Chao (2007), Davi et al

(2007), Dufty y (2006), y otros que sería prolijo incluir aquí han indagado
recientemente sobre el potencial de las herramientas HIDA, principalmente,
wikis y blogs, para el aprendizaje, si bien estas investigaciones tienen un
propósito general al abordar la utilidad para el aprendizaje de las herramientas
mencionadas, no hemos encontrado muchas referencias en las que se
presentes estudios comparativos entre las herramientas HIDA; dos estudios
recientes de Minocha (2009a, 2009b) incluyen los blogs y los wikis en los
tópicos analizados pero no los foros. Por ello, las preguntas germinales que
han conducido esta indagación se relacionan con el uso de una de las
herramientas HIDA, el wiki, que es analizada aisladamente como instrumento
para el desarrollo de la competencia de trabajo en equipo y, así mismo, en
relación a las otras herramientas HIDA; dichas preguntas son:
1.-¿Es el wiki una herramienta adecuada para desarrollar la competencia

de trabajo en equipo?
2.-¿Existen diferencias con otras herramientas HIDA cuando se usan
para evaluar dicha competencia?
3.-¿Cuáles serían, en su caso, los aspectos más positivos del uso de un
wiki para desarrollar dicha competencia, y cuáles los más negativos?
En el contexto indicado anteriormente se ha elegido una competencia de las

incluidas como objeto de desarrollo en el curso impartido
• Trabajar en equipo y colaborativamente
Dicha competencia se relaciona directamente con el propósito de las

herramientas HIDA en general y de los wikis en particular. A efectos de
disponer de una definición razonablemente aplicable de la competencia
estudiada se han revisado diferentes formas de rúbrica para el trabajo en
equipo y para la evaluación por medio de wikis; la decisión final sobre la
caracterización de la competencia estudiada se ha fundamentado en dicha
revisión y, sobre todo, en el trabajo realizado por un seminario de profesores
universitarios al que tuvimos ocasión de coordinar en el año 2007 (Universidad
de Burgos) para caracterizar dicha competencia; nos ha parecido importante
contextualizar dicha competencia a las circunstancias de nuestro país pues
279
otras opciones que provienen de otros entornos culturales no siempre se

ajustan con precisión a nuestra realidad y circunstancias.
Una característica importante que creemos necesario mencionar es que la

competencia señalada se trabaja con los estudiantes durante todo el curso; así
todas las actividades se diseñan para ser realizadas en equipo y de forma
colaborativa; puesto que la actividad escogida y que ha sido objeto de estudio y
seguimiento se ha desarrollado durante un periodo de tiempo en el transcurso
del desarrollo de este curso, se hace necesario suponer que los estudiantes ya
han logrado un cierto nivel de desarrollo de trabajo colaborativo y en equipo; o
dicho de otra forma, los estudiantes no parten de un nivel cero en lo que se
refiere al trabajo en equipo, sino de una cierta experiencia en el desarrollo de
este tipo de trabajos, pues la dinámica del curso les obliga a ello. Los
resultados de este estudio habrán de ser relativizados o contextualizados a
esta restricción de contorno; no obstante, más allá de la limitación señalada y
que no ha sido controlada porque no se ha determinado la línea base de
desarrollo de la competencia estudiada en cada estudiante al comenzar la
experiencia, este estudio trata de determinar si el wiki es adecuado como
herramienta para el desarrollo del trabajo en equipo (tanto en lo que se refiere
a la propia herramienta considerada aisladamente como en comparación con
otras) y, en su caso, los factores o componentes positivos o negativos que
pudieran dar cuenta de dicha utilidad.
Por otra parte, siendo posible la utilización de diferentes fuentes para tratar de
responder a las preguntas señaladas: profesorado, estudiantes, observadores
externos, etc…, la disponibilidad de recursos y el alcance del trabajo
desarrollado han limitado las mismas al profesorado que ha impartido la
asignatura, a sus experiencias y reflexiones en relación a la cuestión planteada
así como a los rendimientos de los estudiantes en una tarea de tipo
colaborativo, que exigía trabajo en equipo. Son evidentes las limitaciones que
presenta el estudio realizado, pero por ello, el mismo debe ser entendido como
un primer paso, un primer acercamiento descriptivo a la cuestión planteada
que, necesariamente, habrá de complementarse en el futuro, con estudios más
completos que amplíen y mejoren esta primera aproximación.
Se ha elegido un grupo de 54 estudiantes a los que se les ha dividido en 9

grupos de 6 estudiantes y se ha hecho un seguimiento de su actividad a lo
largo de un periodo de tres semanas (entre el 09/03/09 y el 29/03/09) valorando
dicho trabajo a la luz de la rúbrica de dicha competencia incluida en el Anexo I.
280
Se pidió a los estudiantes que para realizar una de las tareas previstas en el
curso (Anexo II) eligieran el tipo de herramienta a utilizar: wiki, blog o foro; el
resultado de su elección fue que 4 grupos usaron un wiki, 3 usaron un blog y 2
el foro; en este último caso, 2 grupos usaron además otras herramientas
complementarias como GoogleDocs. Para que la finalidad de la participación
en la actividad propuesta fuera transparente se publicaron con antelación a la
realización de la misma los indicadores que servirían para valorar la
competencia mencionada; dicha competencia se trabaja a lo largo del curso y
permite obtener un 20% de la nota final; por lo tanto, además de la puntuación
obtenida por el trabajo realizado. Por la importancia que concede el equipo
docente a esta competencia, además de un diseño de actividades destinado a
su desarrollo y consolidación, y de incluirla específicamente en la evaluación
del curso, se entregan a los estudiantes diversos recursos para que
autoevalúen su competencia de trabajo en equipo y de colaboración; uno de
dichos recursos puede verse en el Anexo III.
281
La competencia de trabajo colaborativo y en equipo se ha definido como:

Colaborar con otros, compartiendo conocimientos, esfuerzos y recursos, en
busca de objetivos comunes. Implica alinear los propios esfuerzos y actividades
con los objetivos del equipo o grupo de trabajo. Esta declaración se ha
concretado en tres grandes descriptores de esta competencia:
- Conocer las experiencias de los individuos y explorar sus conocimientos
- Intercambiar opiniones con el equipo
- Detectar la comprensión que se va teniendo sobre el tema
Los indicadores de cada uno de estos descriptores se recogen en la rúbrica

para su evaluación incluida en el Anexo I. Como puede verse en la misma se
han incluido cinco niveles de logro que van del excelente al nulo; en cada caso
se identificó cada categoría de conducta observable con una medida de logro
(medido en una escala de 0-100) de acuerdo a la siguiente tabla de
equivalencias:
EXCELENTE 86-100
BUENO 70-85
ACEPTABLE 50-69
DEFICIENTE 20-49
NULO 00-19
Aunque el desarrollo de la experiencia ha sido seguido y monitorizado por los

cuatro profesores que la imparten, la valoración de cada apartado incluido en la
rúbrica ha sido realizada por un solo profesor con el fin de disminuir y controlar
las diferencias de criterios que hubieran podido darse en caso de intervención
de más de un profesor.
282
4.- RESULTADOS ENCONTRADOS: ANÁLISIS DE DATOS
Los resultados finales de las valoraciones y reflexiones realizadas por el equipo

de trabajo, que ha llevado a cabo la experiencia, así como los resultados y
análisis de los datos recogidos, al responder a las tres cuestiones planteadas
inicialmente se recogen en los siguientes párrafos.
1.-¿Es el wiki una herramienta adecuada para desarrollar la competencia de

trabajo en equipo?
Desde el punto de vista del equipo de trabajo que ha llevado a cabo este
estudio los wikis presentan las siguientes características:
• posibilidad de realizar cambios con granularidad fina (editar una

simple letra o una palabra o una frase,...) o gruesa (crear un nuevo
apartado en el wiki)
• permiten abordar diferentes fases o tipos de colaboración; es una
herramienta válida tanto para el intercambio de ideas (como lo es un
foro) como para el aporte colectivo de contenidos relacionados entre
sí
• permiten generar documentación estructurada y jerárquica
(apartados y subapartados) de forma colaborativa
En base a ello creemos que es adecuada:
• cuando el objetivo del trabajo en equipo es la construcción colectiva

de documentos estructurados, como por ejemplo: recopilación de
información sobre un determinado tema, reflejo del conocimiento de
un colectivo sobre una materia,
• para el reparto y realización de las diferentes tareas identificadas en
un trabajo colectivo, puesto que da lugar a que cada miembro del
equipo edite sus apartados manteniendo una visibilidad de todos los
demás
• para democratizar el valor del trabajo de cada miembro del equipo,
pues como señala Buddie (2009) al resaltar la utilidad de los wikis
para desarrollar la competencia del trabajo en equipo, el trabajo de
ninguna persona es más importante que el de las demás, lo que
facilita que todos los miembros del grupo sientan el valor de su
participación, lo que actuaría como un elemento motivador que
283
potenciará su uso. En estos casos, el wiki permite, tanto la aportación

libre y de cualquier granularidad por parte de los estudiantes como el
adecuado seguimiento de las aportaciones por parte del profesor, al
disponer de un histórico que facilita el seguimiento de las
aportaciones individuales de los estudiantes.
Nuestras experiencias en el uso de wikis para trabajar con diferentes tipos de

estudiantes nos indican que:
• En muchos casos los estudiantes se sorprenden al ver que la TICs
pueden tener otros usos y aplicaciones diferentes a las que ellos
usan habitualmente y finalmente encuentran que los wikis son una
buena herramienta para expresar sus ideas, para relacionarse con
los demás y para trabajar en equipo; el hecho de que la mayoría
conozca la wikipedia (aunque muchos desconocen su funcionamiento
colaborativo) hace que los wikis tengan un cierto atractivo inicial que
finalmente se ve confirmado por las percepciones mencionadas
anteriormente
• El uso de herramientas colaborativas como las HIDA ayuda a los
estudiantes a tomar conciencia de la importancia de la comunicación
a través de los recursos que ofrece Internet
• Tareas tan sencillas como mantener actualizada colaborativamente
una página que contenga las notas o apuntes de clase, hacen ver a
los estudiantes la importancia de Internet, de los recursos que se
ofrecen a su través, de las facilidades para comunicarse y para
construir conjuntamente nuevos conocimientos.
• La posibilidad de seguimiento por medio de los históricos de los wikis
actúa como un potente recurso motivador pues los estudiantes saben
que sus contribuciones son valoradas por sus propios compañeros
de clase (no solo por el profesorado), creando a su vez un sentido de
responsabilidad con el trabajo del grupo, haciendo más fluidas las
relaciones y potenciando el aprendizaje.
2.-¿Existen diferencias con otras herramientas HIDA cuando se usan para

evaluar dicha competencia?
Los gráficos 1 y 2 muestran la distribución gráfica de los resultados finales

alcanzados por los distintos grupos en la valoración de la competencia
analizada; los análisis no mostraron diferencias significativas en los grupos
estudiados, ni bajo el supuesto normalidad y homoscedasticidad (contraste
284
paramétrico Anova de un factor), ni bajo el supuesto de no cumplimiento de

dichas condiciones (constraste no paramétrico de Kruskal-Wallis), por lo que
cabe decir que el tipo de herramienta no parece estar actuando como un
determinante de las diferencias en los grupos en lo que se refiere a un mejor o
peor desempeño en la competencia analizada.
285
3.-¿Cuáles serían, en su caso, los aspectos más positivos del uso de un wiki
para desarrollar dicha competencia, y cuáles los más negativos?
• Como aspectos más positivos destacamos:

o Es un recurso de uso sencillo, cómodo y de fácil gestión para el
profesorado
o Facilita focalizar la atención en temas concretos y estimula el
compromiso de los estudiantes y la solidaridad
o Al ser una herramienta dialógica que facilita la confrontación de
ideas, la externalización de conflictos y desacuerdos, potencia la
autorreflexión, la independencia personal y la autoorganización.
o Facilita el seguimiento del trabajo de los estudiantes, así como el
archivo de sus aportaciones y materiales; esto permite disponer
de oportunidades diversas para la construcción y la
reconstrucción del conocimiento de los estudiantes y orientar las
mismas hacia al autoaprendizaje y el crecimiento personal
o Incrementa el sentimiento de pertenencia al grupo; sentimiento
que puede desarrollarse tanto dentro como fuera de la clase
286
o Facilita crear escenarios en los que poder expresar de una forma

sintética y frecuente las ideas
o Es una herramienta que reequilibra la visibilidad y la presencia de
los estudiantes porque facilita que todos (incluso los más tímidos)
puedan colaborar y expresarse
o Muestra como usar la tecnología en general y creativamente en
particular.
o Facilita que los estudiantes sean conscientes de sus decisiones
porque permite fragmentar las acciones o pasos a realizar para
realizar un proyecto completo
• Como aspectos más negativos o a tener en cuenta señalamos:

o Se ha de mantener una buena organización de los trabajos que
han de realizar los estudiantes
o Se requiere un mínimo de conocimiento de uso de las TICs
o Se necesita una disciplina y compromiso mínimos para adaptarse
a los tiempos previstos en cada proyecto o trabajo, para postear,
etc…
o La relación visibilidad/anonimato puede tener efectos negativos si
se rompe a favor de la primera mostrando efectos o situaciones
no deseadas.
o Se requiere focalizar el trabajo en las verdaderas discusiones
para que los wikis no se conviertan en un sitio de corta y pega;
así mismo se necesita una reorientación de los roles tradicionales
de estudiantes y profesorado para asumir roles colaborativos
Por otra parte:
• el mero hecho de usar un wiki no implica la actitud reflexiva crítica por

parte de los alumnos ya que, a diferencia de un foro (donde la
aportación de cada uno se realiza en el contexto de un determinado
tema/pregunta planteado y en función de las respuestas de otros
compañeros) la manera en que un alumno participa en el wiki es
totalmente libre
• cuando se trabaja la reflexión crítica del alumno antes de realizar una

aportación, existe una diferencia importante de los wikis con respecto a
los foros o los blogs y es la ausencia inicial de contexto en el que el
estudiante realiza sus aportaciones. Es decir, es inherente a la
287
participación en un foro la lectura del tema propuesto y de las

respuestas anteriores. En el caso de un blog, cada blog plantea un
contexto al hilo del cual se establece una discusión con los comentarios
al mismo. Sin embargo, esta reflexión obligada no es preceptiva en el
caso de un wiki.
• herramientas como wikispaces (www.wikispaces.com) combinan las

ventajas de wikis y foros asociando un foro a cada página del wiki. De
este modo, se puede aúnar lo mejor de ambas:
o El foro puede servir para acordar el contexto, pautas a seguir y
temática general, de tal forma que pone los cimientos de una
participación reflexiva y bien focalizada por parte de los
estudiantes en la página del wiki
o Se acomoda un canal para la reflexión y el intercambio de ideas
(foro) ligado al canal para la generación de contenidos en forma
colaborativa que puede ser la página del wiki
288

PROYECTO EVAL-HIDA
1. Los wikis son una herramienta adecuada para el desarrollo de la

competencia de trabajo en equipo y colaborativo pero su uso resulta más
recomendable si el trabajo a realizar tiene un mínimo de estructura, si lo que
se desea es repartir tareas entre los miembros de un grupo trabajando
éstos de forma transparente al resto del grupo o si lo que se quiere es
democratizar y poner en valor el trabajo de los miembros del grupo
2. Las potencialidad de los wikis para facilitar la expresión de las ideas de los
estudiantes, potenciando nuevas y creativas formas de expresión, para
facilitar el contraste de ideas y la discusión, el ordenar las ideas propias y
reflexionar sobre las mimas tanto individualmente como en grupo o para
estimular la creación y construcción de nuevos conocimientos, hacen de
esta herramienta un potente recurso para el aprendizaje colaborativo desde
el lado o la perspectiva de los estudiantes
3. Desde el lado del profesorado, las facilidades que ofrece la herramienta
para hacer un seguimiento del trabajo de los estudiantes, de la forma en
que construyen y articulan sus decisiones, para organizar el trabajo en
forma colaborativa y transparente, así como para ayudar al desarrollo
cognitivo personal y grupal, hacen de esta herramienta un recurso
igualmente recomendable para el trabajo colaborativo y en equipo.
4. En cualquier caso los aspectos positivos y negativos a tener en cuenta en el
uso de los wikis nos llevan a recomendar su uso con las prevenciones
mencionadas para no reproducir los errores/problemas mencionados u otros
no incluidos aquí.
5. Cuando la competencia a desarrollar precisa de un canal de comunicación
adecuado para una discusión/reflexión contextualizada y razonada respecto
a las aportaciones de los demás, son herramientas adecuadas: un foro o un
blog del profesor (que establece el contexto de cada discusión) donde los
comentarios se enlazan al hilo de cada post
adecuado para la generación de contenido de forma colaborativa, la
herramienta más adecuada es un wiki
para la recopilación colectiva de contenidos individualmente generados, la
herramientas adecuadas son: blog colectivo de alumnos o wiki
289
8. El Wiki es la única herramienta que cubre dos de los tres tipos de canales
de comunicación listados. Sin embargo, herramientas mixtas como
Wikispaces (wiki + foro por cada página) cubren los tres.
9. En el estudio empírico llevado a cabo no se han encontrado diferencias
significativas en el uso de las diferentes herramientas utilizadas; no
obstante, lo limitado de su alcance y las condiciones en que se ha llevado a
cabo el mismo no nos permiten establecer un resultado definitivo al
respecto, remitiendo a posteriores estudios que profundicen y amplíen los
resultados encontrados.
10. Las herramientas HIDA facilitan, cada una a su manera, la visibilidad de los
trabajos realizados y, sobre todo, la comunicación entre los miembros de los
grupos; son, por lo tanto, adecuadas para la realización de trabajos de
forma colaborativa; no obstante, la acertada elección de una u otra
dependerá esencialmente del tipo de objetivos que se quieran conseguir en
cada caso.
290
6. BIBLIOGRAFÍA
Referencias sobre el uso de los wikis como herramienta de evaluación

http://www.cse.ohio-state.edu/~neelam/abet/DIRASSMNT/teamworkRubric.html
http://www.d.umn.edu/vcaa/assessment/documents/Teamworkrubric.pdf
http://www.teach-nology.com/web_tools/rubrics/
http://www.profetic.org/dossiers/article.php3?id_article=973
http://flatclassroomproject.wikispaces.com/Rubrics
http://actividadesarealizar.wordpress.com/2008/10/28/rubrica-de-trabajo-en-
equipo/
http://www.scribd.com/doc/3673178/rubrica-para-trabajo-en-equipo
http://ling2022.wetpaint.com/page/Wiki+Final+Assessment+Rubric
http://itgs.wikispaces.com/Wiki+Assessment+Rubric+Gr12
http://www.wikieducator.org/Rubrics/Wiki_Rubrics
http://www.wikieducator.org/Rubrics/Wiki_Rubric_Development
http://eduwithtechn.wordpress.com/2009/06/22/assessing-learning-with-web-2-
0-blogwiki-rubric/
Índice de citas
Buddie, D, (2009). Grasping the nettle - collaborative work using Wikis

consultado el 30/06/09 en
http://digitalmavericks.blogspot.com/2007/01/grasping-nettle-collaborative-
work.html
Davi, A., Frydenberg, M., & Gulati, G. (2007). Blogging Across the Disciplines:
Integrating Technology to Enhance Liberal Learning. MERLOT Journal of
Online Learning and Teaching , 3 (3), 222-233, consultado el 30/06/09 en
http://jolt.merlot.org/vol3no3/frydenberg.htm
Duffy, P., & Axel, B. (2006). The use of blogs, wikis and RSS in education: A
conversation of possibilities. QUT Online Learning & Teaching Conference
Papers (p. 8). Queensland, Australia: Queensland University of Technology .
Frydenberg, M (2008). Wikis as a Tool for Collaborative Course Management
MERLOT Journal of Online Learning and Teaching, Vol. 4, No. 2, consultado
en 30/06/09 en http://jolt.merlot.org/vol4no2/frydenberg0608.htm
Kokkinaki, A (2009). The potential use of Wikis as a tool that supports
collaborative learning in the context of Higher Education en Research,
Reflections and Innovations in Integrating ICT in Education , consultado en
30/06/09 en http://www.formatex.org/micte2009/book/1119-1123.pdf
291
Lund, A., & Smordal, O. (2006). Is There a Space for the Teacher in a WIKI?
Proceedings of the 2006 international symposium on Wikis (pp. 37-46).
Odense, Denmark: Association for Computing Machinery.
Minocha, S (2009a). A Study on the Effective Use of Social Software by Further
and Higher Education in the UK to Support Student Learning and Engagement
(Final Report) / 115 pp. consultado el 30/06/09 en
http://www.jisc.ac.uk/media/documents/projects/effective-use-of-social-
software-in-education-finalreport.pdf
Minocha, S (2009b) Effective Use of Social Software in UK Further and Higher
Education: Case Studies [125 pp.], consultado el 30/06/09 en
http://kn.open.ac.uk/public/getfile.cfm?documentfileid=14866
Parker, K; Chao, J (2007). Wiki as a Teaching Tool Interdisciplinary Journal of
Knowledge and Learning Objects Volume 3, consultado 30/06/09 en
http://ijklo.org/Volume3/IJKLOv3p057-072Parker284.pdf
292
7.- ANEXOS
293
EVALHIDA: Evaluación de Competencias con Herramientas de Interacción Dialógica Asíncronas (foros, blogs y wikis)
Anexo I Rúbrica para la evaluación del trabajo en equipo
294
Anexo II: Tarea encomendada a los estudiantes participantes para su

realización por medio de un wiki, un blog o un foro
Actividad propuesta para el estudio de la competencia de trabajo en

equipo y colaborativo
Para qué
El concepto de Red Social involucra la idea de que un conjunto de personas juntas (grupo)
pueden hacer más cuando actúan dentro de una red o grupo coordinado que si lo hacen por
separado; esto se muestra en sus potenciales ventajas tales como la mayor productividad (el
resultado es mejor que la suma de las aportaciones personales por separado), la mejora de las
relaciones (afiliación social), etc…
Es importante, por lo tanto, tener claro QUE es una Red Social, sus características, las formas
que pueden adoptar, etc… Las actividades que se proponen en este tema tratan de facilitar la
construcción del conocimiento sobre lo qué es una Red Social y las implicaciones de las
mismas. Destacamos la importancia de que esas ideas sean construidas en grupo y que el
mismo sirva de cauce para la necesaria reflexión crítica sobre el tema propuesto.
Qué hay que hacer
Subtarea 1
Cada grupo deberá leer las lecturas incluidas en este tema y elaborar una presentación en
formato PPT (Power Point o similar (*)) con no más de 6 slides, explicando qué es una red
social, sus características, implicaciones de su uso y posibles ventajas e inconvenientes. En la
primera página de la presentación figurarán los nombres de los miembros del grupo que han
hecho la presentación. La realización de esta tarea pasa por:
Una lectura reflexiva y personalizada de la documentación incluida

El contacto con el resto de los miembros del grupo para decidir qué se
incluirá en la presentación, cómo se realizará la misma, etc…
La tarea requiere un alto grado de consenso entre los miembros del
grupo
La presentación puede hacerse con Power Point o con alguna de las herramientas web 2.0; por
ejemplo zoho ; en esta página tenéis un montón de aplicaciones de este tipo
295
Subtarea 2
Se subirá esta presentación a Slideshare (http://www.slideshare.net/) poniendo como título

Redes sociales-RSXX (XX representa el nº de grupo). Dichas presentaciones se etiquetarán en
el momento de la subida al sitio mencionado. Una vez completado el proceso se enviará un
mensaje al profesor Manuel.Benito@ehu.es con el siguiente tema: Completado Slideshare
RSXX (XX nº de grupo). Complementariamente se deberá hacer uso del envío de Tarea en la
plataforma Moodle del curso para hacer constar la realización de la misma
Subtarea 3
Cada grupo dispondrá de 4 días a partir de la fecha de entrega para visitar el sitio
http://www.slideshare.net/, visualizar las presentaciones de los otros grupos, y dejar en cada
una de ellas un comentario en el mismo sitio http://www.slideshare.net/ haciendo constar como
nombre el del grupo (RSXX); a estos efectos al menos uno de los miembros del grupo se
logueará (dará del alta) en el sitio mencionado con el nombre del grupo, para que quede
constancia del origen del comentario. El comentario a incluir para cada presentación contendrá:
1. Valoración positiva o negativa de la presentación

2. Dos razones para dicha valoración
3. Una sugerencia de otros sitios diferentes de http://www.slideshare.net/ donde también
se pueden encontrar buenas presentaciones (no importa el formato) sobre redes
sociales
Características de las tareas propuestas
Grupales........... Obligatorias (Subtareas 1 y 2) ...........Opcional: Subtarea 3
Tiempo máximo estimado para su realización (incluidas lecturas, coordinación grupal,

elaboración de documentos, participación en el wiki, blog, foro, etc…) .30hs
296
Anexo III Tabla de conductas colaborativas
297
USO DE HERRAMIENTAS DE
COMUNICACIÓN ASÍNCRONAS
PARA LA EVALUACIÓN DE
COMPETENCIAS EN EL MÁSTER
DE INFORMÁTICA DE LA UAH: UN
CASO DE ESTUDIO SOBRE UN
MÁSTER NO PRESENCIAL
Elena García Barriocanal

Uso de herramientas de comunicación asíncronas para la evaluación de competencias en el
Máster de Informática de la UAH: Un caso de estudio sobre un máster no presencial
1.- INTRODUCCIÓN
La Universidad de Alcalá oferta un máster en Informática de la Universidad de

Alcalá que consta de 2 especialidades en la actualidad: “Enseñanza y
Aprendizaje Electrónico” y “Auditoría, Derecho y Tecnologías de la Información
y las Comunicaciones”. Para superar con éxito el máster, los estudiantes
deben realizar en ambas especialidades un trabajo de fin de máster sobre
alguno de los temas estudiado en las asignaturas del máster.
Dentro de la especialidad “Enseñanza y Aprendizaje Electrónico” el trabajo de

fin de máster se lleva a cabo en el marco de la asignatura Técnicas y patrones
de educación virtual. Para realizar dicho trabajo los estudiantes deben
seleccionar alguno de los temas que proponen los profesores o realizar su
propia propuesta. Una vez hecha la selección, se debe elaborar un
anteproyecto, que después de su aprobación establecerá el trabajo a realizar.
Puesto que los profesores proporcionan la temática del proyecto, para su

aprobación se utilizan criterios que se refieren a la forma del anteproyecto y
justificación del tema, tales como la idoneidad del título y lista de palabras
clave, justificación del estudio que se pretende realizar, adecuación del
propósito general y los objetivos, viabilidad de la planificación o completitud de
la lista de referencias de acuerdo al anteproyecto, entre otras cosas. Para
poder realizar la evaluación de las competencias que permiten realizar buenos
anteproyectos, antes de comenzar el mismo se proponen a los estudiantes
distintas actividades para la adquisición de los conocimientos relativos a los
aspectos formales en la elaboración de un anteproyecto.
En este informe se describe el procedimiento que permite evaluar la

competencia “Saber realizar propuestas de trabajo – basadas en competencias
previamente adquiridas en el master— orientadas a la resolución de un
problema original de diseño abierto o a la propuesta de soluciones o líneas de
trabajo innovadoras sobre el estado actual de una cuestión” y las tareas
orientadas a la adquisición de la misma con el fin de estudiar la utilidad de las
herramientas de comunicación asíncrona para la adquisición de la
competencias en estudios de máster. En primer lugar se detalla el contexto del
caso y la planificación seguida. Después se describen los instrumentos de
evaluación utilizados y se realiza un análisis de los datos obtenidos. Por último,
se plantean las conclusiones halladas.
299
La asignatura Técnicas y patrones de educación virtual del máster oficial en

Informática de la Universidad de Alcalá dentro de su especialidad “Enseñanza y
aprendizaje electrónico” está orientada a la realización de un trabajo de fin de
máster que permita a los alumnos poner en práctica o profundizar en alguno de
los contenidos estudiados a lo largo de los estudios. Como paso previo a la
realización del trabajo, el estudiante debe preparar un anteproyecto dónde se
describa y contextualice el trabajo a realizar. Es por ello que una de las
competencias de la asignatura es “Saber realizar propuestas de trabajo –
basadas en competencias previamente adquiridas en el master— orientadas a
la resolución de un problema original de diseño abierto o a la propuesta de
soluciones o líneas de trabajo innovadoras sobre el estado actual de una
cuestión”.
El máster oficial en Informática de la Universidad de Alcalá, si bien cuenta con

clases puntuales presenciales, está diseñado para cursarse a distancia. Por
ello se cuenta con la plataforma de tele-aprendizaje Blackboard, en la que tanto
profesores como estudiantes pueden utilizar foros y otras herramientas de
comunicación asíncrona. Teniendo en cuenta este marco, el objetivo del
estudio es la evaluación de la adquisición por parte de los estudiantes de la
competencia descrita en el párrafo utilizando para dicha evaluación
herramientas de interacción asíncrona.
Durante el curso 2008-09 la asignatura que enmarca el estudio cuenta con 11

estudiantes. Para conducir la adquisición de la competencia descrita se
propuso a los estudiantes una serie de actividades como las que se describen
en la siguiente tabla. El peso en la calificación final de las actividades relativas
a la adquisición de la competencia objeto de este estudio fue e 2 puntos sobre
10:
Tarea/s a realizar Productos Esperados Evaluador Observaciones
R1. Mensajes en el foro

Se evaluará la calidad y
T1. Búsqueda y discusión “Criterios para
significancia, entre otras, de
colaborativa de elaborar
las aportaciones a nivel
criterios y guías para anteproyectos” donde Profesor
individual.
la elaboración de un los estudiantes
anteproyecto. pondréis en común
vuestros hallazgos.
300
Tarea/s a realizar Productos Esperados Evaluador Observaciones
T2. Creación colaborativa

R2. Wiki con la guía para
de una guía para la Se evaluará la completitud y
la elaboración de Profesor
elaboración de corrección de la guía.
anteproyectos.
anteproyectos.
Cada estudiante evaluará
T3. Elaboración del anónimamente la estructura y
anteproyecto sobre el R3. Anteproyecto contenido del anteproyecto de
Profesor
tema elegido individual (publicado alguno de sus compañeros.
Estudiantes
siguiendo la guía en el foro). Se proporcionará una plantilla
definida. con los criterios detallados
para guiar la evaluación
Dichas tareas se llevaron a cabo con la siguiente temporalización:
Fecha
Tarea a realizar
límite
T1. Búsqueda y discusión de criterios y guías para la elaboración de 15/4/2009
un anteproyecto.
T2. Creación colaborativa de una guía para la elaboración de 22/4/2009
anteproyectos.
T3. Elaboración del anteproyecto sobre el tema elegido siguiendo la 30/4/2009
guía definida.
El estudiante dispuso desde el comienzo de la actividad de un fichero con toda

la información organizativa relativa al desarrollo y evaluación de la misma.
301
La evaluación de las tareas se realizó utilizando tres instrumentos de

evaluación:
1. Escala de valoración: para la evaluación de las aportaciones en foros

encaminadas a elaborar la guía de cómo realizar un anteproyecto.
2. Lista de control: para comprobar que se han incluido todos los

elementos necesarios que debe tener un anteproyecto, incluso los
referentes al formalismo y estilo de redacción.
3. Rúbrica basada en los criterios para realizar un anteproyecto: para

evaluar entre iguales los anteproyectos de cada alumno.
Los dos últimos instrumentos fueron creados utilizando la herramienta

EvalCOMIX, mientras que el primero se reutilizó del repositorio de la misma
herramienta.
Se puso a disposición de los estudiantes para poder llevar a cabo la

comunicación, tanto con el profesor como con sus compañeros, las siguientes
herramientas:
- Un foro general de la actividad donde comunicar dudas o comentarios

de carácter general al profesor o demás compañeros.
- Un foro para publicar y discutir los hallazgos relativos a los criterios para
elaborar anteproyectos.
- Un Wiki (http://projectguidelines.wikispot.org/Pagina_principal) para la

creación colaborativa de una guía para la elaboración de anteproyectos.
- Un foro donde poner a disposición del resto de miembros del aula los
anteproyectos personales una vez finalizados.
Con estas herramientas se consiguió recabar la información sobre cómo los

estudiantes desarrollaron las actividades que les conducen a la adquisición de
la competencia que se pretende evaluar.
302
Los estudiantes de la asignatura Técnicas y patrones en la educación virtual

que participaron en las tareas descritas fueron 16.
Para la primera actividad se abrió un foro donde 13 de los 16 alumnos

compartieron y opinaron sobre la información encontrada acerca de la
realización de anteproyectos.
Para la elaboración de la wiki, los estudiantes intercambiaron según su propia

organización y en trabajo colaborativo 65 mensajes. De los 16 estudiantes que
inicialmente participaron en las actividades, 11 presentaron su anteproyecto.
Respecto al uso de un foro para exponer los resultados, la experiencia

realizada ha arrojado que, de cara a la evaluación de la competencia
mencionada, su uso ha tenido como principal inconveniente que aquellos
estudiantes que antes participaron en el foro fueron los que mejor calificación
obtuvieron en eta tarea, ya que en nuestro caso particular los primeros
estudiantes en participar realizaron buenas aportaciones, que simplemente
fueron matizadas o levemente ampliadas por los demás estudiantes.
El uso de herramientas de comunicación asíncronas para la evaluación de la

segunda tarea ha resultado positivo. El uso de un wiki ha sido el elemento
vehicular del trabajo colaborativo para la creación del modelo de un
anteproyecto. El uso del foro para que los estudiantes organizaran su trabajo y
compartieran sus ideas para la creación del wiki ha sido también imprescindible
para la correcta realización de la actividad. Sin ambos elementos la evaluación
de la tarea planificada para la adquisición de la competencia descrita en la
primera sección no hubiera sido posible en un máster que puede cursarse a
distancia.
La evaluación entre iguales se llevó a cabo utilizando un foro como herramienta

para hacer públicos y dejar disponibles al resto de compañeros los
anteproyectos elaborados. A juicio de los autores, el uso del foro en la
evaluación ha sido un mero elemento de organización de la actividad, sin que
aporte valor añadido en la evaluación de la competencia.
303

PROYECTO EVAL-HIDA
Se ha presentado el caso de estudio llevado a cabo en la Universidad de Alcalá

sobre la evlauación de una competencia del máster oficial de Informática. La
competencia hace referncia a la adquisición del conocimiento necesario para
realizar anteproyectos correctos en forma y contenido sobre materias
relacionadas con la enseñanza y aprendizaje electrónico.
El uso de herramientas asíncronas para la evaluación de dicha competencia es

indispensable en el caso de másteres orientados a la semipresencialidad o que
se pueden cursar a distancia. En el caso estudiado el uso de foros ha resultado
útil tanto para la valoración de las aportaciones sobre qué debe incluir un
anteproyecto y cómo debe ser expresado como para la organización del tranajo
colaborativo para la creación conjunta de un modelo de anteproyecto. Como
inconveniente al uso de esta herramienta se puede concluir que buenas y
completas aportaciones realizadas en el foro en los primeros mensajes del foro
influyen negativamente en la evaluación de las aportaciones de los últimos
estudiantes en mostrar sus aportaciones, ya que son, por lo general, poco
relevantes. Este aspecto puede estar condicionado por la propia temática
propuesta, que está muy acotada en cuento a las respuestas válidas.
El wiki ha sido mostrado como elemento indispensable para la orquestación del

trabajo colaborativo en másteres semipresenciales o a distancia. De cara a la
evaluación, su uso permite valorar el resultado del trabajo en grupo de manera
sencilla y eficaz.
En cuanto a la utilización de herramientas de comunicación asíncrona para la

evaluación entre iguales, su utilización no ha parecido revertir en el caso
presentado aportaciones significativas.
304
6.- ANEXO I
305
1. Título: Procedimiento de evaluación de la calidad de anteproyectos de trabajos

fin de Master (TFM)
2. Autores: García Barriocanal, Elena (UAH); Gavira, Cristina (UCA); Lizasoain,
Luis (UPV); O’Ferrall, Cristina (UCA); Ruiz, Mercedes (UCA); Aliaga, Francisco (UV);
Dodero, Juan Manuel (UCA)
3. Área: Ciencias Sociales y Jurídicas; Ingeniería y Arquitectura
4. Materia: Educación; Informática
5. Nivel:
6.1. Grado:
6.2. Posgrado: Aplicación de conocimientos, Resolución de problemas,
Comunicación clara de razones
6.3. Doctorado:
7. Competencia específica: Saber realizar propuestas de trabajo – basadas en
competencias previamente adquiridas en el master— orientadas a la resolución de
un problema original de diseño abierto o a la propuesta de soluciones o líneas de
trabajo innovadoras sobre el estado actual de una cuestión.
8. Objetivo del procedimiento: Evaluar la capacidad de los estudiantes para
realizar propuestas de trabajo – basadas en competencias previamente adquiridas
en el máster— orientadas a la resolución de un problema original de diseño abierto o
a la propuesta de soluciones o líneas de trabajo innovadoras sobre el estado actual
de una cuestión.
1. Escala de valoración: para la evaluación de las aportaciones en foros
encaminadas a elaborar la guía de cómo realizar un anteproyecto.
2. Lista de control: para comprobar que se han incluido todos los elementos
necesarios que debe tener un anteproyecto, incluso los referentes al
formalismo y estilo de redacción.
306
3. Rúbrica basada en los criterios para realizar un anteproyecto: para evaluar

entre iguales los anteproyectos de cada alumno.
307
Competencia Básica: Aplicación de conocimientos, Resolución de problemas, Comunicación clara de razones
Competencia Específica: Saber realizar propuestas de trabajo – basadas en competencias previamente adquiridas en el máster—
orientadas a la resolución de un problema original de diseño abierto o a la propuesta de soluciones o líneas de trabajo innovadoras sobre el
estado actual de una cuestión.
1. Estudiar qué es un anteproyecto: a) Catálogo de mensajes (mensajes en Profesor a) Escala de valoración para la
contenido, finalidad y formulación. el foro) donde los estudiantes ponen en evaluación de las aportaciones en
1.1. Búsqueda y discusión de criterios y común sus hallazgos. foros.
guías para la elaboración de un b) Wiki con la guía para la elaboración b) Lista de control de criterios para la
anteproyecto. de anteproyectos. elaboración de un anteproyecto.
1.2. Creación colaborativa de una guía
para la elaboración de anteproyectos.
2. Creación de un anteproyecto a la luz Anteproyecto individual (publicado en el Profesor Rúbrica para evaluar entre iguales el
de la guía definitiva: foro). Evaluación entre iguales anteproyecto. La rúbrica contendrá los
2.1. Lectura y documentación de los criterios establecidos en la guía
temas abiertos propuestos por los definitiva resultado de la revisión de la
profesores o propuesta de tema por parte tarea 1.
del estudiante.
2.2. Elaboración del anteproyecto sobre el
tema elegido siguiendo la guía definida.
308
309
EVALCOMIX Página 1 de 1
"EVALUACIóN DE LAS REFLEXIONES EN LOS FOROS"
MUCHO BASTANTE SUFICIENTE POCO NADA
Relevancia de las ideas presentadas j

k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n
Suficiencia de las ideas presentadas j

k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n
Reflexión argumentada de las opiniones j

k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n
Adecuación de las reflexiones al contenido de la tarea j

k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n
Claridad en las descripciones j

k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n
Precisión en el uso del vocabulario j

k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n j
k
l
m
n
http://venus.uca.es/eval/instruments/display/index3.php?pla=155_pla 25/03/2009
"EVALUACIóN DEL CONTENIDO DE UN ANTEPROYECTO DE TRABAJO FIN DE MASTER"
TíTULO SI NO
Título claro y conciso j

k
l
m
n j
k
l
m
n
Lista de palabras claves relevantes j

k
l
m
n j
k
l
m
n
INTRODUCCIóN SI NO
Visión inicial del campo de estudio en el que se engloba el proyecto j

k
l
m
n j
k
l
m
n
Indicación de cómo encaja el proyecto en el campo de estudio j

k
l
m
n j
k
l
m
n
JUSTIFICACIóN SI NO
Breve visión del campo de estudio, incluyendo trabajos relacionados j

k
l
m
n j
k
l
m
n
Identificación clara de un aspecto que requiere estudio o investigación j

k
l
m
n j
k
l
m
n
[Opcionalmente] Identificación del tipo de proyecto j

k
l
m
n j
k
l
m
n
[Opcionalmente] Formulación de preguntas de investigación concisas j

k
l
m
n j
k
l
m
n
[Opcionalmente] Formulación de hipótesis de trabajo j

k
l
m
n j
k
l
m
n
PROPóSITO Y OBJETIVOS SI NO
Formulación clara del popósito general del proyecto j

k
l
m
n j
k
l
m
n
Formulación de objetivos específicos del proyecto claros, precisos y medibles j

k
l
m
n j
k
l
m
n
[Opcionalmente] Indicación del método de trabajo a seguir j

k
l
m
n j
k
l
m
n
PLANIFICACIóN SI NO
Indicación de recursos necesarios para la elaboración del proyecto j

k
l
m
n j
k
l
m
n
Planificación inicial del proyecto j

k
l
m
n j
k
l
m
n
BIBLIOGRAFíA SI NO
Listado de referencias bibliográficas citadas. j

k
l
m
n j
k
l
m
n
"RúBRICA PARA LA EVALUACIóN DE ANTEPROYECTOS DE TFM"
TíTULO I II III
El título, si bien resulta claro, no se El título es ambiguo y no se

El título expresa con claridad y
Título corresponde con el tema del corresponde con el tema del
concisión el tema del proyecto
proyecto proyecto
100 90 80 70 60 50 40 30 20 10 0
Los términos de la lista de palabras

La lista de palabras clave es Los términos de la lista de palabras
clave ni son relevantes ni
Lista de palabras clave completa y relevante para la temática clave son relevantes en el proyecto
suficientes para caracterizar el
del proyecto pero no son suficientes
proyecto
100 90 80 70 60 50 40 30 20 10 0
INTRODUCCIóN I II III
La introducción proporciona una La introducción es demasiado vaga La introducción, además de vaga

Visión inicial del campo
visión inicial clara del ámbito en el como para enmarcar el ámbito del es insuficiente para enmarca el
de estudio
que se enmarca el proyecto proyecto ámbito del proyecto
100 90 80 70 60 50 40 30 20 10 0
Indicación de cómo Se ve claramente que el proyecto Se puede asumir que el proyecto No se muestra la relación entre el
encaja el proyecto en el está relacionado con el ámbito de está tangencialmente relacionado ámbito descrito y la temática del
ámbito de estudio estudio mostrado con el ámbito de estudio descrito proyecto
100 90 80 70 60 50 40 30 20 10 0
JUSTIFICACIóN I II III
El campo de estudio está El campo de estudio está bien

El campo de estudio no está bien
perfectamente definido y se han definido pero no se han descrito
Breve visión del campo relacionado con el tema del
descrito los trabajos relacionados todos os trabajos relacionados
de estudio proyecto ni las referencias son
suficientes para enmarcar el estado importantes para la realización del
relevantes y completas
del arte en el mismo proyecto
100 90 80 70 60 50 40 30 20 10 0
Se describe de manera vaga el No se describe justificadamente

Se muestra con claridad cuál es el
Identificación de un problema existente y no se ve con cuál es el problema a resolver o no
problema que se pretende solucionar
aspecto a resolver claridad que esté relacionado con el está directamente relacionado con
y la necesidad de solucionarlo
campo de estudio el campo de estudio descrito
100 90 80 70 60 50 40 30 20 10 0
OBJETIVOS I II III
El propósito general no está

El propósito general está claramente El propósito general, aunque bien
definido de manera concisa y no se
Propósito general definido y se relaciona de manera descrito, no está relacionado con el
ve cómo se va a solucionarse en
directa con el problema detectado problema que se describió
problema descubierto
100 90 80 70 60 50 40 30 20 10 0
Los objetivos determinados son

Los objetivos específicos son Se plantean objetivos claros, pero no pobres, confusos y/o no se puede
Objetivos específicos
precisos y fácilmente comprobables son fácilmente comprobables comprobar que a posteriori se
hayan alcanzado
100 90 80 70 60 50 40 30 20 10 0
PLANIFICACIóN I II
Los recursos relacionados para la

Se enumeran recursos razonables y
realización del proyecto no están
Indicación de recursos suficientes para la correcta
bien estimados (o se sobreestiman
realización del trabajo
o se subestiman)
100 90 80 70 60 50 40 30 20 10 0
La planificación temporal es
La planificación es poco realista y
Planificación razonable en el tiempo y se expresa
no podrá llevar a cabo
de manera clara
100 90 80 70 60 50 40 30 20 10 0
BIBLIOGRAFíA I II
La lista de referencias es completa

La lista de referencias no está
respecto a las citas realizadas en el
Listado de referencias bibliográficas completa o/y el formato de la
documento y tiene un formato
misma no es consistente
consistente
100 90 80 70 60 50 40 30 20 10 0
ELEMENTOS ADICIONALES I II
Si se ha identificado el tipo de No se ha identificado tipo de

Identificación del tipo de proyecto
proyecto, éste es correcto proyecto
100 75 50 25 0
Si se han formulado preguntas de No se han formulado preguntas de

Formulación de preguntas de investigación concisas
investigación, éstas son concisas investigación
100 75 50 25 0
Si se ha formulado un hipótesis de No se ha formulado hipótesis de

Formulación de hipótesis de trabajo
trabajo, ésta es correcta trabajo
100 75 50 25 0
Si se indica el método a seguir, éste

Indicación del método de trabajo a seguir No se identifica método a seguir
es correcto
100 75 50 25 0
EVALUACIÓN DE LA
COMPETENCIA "APLICACIÓN DE
CONOCIMIENTOS" EN UN
MÁSTER DE EDUCACIÓN A
TRAVÉS DEL USO DE
HERRAMIENTAS DE
INTERACCIÓN DIALÓGICA
ASÍNCRONAS (FORO Y BLOG)
M. Teresa Padilla Carmona (Coord.)

José Clares López
Juan J. Torres Gordillo
Javier Rodríguez Santero
Evaluación de la competencia “aplicación de conocimientos” en un máster de Educación a
través del uso de Herramientas de Interacción Dialógica Asínronas (foro y blog)
1.- INTRODUCCIÓN
El presente estudio se centra en analizar las aportaciones de las HIDAs

en la evaluación de competencias en la formación de postgrado. Para ello, se
ha desarrollado un procedimiento que pretende evaluar la siguiente
competencia, recogida en el Real Decreto 1393/2007: Que los estudiantes
sepan aplicar los conocimientos adquiridos y su capacidad de resolución de
problemas en entornos nuevos o poco conocidos dentro de contextos más
amplios (o multidisciplinares) relacionados con su área de estudio.
El procedimiento diseñado (ver anexo) se ha llevado a cabo dentro del

Máster de Tecnologías para la Educación y el Conocimiento. Programa
modular de la UNED. Se trata de un máster profesionalizante, que se imparte
de forma virtual y en el que participan alumnado español y de América Latina.
Esta característica hace que surjan algunas dificultades para su puesta en
práctica, sobre todo por la diferencia de horarios y de calendarios escolares. El
máster se desarrolla eminentemente a distancia, salvo varias reuniones
presenciales, no obligatorias, siendo de obligado cumplimiento la defensa de la
tesina final.
Según se muestra en el anexo, la competencia específica sobre la que

se ha trabajado es diseñar un Programa Educativo Multimedia que responda a
unos criterios establecidos y que responda a unas necesidades concretas de
un contexto educativo dado. Para lograr esta competencia, se proponen varias
tareas que implican el uso de foros y blogs. De esta forma, resulta posible
analizar las potencialidades y limitaciones de estas dos HIDAs.
En el siguiente apartado profundizamos en los objetivos del estudio y

especificamos algunos aspectos relativos a su temporalización.
Posteriormente, se explica el procedimiento de recogida y análisis de
información que se ha seguido y se muestran los resultados, los cuales
aparecen representados en una matriz DAFO. Finaliza el informe con las
principales conclusiones del estudio, que incluyen la toma de requisitos
necesaria para que las HIDAs puedan mejorar su aportación a la evaluación de
competencias en la enseñanza universitaria.
315
En esta experiencia de aplicación de las HIDAs a la evaluación de

competencias en la formación de postgrado se ha pretendido poner a prueba la
utilidad de estas herramientas (concretamente, de los foros y blogs)
identificando sus puntos fuertes, así como sus debilidades a la hora de ser
llevadas a la práctica. Esta información nos permitirá identificar los requisitos a
tener en cuenta a la hora de diseñar y desarrollar variantes innovadoras de
HIDAs que faciliten la evaluación por competencias en la enseñanza
universitaria.
Concretamente, nos interesa delimitar los siguientes aspectos (objetivos

de investigación) sobre la aplicación de práctica de las HIDAs (foros y blogs):
- Cuáles son las dificultades encontradas a la hora de ponerlas en

práctica en la evaluación de competencias en contextos de aprendizaje
mixtos y no presenciales.
- Cómo reaccionan los alumnos ante su uso y en qué medida participan
en la evaluación (auto-evaluación, evaluación por pares).
- Qué aspectos/dimensiones del proceso evaluativo se ven facilitados por
el uso de las HIDAs.
- Cómo contribuyen a facilitar la reflexión sobre los criterios de evaluación
a promover el feedback a los estudiantes.
Como ya se ha indicado, para responder a estas interrogantes, se ha

diseñado un procedimiento para evaluar la competencia “aplicación de
conocimientos” (ver anexo) en el que se utilizan dos HIDAs: el foro y el blog. El
uso de estas herramientas está orientado a favorecer la participación del
alumno en la evaluación, bien sea autovalorando el trabajo desarrollado (blog),
bien discutiendo sobre los criterios de evaluación (foro 1) y valorando el trabajo
de los demás compañeros (foro 2). Asimismo, para facilitar el proceso de
evaluación se aporta un conjunto de instrumentos (lista de control, escalas de
valoración y rúbrica) que permiten, por un lado, evaluar los resultados de
aprendizaje de los alumnos y, por otro, evaluar aspectos relativos a la
participación del alumnado en la evaluación.
En lo que se refiere a su temporalización, el procedimiento comenzó a

aplicarse a principios de mayo, una vez empezado el período lectivo
correspondiente a la materia en que se aplica. Por esta razón, dado que ya
316
estaba cerrado el programa del curso, algunas de las tareas previstas en el

procedimiento no pudieron presentarse al alumnado con carácter de
obligatorias. Por otra parte, dadas las circunstancias temporales, las fechas en
las que se han llevado a cabo han coincidido con el periodo de evaluación de
los centros educativos y, dado que gran parte de los alumnos trabaja en estos
contextos, han tenido mayor dificultad para dedicar más tiempo a las
actividades previstas.
Por todo ello, la herramienta de la que se ha hecho un uso más

generalizado es el foro, que se ha utilizado para discutir los criterios de
evaluación a tener en cuenta a la hora de evaluar el Programa Educativo
Multimedia que los estudiantes tenían que elaborar. Así, hemos estado
recogiendo opiniones en el foro hasta el día 9 de junio, fecha en la que se cerró
el debate para preparar la redacción de este informe.
A lo largo de este tiempo, se ha desarrollado la recogida de información

mediante los mecanismos que se describen más adelante. Una vez finalizada
la experiencia, se procede a analizar la información recogida mediante una
matriz DAFO y a elaborar el presente informe del estudio de caso.
317
Para la recogida y presentación de la información se ha construido una

matriz DAFO sobre la base de observaciones no sistemáticas, los debates
generados en los foros, las reflexiones apuntadas en el blog y, en general, de
la aplicación del procedimiento de evaluación y sus instrumentos. Este proceso
se realiza de forma independiente por dos observadores:
El profesor que aplica la experiencia.

Una observadora externa que no ha aplicado el procedimiento y cuyas
aportaciones derivan del análisis de las aportaciones del alumno y de las
valoraciones hechas por el profesor en los instrumentos.
Una vez recogida la información, entre ambos evaluadores se procede a

construir la matriz DAFO. Dicha matriz es una técnica proveniente del campo
empresarial mediante la cual se puede concretar en una tabla-resumen la
evaluación de los puntos fuertes y débiles de una situación, entidad u objeto
(en nuestro caso, las HIDAs), junto con las amenazas y oportunidades. Así,
mientras que las fortalezas y debilidades son consideradas factores internos
que crean o destruyen un valor, las amenazas y oportunidades se refieren a
factores externos que, digamos, no están dentro de la capacidad de control de
aquello que se evalúa (en este caso, las HIDAs). Por tanto, el análisis DAFO se
realiza observando y describiendo (es un análisis básicamente cualitativo) las
características del objeto de evaluación y del contexto externo en que este se
sitúa.
En nuestro caso, la matriz DAFO se refiere a las HIDAs utilizadas en el

procedimiento de evaluación desarrollado, y sus componentes se refieren a:
1. Debilidades (factor interno): limitaciones que presentan las HIDAs a la

hora de ser aplicadas para la evaluación de competencias en la
enseñanza de postgrado.
2. Fortalezas (factor interno): aspectos positivos que presentan las
HIDAs cuando se aplican en este contexto.
3. Amenazas (factor externo): limitaciones del contexto, no propiamente
de las HIDAs, que dificultan el proceso de evaluación; estas limitaciones
no pueden modificarse, pero sí deben ser tenidas en cuenta.
318
4. Oportunidades (factor externo): aspectos contextuales que favorecen

el desarrollo de la evaluación mediante HIDAs y que, en consecuencia,
se pueden aprovechar positivamente.
No obstante, y puesto que los objetivos enunciados en el apartado

anterior se refieren a diversas dimensiones, la recogida de información ha
procurado centrarse en las mismas, de forma que la matriz DAFO finalmente
concluida sintetiza la información sobre las cuatro categorías de análisis que
aparecen en el cuadro 1.
Cuadro 1. Categorías de análisis contempladas en la elaboración de la matriz DAFO

DEBILIDADES/AMENAZAS/FORTALEZAS/OPORTUNIDADES
Dificultades encontradas a la hora de poner en práctica las HIDAs
(objetivo 1)
Participación y reacciones del alumnado ante el uso de las HIDAs
(objetivo 2)
Aspectos del proceso de evaluación que se ven más y menos facilitados por
las HIDAs (objetivo 3)
Aportaciones de las HIDAs en lo referente a los criterios de evaluación y el
feedback (objetivo 4)
319
En este apartado se presenta la matriz DAFO con el resumen de los

resultados obtenidos en el estudio de caso.
- Acompañar las HIDAs de instrumentos de - Exige atención continua del docente para
evaluación –especialmente las rúbricas- que se puedan dar las condiciones
requiere un esfuerzo importante, por parte establecidas y se cumplan los
del docente, quien tiene que ser meticuloso procedimientos y plazos.
en la aplicación de los criterios, - Las características de los contextos mixtos
discriminando con un nivel de exhaustividad y no presenciales hacen difícil la
que, a veces, resulta difícil de conseguir. “homogenización” del aprendizaje. En
- En ocasiones, los aprendizajes a evaluar ocasiones, los alumnos que acuden a esta
previstos en los instrumentos, no aparecen modalidad de enseñanza carecen de tiempo,
suficientemente informados durante el o acceden a la dinámica planteada con su
proceso, por lo que la información de que se ritmo individual (que no siempre coincide con
dispone es insuficiente. el de los demás), lo que dificulta el proceso a
seguir.
- Las HIDAs se prestan a que algunos - La enseñanza en contextos mixtos y no
alumnos “parasiten”; un sector del alumnado presenciales hace que no siempre coincidan
simplemente “suscribe” lo que dicen los los alumnos en el tiempo, lo que ocasiona
demás. Las HIDAs no nos permiten que el debate se estanque o no llegue a un
discriminar si el que ha dicho algo primero, punto conclusivo.
está haciendo una mejor aportación o - La falta de tiempo del alumnado de estas
simplemente ha tenido más oportunidad por modalidades de enseñanza hace que la
ser el primero. participación, en general, sea baja.
- Diferentes grados de participación en los
alumnos: a) alumnos que no participan en
todo el proceso, por lo que se carece de
información de cara a la evaluación; b)
alumnos con alta participación de los que se
dispone de mucha información, y no siempre
esto se refleja convenientemente en la
evaluación; c) alumnos que hacen mucho
“ruido”, pero aportan poco.
- Tendencia del alumnado a no implicarse
en la evaluación de compañeros ni en la
autoevaluación, por temor a expresar juicios
320
que puedan incidir negativamente en su

calificación o en la de los demás.
- Durante el proceso de - Disponer del procedimiento de evaluación y
enseñanza/aprendizaje surgen otras de los instrumentos es una ayuda importante
dimensiones no consideradas inicialmente y para diseñar y llevar el proceso por su
que pueden ser de interés. sistematización. El profesor sabe en todo
momento qué hacer y sus acciones son
coherentes con la competencia a evaluar y el
procedimiento a seguir.
- La participación del alumno sugiriendo - Posibilidad de contar con aportaciones de
criterios de evaluación genera mayor alumnos muy diversos (de otros países, en
riqueza en los mismos, y aporta información profesiones distintas,…), lo que enriquece la
sobre cómo aplicar mejor estos criterios. evaluación.
321
Matriz DAFO (cont.)
- Dificultad para evaluar a los compañeros - El conocimiento y manejo del medio que
por no existir anonimato. tiene el alumno (por ejemplo, hacer un
blog) condiciona sus posibilidades de
intervenir y puede incluso afectar a la
calidad de su ejecución.
- Es necesario que exista un sistema de
asignación de calificaciones que ayude a
docente y estudiantes a ponderar las
distintas intervenciones y concretarlas en
una calificación final.
- En el foro y el blog se genera - En ocasiones, los criterios aportados por
información a la hora de evaluar que, en los alumnos no son pertinentes y se salen
ocasiones, descentra la atención de lo del contexto en que se deben aplicar.
verdaderamente esencial.
- No siempre el feedback llega en el
momento oportuno para que pueda ser
útil al alumno.
- Dificultad para sintetizar la información
generada y separar lo relevante de lo
secundario.
- Facilitan que los alumnos puedan - La sistematización de los criterios
ejercer como evaluadores, lo que permite mediante los instrumentos (listas de
que se sitúen en otro rol/plano, y control, rúbricas…) facilita
desarrollen su capacidad crítica y de considerablemente la evaluación y la
análisis. concreción de esta en una calificación.
- Acceder a gran cantidad de información
permanente en el tiempo a la hora de
evaluar.
- Posibilidad de mostrar la evolución del
grupo y de cada alumno, y de que esto
sea tenido en cuenta a la hora de evaluar.
322
- Que los alumnos reflexionen sobre los - Es necesario que los alumnos conozcan
criterios les ayuda a orientar la ejecución desde el principio el procedimiento de
de sus trabajos. evaluación de la competencia y los
- Posibilidad de mejorar progresivamente instrumentos que se van a usar para que
la visión que el alumno tiene de los puedan orientar su proceso de
contenidos gracias al intercambio aprendizaje.
instantáneo de opiniones con el docente y - La devolución al alumnado de los
con los compañeros. instrumentos de evaluación una vez
cumplimentados, contribuiría a mejorar el
feedback.
323

PROYECTO EVAL-HIDA
A partir de la información aportada en los apartados anteriores, podemos

extraer las siguientes conclusiones sobre la aplicación del procedimiento en
el contexto en que se ha desarrollado el caso:
Las condiciones en que se ha aplicado el procedimiento han incidido de

forma negativa para el desarrollo del mismo. Nos referimos a que la
materia ya había comenzado a impartirse antes de diseñar el
procedimiento de evaluación. Esto ha conducido a que algunas de las
tareas previstas no hayan podido ser consideradas como obligatorias
para la evaluación del alumno, dado que no estaban establecidas a priori
ni contempladas en el programa.
La falta de planificación inicial ha contribuido a que, en ciertas
ocasiones, el docente y el alumnado hayan sentido que el procedimiento
de evaluación era una “carga extra”; no siempre se ha visto la utilidad de
las actividades propuestas (glosario, blog…) y ha sido necesario un
esfuerzo adicional para “reconducir” la dinámica de forma que pudiera
darse respuesta a los requisitos del proyecto EvalHIDA.
Como consecuencia, en parte, de lo anterior, la participación del
alumnado en los foros ha sido escasa. A ello también contribuye el
hecho de que en los sistemas no presenciales muchos alumnos no
continúan hasta el final, o ni siquiera empiezan su participación en la
materia en los momentos establecidos.
En todo caso, el procedimiento para la evaluación de la competencia,
por su sistematicidad, ha resultado ser una guía útil y necesaria para
garantizar que se cumplen los objetivos a la hora de evaluar, y que se
dan las condiciones necesarias para que la evaluación oriente el
proceso de aprendizaje. El procedimiento permite que, tanto el docente,
como los alumnos, sepan en todo momento en qué punto del proceso
están, qué se espera de él/ellos, y cómo todas sus ejecuciones
afectarán a la evaluación. Asimismo, los instrumentos diseñados
permiten sintetizar toda la información que el docente tiene de cada
alumno (y/o de cada grupo) cara a su calificación. En este sentido,
debemos indicar que un aspecto que se echa en falta en el
procedimiento es la falta de un sistema de asignación de calificaciones
que facilite tomar decisiones al docente sobre la puntuación a asignar a
cada estudiante, y que, al mismo tiempo, oriente al estudiante sobre
324
cómo cada una de sus intervenciones o productos incidirá en la

calificación.
La contrapartida de disponer de un procedimiento de evaluación tan
sistemático es que exige atención continua por parte del profesor para
encauzar la dinámica a seguir, y asegurar que se dan las condiciones
previstas.
Se valora de forma especialmente positiva la participación del alumnado
en la reformulación de los criterios de evaluación. Se han obtenido
aportaciones muy interesantes que han contribuido a que el alumno se
sienta más protagonista de su aprendizaje y más responsable para con
sus ejecuciones, asumiendo un rol de evaluador que entendemos como
necesario de cara al ejercicio profesional futuro.
Asimismo, destacamos las siguientes conclusiones sobre las

aportaciones y limitaciones de las HIDAs (foros y blogs) en la evaluación
de competencias (toma de requisitos):
En general, consideramos que las HIDAs se han mostrado muy útiles

para favorecer la participación del alumnado en la evaluación. Sin
embargo, su utilidad no es una condición a priori, sino que se requiere
una estructura (v.g., procedimiento de evaluación) que oriente su uso y
permita reconducir la dinámica hacia los fines perseguidos.
Desde las orientaciones del proceso formativo, entregadas al alumno por
escrito, debe estar muy clara la orientación hacia el aprendizaje
profundo (vs. aprendizaje estratégico de estudiar para aprobar). Esta es
una condición esencial para que entiendan el sentido de la evaluación
con relación al aprendizaje, y no tanto como calificación exclusiva.
Creemos que es un punto de motivación importante que influirá
positivamente en el proceso de implementación de la evaluación de
competencias.
Sería necesario desarrollar procedimientos que permitan identificar y
discriminar el grado y el tipo de participación de cada alumno. Es decir,
que permitan, entre otras cosas: identificar a los alumnos que
“suscriben” lo que dicen los demás; identificar las aportaciones
realmente originales o “incitadoras” de reflexión; disponer de todas las
aportaciones de cada alumno de forma separada de las de los demás,
para valorar su pertinencia sin estar influidos por el contexto, etc.
El uso de las HIDAs requiere atención e intervención continua por parte
del docente para: evitar “bloqueos” en los temas, llamar a la
325
participación a alumnos con ritmos diferentes, reconducir al grupo hacia

la información esencial, promover el feedback a tiempo, etc.
Para mejorar el feedback y hacerlo más inmediato, sería interesante
disponer de un mecanismo mediante el cual el profesor pueda enviar
información al alumno sobre el número de sus participaciones y sobre la
calidad de las mismas. Este mecanismo debería ser relativamente
mecánico (“dar a un botón”) para evitar la sobrecarga del docente.
Asimismo, podría completarse con algo similar referido a todo el grupo
clase, a fin de que este pudiera observar la evolución y tomar conciencia
del proceso seguido.
También resultaría útil disponer de una opción que garantice el
anonimato del alumno en ciertos momentos (v.g., evaluación de
compañeros), aunque el profesor pueda tener constancia de su
participación.
Finalmente, queremos destacar que las HIDAs, usadas adecuadamente del

modo que se ha descrito, son herramientas de gran utilidad para promover una
evaluación orientada al aprendizaje, ya que fomentan la participación del
alumnado y permiten la provisión del feedback necesario para mejorar las
ejecuciones o productos del aprendizaje.
326
6.- ANEXO I
327
1. Título: Procedimiento de evaluación de la aplicación e integración razonada

de conocimientos en la elaboración de programas educativos multimedia.
2. Autores: Mª Teresa Padilla Carmona, Javier Rodríguez Santero, José Clares
López, Juan Jesús Torres Gordillo.
3. Área: CC. Sociales y Jurídicas
5. Nivel:
6.1. Posgrado: Que los estudiantes sepan aplicar los conocimientos
adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco
conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con
su área de estudio.
7. Competencia específica: Diseñar un programa educativo multimedia

según criterios establecidos para responder a las necesidades concretas de un
contexto educativo dado.
8. Objetivo del procedimiento: Evaluar la capacidad de los alumnos para

diseñar programas educativos multimedia según criterios establecidos para
responder a las necesidades concretas de unos contextos educativos dado.
1. Instrumento mixto (lista de control y escala de valoración) para evaluar la
exhaustividad y corrección de los glosarios.
2. Escala de valoración de la participación de cada alumno en la discusión sobre
criterios para valorar programas educativos multimedia.
3. Rúbrica de evaluación del profesor del programa diseñado.
4. Escala de valoración de las valoraciones y propuestas de mejora emitidas por
cada grupo respecto de los diseños realizados por otros compañeros.
328
329
Competencia Básica: Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en
entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su
área de estudio.
Competencia Específica: Diseñar un programa educativo multimedia según criterios establecidos para responder a las necesidades
concretas de un contexto educativo dado.
1. Estudio de tipos de programas Glosario con la lista de criterios hallados Profesor Instrumento mixto (lista de control y
educativos multimedia. Tomando en para evaluar el producto (programa escala de estimación) para valorar la
consideración los apartados que deben educativo multimedia) exhaustividad y corrección de los
contener, las aplicaciones (software) con glosarios (Instrumento 1)
las que desarrollarlos y demás aspectos a Glosario con la lista de aplicaciones para
tomar en consideración. el diseño y desarrollo de programas
1.1. Lectura sobre criterios a la hora de multimedia.
crear un programa educativo multimedia.
1.2. Lecturas sobre aplicaciones para el
diseño y desarrollo de programas
multimedia.
1.3. Búsqueda y propuesta de criterios de
evaluación de la calidad de un programa
educativo multimedia.
330
2. Discusión sobre los criterios Foro con mensajes discutiendo criterios Profesor Escala de valoración de la
2.1. Actividad de aclaración y discusión y su interpretación con respecto a la participación de cada alumno
sobre los criterios propuestos. evaluación del producto (programa (Instrumento 2)
2.2. Selección de los criterios educativo multimedia). Como resultado
considerados más relevantes por el final contaremos con un comentario
grupo. permanente (“Con chincheta”) inicial que
2.3. Alcanzar un acuerdo relativo a la contendrá una lista de criterios a
asignación de una ponderación y/o considerar en la evaluación del producto
ordenación según importancia de la lista multimedia creado y el peso de estos en
de criterios seleccionados. la calificación.
3. Diseño en pequeño grupo o individual Programa educativo multimedia (en el Profesor Rúbrica de evaluación del profesor del
de un programa educativo multimedia que se incluya el análisis del contexto al Auto-evaluación del grupo programa diseñado (instrumento 3)
para un contexto educativo determinado. que se dirige)
Reflexiones realizadas por el grupo
Blog o informe escrito en el que se recogidas dentro del blog o informe
describa y auto-valore el proceso escrito.
seguido y los productos presentados.
4. Aplicación de los criterios establecidos Foro con las valoraciones realizadas Profesor
a la evaluación de los programas sobre los diseños y las propuestas de Evaluación por pares con pro- Escala de valoración de las
diseñados y propuestas de mejora para mejora de los mismos. alimentación valoraciones y propuestas de mejora
los mismos (pro-alimentación). emitidas por cada grupo respecto de
los diseños realizados por otros
compañeros (Instrumento 4).
331
1. Instrumento mixto (lista de control y escala de valoración) para evaluar

la exhaustividad y corrección de los glosarios
Lista de control (1) Correcto Insuficiente
Glosario de criterios de evaluación de un PEM

Adecuada redacción de los criterios de evaluación
Los criterios evalúan todos los elementos de un PEM
Posee coherencia interna entre criterios
Compensación entre el número de criterios para cada
elemento de un PEM
Es creativo y original (no copia)
Se revisa/trabaja con suficiente información teórica
Glosario de aplicaciones
La aplicación es idónea según los objetivos de un PEM
Se explican los objetivos de la aplicación elegida
Se analizan las características técnicas de la aplicación
Se especifican las utilidades prácticas de la aplicación
Escala de valoración (1) Excelente Bien Apto Insuficiente
Glosario de criterios
Redacción técnica coherente de los criterios 1 2 3 4
Recoge todos los elementos de un PEM 1 2 3 4
Esfuerzo en la revisión teórica (diversidad de fuentes) 1 2 3 4
Creatividad y originalidad en los criterios propuestos 1 2 3 4
Organización coherente de los criterios 1 2 3 4
Glosario de aplicaciones
Se presentan aplicaciones útiles para diseñar un PEM 1 2 3 4
Esfuerzo por encontrar aplicaciones diversas de uso libre 1 2 3 4
Exposición de las bondades y usos de cada aplicación 1 2 3 4
Aplicaciones actuales y prácticas 1 2 3 4
332
2. Escala de valoración de la participación de cada alumno en la discusión

sobre criterios para valorar programas educativos multimedia
Mínima Máxima
Escala de valoración (2) valoración valoración
Interés en la discusión de criterios 1 2 3 4 5 6 7 8 9 10
Argumentación reflexiva de las ideas 1 2 3 4 5 6 7 8 9 10
Esfuerzo por leer a otros compañeros y

1 2 3 4 5 6 7 8 9 10
aportar ideas
Participación continua en el tiempo
1 2 3 4 5 6 7 8 9 10
(regularidad)
Inicia o propone discusiones (propuestas) 1 2 3 4 5 6 7 8 9 10
Implicación en el consenso de los criterios 1 2 3 4 5 6 7 8 9 10
Toma interés en la fase final de ponderación

1 2 3 4 5 6 7 8 9 10
y ordenación de los criterios
3. Rúbrica de evaluación del profesor del programa diseñado
Dimensiones / Excelente Bien Apto No apto

Atributos a
evaluar
(sobre 1000
ptos)
Aspectos
formales (6%)
Presentación Muy trabajada, Se percibe un Presentación No se cuida la
general del PEM detalles cuidados, buen trabajo, simple, cumple presentación del
apariencia aunque no se los mínimos PEM, desorden,
profesional cuidan en exigidos trámite
exceso los
detalles
Título Creativo, original Título correcto Título poco Sin título
creativo
Organización de Partes delimitadas Partes Algunos Desorden y mala
elementos/partes correctamente y delimitadas, errores o delimitación de las
orden riguroso con cierto erratas en la partes
orden organización
Redacción Excelente redacción, Aceptable Aceptable, Mala redacción,
sin errores ni faltas redacción. aunque con errores ortográficos
de Puede incluir algunos
ortografía/puntuación alguna errata. errores en la
Sin faltas redacción de
ortográficas o ideas,
de puntuación puntuación,
faltas o erratas
Valores en cada 15 10 5 0
fila de atributos
333
Trabajo en
grupo o
individual (9%)
Coordinación (si Trabajo muy Bien el trabajo Aceptable No hay coordinación
es en grupo) coordinado, esfuerzo coordinado, coordinación en el trabajo.
grupal, todos reparto de las con algunos
Esfuerzo (si es participan en todo. partes, hay desajustes. No hay esfuerzo
individual) Gran esfuerzo implicación. Esfuerzo individual
individual Esfuerzo simple
individual individual
Continuidad e Se presentan Hay cierta Sólo se No hay revisiones del
interés esbozos y hay continuidad presenta una trabajo, se entrega al
revisiones del trabajo antes de la revisión antes final sin más
antes de la entrega entrega final, de la entrega
final con algunas final
revisiones de
borradores
fila de atributos
Justificación
del uso del
programa
(13,5%)
Consulta de Consulta de 5 o más Consulta de 3- Consulta de 2 No se revisan
bibliografía referencias 4 referencias referencias referencias o no se
especializadas en el especializadas especializadas hace de forma
tema en el tema en el tema sistemática
Organización Redacción rigurosa Adecuada Redacción y Uso inapropiado de la
de ideas, con mapas redacción, orden simples, web (plagio, copia de
bien realizados, orden sin mapas datos sin más orden
orden, muy trabajado aceptable, con ni trabajo personal)
mapas
Actualidad Revisión sistemática Revisión Revisión Revisión insuficiente
de literatura actual actualizada de simple de la de la teoría
relativa al tema la teoría (con teoría (no
(últimos años) libros de fácil búsqueda
acceso...) sistemática)
fila de atributos
Diseño técnico
(71,5%)
Coherencia y Diseño muy Existe cierta Trabajo simple No hay coherencia
organización trabajado, coherencia de las distintas interna en el diseño
coherencia interna interna partes
en las partes
Creatividad, Muy creativo y Cierta Poco creativo, Ausencia de
originalidad original creatividad y simple creatividad, no es
originalidad en original (copia)
las partes
Navegación por Muy buena Adecuada Navegación Mala navegación,
el PEM navegación navegación simple desorden
Introducción y Excelente, rigurosa Adecuada Breve, simple Incorrecto o falta de

justificación del introducción y introducción y introducción y introducción y/o
uso de la justificación justificación justificación justificación
herramienta
Ficha técnica Rigurosa, original, Correcta, sin Ficha con Ficha deficiente
334
sin errores errores ciertos errores

Objetivos Objetivos bien Objetivos Simple, errores Objetivos
definidos, adecuados en redacción incoherentes, no
redactados y (evaluables, de objetivos, relacionados con el
justificados concisos, no justificados tema o no se
(evaluables, claros) presentan
concisos, claros) correctamente
Contenido Especificación, Especificación Especificación No se especifica el
secuenciación y ordenada del pobre y poco contenido, es simple y
organización contenido organizada del poco trabajado
detallada del contenido
contenido (selección)
Principios Rigurosidad en los Principios Descripción Insuficiente, no se
metodológicos métodos y principios metodológicos simple de los explica la
metodológicos. explícitos, con principios metodología ni la
Roles de los roles de los metodológicos forma de utilizar el
participantes participantes programa en la
explícitos práctica
Actividades Descripción rigurosa Descripción de Descripción Deficiente, no se
y detallada de las las actividades simple de las describen las
actividades. a realizar. actividades a actividades a realizar,
Actividades Actividades realizar. o se presentan partes
creativas, bien definidas, Actividades inconexas sin orden
definidas, originales completas simples, poco ni organización
trabajadas
Recursos y Especificación Especificación Listado simple No se especifican los
temporización detallada y justificada de de recursos, recursos y/o se hace
justificada de recursos. sin de forma
recursos. Recursos Diversidad de originalidad, y incorrecta/insuficiente.
originales. recursos. con poca Temporización poco
Temporización Temporización diversidad. clara
detallada. presente. Temporización
simple, poco
creativa.
Evaluación de Descripción Descripción Descripción Insuficiente, no se
actividades detallada de la aceptable de la simple de la describe la evaluación
evaluación de las evaluación de evaluación específica de las
actividades la intervención (faltan actividades
(finalidad, técnicas, (finalidad, instrumentos
instrumentos) técnicas, y/o técnicas)
instrumentos)
fila de atributos
335
4. Escala de valoración de las valoraciones y propuestas de mejora

emitidas por cada grupo, o estudiante, respecto de los diseños
realizados por otros compañeros
Mínima Máxima
Escala de valoración (3) valoración valoración
Interés en el trabajo desarrollado 1 2 3 4 5 6 7 8 9 10
Argumentación reflexiva de las aportaciones,

1 2 3 4 5 6 7 8 9 10
constructivas
Adecuación a los objetivos establecidos a
1 2 3 4 5 6 7 8 9 10
priori
Rigurosidad en las valoraciones al diseño 1 2 3 4 5 6 7 8 9 10
Creatividad en las propuestas de mejora

1 2 3 4 5 6 7 8 9 10
ofrecidas
Coherencia en las valoraciones del diseño 1 2 3 4 5 6 7 8 9 10
Coherencia en las propuestas de mejora en

1 2 3 4 5 6 7 8 9 10
función de los resultados de la evaluación
Enfoque práctico, aplicado de las propuestas 1 2 3 4 5 6 7 8 9 10
336
EVALUACIÓN DE
COMPETENCIAS GENÉRICAS
DE POSTGRADO: EL CASO DE
LA MATERIA E-LEARNING EN
LA FACULTAD DE
INFORMÁTICA DE LA UCM
Baltasar Fernández Manjón (Coord.)

Chantal Biencinto López
Mercedes García García
Inmaculada Asensio Muñoz
Eva Expósito Casas
Mª José García de la Barrera
1.- INTRODUCCIÓN
Este informe presenta el diseño de un procedimiento de evaluación de una

competencia genérica utilizando para ello herramientas de interacción dialógica
asíncronas. La selección de la competencia de postgrado seleccionada se ha
realizado conforme al Real Decreto de competencias de postgrado. Se trata de
una competencia de comunicación de resultados a distintas audiencias.
En el contexto del Proyecto EvalHIDA, se trataría de poner en práctica el
procedimiento diseñado y evaluar los resultados y la posible aplicación de
estas herramientas en contextos evaluativos más amplios. Ante la imposibilidad
de llevar a cabo esta experiencia, el grupo de investigación de la UCM decidió
simular la puesta en marcha del mismo y analizar las consecuencias de la
utilización de este tipo de herramientas en un contexto simulado.
Para la evaluación de los resultados se ha llevado a cabo un análisis DAFO,
donde se señalan las fortalezas y debilidades del procedimiento de evaluación.
Este análisis DAFO se ha llevado a cabo por miembros del grupo de
investigación, siguiendo las indicaciones de uno de los profesores que participa
en el master.
Para finalizar planteamos las principales conclusiones que se pueden extraer
del estudio.
338
Evaluación de competencias genéricas de postgrado: El caso de la materia e-Learning en la
Facultad de Informática de la UCM
Hemos utilizado como marco de referencia el MASTER EN INVESTIGACIÓN

EN INFORMÁTICA perteneciente al Programa Oficial de Postgrado en
Ingeniería Informática. Se trata de un master con Mención de Calidad que se
imparte en la Facultad de Informática de la UCM en el curso 2008-2009. De
este master se ha seleccionado la asignatura titulada “E-Learning”1, optativa de
segundo curso, con 6 créditos ECTS e impartida en el primer cuatrimestre
(febrero-mayo de 2009). El departamento encargado de impartir dicha
asignatura es el de Ingeniería del Software e Inteligencia Artificial. Los
profesores que han participado en este módulo son: Baltasar Fernández
Manjón (coordinador); Alfredo Fernández-Valmayor Crespo; José Luis Sierra
Rodríguez; Antonio Navarro Martín. Del total de alumnos matriculados (21)
completaron el curso 15.
Resumimos a grandes rasgos el programa de la asignatura objeto de

evaluación:
1. Objetivos: Aprender a diseñar y desarrollar aplicaciones que hacen
un uso intensivo de la información utilizando tecnologías basadas en
lenguajes de marcado y procesadores de lenguaje. Aplicación al dominio
E-learning.
2. Conocimientos: Introducción: los Lenguajes de Marcado y los
Procesadores de Lenguaje, su uso en la Ingeniería de Sistemas
Hipermedia y en el desarrollo de aplicaciones de E-learning y gestión de
la información. Lenguajes de Marcado y estructura de la información.
Desarrollo de aplicaciones basado en el paradigma documental:
procesadores de lenguaje y Lenguajes de Marcado. Ingeniería
Hipermedia: modelos de diseño y modelos de proceso. Tecnologías de
Marcado en el dominio Hipermedia. Adaptación al usuario: adquisición,
mantenimiento y utilización de modelos. E-learning: estándares y
aplicaciones.
3. Método docente: Enseñanza presencial teórica. Realización
individual de prácticas no tutorizadas. Tutorías colectivas.
4. Método de evaluación: Asistencia a clase y participación en la
discusión de cada uno de los temas. Realización de trabajos de análisis
bibliográfico y/o desarrollos prácticos. Presentación de dichos trabajos
1
Dirección URL: https://campusvirtual.ucm.es/SCRIPT/08-POP12200122001-
122037A/scripts/serve_home
339
en forma oral y escrita, evaluando especialmente su capacidad para

situar en contexto y profundizar en el tema investigado. Presentación de
un trabajo final que deberá tener la forma de una prepublicación
científica. Examen final en febrero y septiembre.
5. Bibliografía:
Goldfard C.; The SGML Handbook; Clarendon Press, Oxford. 1990;
Knuth, D. E. ; Semantics of context-free languages; Mathematical
Systems Theory 2:2 127-145, 1968;
Thüring M., Hannemann J., Haake J.M.; Hypermedia and Cognition:
Designing for Comprehension; Communications of the ACM 8, 57-66.
1995;
Brusilovsky P., Kobsa A., Vassileva J.; Adaptive Hypermedia and
Hypertext; Kluwer Academic Publishers, Dordrech. 1998;
340
3.- Análisis DAFO
El método DAFO es una técnica sencilla y rápida para establecer análisis de

situaciones, instrumentos, etc. concretos que permitan una rápida mejora de
los mismos. Se trata de la elaboración de un gráfico en forma de cuadrado en
el cual se considera de forma separada:
o 1º DEBILIDADES: limitaciones internas del instrumento para la
consecución de una meta u objetivo.
o 2º AMENAZAS: contexto exterior que dificultan la consecución de

objetivos. Forman parte del contexto exterior y no pueden modificarse,
pero sí tenerse en cuenta.
o 3º FORTALEZAS: aspectos positivos y puntos fuertes que están dentro

de nuestras posibilidades.
o 4º OPORTUNIDADES: opciones externas que favorecen el desarrollo

de los objetivos, no dependen sólo de nosotros pero se pueden
aprovechar como punto a favor.
Las debilidades y fortalezas hacen referencia a factores internos dentro del

sistema evaluado (la organización, el programa, el curso, la asignatura, etc).
Mientras que las amenazas y oportunidades hacen referencia a factores
externos al sistema evaluado.
La matriz DAFO ha de ser útil para el diseño de estrategias que permitan el
impulso y la mejora, es decir, forma parte de un proceso continuo que tiene
sentido en la medida en que la elaboración de la misma nos sirve para el
desarrollo futuro de nuevas acciones de mejora.
El análisis DAFO se llevo a cabo por los profesores pertenecientes al grupo de
investigación UCM.
341
• La evaluación por pares no
suele estar bien aceptada.
• Carácter sancionador y no
formativo de la evaluación
tradicional.
• Ausencia de feedback. • Sobre - coste para el
• En la evaluación del debate profesorado.
existe el problema de que el • Feed-Back costoso.
profesor tiene que ser • Falta de cultura evaluadora.
dinamizador y en gran parte el • Poco espíritu crítico.
éxito del debate depende de • Versatilidad de descripción en la
ello. rúbrica (limitación del campo de
• Es necesario explicitar el cómo texto).
y el para qué de la evaluación. • Exceso de información.
• En los procesos de evaluación
en los que interviene el alumno
sería imprescindible garantizar
confidencialidad.
• Es completo para evaluar las
competencias.
• Es una guía útil para el
profesor. • Encontrar mecanismos que
• Los criterios de evaluación son equilibren el trabajo del profesor.
explícitos y semejantes para • Cambio de roles.
todos los alumnos. • Formalización de la rúbrica de
• Se consigue una mayor conclusiones, algo que se hacía
objetividad. informalmente.
• De gran utilidad para
comunicar a los alumnos los
resultados.
342

PROYECTO EVAL-HIDA
El objetivo final de este informe es la valoración y propuesta acerca de la

utilización de herramientas de interacción dialógica asíncronas en la evaluación
de competencias. Mediante la construcción del procedimiento de evaluación y
los instrumentos, así como con el análisis de la puesta en práctica de dicho
procedimiento (en nuestro caso de forma simulada ya que no contamos con
ningún master en activo en el tercer trimestre del curso académico 2008-2009),
podemos extraer las siguientes conclusiones:
1. El procedimiento planteado resulta adecuado y de interés para el
profesorado que se enfrenta a la evaluación de competencias en postgrado.
Mediante el análisis DAFO hemos podido comprobar como la secuenciación
y listado de tareas propuestas resulta completo y útil para evaluar la
competencia específica planteada. El hecho de utilizar criterios comunes y
claros para todos, aumenta la objetividad y transparencia del proceso, lo
que repercute en la calidad de la evaluación.
2. Otra de las características apuntadas como relevantes en todo proceso de

evaluación es la retroalimentación o feed-back. La utilización de
herramientas dialógicas asíncronas podría facilitar el proceso de
comunicación de resultados de evaluación a los alumnos y de este modo
incrementar la retroalimentación entre los agentes de la evaluación.
Asimismo, la participación activa de los alumnos en el proceso produce
efectos positivos en el aprendizaje.
3. Hemos constatado la falta de cultura de evaluación presente, sobre todo,

en los estudiantes. La evaluación por pares se presenta como un recurso
esencial en este procedimiento. Este tipo de evaluación debe ir
acompañada de unos criterios claros, explícitos y objetivos para no caer en
el “amiguismo”. Con esto, podemos conseguir incrementar la vertiente
formativa de la evaluación, así como desterrar el carácter sancionador que
tradicionalmente ha tenido.
4. Con la utilización de HIDAS también aparece un cambio de roles muy

positivo y que supone una oportunidad interesante en este nuevo contexto
de evaluación que supone la enseñanza virtual. La evaluación por pares es
un recurso fundamental para complementar la evaluación realizada
exclusivamente por el profesor. Además los instrumentos comunes (tanto
343
para el profesor como para los alumnos) proporcionan una doble

perspectiva en los resultados.
5. Para finalizar, dos aspectos a destacar:
a. por un lado, la necesidad de explicitar aspectos como para qué,

cómo, quién; es decir, dejar claro el modelo de valoración y los
pesos en la calificación final. En el procedimiento que presentamos
se han utilizado los siguientes pesos. La entrega de la comunicación
científica (“prepublicable”) supone el 70% de la calificación. De este
porcentaje, el 60% forma parte de la evaluación del profesor (45%
trabajo escrito y 15% exposición oral) y el 10% del alumnado. El 30%
restante versa sobre la participación en la asignatura. De este
porcentaje, el 10% es del alumno y el 20% del profesor.
b. y, por el otro, el garante de confidencialidad de la información

recogida. Cuestiones relacionadas con la autoría de los trabajos
presentados o con el anonimato de las valoraciones vertidas por los
alumnos hacia el profesor o los alumnos entre si, son aspectos muy
sensibles a tener en cuenta en todo proceso evaluativo.
344
5.- ANEXO I
345
1. Título: Procedimiento para evaluar competencias

2. Autores: Mercedes García, Chantal Biencinto, Baltasar Fernández Manjón,
Inmaculada Asensio, Eva Expósito, Mº José García.
4. Materia: e-learning (Master en Investigación Informática, Master oficial con
Mención de Calidad ANECA, asignatura optativa de segundo curso)
5. Nivel:
6.1. Posgrado: Que los estudiantes sepan comunicar sus conclusiones a
públicos especializados y no especializados de un modo claro y sin ambigüedades.
7. Competencia específica: Elaborar una comunicación científica de

acuerdo a los estándares del área
8. Objetivo del procedimiento: Evaluar el grado en el cual se ha adquirido
la competencia específica
9. Instrumentos de Evaluación: Listas de control, escalas de valoración y
rúbricas
346
Competencia Básica: Que los estudiantes sepan comunicar sus conclusiones a públicos especializados y no especializados de un modo
claro y sin ambigüedades.
Competencia Específica: Elaborar una comunicación científica de acuerdo a los estándares del área
1. Análisis crítico y síntesis del artículo Resumen del artículo (una página) y Profesor Lista de control del resumen del
seleccionado y proporcionado por el publicación en el campus virtual para artículo y publicación en el campus.
profesor en el campus virtual que esté accesible al resto de alumnos
del curso y al profesor Escala de valoración de la formulación
Formulación de dos o tres preguntas no de dos o tres preguntas con la
triviales relacionadas con el artículo o utilización del Blog
con el artículo en el contexto del curso.
Esto se hace utilizando un blog
347
2. Puesta en común en la clase Debate activo con participación de todos Profesor Escala de valoración del debate activo
presencial con el profesor actuando como los alumnos Alumnos por parte del profesor. El docente
dinamizador Conclusiones comunes obtenidas de evaluará el debate en su conjunto, no
debate individualmente
Uso de una wiki para reflejar y elaborar
las conclusiones obtenidas Escala de valoración del debate activo
(alumnos). Dicha escala de valoración
se utilizará para que los alumnos
evalúen el debate en su conjunto
Lista de control del uso de la wiki para

la presentación de las conclusiones
Rúbrica de las conclusiones comunes

obtenidas en el debate. (Puntuación
máxima 3 puntos)
3. Elección de un tema de interés para el Borrador de propuesta de trabajo. Se Profesor Lista de control del borrador de
alumno negociado con el profesor. Los presenta el tema de trabajo y el enfoque propuesta de trabajo
profesores han publicado previamente en previsto
el espacio virtual del curso sus líneas de Se comunica el tema mediante el foro Lista de control para la comunicación
interés prioritario para conocimiento y contraste por el del tema mediante el foro
resto de alumnos
348
4. Elaboración de la comunicación Comunicación científica de nivel de Profesor y alumnos Rúbrica para evaluar la comunicación
científica siguiendo los criterios comunes calidad “prepublicable” científica de nivel de calidad
del área que previamente han sido Publicación de dicha comunicación en el “prepublicable” (Puntuación total 10
publicados en el campus virtual campus virtual donde cada alumno puntos)
puede opinar sobre los trabajos a través
del foro a la forma de un simposium Lista de control para la publicación de
virtual, agrupados por temas de interés. la comunicación en el campus virtual
Exposición oral en clase similar a la
realizada en un congreso del área (se Escala de valoración para evaluar la
puede hacer en inglés o en español). participación en el foro
Escala de valoración para valorar la

exposición oral en clase (profesores)
Lista de control para valorar la

exposición oral en clase (alumnos)
349
"LISTA DE CONTROL DEL RESUMEN DEL RESUMEN DEL ARTÍCULO Y PUBLICACIÓN EN EL CAMPUS"
SI NO
Publicación en el campus en la fecha indicada
Publicación en el campus de manera visible y al alcance de los demás compañeros y del profesor
Estructuración de la argumentación
Coherencia de la argumentación
Claridad de la síntesis presentada
Recoge las ideas importantes del artículo
Recoge el objetivo del artículo
Precisión en el manejo de términos y vocabulario específico
Termina el resumen identificando conclusiones
Aporta reflexiones novedosas
350
"ESCALA DE VALORACIÓN DE LA FORMULACIÓN DE DOS O TRES PREGUNTAS CON LA UTILIZACIÓN DEL

BLOG"
MáXIMO MáXIMO
2 3 4 5
ACUERDO DESACUERDO
Han utilizado el blog para exponer las

preguntas
Las preguntas son accesibles a los demás

compañeros y el profesor
El número de preguntas es idóneo
Las preguntas están relacionadas con el

artículo

artículo en el contexto del curso
Los interrogantes planteados son claros
Los interrogantes planteados son relevantes
Las cuestiones son originales
Discrepan del contenido del artículo
Las cuestiones han suscitado el interés de

los compañeros
351
"ESCALA DE VALORACIóN DEL DEBATE ACTIVO POR PARTE DEL PROFESOR. "
El docente evaluará el debate en su conjunto, no individualmente
MUY
INADECUADO 2 3 4 5
ADECUADO
Participación
Visión prospectiva
Estructura de las intervenciones
Contenido de las preguntas
Lenguaje empleado
Extensión en función de la idea a transmitir
Capacidad de realizar preguntas y adaptarse al

discurso
Uso de los turnos de palabra
Respeto a las ideas de los otros
Aportaciones
Detección de las limitaciones de los artículos
Nivel crítico
Interés
Originalidad de las intervenciones
Enfoque del debate
352
"ESCALA DE VALORACIóN DEL DEBATE ACTIVO "
Dicha escala de valoración se utilizará para que los alumnos evalúen el debate en su conjunto.
MáXIMO MáXIMO
2 3 4 5
ACUERDO DESACUERDO
Ha habido mucha participación
El profesor ha intervenido dejando

participar a los alumnos
Las intervenciones han sido dinámicas
El contenido ha resultado interesante
El lenguaje ha sido claro y preciso
Las ideas se han expuesto de manera

breve y concisa
Se ha respetado el uso de los turnos de

palabra
Se han respetado las ideas de los demás
Las aportaciones han sido originales
Se ha notado el interés por parte de los

alumnos
Ha existido una fuerte implicación
El enfoque del debate estaba

fundamentado
"LISTA DE CONTROL DEL USO DE LA WIKI PARA LA PRESENTACIóN DE LAS CONCLUSIONES"
SI NO
Presentada a tiempo
Formato adecuado
Puede ser consultada por todos los compañeros y el profesor
353
"RúBRICA DE LAS CONCLUSIONES COMUNES OBTENIDAS EN EL DEBATE (PUNTUACIóN MáXIMA TRES

PUNTOS)"
D. REPETIR
A. MUY BIEN. 3
B. BIEN. 2 PUNTOS C. APTO. 1 PUNTO CONCLUSIONES. O
PUNTOS
PUNTOS.
- Recoge todas las - Recoge en torno al - Poco trabajado-

discusiones 90% de las Recoge en torno al - No recoge el 70% de
realizadas- Síntesis aportaciones.- Síntesis 70% - 80% de las las discusiones
exacta.- Excelente demostrada.- discusiones- Básica realizadas - Mala
Conclusiones organización y Organización de ideas. organización de las redacción de ideas-
comunes claridad. - Se apoyan Claridad en las ideas y propuestas- No Mala organización del
obtenidas en en autores y/o teorías- propuestas - Utilizan hay justificación o trabajo- No evidencia
el debate. Redacción excelente algún autor y/o teoría apoyo en las teorías o apoyo en la teoría-
y cuidada.- Aporta en sus autores trabajados- Mala redacción de
bibliografía y se argumentaciones- Existen errores de ideas. - No aporta
referencia Redacción buena- redacción.- No cita bibliografía
adecuadamente Aporta bibliografía adecuadamente
354
"LISTA DE CONTROL DEL BORRADOR DE PROPUESTA DE TRABAJO"
SI NO
Presenta un esquema claro del trabajo a realizar
Argumenta la importancia del trabajo
Planteamiento adecuado del tema, objetivo y la línea
Existe previsión del enfoque metodológico
Contiene bibliografía
Es original
Incluye aspectos formales en el borrador
El lenguaje empleado es adecuado
La extensión es adecuada (entre 2 y 5 páginas)
Hay una previsión de mecanismos de mejora y autocorrección del proyecto
355
EVALUACIÓN DE
COMPETENCIAS EN
SISTEMAS OPERATIVOS
AVANZADOS
Jesús Carretero García

José Daniel García Sánchez
Evaluación de competencias en Sistemas Operativos Avanzados
1.- INTRODUCCIÓN
Este informe presenta el diseño de un procedimiento de evaluación de

competencias utilizando herramientas de interacción dialógicas asíncronas.
Dentro del proyecto EvalHIDA el objetivo sería la aplicación del procedimiento y

la evaluación de sus resultados. En el caso del equipo de la UC3M se ha
optado por estudiar los procesos de diseño y puesta en marcha del
procedimiento. No obstante, el procedimiento de evaluación no ha podido ser
implantado mediante las herramientas adecuadas por no coincidir la
secuenciación temporal del proyecto EvalHIDA con el calendario de la
asignatura dentro del programa del Máster.
En este informe se presenta primeramente el contexto del trabajo, en cuanto a

la asignatura seleccionada y el programa de Máster Oficial. Así mismo se
describen todas las competencias (tanto genéricas como específicas), que se
evalúan en la asignatura y se presente el procedimiento de evaluación para
una de las competencias básicas que se adquieren en la asignatura.
357
El caso que se analiza en este informe corresponde a la asignatura Sistemas

Operativos Avanzados, que pertenece al Máster Oficial en Ciencia e
Ingeniería Informática. Este programa tiene la mención de calidad. El Máster
consta de 3 especializaciones: Inteligencia Artificial, Ingeniería del Software y
Sistemas Distribuidos, Multimedia y Seguros. La asignatura de Sistemas
Operativos Avanzados tiene una carga de 4,5 créditos ECTS y está
enmarcada dentro de la especialidad de Sistemas Distribuidos Multimedia y
Seguros.
En cuanto a conocimientos a adquirir, se pretende que los alumnos:

• Adquieran una visión actualizada del estado del arte de la investigación
que se está llevando a cabo en este campo.
• Comprendan en profundidad los conceptos y problemas específicos de
los Sistemas Operativos, así como las características que los diferencian
de otros sistemas informáticos.
• Conozcan en detalle la estructura y funcionamiento interno de un
Sistema Operativo.
• Profundicen mediante el trabajo práctico de la asignatura en alguna
parcela de los Sistemas Operativos, pudiendo incluso convertirse este
en el germen de una Tesis Doctoral relacionada con estos temas.
El método docente tiene varias dimensiones. Por una parte se hace uso de
clases magistrales que tratan temas de actualidad en el ámbito de los Sistemas
Operativos. Como ejemplo durante este curso se han tratado los siguientes
temas:
• Sistemas Operativos para supercomputadores.
• Sistemas Operativos de tiempo real.
• Sistemas Operativos para sistemas multi-core.
• Memoria transaccional.
Además, se tratan las especificidades en la redacción y evaluación de artículos

en el ámbito de los Sistemas Operativos.
Para la evaluación de la asignatura se combinan:

• La evaluación de un artículo de investigación en el ámbito de los
Sistemas Operativos.
• La presentación y revisión de un artículo asignado.
358
• Redacción de un trabajo en el ámbito de los Sistemas Operativos. Este

trabajo podrá ser un trabajo de análisis bibliográfico y un artículo de
investigación.
359
3.- COMPETENCIAS A EVALUAR
En la asignatura se realiza una evaluación de las competencias (genéricas y

específicas) a alcanzar.
De entre las competencias básicas, en esta asignatura se hace especial

énfasis en las siguientes:
• Que los estudiantes sean capaces de integrar conocimientos y

enfrentarse a la complejidad de formular juicios a partir de una
información que, siendo incompleta o limitada, incluya reflexiones sobre
las responsabilidades sociales y éticas vinculadas a la aplicación de sus
conocimientos y juicios. En particular, los estudiantes deben ser capaces
de emitir juicios sobre artículos susceptibles de ser publicados, teniendo
en cuenta las responsabilidades sociales y éticas ligadas a la
participación un comité de programa o un comité editorial de carácter
científico.
• Que los estudiantes sepan comunicar sus conclusiones –y los
conocimientos y razones últimas que las sustentan– a públicos
especializados y no especializados de un modo claro y sin
ambigüedades. En particular, los estudiantes deben ser capaces de
comunicar de forma clara un artículo publicado en una publicación de
referencia en el área de los Sistemas Operativos.
• Que los estudiantes posean las habilidades de aprendizaje que les
permitan continuar estudiando de un modo que habrá de ser en gran
medida autodirigido o autónomo.
En cuanto a las competencias específicas relacionadas con la materia, se hace

especial énfasis en las siguientes:
• Que los estudiantes adquieran una visión actualizada del estado del arte
de la investigación que se está llevando a cabo en el campo de los
Sistemas Operativos.
• Que los estudiantes comprendan en profundidad los conceptos y
problemas específicos de los Sistemas Operativos, así como las
características que los diferencian de otros sistemas informáticos.
• Que los estudiantes conozcan en detalle la estructura y funcionamiento
interno de un Sistema Operativo.
360
• Que los estudiantes profundicen mediante el trabajo práctico de la

asignatura en alguna parcela de los Sistemas Operativos, pudiendo
incluso convertirse este en el germen de una Tesis Doctoral relacionada
con estos temas.
361
4.- PROCEDIMIENTO DE EVALUACIÓN
Como ejemplo de procedimiento de evaluación, se presenta a continuación el

utilizado para evaluar la adquisición de una de las competencias básicas. Se
trata de la competencia:
• Que los estudiantes sean capaces de integrar conocimientos y

enfrentarse a la complejidad de formular juicios a partir de una
información que, siendo incompleta o limitada, incluya reflexiones sobre
las responsabilidades sociales y éticas vinculadas a la aplicación de sus
conocimientos y juicios. En particular, los estudiantes deben ser
capaces de emitir juicios sobre artículos susceptibles de ser
publicados, teniendo en cuenta las responsabilidades sociales y
éticas ligadas a la participación un comité de programa o un comité
editorial de carácter científico.
Para garantizar la adquisición de esta competencia se combinan varias tareas:
1. Impartición de un seminario sobre la evaluación de trabajos científicos

en el ámbito de los Sistemas Operativos. El seminario tiene como
objetivo presentar las peculiaridades propias de los artículos en el
ámbito de los Sistemas Operativos así como los criterios de evaluación
que son propios en dicha comunidad científica.
2. Asignación a los estudiantes de artículos para su evaluación. Cada
estudiante recibirá un mínimo de dos artículos que no hayan sido
publicados combinando artículos de buena calidad con otros mediocres.
Los estudiantes deberán entregar valoraciones de los artículos similares
a las de un revisor de un congreso del ámbito de Sistemas Operativos.
3. Simulación de un comité de programa en la que los estudiantes deben
seleccionar los artículos que tienen calidad suficiente para ser
publicados. Durante esta tarea se favorece especialmente el debate
entre los estudiantes que hayan recibido la asignación de un mismo
artículo. Para cumplir este objetivo se habrá tenido especial cuidado en
que cada artículo haya sido asignado al menos a cuatro estudiantes.
4. Asignación a los estudiantes de un artículo relevante en el ámbito de los
Sistemas Operativos para su evaluación y presentación. En esta
segunda asignación se procurará que el artículo haya sido publicado en
un congreso o revista de alta importancia. En la asignación de este
artículo se tendrá en cuenta los intereses de investigación y
362
conocimientos previos del estudiante para tratar de alinearlo con los

mismos.
5. Evaluación crítica por parte del estudiante del artículo asignado
presentando una evaluación escrita del mismo.
6. Defensa del contenido del artículo asignado por parte del estudiante. En
esta tarea el estudiante debe asumir el papel de los autores del artículo
y defenderlo, en la medida de lo posible, de las críticas del resto de
estudiantes, y del profesor.
363

PROYECTO EVAL-HIDA
Si bien, la implantación con las herramienta adecuadas no se ha podido llevar a

cabo por problemas en la secuenciación temporal, si pueden extraerse
conclusiones de la construcción del procedimiento de evaluación.
Por una parte, la definición de los procedimientos de evaluación ligada a las

competencias que deben adquirirse resulta mucho más útil que la tradicional
evaluación basada en la adquisición de conocimientos basada en contenidos.
Desde el punto de vista del profesor, permite garantizar que los estudiantes
que siguen este proceso de evaluación adquieren las competencias que son
necesarias. Desde el punto de vista del estudiante se ha visto como se ha
incrementado en gran medida la satisfacción de los mismos con una clara
sensación de haber adquirido competencias de gran utilidad en su carrera. Por
otra parte los propios mecanismos de evaluación han generado tanto en los
profesores como en los estudiantes un sentimiento de mucha mayor
simplificación y objetividad del propio proceso de evaluación.
Por otra parte, las tareas de evaluación seleccionadas han incrementado

enormemente la capacidad crítica de los estudiantes sobre el trabajo de
terceras personas. Tanto es así, que en una primera interación los estudiantes
decidieron rechazar todos los artículos que les fueron propuestos por su mala
calidad, necesitando una segunda iteración para identificar puntos positivos en
los artículos que habían recibido como asignación. Este desarrollo del espíritu
crítico, les permitirá según sus propias opiniones ser también más críticos con
su propia actividad de comunicación de resultados científicos.
Así mismo, es de destacar que en el proceso no se han identificado vicios que

se temían a priori como la compartición de las evaluaciones antes de los
puntos esperados o la no implicación de los estudiantes en el proceso. De
hecho se puede decir, que se ha cumplido también el objetivo de desarrollar
una cultura de los principios éticos que deben regir en la evaluación de trabajos
científicos.
364
6.- ANEXO I
365
1. Título: Procedimiento para evaluar competencias

2. Autores: Mercedes García, Chantal Biencinto, Baltasar Fernández Manjón,
Inmaculada Asensio, Eva Expósito, Mº José García.
4. Materia: e-learning (Master en Investigación Informática, Master oficial con
Mención de Calidad ANECA, asignatura optativa de segundo curso)
5. Nivel:
6.1. Grado:
6.2. Posgrado: Que los estudiantes sepan comunicar sus conclusiones a
públicos especializados y no especializados de un modo claro y sin ambigüedades.
6.3. Doctorado:
7. Competencia específica: Elaborar una comunicación científica de
acuerdo a los estándares del área
8. Objetivo del procedimiento: Evaluar el grado en el cual se ha adquirido
la competencia específica
9. Instrumentos de Evaluación: Listas de control, escalas de valoración y
rúbricas
366
Competencia Básica: Que los estudiantes sepan comunicar sus conclusiones a públicos especializados y no especializados de un modo
claro y sin ambigüedades.
Competencia Específica: Elaborar una comunicación científica de acuerdo a los estándares del área
1. Análisis crítico y síntesis del artículo Resumen del artículo (una página) y Profesor Lista de control del resumen del
seleccionado y proporcionado por el publicación en el campus virtual para artículo y publicación en el campus.
profesor en el campus virtual que esté accesible al resto de alumnos
del curso y al profesor Escala de valoración de la formulación
Formulación de dos o tres preguntas no de dos o tres preguntas con la
triviales relacionadas con el artículo o utilización del Blog
con el artículo en el contexto del curso.
Esto se hace utilizando un blog
367
2. Puesta en común en la clase Debate activo con participación de todos Profesor Escala de valoración del debate activo
presencial con el profesor actuando como los alumnos Alumnos por parte del profesor. El docente
dinamizador Conclusiones comunes obtenidas de evaluará el debate en su conjunto, no
debate individualmente
Uso de una wiki para reflejar y elaborar
las conclusiones obtenidas Escala de valoración del debate activo
(alumnos). Dicha escala de valoración
se utilizará para que los alumnos
evalúen el debate en su conjunto
Lista de control del uso de la wiki para

la presentación de las conclusiones
Rúbrica de las conclusiones comunes

obtenidas en el debate. (Puntuación
máxima 3 puntos)
3. Elección de un tema de interés para el Borrador de propuesta de trabajo. Se Profesor Lista de control del borrador de
alumno negociado con el profesor. Los presenta el tema de trabajo y el enfoque propuesta de trabajo
profesores han publicado previamente en previsto
el espacio virtual del curso sus líneas de Se comunica el tema mediante el foro Lista de control para la comunicación
interés prioritario para conocimiento y contraste por el del tema mediante el foro
resto de alumnos
368
4. Elaboración de la comunicación Comunicación científica de nivel de Profesor y alumnos Rúbrica para evaluar la comunicación
científica siguiendo los criterios comunes calidad “prepublicable” científica de nivel de calidad
del área que previamente han sido Publicación de dicha comunicación en el “prepublicable” (Puntuación total 10
publicados en el campus virtual campus virtual donde cada alumno puntos)
puede opinar sobre los trabajos a través
del foro a la forma de un simposium Lista de control para la publicación de
virtual, agrupados por temas de interés. la comunicación en el campus virtual
Exposición oral en clase similar a la
realizada en un congreso del área (se Escala de valoración para evaluar la
puede hacer en inglés o en español). participación en el foro
Escala de valoración para valorar la

exposición oral en clase (profesores)
Lista de control para valorar la

exposición oral en clase (alumnos)
369
"LISTA DE CONTROL DEL RESUMEN DEL RESUMEN DEL ARTÍCULO Y PUBLICACIÓN EN EL CAMPUS"
SI NO
Publicación en el campus en la fecha indicada
Publicación en el campus de manera visible y al alcance de los demás compañeros y del profesor
Estructuración de la argumentación
Coherencia de la argumentación
Claridad de la síntesis presentada
Recoge las ideas importantes del artículo
Recoge el objetivo del artículo
Precisión en el manejo de términos y vocabulario específico
Termina el resumen identificando conclusiones
Aporta reflexiones novedosas
370
"ESCALA DE VALORACIÓN DE LA FORMULACIÓN DE DOS O TRES PREGUNTAS CON LA UTILIZACIÓN DEL

BLOG"
MáXIMO MáXIMO
2 3 4 5
ACUERDO DESACUERDO
Han utilizado el blog para exponer las

preguntas
Las preguntas son accesibles a los demás

compañeros y el profesor
El número de preguntas es idóneo

artículo

artículo en el contexto del curso
Los interrogantes planteados son claros
Los interrogantes planteados son relevantes
Las cuestiones son originales
Discrepan del contenido del artículo
Las cuestiones han suscitado el interés de

los compañeros
371
"ESCALA DE VALORACIóN DEL DEBATE ACTIVO POR PARTE DEL PROFESOR. "
El docente evaluará el debate en su conjunto, no individualmente
MUY
INADECUADO 2 3 4 5
ADECUADO
Participación
Visión prospectiva
Estructura de las intervenciones
Contenido de las preguntas
Lenguaje empleado
Extensión en función de la idea a transmitir
Capacidad de realizar preguntas y adaptarse al

discurso
Uso de los turnos de palabra
Respeto a las ideas de los otros
Aportaciones
Detección de las limitaciones de los artículos
Nivel crítico
Interés
Originalidad de las intervenciones
Enfoque del debate
372
"ESCALA DE VALORACIóN DEL DEBATE ACTIVO "
Dicha escala de valoración se utilizará para que los alumnos evalúen el debate en su conjunto.
MáXIMO MáXIMO
2 3 4 5
ACUERDO DESACUERDO
Ha habido mucha participación
El profesor ha intervenido dejando

participar a los alumnos
Las intervenciones han sido dinámicas
El contenido ha resultado interesante
El lenguaje ha sido claro y preciso
Las ideas se han expuesto de manera

breve y concisa
Se ha respetado el uso de los turnos de

palabra
Se han respetado las ideas de los demás
Las aportaciones han sido originales
Se ha notado el interés por parte de los

alumnos
Ha existido una fuerte implicación
El enfoque del debate estaba

fundamentado
"LISTA DE CONTROL DEL USO DE LA WIKI PARA LA PRESENTACIóN DE LAS CONCLUSIONES"
SI NO
Presentada a tiempo
Formato adecuado
Puede ser consultada por todos los compañeros y el profesor
373
"RúBRICA DE LAS CONCLUSIONES COMUNES OBTENIDAS EN EL DEBATE (PUNTUACIóN MáXIMA TRES

PUNTOS)"
D. REPETIR
A. MUY BIEN. 3
B. BIEN. 2 PUNTOS C. APTO. 1 PUNTO CONCLUSIONES. O
PUNTOS
PUNTOS.
- Recoge todas las - Recoge en torno al - Poco trabajado-

discusiones 90% de las Recoge en torno al - No recoge el 70% de
realizadas- Síntesis aportaciones.- Síntesis 70% - 80% de las las discusiones
exacta.- Excelente demostrada.- discusiones- Básica realizadas - Mala
Conclusiones organización y Organización de ideas. organización de las redacción de ideas-
comunes claridad. - Se apoyan Claridad en las ideas y propuestas- No Mala organización del
obtenidas en en autores y/o teorías- propuestas - Utilizan hay justificación o trabajo- No evidencia
el debate. Redacción excelente algún autor y/o teoría apoyo en las teorías o apoyo en la teoría-
y cuidada.- Aporta en sus autores trabajados- Mala redacción de
bibliografía y se argumentaciones- Existen errores de ideas. - No aporta
referencia Redacción buena- redacción.- No cita bibliografía
adecuadamente Aporta bibliografía adecuadamente
374
"LISTA DE CONTROL DEL BORRADOR DE PROPUESTA DE TRABAJO"
SI NO
Presenta un esquema claro del trabajo a realizar
Argumenta la importancia del trabajo
Planteamiento adecuado del tema, objetivo y la línea
Existe previsión del enfoque metodológico
Contiene bibliografía
Es original
Incluye aspectos formales en el borrador
El lenguaje empleado es adecuado
La extensión es adecuada (entre 2 y 5 páginas)
Hay una previsión de mecanismos de mejora y autocorrección del proyecto
375
"LISTA DE CONTROL PARA LA COMUNICACIóN DEL TEMA MEDIANTE EL FORO"
SI NO
Presentación a tiempo del tema en el foro
Formato correcto de la presentación
Es accesible a los compañeros y al profesor
Escribe correos haciendo propuestas, contestando a cuestiones
Interviene en más del 60% de los debates del foro
Motiva a sus compañeros a la participación en el foro
Sus aportaciones en el foro son argumentadas
Su participación en el foro es continuada a lo largo del tiempo
Los tiempos de respuesta son adecuados
Concluye el foro sintetizando aportaciones
376
"RúBRICA PARA EVALUAR LA COMUNICACIóN CIENTíFICA DE NIVEL DE CALIDAD “PREPUBLICABLE” "
Puntuación total 10 puntos
TITULO (5% =
A=MUY BIEN *1 B= BIEN *0,75 C= APTO *0,5 D= NO APTO *0
0,5)
-Original. -Claro. -
- Claro. -Preciso. - - Impreciso. - Con alguna - No aparece un
TÍTULO Preciso.- Sin
S in errores incorrección título definido.
errores
ESTRUCTURA
GENERAL (5% A=MUY BIEN *1 B= BIEN *0,75 C= APTO *0,5 D= NO APTO *0
= 0,5)
- Partes bien
- No hay
delimitadas. - - Partes del trabajo
delimitación clara de
Presentación, delimitadas. - El
- Errores en delimitación de los las partes del
organizada - formato es
apartados del artículo. - artículo. -
Redacción correcta adecuado -
ESTRUCTURA Presentación simple - Errores en Presentación
- Sin errores Redacción
GENERAL redacción - Faltas ortográficas y descuidada. - Mala
ortográficos ni de correcta - Sin
/o de puntuación - Falta de redacción - Faltas
puntuación - faltas ortográficas
coherencia. de ortografía y de
Trabajo coherente ni de puntuación -
puntuación - No hay
- Presentado en Trabajo coherente
coherencia.
inglés
ABSTRACT
(5% = 0,5)
- Claro. -
- Claro. - - No hay o es
ABSTRACT Relevante. - - Simple. - Con alguna errata.
Relevante. incompleto
Completo
DESCRIPTORES Y
PALABRAS CLAVE (5% = A=MUY BIEN *1 B= BIEN *0,75 C= APTO *0,5 D= NO APTO *0
0,5)
-Útiles y claros para

- Claros. - Acordes
el lector. - Acordes
con el contenido - Relacionados
con el contenido del
del artículo. - con el contenido
DESCRIPTORES Y artículo. - -No aparecen o son
Suficientes a la del artículo. -
PALABRAS CLAVE Completos. - Los irrelevantes.
hora de dar una Escasos o
mejores a la hora de
visión global del excesivos.
dar una visión
artículo.
global del artículo.
DOCUMENTACIóN
(REVISIóN DE LA
LITERATURA,
FUNDAMENTACIóN
TEóRICA) (20% = 2
PUNTOS)
- Revisión de 4 ó + - Revisión de 3 - Revisión de 2 - No hay revisión

libros y 4 ó + libros y 3 artículos libros y 2 artículos seria de libros ni
artículos científico. - científicos - científicos - artículos. Datos de
Consulta de 4 ó + Consulta de 3 Consulta de 2 cualquier parte -
DOCUMENTACIÓN webs webs webs Uso inapropiado de
especializadas en el especializadas en especializadas en la web (plagio) -
tema. - Diversidad el tema - el tema - Citas Copia de libros sin
de fuentes. - Citas Diversidad de autores con organización ni
correctas - Teorías fuentes - Citas algunos errores - coherencia alguna -
377
vigentes. - autores correctas - Teoría relativa al Ausencia de

Actualidad. - Teorías vigentes. tema. argumentación
Sintetiza e integra. teórica
INTRODUCCIóN (10%
A=MUY BIEN *1 B=BIEN*0,75 C=APTO*0,5 D=NO APTO*0
= 1 PUNTO)
-Muestra la
-Muestra la
relevancia del tema -No muestra la
relevancia del
y el interés del -Muestra la relevancia del relevancia del
tema y el interés
investigador. - tema. - Permite al lector tema ni el interés
del investigador. -
Justificación de la hacerse una idea global del investigador. -
Explicación del
estructura del del contenido del artículo. Falta de
objetivo. - Permite
INTRODUCCIÓN trabajo. - - Es confusa y no recoge coherencia en su
al lector hacerse
Explicación del todos los apartados estructura. -Es
una idea global del
objetivo. - Aporta tratados en el artículo. - confusa, difícil de
contenido del
una idea global del Su extensión es escasa o comprender. - Su
artículo. - Es clara
contenido. - Es excesiva. extensión no es
rigurosa y bien
clara, rigurosa y adecuada.
estructurada.
bien estructurada.
MATERIALES
UTILIZADOS (10% = A= MUY BIEN*1 B=BIEN*0,75 C=APTO*0,5 D=NO APTO*0
1 PUNTO)
- Coherencia entre
los materiales - Coherencia entre
- Los materiales
utilizados y el los materiales
utilizados no son
objetivo del estudio. utilizados y el -Coherencia entre los
acordes al objeto
- Descripción y objetivo del materiales utilizados y el
MATERIALES de estudio. -No
análisis detallados estudio. - objetivo del estudio. - Falta
UTILIZADOS aparece una
de los materiales Descripción y descripción de los
explicación clara
utilizados. - análisis detallado materiales utilizados.
de los materiales
Creatividad y de los materiales
utilizados.
originalidad en la utilizados.
selección.
MéTODO DE
TRABAJO (10%=1 A= MUY BIEN*1 B=BIEN*0,75 C=APTO*0,5 D=NO APTO*0
PUNTO).
-Es coherente en
- Es coherente en
relación al objetivo.
relación al objetivo.
- Se emplea de
- Se emplea de
forma rigurosa. - Se
forma rigurosa. - - Es coherente en relación - No es coherente
MÉTODO DE tienen en cuenta
Se tienen en al objetivo. - No se emplea con el objetivo
TRABAJO todos los elementos
cuenta todos los de forma adecuada. propuesto
que influyen en
elementos que
dicho método. - Se
influyen en dicho
presenta de forma
método.
clara.
378
RESULTADOS
PRESENTADOS Y
A= MUY BIEN*1 B=BIEN*0,75 C=APTO*0,5 D=NO APTO*0
DISCUSIóN
(15%=1,5 PUNTO)
-Presenta resultados
coherentes con la - Presenta resultados
teoría.- La presentación coherentes con la
-Presenta resultados - Los resultados
de los resultados es teoría.-La
coherentes con la no son
clara.- Aportan presentación de los
RESULTADOS teoría.- La presentación coherentes. - Su
novedades al campo resultados es confusa
PRESENTADOS Y de resultados es clara.- presentación es
objeto de estudio.- Los y está mal
DISCUSIÓN Los resultados son confusa y está
resultados son estructurada.- Los
interesantes.- Los mal
interesantes desde un resultados no
resultados son útiles. estructurada.
punto de vista teórico presentan gran
práctico.- Los resultados interés.
son útiles.
CONCLUSIONES
Y PROSPECTIVA
A= MUY BIEN*1 B=BIEN*0,75 C=APTO*0,5 D=NO APTO*0
(15%=1,5
PUNTOS).
-Las conclusiones están

-Redactadas de forma redactadas de forma -Las conclusiones son
clara.- Coherencia tanto clara.- Existe coherencia confusas.-Existe
con la fundamentación tanto con la cierta incoherencia
teórica como con los fundamentación teórica respecto a la - No presenta
CONCLUSIONES Y resultados.-Presentación como con los fundamentación conclusiones o
PROSPECTIVA es clara, correcta y resultados.- La teórica y/o resultados son confusas e
breve.- Identifica las presentación no es del obtenidos.- Las incoherentes.
principales limitaciones. todo clara, demasiado conclusiones no están
Prospectiva de breve o extensa.- debidamente
investigación. Identifica algunas argumentadas.
limitaciones.
379
"LISTA DE CONTROL PARA LA PUBLICACIóN DE LA COMUNICACIóN EN EL CAMPUS VIRTUAL"
SI NO
Presentación a tiempo en el campus virtual
Formato correcto de la presentación
Es fácilmente accesible
"ESCALA DE VALORACIóN PARA EVALUAR LA PARTICIPACIóN EN EL FORO"
MUY
INADECUADO/A 2 3 4 5
ADECUADO/A
Calidad de las participaciones en el foro
Interacción entre alumnos por medio del

foro
Interacción profesor alumno por medio del

foro
Resolución de dudas
Ampliación de conocimientos
Cantidad de aportaciones
Interés suscitado
380
"ESCALA DE VALORACIóN PARA VALORAR LA EXPOSICIóN ORAL EN CLASE "
Para profesores
MUY
INADECUADO/A 2 3 4 5
ADECUADO/A
Originalidad de la presentación
Estructura de la exposición
Contenido de la exposición
Captación del interés
Exposición oral y gestual
Claridad
Ajuste a los tiempos
Capacidad de síntesis
Formato/Diseño de los materiales
Uso de recursos multimedia en la

presentación .ppt
Precisión de las respuestas a las cuestiones

planteadas tras la exposición
Utilización del idioma inglés durante la

presentación
381
"LISTA DE CONTROL PARA VALORAR LA EXPOSICIóN ORAL EN CLASE "
Para alumnos
SI NO
La presentación te ha parecido clara
La exposición ha estado bien estructurada
El contenido de la exposición ha sido el adecuado
La exposición te ha aportado algo novedoso/ interesante
Consideras que ha existido un buen ajuste a los tiempos
La extensión de la presentación ha sido adecuada
Consideras que se ha realizado una buena síntesis del tema
El diseño de la presentación te ha parecido el adecuado
Consideras que ha existido un dominio de técnicas expositivas
Ha existido adecuación en las respuestas a las cuestiones planteadas tras la exposición
382
DIFUSIÓN
INTERNACIONAL
DEL PROYECTO

(Coord.)
PRESENTACIÓN
A continuación se presentan las comunicaciones tituladas “Developing

the e-Learning-oriented e-Asessment” e “Integration of EvalCOMIX 1.0 into e-
learning systems”.
Estas comunicaciones han sido presentadas y publicadas en la V Internacional

Conference on Multimedia and Information and Communication Technologies in
Education celebrada en la Universidade Nova de Lisboa los días 22, 23 y 24 de
abril de 2008 (http://www.formatex.org/micte2009).
Mediante estos artículos donde citamos y relacionamos varios aspectos

articuladores del proyecto de investigación EvalHIDA, pretendemos divulgar y
acercar a la comunidad científica internacional algunos avances teóricos y
prácticos logrados en este ámbito de investigación.
Las comunicaciones se muestran en su formato original de presentación

al congreso y están publicadas en las actas del congreso en las páginas 515-
519 la primera y en las páginas 965-968 la segunda.
También están disponibles en Internet, en las direcciones:
1. http://www.formatex.org/micte2009/book/515-519.pdf
2. http://www.formatex.org/micte2009/book/965-968.pdf
384
Developing the e-Learning-oriented e-Assessment
G. Rodríguez_Gómez1 (Coord.), M.S. Ibarra Sáiz1, J.M. Dodero2, M.A. Gómez_Ruiz1, B. Gallego
Noche, D. Cabeza_Sánchez1, V. Quesada_Serra1, Álvaro Martínez_del_Val3
1
EvalFOR Research Group, University of Cadiz, Faculty of Science Education, 11519 – Puerto Real (Cádiz)
Spain.
2
SPI&FM Research Group, University of Cadiz, Superior School of Engineering, Department of Computer
Languages and Systems – 11002 Cádiz - Spain.
3
Vice-chancellorship of Information Technologies and Docent Innovation, University of Cadiz, , 11519 – Puerto
Real (Cádiz) Spain.
Keywords e-Assessment; Assesment for Learning; e-Learning-Oriented e-Assessment; Higher Education
1. Introduction
The latest tendencies in competence assessment demand that university professorship introduce in their teaching
practice two basic elements: students’ participation and the use of multiple methods and techniques to facilitate
a global vision about the performance level. The importance of students’ participation in assessment has been
long emphasized by authors such as Boud [1] or Falchikov [2]. Carless, Joughin & Mok [3] introduced the
concept of “Learning-oriented assessment”, based on three principles: assessment tasks, which promote the kind
of learning needed for the workplace of the twenty-first century; active student participation and “feedback as
feed-forward”.
When ICT and assessment are integrated, one can speak of “e-assessment” as expressed by Joint Information
Systems Committee (JISC) [4] “The end-to-end electronic assessment processes where ICT is used for the
presentation of assessment activities and the recording of responses. This includes the end-to-end assessment
process from the perspective of learners, tutors, learning establishments, awarding bodies and regulators, and the
general public”.
Amongst the traditional forms of assessment we can find multiple-choice, fill-in-the-blank, sliding, ranking,
matching, and so forth. However, competence assessment is usually based on alternative forms of assessment as
self and peer assessment, 360-degree feedback, portfolio assessment, etc.
In a recent communication Ibarra, Rodríguez & Gómez [5] express the limitations of LAMS (Learning
Activity Management System) implementing an e-assessment process. These limitations can be also found in
other Learning Management Systems (LMS) such as MOODLE or WebCT.
EvalFOR Research Group is developing a series of projects to contribute solving these limitations with
practical solutions. A Web application named EvalCOMIX [6] has been developed to design and manage
assessment tools. In the assessment field the use of observations, interviews or product analysis can be done
with three basic tools: check-lists, scales and rubrics. With EvalCOMIX all these tools can be established either
individually or combined.
The EvalHIDA project [7] is aimed at integrating these instruments in MOODLE and LAMS to facilitate self
and peer-assessment in a virtual context. Specific instruments to assess the learning process and products using
wikis, blogs and forums are also being developed. Moreover, the FLEXO project [8] is working to integrate e-
assessment as a way to adapt the learning process to the needs of learners.
2. A conceptual framework for e-Assesment in Higher Education

The term learning-oriented assessment has been coined by Carless, Joughin and Mok [9] to describe an
approach to assessment which seeks to bring to the foreground those aspects of assessment that encourage or
support students' learning. The importance is the crucial role that assessment can play in promoting productive
student learning.
Learning-oriented assessment is concerned with three things [10]:
designing assessment tasks that engage students in processes that lead to assessment tasks as learning
tasks;
involving students in the process of evaluating their own work and that of their peers, a skill that is an
important part of effective learning, as well as being crucial in their later professional lives; and
building complete feedback loops into learning so that students act on information received — the key
concept here is 'feed-forward', as students use information provided to progress on their work and their
learning.
1
Learning-oriented assessment focuses on the quality of student learning outcomes through applying the above
three processes to help students achieve key disciplinary and generic understanding, values and skills.
When we use a learning-oriented assessment framework in blended or virtual learning contexts we can speak
of “e-learning oriented e-assessment”, in accordance with the definition of e-assessment presented by JISC and
we can introduce this new perspective in the framework coined by Carless and others. This new framework is
presented in Figure 1.
Fig. 1 Framework of e-Learning-oriented e-Assessment.
3. Weaknesses of LMS
The key question in considering any particular e-assessment practice is "How does this e-assessment practice
support learning?" We believe that an important part of the answer to this lies in the three elements of learning-
oriented assessment, but how do technologies support learning-oriented assessment?
Below we present a brief analysis of the LMS weaknesses that we could detect through our experience as
university teachers in two crucial elements: students’ involvement and feedback as feed-forward.
3.1 Students involvement

Taking the students implication and participation in the assessment process as a reference, we have detected a
series of limitations of the LMS when implementing a learning oriented assessment. We are going to describe
these limitations from the roles that play an important part in the assessment. Along with it, during an
assessment process we can have 4 situations: teachers’ assessment, self-assessment, peer-assessment and
collaborative assessment. We are going to use these 4 ways of facing assessment as a way to show the main
problems that we have found when using MOODLE or LAMS in the assessment process.
• Teachers’ assessment: We refer to it as “the assessment of somebody else” and it is used to identify the
teachers’ assessment for students. In this instance, with both LMS, written assignments can be submitted and
multiple-choice and developmental questions can be made. The teacher can also use activities based on
multiple choice questions which are automatically corrected, for each question, a suitable feedback is given
to the students. The evaluation that the teacher can make is numerical or, at most, simple scales.
• Self-assessment: It is an assessment that the student make about his/her own work. Both LMS integrate
useful activities to develop this type of assessment. Nevertheless, there is still a difference in the revision of
this type of activities in comparison with the possibilities of previous environments. In our opinion, it would
be a great advancement the possibility of programming free-answer activities so that the students’ answers
could be organised, categorised and graded for both teacher and student, under pre-established criteria,
avoiding it to be a simple list of consecutive answers; or, that the assessment could be done by filling scales
or/and rubrics.
2
• Peer-assessment: It is the assessment made from one student to another student work. In this type of
assessment special tools designed with this aim are needed. It is the main weakness of LMS regarding
assessment.
• Collaborative assessment: It consists on the combined assessment of both student and teacher on the
student’s work. In this respect, our comments are the same ones as in peer-assessment.
3.2 Feedback as Feed-forward

In both LMS analysed feedback in the assessment made can be given. However, the quality of this feedback is
far from the features that a good feedback should have. In this sense, Gibbs and Simpson [11] propose as the
basic characteristics of a good feedback the following:
Quantity and timing of feedback
Sufficient feedback is provided often enough and in enough detail.
The feedback is provided quickly enough to be useful to students.
Quality of feedback
Feedback focuses on learning rather than on marks or students.
Feedback is linked to the purpose of the assignment and to criteria.
Feedback is understandable to students, given their sophistication.
Student response to feedback
Feedback is received by students and attended to.
Feedback is acted upon by students to improve their work or their learning.
4. Developing e-Learning-oriented e-Assessment

EvalFOR Research Group is developing a series of projects to contribute solving these weaknesses with
practical solutions. These solutions are around two objectives: to improve the students’ feedback and
participation in the assessment process.
4.1. Tools and utilities to improve feedback.
A way to increment the quantity and timing of feedback is to provide enough detail. For that reason,, we should
have tools that allow a quick answer, as it happens with the multiple choice corrections. With this automatic
response-right or wrong, little detail about what is assessed is given. Therefore we have designed a tool that
allows the creation of tools that give more detailed information and through which teachers and students can
express the assessment criteria followed while assessing the activity or the product.
Specifically a web application (EvalCOMIX) enabled to create check-lists, scales and rubrics has been designed
(Fig. 2)
Fig. 2 A rubric sample.
3
The integration of those tools in MOODLE and LAMS will allow teachers and students to have the needed
information in less time. Moreover, the structured tools make clear the assessment criteria, fact that facilitates
the quality of the feedback and the possibility of improvement.
4.2. Improving students’ involvement
The most important limitation of MOODLE and LAMS to facilitate a learning-oriented assessment is the
almost impossibility of the students participation in their own assessment process. For that reason, there is no
possibility that the student make a self-assessment or a peer-assessment when using LMS in, for example, one of
the most common tasks like submitting an assignment and assessing the same one.
With the aim of facilitating this participation, nowadays it is being worked in two different lines: first
enabling students’ participation in the assessment process (Fig. 3) and, second, the incorporation of assessment
as means of improving the adaptative learning flow of students (Fig. 4).
Fig. 3 Enabling students’ participation in LAMS.
Fig. 4 Incroporating assessment in adaptative learning flow of students.
4.3. The role of university teachers.
The tools and utilities that have been presented in this communication will not have any impact on the learning
of university students if it is not through the use of these tools from university teachers.
Thus, from EvalFOR group, we have started a project, endorsed by the Andalusian Government, in which the
following objectives are set:
1. Designing a Training and Teaching programme based on “e-learning-oriented e-assessment” for
university teachers. Preparing the instructors for the application of e-assessment during their teaching-
learning practices.
2. Designing and developing open-source tools to facilitate e-assessment processes from a “learning-
oriented assessment” framework.
3. Carrying out training and counselling programme to develop the capability of university teachers to
introduce e-learning-oriented e-assessment during their teaching-learning practice.
4. Evaluating the effects of learning-oriented e-assessment in the development of teaching competences
of university instructors.
4
5. Evaluating the impact of e-learning-oriented e-assessment use in the development of professional
competences of graduate and postgraduate students.
5. Perspectives
Through this communication we have presented the main limitations that MOODLE and LAMS have in order to
facilitate an assessment that improves the learning of the students. These limitations can be generalised to any
other LMS. We have also presented some practical solutions that have been developed by the EvalFOR group in
collaboration with different international groups and research teams.
Paraphrasing Carles, joughin & Liu [10 ] we can say that we believe progress in e-assessment has been made,
yet acknowledge that there is still much more to be done in view of the complex and multifaceted nature of e-
assessment.
An ongoing line of inquiry is to collect empirical data from blended and virtual learning contexts through
research methods as collaborative action research [12] or collaborative evaluation [13]. Some questions to
illuminate next investigations: What are common and effective ways of implementing e-Learning-oriented e-
Assessment? What are the main challenges for e-Learning-oriented e-Assessment and how might they be
minimised? How might e-Learning-oriented e-Assessment be developed so that it becomes a tool for deep
learning rather than merely an exercise in examination or assignment preparation?
References
[1] D. Boud, Reframing assessment as if learning were important. In D. Boud & N. Falchikov (Eds.),
Rethinking Assessment in Higher Education. Learning for the longer term. (Routledge, London, 2007),
pp. 14-25.
[2] N. Falchikov, Improving Assessment Through Student Involvement. Practical solutions for aiding learning
in higher and further education. (RoutledgeFalmer, London, 2005).
[3] D. Carless, G. Joughin, & M.M.C. Mok, (2006). Learning-oriented assessment: principles and practice.
Assessment & Evaluation in Higher Education, 31 (4), 395-398.
[4] Joint Information Systems Committee (JISC), Effective Practice with e-Assessment. An overview of
technologies, policies and practice in further and higher education. Available at
http://www.jisc.ac.uk/media/documents/themes/elearning/effpraceassess.pdf, 2007.
[5] M.S. Ibarra, G.R. Rodríguez & M.A. Gómez, Luces y sombras de LAMS en la evaluación del aprendizaje
universitario. Proceedings of the 2008 European/Iberoamericana LAMS Conference, Cádiz, Spain, 25-
26 June 2008, pp. 81-90.
[6] EvalCOMIX project, funded by Spanish Ministry of Education and Science, project EA2007-0099.
[7] EvalHIDA project, funded by Spanish Ministry of Science and Innovation, project EA2008-0237.
[8] FLEXO project, funded by the Spanish Ministry of Industry and Commerce, project TSI-020301-2008-19.
[9] D. Carles, C., G. Joughin & M.M.C. Mok, Learning-oriented assessment: principles and practice,
Assessment & Evaluation in Higher Education, 31(4), pp. 395-398, (2006).
[10] D. Carless, G. Joughin, N.F. Liu, and Associates, How assessment supports learning: learning-oriented
assessment in action. (Hong Kong University Press, Hong Kong, 2006).
[11] G. Gibbs & C. Simpson, Conditions under which assessment supports students' learning. Learning and
Teaching in Higher Education vol.1 pp.3-31. Available at:
http://www.glos.ac.uk/adu/clt/lathe/issue1/index.cfm (2006).
[12] H, Torrance, H. & J. Pryor, J., Developing Formative Assessment in the Classroom: using action research
to explore and modify theory, British Educational Research Journal, 27(5), pp. 615-631 (2001).
[13] R. O’Sullivan, Practising Evaluation. A Collaborative Approach. (Sage, Thousand Oaks, 2004)
5
Integration of EvalCOMIX 1.0 into e-learning systems
M.S. Ibarra Sáiz1 (Coord.), G. Rodríguez_Gómez1, M.A. Gómez_Ruiz1, B. Gallego Noche1, D.
Cabeza_Sánchez1, V. Quesada_Serra1
1
EvalFOR Research Group, University of Cadiz, Faculty of Science Education, 11519 – Puerto Real (Cádiz)
Spain.
EvalCOMIX 1.0 is an open source Web application specially dedicated to e-Assessment. This tool
allows you to:
- First, to design and manage assessment tools, such as Checklists, Rating Scales and
Rubrics.
- Second, to integrate these tools into a Learning Management System (LMS) such as
LAMS or MOODLE. This integration is in an advanced phase of its development.
EvalCOMIX 1.0 can be used for teacher’s assessment, self-assessment, peer-assessment and co-
assessment.
This paper presents in depth the application program from a technical viewpoint specifying the
interface description of EvalCOMIX 1.0 to carry out the integration into LMS.
Keywords: Assessment, LMS, integration, EvalCOMIX, ReST.
1. Introduction
The objetive of EvalCOMIX 1.0 is to provide the university teachers a tool for the assessment of competences
development of their students in a virtual context, using the LMS such as LAMS and Moodle.
With this aim, EvalCOMIX provides an interface based on Rest (Representational State Transfer), software
arquitecture to describe Web interfaces [1].
The interaction between platforms is carried out so that: the LMS invokes EvalCOMIX through HTTP. The
result is an XML format list in REST. It is described for its Document Type Definition (DTD)
<?xml version="1.0" encoding="utf-8"?>

<!ELEMENT instrumentos(instrumento*) >
<!ELEMENT instrumento (id, nombre, URL-guardar, URL-guardar-conjunto, URL-
evaluar) >
<!ELEMENT id (#PCDATA) >
<!ELEMENT nombre (#PCDATA) >
<!ELEMENT URL-guardar (#PCDATA) >
<!ELEMENT URL-guardar-conjunto (#PCDATA) >
<!ELEMENT URL-evaluar (#PCDATA) >
As shown below, EvalCOMIX 1.0 offers a list of tools. Each tool provides this data:
- id: identification tool. It encodes the tool type, it means, if it is a “standard“ type or mix type. The
“standard“ one covers: Checklists, Rating Scales, Rubrics and Checklists combined with Rating
Scales. The mix type is a tool that combines two o more “standard” tools. The mix type is
symbolized with the ending “mix” while the rest are symbolized with the ending “pla”. E.g: 1_pla,
2_pla, 3_mix.
- Nombre: It is the name tool.
1
- URL-guardar: URL used to save assessment data. These are: platform, course, lesson, activity,
assessor, student, assessment tool and return URL. The e-learning system is in charge of
concatenating the necessary parameters:
1. For the course “cur=course_id“
2. For the lesson “lec=lesson_id“
3. For the activity “act=activity_id“
4. For the student “alu=student_id“
5. For the assessor “eva=assessor_id“
6. For the assessment tool selected: “pla=tool_id“
7. For the self-assessment: “aut=1“
8. For the peer-assessment “com=1“
9. For the assessment teacher “het=1“
10. To indicate what LMS is accessing EvalCOMIX: “plt=LMS_name“
11. To indicate the return URL (URL that will be redirected)
- URL-guardar-conjunto: It has the same functions as URL-guardar, the exception is that instead of
saving an assessment for only one student, it does it for a set of them. So that it receives the same
data through GET and, in case of the variable “alu“, instead of receiving one identification it
receives a set of identifications.
- URL-evaluar: This URL shows the assessment form. The LMS must concatenate the previous
parameters to it, except for tool one.
2. EXAMPLE OF THE MOODLE INTEGRATION

To get a better comprehension about how to carry out the integration of EvalCOMIX into LMS using the Web
interface served for EvalCOMIX, a specific case is going to be studied: the integration that EvalFOR research
group, of the University of Cádiz, is developing into Moodle 1.8.
Moodle is a Course Management System (CMS), also known as a Learning Management System (LMS) or a
Virtual Learning Environment (VLE)[2].
The integration is carried out in two phases/stages:
• Design of the activities phase: This phase corresponds with the configuration of the tasks that teachers
edit in Moodle for their students.
• Assessment phase: This task corresponds to the revision and evaluation/assessment of the students
tasks.
Each phase is explained in detail bellow.
2.1 Design of the activities phase.

Moodle allows the edition of didactical components such as Forums, Portfolios, questionnaires, file upload, etc.
This activities are selected in a pop-up list as the one shown in figure 1.
2
Fig. 1 List of activities provided by Moodle [2].
To add an activity it will be enough to select it from the pop-up list. For this example the activity “upload a
single file” is selected, this activity enables the students to upload any type of file. It could be a file done by a
word processor, an image, a compressed Web page, etc. The professorship can grade the assignments uploaded
on-line.
After selecting this activity, a configuration form is displayed, as it appears in figure 2.
Fig. 2 Configuration form of the activity “Upload a single file”.
As can be seen in figure 2, the configuration form presents a selection named “Assessment Tool Selection”,
this tool enables to select the tools that are going to be used for the assessment/evaluation of the activity in a
Teacher-assessment, self-assessment and/or peer-assessment. This list, get from EvalCOMIX using the DTD
tools (seen in the previous section): “id” and “nombre”.
When the activity is configured, the data related with the activity is saved in Moodle and the one related with the
assessment is saved/stored in EvalCOMIX using the “URL-guardar” or the “URL-guardar-conjunto” as it was
explained in the previous section, detailing the identifiers of the platform, course, activity, instance, assessor,
student and the tool selected and type of assessment. Moreover, there is the option of indicating a redirection
URL towards Moodle. .
3
2.2 Assessment phase.
Once the students have read the title of the activity and they have upload the file requested, the teacher can
start to grade the assignments. The revision screen is the one shown in figure 3.
Fig. 3 Page of revision of the activity “Upload a single file”.
The revision page of figure 3 shows a list of students, the name of the file uploaded and the date it was
uploaded. In the right side, there is a link called Grade. Clicking in this link, a feedback window for the student
is opened (figure 4).
In the page shown in figure 4 it can be seen the assessment tool selected by the teacher during the phase of
designing the activity, ready to be used in the assessment process.
In this occasion the URL “URL-evaluar” (see DTD in section 1) has been used, the data related to the
assessment has been concatenated: platforme, course, activity, instance, assessor, student and type of
assessment. When invoking this URL, EvalCOMIX brings back the assessment tool form associated to these
data.
In this case the feedback page has been embedded through the application HTML: iFrame.
4
Fig. 4 Page of feedback for the students in the activity “Upload a single file”.
.
References
[1] Wikipedia Comunity (2009, February 25) Wikipedia. Retrieved March 09, 2009 from
http://es.wikipedia.org/wiki/REST
[2] Moodle Comunity (2009, February 26) Moodle Community. Retrieved March 09, 2009 from
http://docs.moodle.org/en/Getting_started_for_teachers
5
ENCUENTRO
EVALHIDA
24 y 25 de Febrero de 2009
CÁDIZ
ENCUENTRO EVALHIDA
Universidad de Cádiz
Facultad de Filosofía y Letras
24 y 25 de febrero 2009
24 febrero
Hasta 13.30 h Llegada de los investigadores

13.45 h Recepción en el hall del Hotel Parador Altántico
14.00 h Almuerzo. Facultad de Filosofía y Letras
16.45 h Inauguración y bienvenida
17.00 h Primera sesión de trabajo:
1. Situación del Proyecto EvalHIDA
2. Herramientas e instrumentos para la evaluación de competencias
3. La evaluación con/de Foros, Blogs y Wikis.
18.45 h Café
19.15 h Segunda sesión de trabajo:
1. Presentación de ejemplo de procedimiento de evaluación de
competencias
2. Conclusiones de la jornada
21.30 h Cena en la Viña
22.30 h Estudio etnográfico y contextualizado sobre el Carnaval de Cádiz
25 febrero
11.00 h Tercera sesión de trabajo:

1. Diseño de procedimientos de evaluación
2. Revisión de los diseños
3. Planificación de actividades futuras
Organiza: Grupo EvalFOR
Grupo de Investigación EvalFOR. Universidad de Cádiz.

Facultad de Ciencias de la Educación. Av. República Saharaui s/n, 11519. Campus de Puerto Real.
E-mail: evalfor@uca.es.
CONCLUSIONES

El proyecto EvalHIDA se diseñó con la finalidad de determinar los requisitos

para adaptar las funcionalidades más comunes de las Herramientas de
Interacción Dialógica Asíncrona (Blogs, Foros y Wikis) a las exigencias de la
evaluación de competencias.
Para la consecución de esta finalidad se han llevado a cabo diez estudios

de caso en diferentes universidades españolas, y en cada uno de ellos se
diseñó un procedimiento para evaluar una serie de competencias básicas y
específicas.
A lo largo de este capítulo se presentan las principales conclusiones del

estudio, sobre la base del análisis de tres aspectos fundamentales de este
proyecto:
Utilidad de los procedimientos de evaluación

Fortalezas y oportunidades de las Herramientas de Interacción Dialógica
Debilidades y amenazas de las Herramientas de Interacción Dialógica
1. UTILIDAD DE LOS PROCEDIMIENTOS DE EVALUACIÓN
En todos los casos se diseñaron uno o varios procedimientos de evaluación,

tomando como marco de referencia los principios de la evaluación orientada al
aprendizaje (Rodríguez y otros, 2009), por lo que tenían que cumplir los
siguientes criterios:
a) Estar basados en la realización de tareas auténticas

b) Aportar proalimentación
c) Incorporar a los estudiantes en el proceso de evaluación a través de la
autoevaluación, la evaluación entre iguales o la coevaluación
Cada procedimiento de evaluación se diseño siguiendo la siguiente

estructura básica:
398
Conclusiones
Competencia Básica / Competencia Específica
Person Métodos/Técnicas e
Tarea/s a realizar Productos
a que Instrmentos de
Esperados
evalúa Evaluación
Como principales conclusiones de la utilización de los procedimientos de

evaluación cabe destacar las siguientes fortalezas:
a) Sistematicidad: El uso de un procedimiento de evaluación permite

sistematizar el trabajo del profesorado.
b) Visibilidad: La descripción de todos los aspectos considerados en la
evaluación permite hacer visible el proceso de evaluación tanto para el
profesorado como para los estudiantes.
c) Objetividad: La concreción de los criterios de evaluación en instrumentos
como las escalas o las rúbricas permiten a los estudiantes y al
profesorado mantener una mínima objetividad al realizar una evaluación
y permite centrar la atención en los aspectos que se consideran
fundamentales.
d) Proalimentación: El uso de escalas y rúbricas permite que los
estudiantes tengan información descriptiva sobre la calidad de las
actividades que realizan y les permite mejorar sus ejecuciones al
conocer de forma rápida sus resultados.
e) Coherencia: Se destaca como una aportación del uso de los
procedimientos de evaluación la coherencia que aporta al proceso de
planificación de la actividad docente, al relacionar las competencias que
se quieren desarrollar y evaluar, y ser consideradas éstas como eje
central del procedimiento.
f) Persistencia de la información: Al disponer de las valoraciones que se
realizan a través del uso de los instrumentos de evaluación, quedan
registradas evidencias sobre las ejecuciones.
g) Seguimiento: La sistemacidad que aportan los instrumentos de
evaluación permite mantener un seguimiento por parte del profesorado
sobre el grado de desarrollo de los estudiantes
h) Auto-control: La sistemacidad que aportan los instrumentos de
evaluación permite al estudiante mantener un seguimiento sobre el
grado de desarrollo de sus competencias.
399
i) Mejora del proceso: capacidad de los procedimientos participativos de

evaluación para detectar otras dimensiones de evaluación no
contempladas en el diseño inicial de la evaluación y que puedan surgir
durante la ejecución de la misma.
Como principales debilidades del uso de los procedimientos de evaluación,

se destacan:
a) Escasa formación: Para llevar a cabo el diseño de procedimientos de

evaluación es necesario disponer de una formación previa sobre
métodos, técnicas e instrumentos de evaluación.
b) Dedicación: El diseño y elaboración de los procedimientos de
evaluación, junto con los instrumentos necesarios para ello, exigen en
muchos casos un sobreesfuerzo o carga de trabajo sobre lo que
cotidianamente se viene realizando por parte del profesorado
universitario.
c) Adaptación: capacidad del procedimiento para adaptarse e incorporar de
inmediato las nuevas dimensiones que surjan en un proceso de
evaluación en curso.
2. FORTALEZAS Y OPORTUNIDADES DE LAS HERRAMIENTAS DE

INTERACCIÓN DIALÓGICA ASÍNCRONA EN EL PROCESO DE
EVALUACIÓN DE COMPETENCIAS
Desde la perspectiva del profesorado participante en los diferentes estudios

de caso, se pone de manifiesto que las HIDA:
• Facilitan el trabajo colaborativo.

• Permiten la visibilidad de las actuaciones realizadas.
• Permiten el seguimiento de la comunicación entre los miembros
de los grupos.
• Facilitan la expresión de ideas, el contraste de las mismas y el
debate.
• Favorecen la comunicación y la capacidad de escucha.
• Potencian nuevas y creativas formas de expresión.
Desde la perspectiva de la evaluación de competencias, se han diseñado

en este proyecto un conjunto de procedimientos que han permitido
aproximarnos a la evaluación de las siguientes competencias básicas:
400
Conclusiones
• Aplicación de conocimientos
• Comunicación de conclusiones
• Aprendizaje autónomo
• Trabajo colaborativo y en equipo
• Formulación de juicios reflexivos
• Resolución de problemas
3. DEBILIDADES Y AMENAZAS DE LAS HERRAMIENTAS DE

INTERACCIÓN DIALÓGICA ASÍNCRONA EN EL PROCESO DE
EVALUACIÓN DE COMPETENCIAS
A lo largo de los diferentes estudios de caso realizados, se ha podido

constatar como principales debilidades y amenazas de las HIDA en el proceso
de evaluación de competencias las siguientes:
• Necesidad de encontrar temáticas apropiadas e interesantes, sobre todo

en los foros.
• Desconocimiento instrumental necesario para mantener una actividad
soportada en estas herramientas.
• Riesgo de trasladar los hábitos alcanzados en contextos no formales
(comunicación informal o interacción social) al contexto académico.
• Necesidad de intervención contínua del docente como dinamizador de la
actividad.
• En algunas situaciones, falta de anonimato y confidencialidad.
• Falta de un sistema de calificación/valoración sobre las aportaciones
individuales
• Difícil análisis del grado y tipo de participación de los alumnos: de cara al
docente y a los alumnos
• Excesivo trabajo para mantener una retroalimentación o proalimentación
adecuada
• Dificultad para valorar el trabajo grupal
• Dificultad para valorar el ritmo de aportación de evidencias. No es lo
mismo realizar una gran cantidad de aportaciones en un solo día, que
mantener un ritmo sostenido de aportaciones a lo largo de un periodo de
tiempo determinado.
• Falta de herramientas de análisis gráfico de la actividad desarrollada en
las HIDA
401
En resumen, la debilidad mayor de las HIDA se centra en la carencia de

facilidades para el análisis de la cuantía y la calidad de la participación de los
alumnos. Las herramientas actuales sólo permiten cuantificar el número de
aportaciones, pero no permiten anotar la calidad de las mismas de acuerdo con
una serie de categorías, algo necesario de cara a la evaluación.
4. REQUISITOS PARA FACILITAR LA EVALUACIÓN DE COMPETENCIAS
Sobre la base de las fortalezas y oportunidades así como de las debilidades

y amenazas planteadas a lo largo de este estudio, las HIDA actuales facilitarían
mucho la evaluación de competencias si se introdujeran algunos cambios y
modificaciones en las mismas
En este sentido, sobre la base de la experiencia de los estudios de caso

llevados a cabo en este proyecto, se consideran como fundamentales la
incorporación de funcionalidades:
• Que permitan la creación automática de gráficos para facilitar

información sobre la actividad desarrollada con las HIDA
(interacciones, aportaciones, consultas, ediciones, etc.)
• Que permitan la coordinación del trabajo a realizar (distribución de
tareas, funciones, roles, etc.)
• Que permitan la distribución y asignación de tareas.
• Que permitan el seguimiento de tareas.
• Que permitan el seguimiento de las actividades grupales.
• Que faciliten la proalimentación.
• Que faciliten el análisis del contenido, la cantidad y calidad de las
aportaciones.
402

Evaluacion de Competencias

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Evaluacion de Competencias

Caricato da

Copyright:

Formati disponibili

EVALUACIÓN DE

Gregorio Rodríguez Gómez (Dir.)

Gregorio Rodríguez Gómez (Dir.)

Resultados del proyecto de Estudios y Análisis EA2008-0237 titulado “Proyecto

Edita: Servicio de Publicaciones de la Universidad de Cádiz

1. Informe Ejecutivo EvalHIDA. Gregorio Rodríguez Gómez. 5

2. Evaluación de competencias con Herramientas de Interacción

3. Posibilidades y limitaciones del uso del foro para la evaluación

4. Desarrollo de aplicaciones Web: Evaluación de competencias

5. La evaluación entre iguales como elemento potenciador de la

6. La evaluación de competencias a través de los foros asíncronos:

7. Diseño e implantación de procedimientos de evaluación basados

8. Estudio de la asignatura Web 2.0: Redes Sociales impartida a las

9. Uso de herramientas de comunicación asíncronas para la

10. Evaluación de la competencia “aplicación de conocimientos”

12. Evaluación de competencias en Sistemas Operativos

13. Difusión internacional del Proyecto. Gregorio Rodríguez Gómez y

14. Encuentro EvalHIDA. 395

15. Conclusiones. Gregorio Rodríguez Gómez, María Soledad Ibarra

El informe que ahora se presenta corresponde a los resultados

En el proyecto EvalHIDA nos planteamos el reto de estudiar y analizar la

El trabajo ha sido realizado por equipos de trabajo de once

La perspectiva conceptual y metodológica ha estado apoyada tanto en la

Un aspecto clave ha sido reivindicar y analizar la participación e

Este informe se estructura en quince capítulos. El primero de ellos

El segundo capítulo Evaluación de competencias con Herramientas de

Con el fin de determinar los requisitos para adaptar las funcionalidades

En el capítulo trece está dedicado a presentar las aportaciones que han

En el capítulo siguiente se adjunta el programa del Encuentro EvalHIDA,

Finalmente en el capítulo quince se presentan las principales conclusiones

 Utilidad de los procedimientos de evaluación

 Fortalezas y oportunidades de las Herramientas de Interacción Dialógica

 Debilidades y amenazas de las Herramientas de Interacción Dialógica

Para finalizar con una especificación de los requisitos necesarios para

Gregorio Rodríguez Gómez

1. CONTEXTO DEL PROYECTO EvalHIDA

El Proyecto EvalHIDA se planteó sobre la base de la interacción de dos

1.1. La evaluación del aprendizaje universitario

La evaluación de competencias es hoy un auténtico reto para el

Cada vez son más frecuentes las publicaciones científicas focalizadas

No es de extrañar, pues, que en la actualidad la evaluación del

efectivo para trabajar en las instituciones educativas y una forma de centrarse

Desde la década de los 90 se viene impulsando una evaluación basada

Esta importancia de los procesos de evaluación queda recogida en el

Consecuentemente no es de extrañar que, desde diferente latitudes se

1.2. TICs e innovación en la Evaluación

Las actuales tendencias en la evaluación de competencias exige al

Además, la incorporación del uso de las TICs en el proceso de

Concretamente en este proyecto se centró la atención en las

Así, el interrogante de partida del proyecto era ¿cómo puede un profesor

¿Cómo puede el profesor universitario evaluar competencias y aptitudes

El carácter innovador de este proyecto se fundamenta en dos aspectos

• Participación e interacción de estudiantes y profesores a través del uso

La investigación en tecnología educativa han ahondado en cómo se

durante la realización de la actividad, en cuyo desarrollo se puede hallar

Cabe destacar el uso de wikis y aplicaciones web de autoría compartida

Sin embargo, el uso de un wiki no simplifica mucho la labor de evaluación

Finalmente, la medición de ciertas competencias y aptitudes transversales

La complementariedad entre Pedagogía y Tecnología la concretamos en

El marco global del que partimos en este estudio lo tomamos de Burgos

Figura 1: Modelo adaptativo de e-aprendizaje (Burgos, 2008)

Por otra parte los casos de estudio se centraron, como veremos

1. Diseñar los métodos de evaluación necesarios para evaluar las

2. Analizar la aplicación de los métodos de evaluación de

Utilidad de los procedimientos de evaluación

Fortalezas y oportunidades de las Herramientas de Interacción Dialógica

Debilidades y amenazas de las Herramientas de Interacción Dialógica

Las tareas de evaluación deben promover el tipo de aprendizaje