Rúbrica y actividad de evaluación: desarrollando competencias en prácticum virtual de psicología clínica

Rúbrica y actividad de evaluación: desarrollando competencias en

prácticum virtual de psicología clínica
Marcela Paz González-Brignardello
Depto. de personalidad, evaluación y tratamientos psicológicos
Facultad de Psicología – UNED - España
mpgonzalez@psi.uned.es

María Ángeles López González

Instituto Universitario de Educación a Distancia IUED – UNED
malopez@madridsur.uned.es

Palabras clave:

Rúbrica, evaluación de actividades, educación a distancia, evaluación entre

pares, autoevaluación

Resumen:

Dentro del marco del EEES la formación práctica es una prioridad ineludible.
En un entorno a distancia/virtual la realización de prácticas requiere atención a
numerosas variables: calidad de las instrucciones, seguimiento, uso del
entorno virtual, feedback al estudiante, y, por supuesto, transparencia y
fiabilidad de la evaluación.

El prácticum virtual de psicología clínica, es una de las ofertas de prácticum de

psicología de la UNED. Es un curso anual, modular y secuencial, donde se
simula un entorno terapéutico habitual. Las diversas actividades requeridas,
creadas para promover el desarrollo de competencias profesionales, se
realizan en base a materiales multimedia y haciendo uso de las nuevas
tecnologías. Para la evaluación de dichas actividades, por parte del equipo
docente, se han desarrollado rúbricas.

Por otra parte, la autoevaluación y evaluación por pares de las actividades

desarrolladas parecen promover el sentido crítico favoreciendo, también,
comportamientos éticos y orientados a la responsabilidad. Todo ello, está en
relación con las orientaciones del EEES, en cuanto al desarrollo de
competencias transversales del psicólogo.

La presente comunicación muestra un estudio cuyo objetivo fue analizar la

fiabilidad de la autoevaluación y co-evaluación basadas en rúbricas así como la
aceptación de dichas herramientas por parte de los estudiantes.

-1-
Rúbrica y actividad de evaluación: desarrollando competencias en prácticum virtual de psicología clínica

1. INTRODUCCIÓN
Desarrollar un prácticum virtual de psicología clínica implica poner en
conjunción gran cantidad de elementos: tareas prototípicas del ámbito aplicado,
recursos multimedia, estrategias didácticas, nuevas tecnologías de la
comunicación, métodos y estrategias individuales y colaborativos, y en el
centro del modelo, la actividad práctica. El resultado es un curso virtual con
cientos de estudiantes participando y actuando como psicólogos tras la
pantalla.

La creación de rúbricas (Stevens y Levy, 2005) en el prácticum virtual de

psicología clínica forma parte de un proyecto más amplio que consistió en el
desarrollo de rúbricas para la evaluación de las actividades de todos los
prácticums virtuales ofertados por la facultad de psicología (de psicología
clínica, psicología educativa y psicología social y de las organizaciones) dentro
de la asignatura Prácticum.

La experiencia inicial se desarrolló dentro de una Red de innovación docente,

promovida por el vicerrectorado de Calidad e Innovación Docente, en el curso
2008-2009 y se caracterizó por la creación de rúbricas de actividades que
respondían al marco de competencias profesionales dado por el Libro Blanco
del Grado de Psicología (ANECA, 2005) y por la evaluación interjueces a la
que fueron sometidas por la evaluación interjueces, en un intento de mantener
un adecuado nivel de calidad de la rúbrica, siguiendo las indicaciones de la
revisión realizada por Reddy y Andrade (2010).

En la presente comunicación se muestran los resultados de la utilización de

una rúbrica en el proceso de autoevaluación y co-evaluación (evaluación por
pares) de una actividad evaluada como compleja por parte de los estudiantes,
según se ha recogido en las memorias que realizan cada curso. Dicha
actividad forma parte del módulo de Casos Clínicos – en concreto, del
apartado: Intervención cognitiva. La tarea que deben realizar los estudiantes
está orientada al desarrollo de competencias específicas, en concreto “Saber
aplicar estrategias y métodos de intervención directos sobre los destinatarios:
terapia”, que se inserta dentro de las competencias de intervención psicológica:
prevención, tratamiento y rehabilitación (ANECA, 2005). Esta experiencia se
desarrolla dentro del Prácticum virtual de psicología clínica.

Los objetivos perseguidos en este estudio son dos: por una parte analizar el
grado de fiabilidad que presentan tres fuentes al utilizar la rúbrica: hetero-
evaluación (docente), auto-evaluación y co-evaluación (pares). Y, por otra
parte, analizar el grado de aceptación sobre la herramienta rúbrica y la utilidad
que perciben a la actividad de autoevaluación/co-evaluación basada en ella.

-2-
Rúbrica y actividad de evaluación: desarrollando competencias en prácticum virtual de psicología clínica

1. 1. METODOLOGÍA
La muestra de este estudio consiste en los trabajos realizados por 30
estudiantes (12 hombres y 18 mujeres: 40% y 60% respectivamente) que
participaron en la actividad de evaluación y co-evaluación, a la vez que
cumplimentaron los formularios correspondientes.
El procedimiento seguido se expone a continuación:
En el curso virtual, alojado en WebCT, se publicó la rúbrica analítica (Figura 1)
complementando las instrucciones de realización. El material sobre el cual se
realizó la actividad estuvo disponible a partir de la 9ª semana de participación
en el prácticum virtual, dentro del módulo de Casos clínicos - técnicas de
intervención: intervención cognitiva.

Figura 1 - Rúbrica sobre Actividad Intervención cognitiva

Los estudiantes tuvieron una semana para realizar la actividad y la entregaron

por vía virtual, en el correspondiente buzón de entrega de la plataforma virtual.
Una vez finalizado el curso, y durante la 11ª semana, los estudiantes realizaron

-3-
Rúbrica y actividad de evaluación: desarrollando competencias en prácticum virtual de psicología clínica

la actividad de autoevaluar su informe así como el de tres compañeros,

basándose en la rúbrica. Esta co-evaluación fue ciega, ya que los informes de
los pares eran anónimos y solo
se identificaban por una
numeración sin interpretación por
parte de los estudiantes.

- Distribución y asignación de
los documentos a evaluar: De
manera aleatoria se asignó un
número a cada informe, y luego
se le asignaron tres de estos
informes, a cada estudiantes,
teniendo precaución de no
asignar el propio. Para acceder a Figura 2 - Página de descarga de documentos
dichos documentos, se creó un
sistema en el cual se enlazaban
en una página HTML, y cada estudiante encontraba, frente a su login, el
documento a descargar. Esto se hizo así en tres páginas, enlazados los
informes de tres compañeros anónimos. En la Figura 2 se muestra una de
estas páginas. Se creó otra página para que descargasen su propio
documento.

- Recogida de datos: Los resultados

de ambos procesos (auto-evaluación y
co-evaluación) se recogieron vía online
en un formulario como el que se
presenta en la siguiente Figura 3. Este
formulario permitió recoger la
evaluación dada a cada informe, y en
cada dimensión, a la vez que se
identificaba al estudiante que realizaba
la evaluación. Esto sólo tuvo sentido
para el registro de actividades
realizadas por cada estudiante.

Figura 3 - Recogida de valores de rúbrica

La recogida de datos acerca de la
opinión y percepción acerca de la
utilización de la rúbrica, así como de la actividad de auto-evaluación y co-
evaluación se realizó también online, a través de un cuestionario (González-

-4-
Rúbrica y actividad de evaluación: desarrollando competencias en prácticum virtual de psicología clínica

Brignardello, 2009) que se muestra en la Figura 4, en el cual se incluye la

autorización para el uso de los datos con fines de investigación.

Este formulario presenta dos partes

bien definidas: Sobre la actividad de
auto-evaluar y co-evaluar y sobre el
uso de la rúbrica. (Anexo 1)

- El análisis de datos se realizó a

través de SPSS, y consistió en un
análisis descriptivo de las variables y
de t de Student para comparar
medias en muestras relacionadas.
Los datos totales para cada fuente se
o b t u v i e r o n s u m a n d o l a s Figura 4 - Recogida de opinión y valoración
puntuaciones dadas a cada
dimensión. En el caso de la co-
evaluación se computó un valor promedio obtenido a partir de las puntuaciones
dadas por los tres compañeros que evaluaron cada informe.

2. RESULTADOS
2. 1. - Comparación de diferentes fuentes

El análisis de diferencias de medias, t de Student, nos muestra que la

autoevaluación (M: 14,1; Dt: 2,70) se diferencia significativamente (p<0,05) de
la co-evaluación (M: 13,04; Dt: 2,50) y de la
hetero-evaluación (M: 12,,2; Dt: 2,99). Los otros
dos pares de agentes no muestran diferencias
significativas (Figura 5).

El análisis por tipo de dimensiones,

diferenciando aquellas que son dimensiones
basadas en la forma y relacionadas con
competencias genéricas (redacción,
comunicación escrita), de aquellas que están
basadas en la aplicación de contenidos
profesionales (detección de creencias,
Figura 5 - Comparación de
identificación de distorsiones) y por tanto agentes en valores totales
relacionadas con competencias específicas
mostró lo siguiente:

-5-
Rúbrica y actividad de evaluación: desarrollando competencias en prácticum virtual de psicología clínica

En el caso de las dimensiones referidas a los aspectos formales del informe, se

diferencian significativamente la hetero-evaluación (M: 6,1; Dt:1,88) de la
autoevaluación (M: 7,03; Dt: 1,50) (p<0,00), y la hetero-evaluación de la co-
evaluación (M: 6,81; Dt:1,41) (p<0,00). No muestran diferencias significativas
las evaluaciones dadas por si mismo y por los pares. Por otra parte, la
evaluación de las dimensiones más específicas de contenidos prácticos
profesionales, muestra diferencias significativas entre la hetero-evaluación (M:
6,10; Dt: 1,88) y la autoevaluación (M: 7,06; Dt: 1,52) (p<0,00) así como entre
la auto-evaluación y la co-evaluación (M: 6,23; Dt: 1,45) (p<0,00). (Figura 6).
Figura 6 - Diferencias por agentes para competencias genéricas (CG) y diferencias
por agentes para competencias específicas (CE)

2. 2. -

Opinión y valoración por parte

de los estudiantes
La valoración que hacen los estudiantes
acerca de lo que les genera la actividad de
evaluarse a sí mismos o evaluar a los
compañeros dio los siguientes resultados, que podemos sintetizar diciendo que
lo que más provocó la realización de la actividad fue “especial atención a la
honestidad” y “sentido de la responsabilidad”, tanto en referencia a la propia
evaluación como a la de los compañeros, lo que puede observarse en la Figura
7, donde ambos ítems son los que obtienen puntuaciones más altas (Coev: M:
3,48; Dt: 0,51; Autoev: M: 3,28; Dt: 0,61). También es interesante observar que
se diferencia significativamente, a través de t
de Student, la “preocupación por la influencia Figura 7 - Opinión acerca de
que puede tener en la calificación” (Coev: M: actividad de evaluación
2,32; Dt: 0,86; Autoev: M: 1,68; Dt: 0,57; p<0,00)., la sensación de
“incomodidad” (Coev: M: 1,84; Dt: 0,67; Autoev: M: 1,48; Dt: 0,59; p<0,00) y el
“sentido de la honestidad” (Coev: M: 3,48; Dt: 0,51; Autoev: M: 3,28; Dt: 0,61;
p<0,02) cuando se trata de la propia o cuando se está respondiendo acerca de
la evaluación a los compañeros. En todas ellas, la puntuación

-6-
Rúbrica y actividad de evaluación: desarrollando competencias en prácticum virtual de psicología clínica

significativamente mayor se obtiene para la co-evaluación.

En cuanto al uso de la rúbrica, se pregunto por el valor que le daban a la

publicación de la rúbrica como parte de las instrucciones. Los estudiantes
responden con puntuaciones por encima de la media, excepto en el ítem de
“limita la creatividad”. Las puntuaciones más altas se obtienen en los ítems “es
útil para saber qué se pide en cada actividad”, “debieran estar presentes antes
de la realización de todas las actividades”
y “motiva hacia un mejor desempeño, de
más alta calidad”.

Además de lo anterior, se pidió que, en

un formato de adjetivos bipolares, se
puntuase la rúbrica utilizada. Los
resultados de dicha evaluación se
muestran en la Figura 8.

Figura 8 - Características de la rúbrica

3. CONCLUSIONES
Los datos generales obtenidos se refieren a una muestra pequeña, pero se
encuentran en relación con lo hallado en un estudio previo (González-
Brignardello, Méndez, García y Moriano, 2010), en cuanto a que las fuentes
menos discrepantes entre sí, cuando se toman los valores totales de
calificación basada en rúbrica, son las del docente con la de los pares. Esto es
debido a que la autoevaluación muestra las puntuaciones más altas,
generando así diferencias significativas con las otras fuentes.
Sin embargo, al analizar los tipos de dimensiones, diferenciando aquellas
dimensiones de la rúbrica que evalúan competencias genéricas, vemos que la
fuente más discrepante, es la del docente. Esta fuente puntúa con valores
inferiores a los otros dos agentes de evaluación. Es probable que la
experiencia del docente en la evaluación de informes escritos se vea reflejada
en este tipo de evidencias, haciendo que su aplicación de los criterios de la
rúbrica sean más exigentes que aquellos que utilizan los estudiantes. Este dato
nos hace preguntar por el valor de fiabilidad de la rúbrica cuando se analiza el

-7-
Rúbrica y actividad de evaluación: desarrollando competencias en prácticum virtual de psicología clínica

factor experiencia. Sin duda, es un tema que estimula la investigación.

No ocurre lo mismo, según estos datos, cuando lo que comparamos son las
dimensiones referidas a competencias específicas, sin duda, es necesario
realizar estudios que incluyan dichas variables de manera comparativa. En este
caso, vemos como nuevamente, el agente discrepante es el auto-evaluador,
con valores significativamente superiores a los otros dos agentes. La
evaluación de la evidencia de los contenidos teórico-prácticos observados en la
actividad muestra un comportamiento coherente con hallazgos previos
(González-Brignardello et al., 2010).
La actividad propuesta en este estudio pone en funcionamiento mecanismos de
reflexión, actitudinales y éticos, que promueven en los estudiantes la esperada
sensibilidad y el respeto hacia el trabajo de los otros, al mismo tiempo, que lo
hace sobre la calidad del propio producto.
En este estudio se corrobora la opinión positiva y aceptación de los estudiantes
del uso de la rúbrica como acompañamiento a las instrucciones, o como parte
de ellas. En una asignatura totalmente práctica, la opinión mayoritaria de que la
rúbrica se encuentre en cada una de las actividades, parece ser un fuerte
indicador, además de lo cuantificado previamente, de la utilidad y buena
acogida que la herramienta genera. En este sentido, la rúbrica es más que un
elemento de evaluación, siendo más ajustado considerarla un elemento
didáctico, motivador (Lapsley y Moody, 2007) y formativo.
De este modo, esta experiencia nos permite plantear y estimular la creación de
un conjunto de estrategias orientadas a la formación en competencias de
diferentes tipos, haciendo uso combinado de herramientas-actividad, en una
dupla que no debe olvidar, también, el uso de las tecnologías.

4. REFERENCIAS BIBLIOGRÁFICAS
Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). (2005).
Libro Blanco Título de Grado en Psicología. Recuperado de http://
www.aneca.es/var/media/150356/libroblanco_psicologia_def.pdf [Visitado
2012/07/10]

González-Brignardello, M.P. (2009). Cuestionario sobre opinión y valoración de

los estudiantes sobre rúbrica (Cuestionario experimental).

González-Brignardello, M. P., Méndez, L., García, M. A. y Moriano, J. A. (2010,

Junio). La utilización de rúbricas para evaluación en el prácticum virtual de

-8-
Rúbrica y actividad de evaluación: desarrollando competencias en prácticum virtual de psicología clínica

psicología: comparación de diferentes fuentes. Ponencia presentada en el

Seminario Internacional "Las rúbricas de evaluación en el desempeño de
competencias: ámbitos de investigación y docencia", Donostia-San Sebastián.
ISBN: 978-84-9860-401-6.

Lapsley, R. and R. Moody (2007). Teaching tip: Structuring a rubric for online
course discussions to assess both traditional and non-traditional students.
Journal of American Academy of Business, 12(1), 167–172.

Reddy, Y.M. and Andrade, H. (2010). A review of rubric use in higher education.
Assessment & Evaluation in Higher Education, 35(4), 435-448.

Stevens, D.D. and Levi, A. J. (2005) Introduction to Rubrics. Sterling,VA: Stylus

Publishing.

ANEXO 1:

Cuestionario sobre opinión y valoración de los estudiantes sobre rúbrica

(González-Brignardello, 2009)

Puntúa para cada una de las siguientes afirmaciones el grado de acuerdo

según la siguiente escala: Nada, un poco, bastante, totalmente

Las preguntas sobre la actividad de evaluación fueron las siguientes:

1. saber que lo que estoy evaluando es mi trabajo, generó en mi
• preocupación por la influencia que tenga en mi nota final
• incomodidad

-9-
Rúbrica y actividad de evaluación: desarrollando competencias en prácticum virtual de psicología clínica

• sentido de autocrítica
• especial atención a mi honestidad
• sensación de responsabilidad
2. Saber que lo que estoy evaluando es el trabajo de un compañero, generó en mi:
• preocupación por la influencia que tenga en la nota final de mi compañero
• incomodidad
• sentido crítico
• especial atención a mi honestidad
• sensación de responsabilidad

En cuanto al uso de la rúbrica, se les preguntó:

3. Crees que conocer este tipo de plantillas de evaluación antes de la realización de la
actividad...
• es útil para saber qué se está pidiendo en cada actividad
• disminuye la necesidad del feedback por parte del profesor
• limita la creatividad del alumno
• deberían estar presentes antes de la realización de todas las actividades
• motiva hacia un mejor desempeño, de más alta calidad

- 10 -