Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
VOJWFSTJUBSJB
Dtbs!Dpmm!Tbmwbeps
Nbsb!Kpt!Spdifsb!Wjmmbdi
Sptb!Nbsjb!Nbzpsepnp!Tbj{
Njmbhspt!Obsbokp!Mmbopt
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!
JOTUSVNFOUP!QBSB!FM!BKVTUF!
EF!MB!BZVEB!QFEBHHJDB!Z!MB!
FOTFBO[B!EF!DPNQFUFODJBT!EF!
BVUPSSFHVMBDJO
ISBN: 978-84-8063-938-5
Diseo y produccin: Servicios Grficos Octaedro
OEJDF
Resumen ............................................................................................................................................. 5
Palabras clave ............................................................................................................................ 5
Prlogo................................................................................................................................................. 7
1. La evaluacin continuada como sistema alternativo de la evaluacin
de los aprendizajes en el marco del EEES ................................................................11
2. Criterios y opciones de un sistema de evaluacin continuada
en la enseanza superior ...................................................................................................15
2.1. La incardinacin de las actividades de evaluacin en
las actividades de aprendizaje de los alumnos.
La evaluacin continuada .......................................................................................16
2.2. La organizacin de actividades de evaluacin en torno a bloques
temticos amplios. La secuencia de actividades de evaluacin ..........18
2.3. El apoyo, seguimiento y tutorizacin del profesorado durante
el desarrollo de las actividades de evaluacin .............................................. 24
3. Resultados de la experiencia ............................................................................................31
4. Conclusiones ............................................................................................................................41
Referencias bibliogrficas ......................................................................................................45
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
SFTVNFO
En este trabajo se presenta y discute un sistema de evaluacin que permite al profesor obtener mltiples evidencias de las habilidades y conocimientos de los alumnos y optimizar la tutorizacin, el seguimiento
y el apoyo al aprendizaje. Tomando como referente terico una visin
socioconstructivista de los procesos de evaluacin de los aprendizajes
de los alumnos, el sistema presentado combina diferentes tipos de actividades organizadas en torno a bloques temticos amplios, dirigidas
a obtener evidencias tanto de la comprensin del contenido como de su
aplicacin y uso en contextos reales. La experiencia de innovacin en
cuyo marco se ha planteado y aplicado este sistema de evaluacin ha tenido lugar durante el curso 2005-06 en tres grupos experimentales de
la asignatura de Psicologa de la Educacin, una asignatura troncal de
la Licenciatura de Psicologa diseada en crditos ECTS. La experiencia
ha sido planificada y realizada por el grupo consolidado de innovacin
docente en Psicologa de la Educacin (GIDPE) de la Universidad de Barcelona. La presentacin e ilustracin del sistema de evaluacin se utiliza como punto de partida para una reflexin ms amplia sobre algunos
criterios que deberan contemplarse, a juicio de los autores, en el diseo
de sistemas de evaluacin vinculados a la construccin del Espacio Europeo de Educacin Superior.
Qbmbcsbt!dmbwf!
Evaluacin continuada, ayuda educativa, enseanza superior, innovacin educativa, evaluacin de competencias, competencias de autorregulacin.
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
QSMPHP
La evaluacin es un elemento clave del proceso educativo y uno de los
elementos ms importantes de la educacin superior. Los resultados de
la evaluacin tienen una gran repercusin en la trayectoria profesional
futura de los estudiantes, por lo que la evaluacin debera atender tanto
al proceso de enseanza y de aprendizaje como a los resultados de este
proceso.1 Hay buenas razones para evaluar el trabajo de los estudiantes,
pero dos son de excepcional importancia: una formativa (y formadora)
y otra sumativa.2 La evaluacin permite reorientar y ajustar el proceso,
tanto desde la perspectiva del profesor (formativa) como del estudiante
(formadora); adems, permite acreditar los resultados del proceso de
enseanza-aprendizaje (sumativa).
El sistema de evaluacin continua que se presenta en este Cuaderno
cumple sobradamente las funciones formativa, formadora y sumativa de la evaluacin. Pero no es slo un sistema de evaluacin lo que se
recoge en este trabajo sino un conjunto de buenas prcticas docentes
sobre la organizacin de una materia, la programacin de los bloques
de contenidos y la secuenciacin de las actividades de aprendizaje, de
evaluacin, y de la actuacin del profesor, para ayudar a los estudiantes
a adquirir capacidades de autorregulacin.
En un trabajo de la Comisin para la Renovacin de las Metodologas
Educativas en la Universidad,3 se reclamaba la necesidad de establecer
una definicin precisa de lo que son las buenas prcticas docentes
[] y de acometer un proceso de seguimiento que permita identificar,
compartir y reconocer las buenas prcticas (p. 68). El fomento de las
buenas prcticas docentes se fundamenta, entre otros aspectos, en la
formacin, la reflexin, la investigacin y la diseminacin. El trabajo
1. European Association for Quality Assurance in Higher Eduction, ENQA (2005): Estandars i directrius per a lassegurament de la qualitat en lEspai Europeu dEducaci Superior.
Barcelona: AQU Catalunya.
2. Biggs, J. (2005). Calidad del aprendizaje universitario. Madrid: Narcea.
3. Comisin para la renovacin de las Metodologas Educativas en la Universidad (2006).
Propuestas para la Renovacin de las Metodologas Educativas en la Universidad. Madrid: MEC.
Secretara de Estado de Universidades e Investigacin.
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
DVBEFSOP!9!
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
2/!MB!FWBMVBDJO!DPOUJOVBEB!DPNP!TJTUFNB!
BMUFSOBUJWP!EF!MB!FWBMVBDJO!EF!MPT!BQSFOEJ[BKFT!
FO!FM!NBSDP!EFM!FFFT!!
El contexto europeo de educacin superior ha generado, entre otros
muchos aspectos, la necesidad de incorporar nuevos sistemas de evaluacin configurados por diferentes estrategias y recursos que permitan valorar el logro de las competencias por parte del alumnado. En
este marco han proliferado numerosas publicaciones y propuestas de
diversa ndole dirigidas a reflexionar, disear e implementar sistemas
alternativos de evaluacin de los aprendizajes. Cabe sealar, por ejemplo, el hecho de que esta problemtica figurase como una de las lneas
prioritarias del IV Congrs Internacional de Docncia Universitria i
Innovaci, celebrado en Barcelona en junio de 2006;5 o aun el anlisis
sobre nuevos enfoques de evaluacin de los aprendizajes llevado a cabo
por Mateo y Martnez (2005) en un volumnen anterior de esta misma
coleccin. Los enfoques alternativos a la evaluacin tradicional, a veces denominados sistemas de evaluacin autntica o de evaluacin
de la actuacin o simplemente sistemas de evaluacin alternativa
(Ahumada, 2005; Biggs, 2006),6 implican nuevas formas de conceptualizar el proceso evaluativo. Estos enfoques se centran en situaciones de
aprendizaje de la vida real y en problemas significativos de naturaleza compleja, que no pueden resolverse a partir de respuestas sencillas,
sino que requieren mostrar el uso de un conjunto de conocimientos,
habilidades y actitudes mucho ms amplio que el que se puede poner de
manifiesto mediante exmenes orales o escritos a travs de respuestas
breves o extensas.
Entre los diferentes objetivos planteados para la mejora de la calidad
de la enseanza universitaria en el marco del proceso de convergencia europea, se ha sealado la necesidad de identificar las competencias
transversales o genricas y las competencias especficas en los estudios
5. Este artculo constituye una revisin de la comunicacin presentada con el mismo
ttulo en dicho Congreso.
6. A pesar de ser utilizados en algunas ocasiones como sinnimos pueden encontrarse
diferencias y matices entre ellos (Mateo y Martnez, 2005).
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
11
DVBEFSOP!9!
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
13
3/!DSJUFSJPT!Z!PQDJPOFT!EF!VO!TJTUFNB!EF!
FWBMVBDJO!DPOUJOVBEB!FO!MB!FOTFBO[B!TVQFSJPS!
En lo que sigue, nos proponemos presentar un conjunto de criterios que
estn en la base del sistema de evaluacin utilizado. La incorporacin
de este sistema de evaluacin continuada en la docencia universitaria
forma parte del trabajo desarrollado por el Grupo de Innovacin Docente en Psicologa de la Educacin (GIDPE) de la Universidad de Barcelona.7 Este sistema de evaluacin se ha implementado en el curso 20052006 en tres grupos experimentales con un total de 186 alumnos de la
asignatura de Psicologa de la Educacin, una asignatura troncal de 5
semestre de los estudios de la Licenciatura de Psicologa de la Universidad de Barcelona. La asignatura ha sido diseada en crditos ECTS y
en ella se utiliza una metodologa de anlisis de casos y de resolucin
de problemas que se abordan a partir de bloques de contenido amplios
y con el apoyo de una serie de herramientas tecnolgicas que ofrece la
plataforma virtual Moodle.8
El sistema de evaluacin diseado est presidido por algunas opciones
y criterios que responden, por una parte, a una perspectiva terica vinculada al constructivismo de orientacin sociocultural (Coll, Martn y
Onrubia, 2001), y por otra, a la reflexin sobre la propia prctica como
profesores universitarios. En este contexto, entendemos el aprendizaje
como un proceso de construccin de significados y atribucin de sentido, y la enseanza como una ayuda que se ha de ir ajustando progresivamente a las caractersticas del proceso constructivo que realiza el
alumno. La evaluacin es, en este marco, un instrumento fundamental
para regular la intervencin docente a lo largo del proceso y, al mis7. El GIDPE est integrado actualmente por doce profesores y un becario de tercer ciclo
del Departamento de Psicologa Evolutiva y de la Educacin de la Universidad de Barcelona.
Se constituy formalmente como grupo de innovacin docente en el ao 2002 y est reconocido como grupo consolidado de innovacin docente. Sus miembros son: Csar Coll (director), Alfonso Bustos, Rosa Colomina, Ana Engel, Ins de Gispert, Marc Lafuente, Teresa
Mauri, Rosa Mayordomo, Mila Naranjo, Javier Onrubia, Mara Jos Rochera, Ana Remesal
y Teresa Segus. [http://www.ub.edu/grintie/].
8. La plataforma Moodle se distribuye bajo una licencia de cdigo abierto (GNU Public
Lisence) y gracias a su flexibilidad permite generar entornos diversos de enseanza y aprendizaje.
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
15
3/2/!Mb!jodbsejobdjo!ef!mbt!bdujwjebeft!ef!fwbmvbdjo!fo!mbt!
bdujwjebeft!ef!bqsfoej{bkf!ef!mpt!bmvnopt/!Mb!fwbmvbdjo!
dpoujovbeb!
Entendemos la evaluacin como un elemento inherente al proceso de
enseanza y aprendizaje y como un instrumento al servicio de ese proceso. Las dos razones que justifican esta afirmacin son, por un lado,
el hecho de que las situaciones y actividades que se utilizan para identificar y valorar qu han aprendido los alumnos constituyen el punto
de unin entre los procesos de enseanza que despliega el profesor y
los procesos de construccin del conocimiento que realizan los alumnos
16
DVBEFSOP!9!
(Coll, Martn y Onrubia, 2001); y por otro, el hecho de que las actividades de evaluacin han de ser coherentes con el resto de elementos que
constituyen el proceso educativo, y muy especialmente con los objetivos
que lo presiden y con las actividades que se plantean (Wiliam, 2000;
Hargreaves, Earl y Schmidt, 2002; Dochy, 2004; Norton, 2004). Desde
esta perspectiva, si se pretende valorar no slo el conocimiento conceptual de los alumnos sino tambin sus habilidades en contextos reales
de uso (Shepard, 2000), es fundamental incardinar la evaluacin en el
proceso mismo de aprendizaje que llevan a cabo los alumnos mientras
se desarrollan las actividades de enseanza y aprendizaje.
De acuerdo con este criterio, en la experiencia de innovacin que presentamos las principales actividades de enseanza y aprendizaje son al
mismo tiempo actividades de evaluacin. Como se aprecia en la tabla 1,
se propone un conjunto de actividades de evaluacin continuada consistente, por un lado, en la elaboracin por parte de los alumnos de diferentes productos en una situacin de anlisis de casos o de resolucin
de problemas complejos en cada uno de los bloques temticos en los
que se organiza la asignatura. La elaboracin de estos productos requiere, entre otros aspectos, el uso de competencias de autorregulacin del
aprendizaje. Adems, los alumnos cumplimentan informes de autoevaluacin individuales y grupales sobre su propio proceso de trabajo y de
aprendizaje al finalizar cada uno de los bloques. Por otro lado, la evaluacin continuada incorpora por parte del profesor el seguimiento y observacin del proceso de trabajo del alumnado, la elaboracin de informes
Bduvbdjpoft!efm!qspgftps!!
!!Tfhvjnjfoup! z! pctfswbdjo! efm! qspdftp! ef!
usbcbkp!qsftfodjbmnfouf!z!fo!mofb!b!usbwt!
ef!mb!qmbubgpsnb!Nppemf!!
!!Fmbcpsbdjo!ef!jogpsnft!ftdsjupt!ef!fwbmvb.
djo! ef! mpt! sftvmubept! fo! dbeb! cmprvf!
ufnujdp!
!!Uvupsbt!ef!efwpmvdjo!ef!mpt!sftvmubept!
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
17
3/3/!Mb!pshboj{bdjo!ef!bdujwjebeft!ef!fwbmvbdjo!fo!upsop!
b!cmprvft!ufnujdpt!bnqmjpt/!Mb!tfdvfodjb!ef!bdujwjebeft!ef!
fwbmvbdjo!
Se considera necesario planificar el trabajo de la asignatura en unidades de contenido amplias, los bloques temticos, para potenciar en el
alumno una aproximacin al conocimiento ms funcional y global. Los
bloques temticos representan agrupaciones o ncleos del contenido
que tienen sentido en s mismos y cuyo aprendizaje contribuye de manera decisiva al desarrollo de las competencias del psiclogo de la educacin. En el marco de cada uno de los bloques temticos se contemplan
actividades de enseanza y aprendizaje dirigidas a la comprensin del
conocimiento y a su aplicacin en contextos reales simulados. Estas actividades constituyen a la vez actividades de evaluacin que permiten
al profesorado recoger informacin sobre el grado de comprensin del
conocimiento por parte de los alumnos y sobre la manera de utilizarlo
en contextos reales.
En la experiencia de innovacin realizada se proponen cuatro bloques
temticos para trabajar los contenidos, habilidades y actitudes que se
pretende que aprendan los alumnos en la asignatura.9 El desarrollo de
9. Bloque temtico 1. Psicologa de la educacin y prcticas educativas: la concepcin
constructivista de la enseanza y el aprendizaje escolar. Bloque temtico 2. La construccin
18
DVBEFSOP!9!
cada uno de estos bloques se vertebra en torno a la presentacin y resolucin de un caso o situacin que ha sido elaborado de manera que
sita a los alumnos delante de algunas demandas y tareas tpicas del
mbito profesional de la psicologa escolar: el desempeo de funciones
y tareas en un servicio de orientacin psicopedaggica en un Instituto
de Enseanza Secundaria (bloque 1); la preparacin de una charla sobre
la relacin entre inteligencia, estrategias de aprendizaje y rendimiento
escolar dirigida a los padres de los alumnos en el marco de una Escuela
de Padres (bloque 2); la elaboracin de una entrevista a realizar con la
maestra de un alumno que presenta dificultades de inters y motivacin
por el aprendizaje (bloque 3); y finalmente, la ayuda al profesorado en
los procesos de atencin a la diversidad de alumnos y alumnas en el aula
(bloque 4).
Las actividades de evaluacin siguen tpicamente una misma secuencia de actividades con pequeas variaciones en todos los bloques temticos. As, en cada uno de ellos la secuencia incluye, en primer lugar,
actividades de evaluacin inicial de los conocimientos y habilidades de
los alumnos a la hora de abordar en un primer momento un caso o la
resolucin de un problema. La finalidad de estas actividades es doble:
permiten la toma de conciencia de los alumnos de una primera representacin del caso o problema y de la necesidad de profundizar en la
comprensin del contenido del bloque temtico; y proporcionan informacin al profesorado de los conocimientos iniciales de los alumnos. A
estas actividades de estado inicial le siguen otras actividades dirigidas
a la comprensin de contenidos conceptuales (elaboracin de glosarios y
mapas conceptuales) que permiten al profesorado obtener informaciones sobre el dominio alcanzado por los alumnos de ciertos contenidos
conceptuales vinculados con la resolucin del caso o problema; y, por
ltimo, se realizan actividades de evaluacin al final del proceso que implican retomar el anlisis del caso o problema planteado mediante el
uso contextualizado de los conocimientos adquiridos y la reflexin y
toma de conciencia del proceso realizado.
de significados en el aula: factores y procesos cognitivos implicados en el aprendizaje escolar.
Bloque temtico 3. La construccin de sentido en el aula: factores y procesos emocionales y
motivacionales implicados en el aprendizaje escolar. Bloque temtico 4. Interaccin, actividad y discurso en el aprendizaje escolar.
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
19
El desarrollo de estas tareas supone implicar al estudiante en contextos de prctica que permiten relacionar la teora y la prctica, utilizar
de manera contextualizada los conocimientos y facilitar el logro de las
competencias que requiere su profesin. Ahora bien, el potencial de las
situaciones de anlisis de casos o de resolucin de problemas para el
desarrollo de competencias profesionales en los alumnos slo se concretar adecuadamente en la medida que se dispense la ayuda educativa
ajustada a las necesidades de los alumnos para lograr una resolucin
comprensiva de los casos o problemas planteados (Mauri et al. 2004).
En este sentido, entre otras condiciones, es necesario que en el abordaje
de los casos o situaciones problema que vertebran cada uno de los bloques temticos se asegure:
tFMBQSFOEJ[BKFEFMPTDPOPDJNJFOUPTOVDMFBSFTZSFMFWBOUFTEFMCMPRVF
tMBSFBMJ[BDJOQPSQBSUFEFMPTBMVNOPTEFEJWFSTBTUBSFBTWJODVMBEBT
a la resolucin del caso,
tMB SFDPHJEB EF JOGPSNBDJO TPCSF FM QSPDFTP EF BQSFOEJ[BKF Z EF BVtorregulacin de los alumnos y la devolucin de la valoracin de los
resultados obtenidos, y
tFMTFHVJNJFOUPZMBBZVEBEFMQSPGFTPSBEPEVSBOUFFMQSPDFTPEFSFTPlucin del caso o problema.
Conviene adems subrayar que un objetivo de la asignatura es contribuir a la formacin de profesionales capaces de trabajar en equipo y de
comunicarse y colaborar con otros profesionales. De ah que el diseo
del sistema de evaluacin contemple actividades con una organizacin
social en pequeo grupo que aspiran a promover capacidades de autorregulacin grupal.
A ttulo de ilustracin mostramos, en el cuadro 1, la secuencia y tipologa de actividades propuestas en el bloque temtico 2.
20
DVBEFSOP!9!
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
21
22
DVBEFSOP!9!
Octubre
Octubre/
Noviembre
lunes
mircoles
viernes
17
Inicio del BT2
Presentacin del caso
Escuela de padres.
Actividad de evaluacin
inicial.
19
Presentacin de las actividades glosario del
grupo y mapa conceptual del grupo.
21
Aportacin de informacin sobre elaboracin
de presentaciones con
Power Point.
24
Trabajo en pequeos
grupos: glosario del
grupo y mapa conceptual del grupo.
Elaboracin de presentaciones con Power
Point.
Tutora de seguimiento.
26
Trabajo en pequeos
grupos: glosario del
grupo, mapa conceptual del grupo y caso
Escuela de padres (2
parte).
Tutora de seguimiento.
28
Trabajo en pequeos
grupos; finalizacin de
glosario del grupo,
mapa conceptual del
grupo y caso Escuela
de padres (2 parte).
Tutora de seguimiento.
31
Festivo.
2
Presentacin y puesta
en comn del caso, glosario y mapa.
4
Cierre del BT_2
Revisin de los conceptos e ideas principales
del BT_2. Redsolucin
de dudas.
23
3/4/!Fm!bqpzp-!tfhvjnjfoup!z!uvupsj{bdjo!efm!qspgftpsbep!
evsbouf!fm!eftbsspmmp!ef!mbt!bdujwjebeft!ef!fwbmvbdjo!
Tomada en su conjunto, la secuencia de actividades de evaluacin que
acabamos de presentar proporciona al alumnado oportunidades para
ejercer una autonoma en situaciones y problemas reales y complejos:
planificando recorridos de accin, decidiendo qu conocimientos utilizar y cmo utilizarlos en la resolucin del problema abordado, comparando la resolucin tentativa inicial con la resolucin final del caso o
problema, reflexionando sobre el curso de accin seguido y reorientando el propio proceso de aprendizaje. Ahora bien, de acuerdo con nuestra experiencia los alumnos difcilmente pueden tomar esas decisiones
de manera ptima si no reciben los apoyos y ayudas necesarias en el
momento de abordar el caso o problema; apoyos y ayudas que son diseados para ir reducindose y retirndose a medida que aumentan
sus capacidades de trabajo y aprendizaje autnomos. En este contexto, las actividades de evaluacin pueden convertirse en instrumentos
privilegiados para que el profesorado apoye, de manera sostenida, el
proceso de trabajo de los alumnos. Esta ayuda hace referencia tanto al
aprendizaje de los contenidos fundamentales de la asignatura, como
al desarrollo de capacidades de autorregulacin en el trabajo en equipo
y en el estudio individual.
Como hemos sealado en el apartado anterior, cada bloque temtico
plantea un contexto de anlisis de casos en los que los alumnos han de
desarrollar y mostrar el dominio de determinadas competencias. Entre
ellas, las de:
explorar el caso o problema de diversas maneras y a diferentes niveles,
comprender los conceptos fundamentales implicados en el caso,
desarrollar una representacin adecuada de la situacin,
disear a partir de esa representacin un plan de accin individual y
compartido con el resto de miembros del grupo de trabajo, y
supervisar, valorar, y reorientar, si es el caso, el propio proceso de
aprendizaje.
Promover este tipo de competencias supone ayudar al alumno en particular y al grupo en general a usar estratgicamente el conocimiento y
24
DVBEFSOP!9!
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
25
26
DVBEFSOP!9!
Adems, el profesorado puede hacer el seguimiento y apoyo de la realizacin de las tareas colaborativas entre alumnos en los espacios diseados en el aula virtual Moodle para esta finalidad (foro de pequeo grupo, editor colaborativo wiki, foro general del bloque, tutora en lnea).
Estos espacios facilitan la observacin de procesos de construccin
conjunta del conocimiento entre los alumnos que de otra manera permaneceran inaccesibles al profesorado. Evidentemente, ello supone un
trabajo y una dedicacin adicionales para seguir esas tareas y espacios
virtuales de comunicacin, pero permite mejorar de forma importante
la deteccin de evidencias de los avances y dificultades que plantean los
alumnos, y hace posible una autntica amplificacin de las formas de
tutorizacin y apoyo que no son posibles en actividades de enseanza y
aprendizaje realizadas en modo presencial (Onrubia et al., 2004).
De la misma manera, el seguimiento que el profesorado realiza de las
actividades de autoevaluacin que van elaborando los alumnos sobre
el proceso seguido a lo largo del bloque temtico a travs de un diario
individual y uno grupal, y que culminan con la elaboracin de un cuestionario de autoevaluacin individual y un cuestionario de autoevaluacin
grupal, se convierten en instrumentos privilegiados para el desarrollo
de capacidades de autorregulacin individual y de grupo. El cuestionario individual recoge tems que interrogan al alumno sobre las horas
dedicadas al desarrollo del bloque temtico, sobre su valoracin del trabajo de preparacin para las actividades en grupo, sobre la calidad de
sus aportaciones para la elaboracin y discusin en el grupo y sobre
los aprendizajes realizados. Adems solicita a los alumnos que valoren
y califiquen su trabajo, proporcionen comentarios sobre el trabajo y el
aprendizaje individual y realicen sugerencias para mejorar el proceso
y los resultados individuales. En el caso de los cuestionarios grupales,
se solicita al grupo que realice un resumen de las sesiones de trabajo
realizadas para llevar a cabo las actividades que les demanda el bloque
temtico, indicando, entre otros aspectos, los miembros que han participado, la duracin, las caractersticas de la actividad y la valoracin en
trminos de productividad de las sesiones realizadas. Se solicita asimismo que valore tanto la dinmica de trabajo en grupo como la calidad
de los aprendizajes realizados, que califique los productos elaborados y
proponga sugerencias para mejorar el proceso y los resultados de aprendizaje en grupo. Sin duda, la cumplimentacin de los diarios y de los
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
27
28
DVBEFSOP!9!
!!Mb!jodbsejobdjo!ef!mbt!bdujwjebeft!ef!fwbmvbdjo!fo!mbt!bdujwjebeft!
ef!bqsfoej{bkf!ef!mpt!bmvnopt/!
!!Mb!fwbmvbdjo!dpo!obmjebeft!gpsnbujwbt!z!gpsnbepsbt/!
3/!Mb!tfdvfodjb!ef!bduj. !!Mb!joufhsbdjo!ufpsb.qsdujdb;!mpt!cmprvft!ufnujdpt/!
wjebeft!ef!fwbmvbdjo! !!Mb!pshboj{bdjo!ef!bdujwjebeft!ef!fwbmvbdjo!fo!upsop!b!cmprvft!
jousb.cmprvf!ufnujdp!
ufnujdpt!bnqmjpt!rvf!tf!bcpsebo!!b!qbsujs!efm!bomjtjt!z!mb!sftpmvdjo!
f!joufs.cmprvf!ufnujdp ef!dbtpt!p!qspcmfnbt/!!
!!Mb!dpncjobdjo!ef!bdujwjebeft!ejsjhjebt!b!mb!dpnqsfotjo!efm!dpouf.
ojep!z!b!tv!bqmjdbdjo!fo!dpoufyupt!sfbmft!tjnvmbept!fo!dbeb!cmprvf!
ufnujdp/!
!!Mb!dpncjobdjo!ef!bdujwjebeft!joejwjevbmft!z!hsvqbmft/!
!!Mb!fmbcpsbdjo!qps!qbsuf!ef!mpt!bmvnopt!ef!ejgfsfouft!qspevdupt!fo!
dbeb!cmprvf!ufnujdp!fo!vob!tjuvbdjo!ef!bomjtjt!ef!dbtpt!p!sftpmv.
djo!ef!qspcmfnbt;!
.!sftpmvdjo!jojdjbm!efm!dbtp-!
.!!fmbcpsbdjo!efm!hmptbsjp!ef!dpodfqupt!gvoebnfoubmft!z!nbqb!
dpodfquvbm-!
.sftpmvdjo!obm!efm!dbtp!z!sffyjo!efm!qspdftp!ef!fmbcpsbdjo/!
!!Mb!jouspevddjo!ef!vo!hsbep!qsphsftjwp!ef!bvupopnb!fo!mb!fmbcpsb.
djo!ef!qspevdupt!fo!mpt!tvdftjwpt!cmprvft!ufnujdpt/!
!!Fm!vtp!ef!mbt!UJD!dpnp!sfdvstpt!qbsb!mb!dpmbcpsbdjo!fousf!bmvnopt;!
mpt!ftqbdjpt!ef!usbcbkp!dpmbcpsbujwp/!
4/!Fm!bqpzp-!tfhvjnjfo. !!Pctfswbdjo!!z!uvupsj{bdjo!efm!qspdftp!ef!fmbcpsbdjo!ef!mbt!bdujwj.
up! z! uvupsj{bdjo! efm! ebeft!ef!fwbmvbdjo-!fo!tftjpoft!qsftfodjbmft!ef!dbsdufs!pcmjhbupsjp!
qspgftpsbep! evsbouf! fm! z!pqubujwp/!
eftbsspmmp!ef!mbt!bdujwj. !!Tfhvjnjfoup!z!wbmpsbdjo!ef!mpt!bvupjogpsnft!ef!bvupfwbmvbdjo!jo.
ebeft!ef!fwbmvbdjo
ejwjevbmft!z!hsvqbmft!sfbmj{bept!bm!obmj{bs!dbeb!cmprvf!ufnujdp/!
!!Fm!bqpzp!ef!mbt!UJD!dpnp!sfdvstp!ef!mb!fwbmvbdjo!dpoujovbeb/!Mb!vuj.
mj{bdjo!ef!ejwfstpt!ftqbdjpt!wjsuveft!ef!mb!qmbubgpsnb!Nppemf!)gpspt-!
sfhjtuspt!bvupnujdpt-!nfotbkfsb!z!uvupsb!fo!mofb*!qbsb!gbdjmjubs!fm!
usbcbkp!ef!mpt!bmvnopt!z!tv!tvqfswjtjo!z!bqpzp!dpotubouft/!
!!Fmbcpsbdjo! ef! jogpsnft! ftdsjupt! efubmmbept! rvf! fyqmjdjubo! mpt! dsjuf.
sjpt!ef!dpssfddjo!ef!mbt!ubsfbt!tpmjdjubebt!z!tv!wbmpsbdjo!dvbmjubujwb-!
mb!wbmpsbdjo!ef!mbt!sftqvftubt!b!mpt!dvftujpobsjpt!ef!bvupfwbmvbdjo!
hsvqbm!f!joejwjevbm!z!mb!qspqvftub!ef!psjfoubdjpoft!qbsb!mb!sfwjtjo!z!
nfkpsb!ef!mpt!bqsfoej{bkft!sfbmj{bept/!
!!Sfbmj{bdjo! ef! uvupsbt! ef! tfhvjnjfoup! qsftfodjbmft0fo! mofb! qbsb! mb!
efwpmvdjo!ef!mpt!sftvmubept!ef!mb!fwbmvbdjo/!
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
29
4/!SFTVMUBEPT!EF!MB!FYQFSJFODJB
Los resultados presentados corresponden a tres grupos con un total de
186 alumnos. Empezaremos la presentacin de los resultados con los
datos del rendimiento de los estudiantes que han participado en la experiencia. Como se aprecia en la tabla 3, el 90,83% de los alumnos superan la asignatura, y un 75,8% lo hacen con una nota de notable o
superior.10
Tabla 3. Rendimiento de los estudiantes de los grupos experimentales
Fydfmfouf!
34!
23-47&!
Opubcmf!
229!
74-55&!
Bqspcbep!
39!
26-16&!
Tvtqfotp!!
3!
2-18&!
Bcboepopt!,!Fybnfo!obm!,!Op!Qsftfoubept!
26!
9-17&!
Upubm!
297!
211&!
31
DVBEFSOP!9!
Nvz!tbujtgbdupsjb
44&
Qpdp!tbujtgbdupsjb
2&
Sfhvmbs
8&
Nf!ib!bzvebep!nvdip!
nt!39&
Nf!ib!bzvebep!jhvbm
23&
Ot0Od Nf!ib!bzvebep!nfopt
2&
4&
productos grupales; cuestionarios de autoevaluacin individual; cuestionarios de autoevaluacin grupal; informes de devolucin; tutoras del profesor
despus de la evaluacin (escala de valoracin: muy poco, poco, regular,
bastante, mucho). La figura 5 muestra que los productos grupales son
los mejor valorados (muy poco 0%; poco 0,87%; regular 4,35%; bastante
40%; mucho 54,78%), seguidos de los informes de devolucin (muy poco
2,61%; poco 4,35%; regular 17,39%; bastante 46,96%; mucho 28,70%) y
las tutoras del profesor despus de la evaluacin (muy poco 2,61%; poco
3,48%; regular 16,52%; bastante 46,09%; mucho 31,30%). Los cuestionarios de autoevaluacin individual (muy poco 6,09%; poco 17,39%;
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
33
211&
:1&
91&
81&
71&
61&
51&
41&
31&
21&
1
Dmbtft!
pcmjhbupsjbt
Qspevdupt!
hsvqbmft
Dvftujpobsjpt!ef! Dvftujpobsjpt!ef!
bvupfwbmvbdjo! bvupfwbmvbdjo!
joejwjevbm
hsvqbm
Jogpsnft!ef!
efwpmvdjo
Uvupsbt!efm!
qspgftps!eftqvt!
ef!mb!fwbmvbdjo
DVBEFSOP!9!
211&
:1&
91&
81&
71&
61&
51&
41&
31&
21&
1
Usbcbkbs!nt! Mffs!ef!nbofsb!
dpoujovbeb!z! tjtufnujdb!
tjtufnujdb.
z!fo!qspgvo.
nfouf
ejebe
Bvnfoubs!
uv!joufst!z!
npujwbdjo
211&
:1&
91&
81&
71&
61&
51&
41&
31&
21&
1
Mfduvsbt
Hmptbsjp
Nbqbt!
dpodfquvbmft
Dbtpt
Dvftujpobsjp!
bvupfwbmvbdjo!
hsvqbm
Dvftujpobsjp!
bvupfwbmvbdjo!
joejwjevbm
Estrechamente relacionados con la evaluacin propuesta en la asignatura, se presentan, en la figura 7, los resultados correspondientes a la
siguiente pregunta: El planteamiento metodolgico de la asignatura ha
incluido diferentes tipos de actividades y tareas que, como alumno/a, has
tenido que realizar. Valora el grado en que consideras que cada una de estas
actividades y tareas han contribuido a tu aprendizaje a lo largo de la asigMB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
35
Sfhvmbs
7&
36
Qpdp
Ot0Od
3&
2&
Nvz!qpdp
3&
Nvdip
39&
DVBEFSOP!9!
211&
:1&
91&
81&
71&
61&
51&
41&
31&
21&
1
Hvb!
ejedujdb
Mfduvsbt!
pcmjhbupsjbt
Qbvubt!ef!
mfduvsb
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
Jogpsnft!
gjobmft
37
211&
:1&
91&
81&
71&
61&
51&
41&
31&
21&
1
Qspgvoej{bs! Dpnqsfoefs! Ftubcmfdfs!
Dpopdfs!
mfduvsbt!
dpoufojept!
sfmbdjoft!
tjuvbdjpoft!
pcmjhbupsjb
ufsjdpt
fousf!ufpsb!z! ef!qsdujdb!
qsdujdb
qspgftjpobm
38
Bvnfoubs!
joufst!z!
npujwbdjo!
qps!mb!
btjhobuvsb
Pcufofs!
Bvnfoubs! Nfkpsbs!mbt! Bqsfoefs! Nfkpsbs!hsb.
wjtjo!jouf. joufst!qps! dbqbdjebeft! ftusbufhjbt! ep!ef!tjhojgj.
hsbeb!ef!mpt! fm!usbcbkp!
ef!usbcbkp! ef!bomjtjt!ef! dbujwjebe!efm!
dpoufojept dpmbcpsbujwp dpmbcpsbujwp
dbtpt
bqsfoej{bkf
DVBEFSOP!9!
planteados para valorar el uso de la metodologa de casos en el proceso de enseanza y aprendizaje y de evaluacin se valoran bastante
(entre un 36,52% para conocer situaciones de la prctica profesional y
un 59,13% para mejorar el grado de significatividad en el aprendizaje)
o mucho (entre un 16,52% para aumentar el inters y la motivacin
por la asignatura y un 50,43% para conocer situaciones de la prctica
profesional), (ver la figura 10).
En especial, y como muestra la figura 11 para el caso concreto de la Escuela de padres, tanto la aproximacin al trabajo profesional que permite, como la integracin entre teora y prctica que facilita, as como el
hecho de promover inters y motivacin entre los estudiantes, se valora
mucho o bastante por el 90% de los alumnos.
En cuarto y ltimo lugar, no podemos olvidar el coste que esta experiencia tiene para sus participantes. As, la figura 12 muestra grficamente los
resultados a la pregunta: Considerando el conjunto del semestre, haz
una estimacin de las horas semanales que, como media, has dedicado
al trabajo en pequeo grupo en la asignatura (sin contar las horas de
clase de asistencia obligatoria).
Ot0Od
Nvdip
Cbtubouf
Sfhvmbs
211&
:1&
91&
81&
71&
61&
51&
41&
31&
21&
1
Joufst!z!npujwbdjo
Joufhsbdjo!ufpsb0
qsdujdb
Bqspyjnbdjo!bm!usbcbkp!
qspgftjpobm
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
39
211
:1
91
Qpsdfoubkf!bmvnopt
81
71
61
51
41
31
21
1
1.6!i
7.21!i
22.26!i
27.41!i
40
DVBEFSOP!9!
5/!DPODMVTJPOFT!
Los resultados que acabamos de presentar muestran que determinadas
actividades de evaluacin continuada pueden devenir instrumentos
privilegiados para la obtencin de evidencias de los aprendizajes de los
alumnos, para el ajuste de la ayuda pedaggica y la enseanza de competencias de autorregulacin. En lo que sigue presentaremos algunas
conclusiones a la luz de la valoracin de la experiencia de innovacin
presentada y sealaremos algunas consideraciones, dificultades y retos
que plantea la incorporacin de sistemas de evaluacin con estas caractersticas.
En primer lugar, las posibilidades de que la evaluacin pueda ayudar a
los alumnos a ser autnomos en los aprendizajes se deriva, en nuestra
experiencia, del conjunto de medidas, opciones y criterios que implica
el sistema de evaluacin continuada en su globalidad, ms que en la
adopcin de uno u otro criterio aisladamente considerado. Insertar las
actividades de evaluacin en el marco de las actividades de aprendizaje,
organizar las actividades de evaluacin en torno a bloques temticos
amplios, combinar actividades dirigidas a valorar el grado de comprensin del conocimiento con otras que impliquen su aplicacin y uso en
contextos reales simulados, y aumentar las posibilidades de realizar
un seguimiento detallado y un apoyo continuado del proceso y de los
resultados de aprendizaje de los alumnos, son todas ellas actuaciones
que generan globalmente un contexto ptimo para el aprendizaje y la
enseanza de competencias de autorregulacin.
En segundo lugar, en nuestra experiencia se muestra que ese sistema
de evaluacin debe respetar al menos dos condiciones fundamentales:
facilitar un uso contextualizado de los conocimientos, habilidades y actitudes del alumnado, y ofrecer asistencia y apoyo al desarrollo de las
capacidades de autorregulacin del alumnado.
Resulta difcil que el alumno pueda llegar a ser autnomo en su aprendizaje y a utilizar funcionalmente su conocimiento si no se le ofrecen
condiciones para ejercer esa autonoma. Las situaciones educativas que
simulan problemas reales y complejos y que requieren de los alumnos
procesos de reflexin progresiva desde una formulacin inicial del caso
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
41
DVBEFSOP!9!
En tercer lugar, nuestros resultados ponen de manifiesto que el cumplimiento de tales requisitos resulta a veces dificil y supone, como se
acaba de sealar, el establecimiento de condiciones favorables de carcter personal e institucional. Efectivamente, la implementacin de
un sistema de evaluacin continuada con las caractersticas sealadas
y la valoracin realizada por los alumnos ha permitido identificar algunos elementos sobre los que es necesario seguir reflexionando y que
requieren mejoras. Entre los elementos de la evaluacin continuada que
los alumnos valoran menos cabe sealar los cuestionarios individuales y grupales y el uso de la plataforma Moodle como apoyo a procesos
de enseanza y aprendizaje de carcter presencial. En relacin con los
cuestionarios, la cultura de evaluacin dominante en el mbito de enseanza superior puede contribuir a explicar esta falta de valoracin
por parte de los alumnos de instrumentos especficamente diseados
para favorecer la reflexin sobre el proceso seguido y el aprendizaje. Un
aspecto que merece la pena destacar es que esta cultura favorece que
los alumnos se impliquen en mayor medida en actividades orientadas
a la elaboracin de los contenidos y en menor media en actividades que
comportan una reflexin sobre su propio proceso de aprendizaje. Insertos en esta cultura, los alumnos se implican ms en las tareas que
tienen mayor peso en la acreditacin o nota de la asignatura, como el
caso-problema, los glosarios o los mapas conceptuales, que en la cumplimentacin de cuestionarios cuyo peso en la acreditacin es o perciben como considerablemente menor o incluso nulo.
Respecto a la pobre valoracin global que realizan los alumnos de la
plataforma Moodle, puede interpretarse a partir del hecho de lo que supone la incorporacin de las tecnologas de la informacin y de la comunicacin (TIC) a la docencia presencial universitaria y debe asimismo
matizarse a la luz de otros resultados ms especficos obtenidos a partir
del mismo cuestionario. Estos resultados apuntan a una mayor valoracin de las TIC como recursos para un acceso continuado a las actividades y los materiales del caso, y a una menor valoracin como recursos
para la comunicacin con el profesor o los compaeros. En nuestra opinin, determinados usos de las TIC pueden ser mejor valorados a condicin de que proporcionen situaciones para poder aprender y regular
el aprendizaje efectivas y diferentes a las que se crean en situaciones de
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
43
44
DVBEFSOP!9!
SFGFSFODJBT!CJCMJPHSGJDBT!
Ahumada, P. (2005). La evaluacin autntica: un sistema para la obtencin de evidencias y vivencias de los aprendizajes. Perspectiva Educacional, 45, 11-24.
Allal, L. (1991). Vers una pratique de lvaluation formative. Bruselas: De
Boek.
Allal, L., y Wegmuller, E. (2004). Finalits et fonctions de lvaluation.
Educateur (nmero especial 04), 4-7.
Biggs, J. (2006). Calidad del aprendizaje universitario. Madrid, Narcea.
Boekaerts, M. (1999). Self-regulated learning: where we are today. International Journal of Educational Research, 31, 445-457.
Broadfoot, P. y Black, P. (2004). Redifining assessment? The first ten years
of Assessment in Education. Assessment in Education, 11 (1), 7-27.
Carreras, J. y Perrenoud, P. (2005). El debat sobre les competncies a
lEnsenyament Universitari. Quaderns dInnovaci Universitaria, ICEUB, 5, 1-54.
Coll, C. (2004). Esfuerzo, ayuda y sentido en el aprendizaje escolar. Aula
de Innovacin Educativa, 120, 36-43.
Coll, C., Martn, E. y Onrubia, J. (2001). La evaluacin del aprendizaje
escolar: dimensiones psicolgicas, pedaggicas y sociales. En C. Coll, J.
Palacios y A. Marchesi. Desarrollo psicolgico y educacin (pp. 549-572).
Madrid: Alianza Editorial.
Coll, C. y Onrubia, J. (1999). Evaluacin de los aprendizajes y atencin a la
diversidad. En C. Coll (Coord.), Psicologa de la instruccin. La enseanza
y el aprendizaje en la educacin secundaria (p. 141-168). Barcelona: Horsori/ICE de la UB.
Dochy, F. (2004). Assessment engineering: aligning assessment, learning and
instruction. Keynote presentation. Consultado el 31 de mayo de 2006 en
http://www.assessment2004.uib.no/keynotes/dochy.page
Gonzlez, I. (2006). Dimensiones de evaluacin de la calidad universitaria. Revista Electrnica de Investigacin Psicoeducativa. 10, (Vol. 3-4),
445-468.
Hargreaves, A., Earl, L. y Schmidt, M. (2002). Perspective on Alternative Assessment Reform. Amercian Educational Research Journal, 39 (1), 69-95.
Mateo, J. y Martnez, F. (2005). Lavaluaci alternativa dels aprenentatges. Quaderns dInnovaci Universitaria, ICE-UB, 3, 1-54.
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!BZVEB!QFEBHHJDB
45
Mauri, T., Coll, C., Colomina, R., Mayordomo, R. y Onrubia, J. (2004). Redefiniendo las condiciones de la metodologa de anlisis de casos para ajustar
la ayuda pedaggica al alumno. Una experiencia de innovacin educativa mediada por las TIC. III Congreso Internacional Docncia Universitria i
Innovaci. 30 de juny -2 de juliol; Girona, Espaa.
Mauri, T. y Rochera, M.J. (1997). Aprender a regular el propio aprendizaje. Aula de Innovacin Educativa, 67, 48-52.
Mcdondald, R. (2006). The use of evaluation to improve practice in learning and teaching. Innovations in Education and Teaching International,
43 (1), 3-13.
Norton, L. (2004). Using assessment criteria as learning criteria: a case
study in psychology. Assessment and Evaluation in Higher Education, 29
(6), 687-702.
Nunziati, G. (1990). Pour construire un dispositif dvaluation daprentissage. Cahiers Pdagogiques, 280, 47-64.
Onrubia, J., Coll, C., Engel, A., Mauri, T. y Rochera, M.J. (2004). Uso de una
plataforma virtual como apoyo a la docencia presencial. III Congreso Internacional Docncia Universitria i Innovaci. 30 de juny -2 de juliol;
Girona, Espaa.
Roe, R. (2003). Qu hace competente a un psiclogo? Papeles del Psiclogo, 86. Consultado el 31 de mayo de 2006 en http://www.cop.es/papeles/vernumero.asp?id=1108
Schunk, D.M. y Zimmerman, B.J. (eds.) (1998). Sel-regulated learning: From
teaching to self-reflective practice. Nueva York York: The Guilford Press.
Shepard, A.A. (2000). The role of assessment in a learning culture. Educational Researcher, 29 (7), 4-14.
VV.AA. (2005). Libro Blanco. Ttulo de grado en Psicologa. ANECA.
Wiliam, D. (2000). Integrating summative and formative functions of assessment. Keynote address the European Association for Educational Assessment. Praga: Repblica Checa.
46
DVBEFSOP!9!
DVBEFSOPT!EF!EPDFODJB!VOJWFSTJUBSJB
MB!FWBMVBDJO!DPOUJOVBEB!DPNP!
JOTUSVNFOUP!QBSB!FM!BKVTUF!EF!MB!
BZVEB!QFEBHHJDB!Z!MB!FOTFBO[B!EF!
DPNQFUFODJBT!EF!BVUPSSFHVMBDJO
Dtbs!Dpmm!Tbmwbeps!\ddpmmAvc/fev^
Nbsb!Kpt!Spdifsb!Wjmmbdi!\nkspdifsbAvc/fev^!
Sptb!Nbsb!Nzpsepnp!Tbj{!\sptbnbzpsepnpAvc/fev^
Njmbhspt!Obsbokp!Mmbopt!\njmb`obsbokpAvc/fev^
Tpo!qspgftpsft0bt!efm!Efqbsubnfoup!ef!Qtjdp.
mphb!Fwpmvujwb!z!ef!mb!Fevdbdjo/!Gpsnbo!qbsuf!
efm!Hsvqp!ef!Joopwbdjo!Epdfouf!fo!Qtjdpmphb!
ef!mb!Fevdbdjo!)HJQEF*-!ejsjhjep!qps!Dtbs!Dpmm!
Tbmwbeps/
GBDVMUBU!EF!QTJDPMPHJB
VOJWFSTJUBU!EF!CBSDFMPOB
iuuq;00xxx/qtzfe/fev/ft
iuuq;00xxx/vc/fev0hsjoujf0