Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Autores: Joan Mateo Andrs, Albert Sangr Morer, Sebastin Rodrguez Espinar, Anna
Prades Nebot
Primera edicin: enero de 2007
Segunda edicin: octubre de 2007
Depsito legal: B-48.853-2007
Sumario
Presentacin.................................................................................................................................. 5
La metodologa de evaluacin ...................................................................................................... 6
El contenido de la evaluacin...................................................................................................... 11
La evaluacin interna .................................................................................................................. 14
El autoinforme.......................................................................................................................... 14
Los comits de evaluacin internos (CAI) ............................................................................... 15
Mecanismos de publicidad y participacin .............................................................................. 15
La elaboracin del informe: el protocolo de evaluacin .......................................................... 15
El proceso de evaluacin externa ............................................................................................... 21
Composicin de los comits de evaluacin externos (CAE)................................................... 21
La visita in situ ......................................................................................................................... 22
Estructura del informe externo................................................................................................. 23
Reaccin de la unidad (titulacin) evaluada............................................................................ 24
Los informes finales .................................................................................................................... 25
Protocolo de evaluacin .............................................................................................................. 27
0. El proceso de evaluacin interna..................................................................................... 29
1. Posicin estratgica de la titulacin................................................................................. 31
1.1. Posicin estratgica interna ...................................................................................... 31
1.2. Posicin estratgica externa ..................................................................................... 33
2. Programa de formacin.................................................................................................... 35
2.1. Definicin del perfil de formacin .............................................................................. 35
2.2. Adecuacin del programa de estudios ...................................................................... 37
3. Diseo de instruccin....................................................................................................... 39
3.1. Metodologa docente ................................................................................................. 39
3.2. Adecuacin de las actividades .................................................................................. 41
3.2. Organizacin de la enseanza.................................................................................. 43
3.4. Sistema de orientacin y tutora................................................................................ 45
3.5. Estructura tcnica dedicada a la instruccin ............................................................. 47
Presentacin
La Agncia per a la Qualitat del Sistema Universitari de Catalunya (AQU Catalunya) tiene como
objetivos la evaluacin, acreditacin y certificacin de la calidad en el mbito de las
universidades y los centros de enseanza de educacin superior de Catalunya. Su misin es
impulsar la mejora de la calidad del sistema universitario cataln, en el marco del Espacio
europeo de educacin superior, a travs de sus actividades evaluativas.
La evaluacin institucional de la calidad de las universidades tiene dos objetivos principales:
promover la mejora de la calidad y proporcionar informacin vlida y objetiva del servicio que
las universidades prestan a la sociedad. La evaluacin combina, por lo tanto, dos finalidades:
Pretende ser una herramienta til para ayudar a las titulaciones o instituciones a gestionar
y mejorar la calidad de la formacin universitaria, es decir, para ayudar a producir cambios
significativos en el diseo de las titulaciones y en el proceso de enseanza-aprendizaje.
El principio fundamental que impregna los procesos evaluativos es que las universidades, en
uso de su autonoma, son las principales responsables de la calidad de la enseanza y su
aseguramiento. Por otro lado, los procesos de evaluacin parten del reconocimiento de que
son las propias instituciones las ms capacitadas para proveer informacin actualizada, fiable y
vlida sobre la calidad de sus procesos formativos.
La GUA DE EVALUACIN INTERNA DE LAS ENSEANZAS DE FORMACIN VIRTUAL ha sido elaborada
por expertos en formacin virtual y en metodologas de evaluacin. Consiste en la adaptacin
de la Gua de evaluacin de titulaciones empleada en el programa PRO-QU a las
peculiaridades de la formacin virtual. Hay que decir que la metodologa de evaluacin utilizada
en este programa cuenta ya con bastante tiempo de rodaje (en 2006 se han cumplido diez
aos de las primeras evaluaciones realizadas por AQU Catalunya) y que a lo largo de este
tiempo ha sufrido progresivas transformaciones. As pues, la gua que se presenta no slo se
fundamenta en los actuales instrumentos evaluativos de AQU Catalunya, sino que tambin
incorpora las especificaciones internacionales de evaluacin de este tipo de enseanzas.
En definitiva, la gua adaptada pretende ser fiel a los objetivos presentes en la primera
evaluacin: la orientacin a la mejora y la informacin a la sociedad, mediante metodologas
evaluativas pblicas y transparentes, a fin de estar en buenas condiciones para el cumplimiento
del objetivo de la Declaracin de Bolonia de alcanzar una dimensin europea del
aseguramiento de la calidad.
La metodologa de evaluacin
El modelo de evaluacin ha seguido un sistema basado en el modelo europeo, adaptado a la
cultura evaluativa del contexto universitario y social del pas. A continuacin se describen las
distintas fases del proceso de evaluacin y las dos unidades de anlisis previstas: la evaluacin
institucional y la evaluacin de las titulaciones.
El proceso de evaluacin
Las fases del proceso de evaluacin de la calidad son las siguientes:
1. Evaluacin interna
Se inicia con la recogida y sistematizacin de la informacin referida a la unidad objeto de
evaluacin (realidad). Esta informacin est compuesta por estadsticos, datos de gestin e
indicadores sobre los inputs, procesos y resultados de la actividad de la propia unidad. El
autoinforme del comit de evaluacin interno (CAI) integrar dicha informacin con las nuevas
observaciones, opiniones y valoraciones generadas a lo largo del proceso.
Hay que entender la evaluacin interna como un proceso de diagnstico, como un punto de
partida para detectar, del modo ms objetivo y exhaustivo posible, reas de excelencia, para
reconocerlas y potenciarlas, pero tambin para detectar reas susceptibles de ser mejoradas.
2. Evaluacin externa
Un comit de evaluacin externo (CAE) analiza el autoinforme y realiza una vista in situ a la
unidad evaluada. A partir de sus observaciones y de las informaciones, opiniones y
valoraciones recogidas durante el contacto con las diversas audiencias entrevistadas, emitir
un informe externo. Este informe ser sometido a la consideracin de la unidad evaluada, para
que haga llegar las oportunas alegaciones o consideraciones.
La evaluacin externa tiene por objetivo ayudar a la titulacin o institucin en su anlisis, es
decir, validar el diagnstico llevado a cabo por el CAI, as como colaborar en la identificacin de
posibles lneas de mejora de su calidad.
3. Informe de evaluacin
La sntesis ponderada y comprensiva del autoinforme y el informe externo da lugar al informe
definitivo de la unidad evaluada (titulacin), que deber ser objeto de difusin y publicidad.
4. Plan de mejora
Para que se complete el crculo hacia la mejora de la calidad, la evaluacin, como herramienta
fundamental de diagnstico, debe conducir a un plan de mejora.
Un plan de mejora es la propuesta de actuaciones, resultante del proceso de diagnstico
previo, que recoge y formaliza los objetivos de mejora y las correspondientes actuaciones
dirigidas a fortalecer los puntos fuertes y a resolver los dbiles, de manera priorizada y
temporizada.
El plan de mejora debe incluir el diseo de las acciones que se consideran pertinentes para
eliminar o aminorar las debilidades detectadas en la evaluacin. La explicitacin de los
objetivos, acciones e indicadores de seguimiento, as como de los responsables de ejecutarlos,
son algunas de las exigencias de un plan de mejora.1
Para ms detalles sobre este tema, vase el Marco general para el establecimiento, el seguimiento y la revisin de los
5. Aplicacin
final
0. Realidad
Estadsticas
Datos
Indicadores
1. Informe
interno
4. Plan de
mejora
Observaciones
Opiniones
Valoraciones
2. Informe
externo
La unidad de evaluacin
El proceso de evaluacin, tal y como se ha efectuado en otros proyectos como por ejemplo la
evaluacin de la transicin al mercado laboral, se ha estructurado en dos mbitos:
a) Uno centralizado, que incluye todos aquellos aspectos que son comunes a todas las
titulaciones (misin, visin, polticas de recursos humanos, etc.), haciendo especial
nfasis en las polticas y mecanismos de aseguramiento de la calidad, incluidos los
sistemas de informacin que deben sustentar dichos mecanismos.
Para evaluar estos aspectos se ha elaborado la Gua de evaluacin institucional.
b) Uno especfico de cada titulacin, en el que se concreta el funcionamiento de los
aspectos, polticas y mecanismos generales: adecuacin del perfil de formacin,
adecuacin del perfil y tipologas de profesorado, etc.
Para evaluar estos aspectos, en cada una de las titulaciones, se ha elaborado la Gua
de evaluacin de las titulaciones virtuales.
Consiguientemente, se han definido dos tipologas de comits: un comit institucional y comits
especficos para la evaluacin de las titulaciones.
Evaluacin
especfica
Evaluacin
especfica
Evaluacin
especfica
Evaluacin
especfica
Evaluacin
institucional
Evaluacin
especfica
Evaluacin
especfica
Evaluacin
especfica
Evaluacin
especfica
10
El contenido de la evaluacin
La evaluacin institucional se organiza alrededor de tres grandes apartados (vase el cuadro
2):
11
12
13
La evaluacin interna
El autoinforme
El autoinforme representa la pieza clave del modelo de evaluacin adoptado y la principal
evidencia del proceso de evaluacin externa. El autoinforme, para poder fundamentar un buen
plan de mejora, debe ser un diagnstico cuidadoso y objetivo. Debe cumplir, entre otros, los
siguientes requisitos:
Completo y riguroso: debe analizar y valorar los elementos considerados clave para la
realidad que se quiere evaluar y mejorar.
Sistemtico y detallado con respecto al anlisis de las causas y, por lo tanto, de lo que
es necesario para afrontar las mejoras.
Compartido por los agentes o por las comunidades afectadas, para asegurar la
representatividad en el anlisis y, consiguientemente, su exhaustividad o la inclusin
de las distintas perspectivas.
14
dos vicerrectores,
dos vicegerentes,
el director de estudios,
dos profesores,
15
discrepancias de los puntos de vista interno y externo, lo que determina el uso de un protocolo
igual tanto por el comit interno como por el comit externo.
El protocolo, tal y como puede verse en el esquema 3, se organiza de la siguiente manera:
a) En la pgina izquierda se encuentran las dimensiones a evaluar, para las que se
presenta una relacin de indicadores o elementos que configuran aspectos de calidad
de la dimensin analizada. Las valoraciones de esta parte se efectan en una escala
de 4 puntos (de muy favorable o muy adecuado a nada favorable o nada adecuado).
b) En la pgina derecha se incluyen los estndares que deben orientar el juicio evaluativo
del comit y una relacin de evidencias que podran sustentar las opiniones o
valoraciones efectuadas.
Los estndares del protocolo se han elaborado a partir de las siguientes fuentes:
Por un lado, los estndares especficos para la formacin virtual: Council for Higher Education Accreditation
(CHEA), Institute for Higher Education Policy (IHEP) y The cooperative advancing in the effective use of
technology in Higher Education (WCET).
Por otro lado, los estndares de acreditacin de las titulaciones participantes en el proyecto Pruebas piloto de las
titulaciones en el Espacio europeo de educacin superior, y los estndares y directrices para el aseguramiento de
la calidad en el Espacio europeo de educacin superior (estndares para el aseguramiento interno de la calidad)
adoptados en la Declaracin de Bergen por los ministros responsables de educacin superior, y que a partir de
ahora guiarn la elaboracin de todas las metodologas de evaluacin/acreditacin en Europa.
16
Dimensin de
evaluacin
Pregunta
resumen
Estndares
Indicadores
Evidencias
Pgina derecha
Pgina izquierda
17
Dimensin a evaluar
Pregunta clave
Paso 3
Paso 1
Paso 2
El comit externo slo hace la valoracin de la pregunta resumen y no de cada uno de los indicadores de la
dimensin evaluada.
18
En el momento de decidir el juicio que describe mejor la realidad de la titulacin, hay que tener
en cuenta los siguientes referentes:
Los datos o evidencias ofrecidos. En caso de que sean datos, hay que tomar en
consideracin su evolucin y, cuando sea posible, compararlos con otros (por ejemplo,
datos de la titulacin en relacin con otras titulaciones del mismo mbito, etc.).
El criterio del propio comit o el validado por la comunidad evaluada como consecuencia
de un proceso de consulta ms o menos estructurado.
19
debilidades detectadas. De esta forma puede valorarse un primer nivel de coherencia entre
la situacin presente y las estrategias propuestas para llegar a la situacin deseada.
20
21
Los CAE especficos de titulaciones incluirn los perfiles acadmico, profesional y de experto
en metodologa de evaluacin. A continuacin se describe el perfil de dichas figuras:
El perfil profesional estar ocupado por graduados de la UOC. Debe ser un profesional con
experiencia en el campo laboral propio de la titulacin que se evala. Por su perfil, debe
poder aportar informacin sobre los nuevos requerimientos de la empresa en la formacin
de las personas tituladas o bien sobre la prctica profesional relacionada con las
correspondientes enseanzas.
El perfil del metodlogo estar constituido por personas con experiencia en la evaluacin
de programas de formacin o en la evaluacin de la calidad institucional de las
universidades, preferentemente con conocimientos sobre el mbito de formacin virtual.
Los miembros de los CAE son nombrados por la Direccin de AQU Catalunya, previo
conocimiento de las titulaciones o las universidades. Uno de los evaluadores tiene el cargo de
presidente del comit externo.
La visita in situ
Los expertos externos recibirn formacin sobre el campus virtual antes de la visita, para
aprovechar mejor el tiempo de las audiencias, y se darn contraseas para poder visitar dicho
campus antes de la visita fsica.
La duracin de la visita ser de dos das, y estar previamente concertada. Existe un intervalo
de al menos tres semanas entre la recepcin del autoinforme y la visita a la institucin o la
unidad a evaluar. Se inicia con un encuentro del CAE en la tarde del primer da, que servir
para que cada miembro haga una valoracin individual del autoinforme y para preparar los
contenidos que se tratarn con cada una de las diferentes audiencias con las que se reunir. El
segundo da se inician las audiencias con los distintos colectivos. A continuacin se detalla la
tipologa de audiencias de cada uno de los comits.
Audiencias del CAE institucional con:
1. el CAI institucional y/o el Consejo de Gobierno,
2. profesorado,
22
3. mbito tecnolgico,
4. comunicacin y gestin de los estudios y
5. directores de estudios.
Audiencias de los CAE de titulaciones con:
1. el CAI (presencial),
2. estudiantes (virtual),
3. colaboradores docentes: consultores y tutores (virtual),
4. graduados (presencial),
5. profesorado propio de la titulacin (presencial) y
6. responsables de la titulacin: directores de estudios y de programas (presencial).
En ambos casos la visita finaliza con un encuentro con el CAI en el que el CAE presenta de
forma oral un borrador de su informe.
Se recomienda que las audiencias virtuales se realicen con antelacin, a fin de facilitar al
mximo la participacin.
Valoracin del CAE sobre cada uno de los apartados del protocolo, incluyendo una
justificacin del juicio valorativo (evidencias a partir de las que emite la
valoracin...).
El informe externo que elabora el CAE tiene en cuenta el informe externo institucional y el
autoinforme a nivel de titulaciones. Por ejemplo, el apartado de resultados se iniciar con el
anlisis del CAE institucional sobre la planificacin y funcionamiento de los mecanismos de
aseguramiento de la calidad con respecto a los resultados, y, seguidamente, se proceder a la
valoracin de si los resultados son en la prctica satisfactorios para cada una de las
titulaciones evaluadas.
23
24
Corresponde al CAI elaborarlo a partir del autoinforme y del informe externo. Este informe
contiene una sntesis de la valoracin de las distintas dimensiones, as como los puntos
fuertes y dbiles y, fundamentalmente, el plan de mejora de la titulacin/estudios o de
la institucin en general.
Este informe ser ampliamente divulgado entre los miembros de la comunidad y se dirigir
al comit de calidad de la universidad. As, el informe cumple con las siguientes funciones:
25
Protocolo de evaluacin
Escala de valoracin:
a)
b)
c)
d)
27
Positivo
Poco positivo
Nada positivo
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
NOTA: Hay que detallar la composicin del comit de evaluacin interno, as como el nmero
de reuniones y el calendario de trabajo.
29
En resumen:
Es favorable la posicin estratgica interna de la titulacin?
Muy favorable
Favorable
Poco favorable
Nada favorable
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
30
Evidencias
Estudios de los perfiles de los estudiantes de nueva entrada, as como de los estudiantes
matriculados.
En cuanto a la cantidad y calidad de los estudiantes, las tablas 1a, 1b, 2 y 3 permiten que
el CAI disponga de evidencias oferta, demanda, estudiantes de nuevo acceso,
estudiantes totales matriculados para situar la titulacin en una posicin de ms o menos
fortaleza, de acuerdo con la trayectoria evolutiva y con la situacin respecto al resto de
titulaciones de la universidad y, en especial, respecto a otras titulaciones iguales o afines.
31
1.2.
En resumen:
Es favorable la posicin estratgica externa de la titulacin?
Muy favorable
Favorable
Poco favorable
Nada favorable
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
32
Evidencias
Documentacin:
Estadsticas:
33
2. Programa de formacin
2.1.
En resumen:
Es satisfactoria la definicin del perfil de formacin?
Muy satisfactoria
Satisfactoria
Poco satisfactoria
Nada satisfactoria
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
34
2. Programa de formacin
2.1. Definicin del perfil de formacin
Estndares
Evidencias
35
2.2.
En resumen:
Es adecuado el programa de estudios al perfil de formacin?
Muy adecuado
Adecuado
Poco adecuado
Nada adecuado
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
36
El programa de estudios est estructurado a partir de los objetivos derivados del perfil de
formacin.
Los programas de las asignaturas son coherentes entre ellos y con el programa de
estudios.
Evidencias
37
3. Diseo de instruccin
3.1.
Metodologa docente
En resumen:
Es adecuada la metodologa docente en cuanto a la naturaleza de la enseanza y a las
caractersticas de las enseanzas a distancia?
Muy adecuada
Adecuada
Poco adecuada
Nada adecuada
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
38
3. Diseo de instruccin
3.1. Metodologa docente
Estndares
Evidencias
39
3.2.
En resumen:
Son adecuadas las actividades propuestas en cuanto al perfil de formacin y a las
caractersticas de las enseanzas a distancia?
Muy adecuadas
Adecuadas
Poco adecuadas
Nada adecuadas
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
40
41
3.3.
Organizacin de la enseanza
En resumen:
Es adecuada la organizacin de la enseanza en cuanto a las caractersticas propias de los
sistemas no presenciales?
Muy adecuada
Adecuada
Poco adecuada
Nada adecuada
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
42
Evidencias
43
3.4.
En resumen:
Es satisfactorio el funcionamiento del sistema de orientacin y tutora empleado en la
enseanza?
Muy satisfactorio
Satisfactorio
Poco satisfactorio
Nada satisfactorio
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
44
Evidencias
Desviacin media del tiempo de respuesta respecto al tiempo mximo establecido por la
institucin.
45
3.5.
En resumen:
Es satisfactoria la estructura tcnica dedicada a la instruccin?
Muy satisfactoria
Satisfactoria
Poco satisfactoria
Nada satisfactoria
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
46
Evidencias
47
3.6.
En resumen:
Es satisfactorio el grado de comunicacin interpersonal entre sujetos pertenecientes a los
distintos colectivos?
Muy satisfactorio
Satisfactorio
Poco satisfactorio
Nada satisfactorio
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
48
Evidencias
49
Sistema evaluativo
En resumen:
Es adecuado el sistema de evaluacin de los aprendizajes empleado de acuerdo con la
naturaleza de la enseanza y con las caractersticas especficas de las enseanzas virtuales?
Muy adecuado
Adecuado
Poco adecuado
Nada adecuado
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
50
Las evaluaciones son revisadas peridicamente para ponerlas al da en relacin con los
cambios que se producen en el campo especfico del conocimiento.
Evidencias
51
5. Resultados
5.1.
En resumen:
Son satisfactorios los resultados acadmicos de los estudiantes?
Muy
satisfactorios
Satisfactorios
Poco satisfactorios
Nada satisfactorios
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
52
5. Resultados
5.1. Dimensin acadmica: resultados
Estndares
Los estudiantes finalizan los estudios en el tiempo previsto, teniendo en cuenta su situacin
personal.
Las tasas de abandono, xito, rendimiento y eficiencia son las adecuadas de acuerdo con
la naturaleza de estas enseanzas.
Evidencias
Desviacin media del tiempo de finalizacin de los estudios del conjunto de estudiantes
respecto a la media de tiempo expresada en sus proyectos personales tutorizados.
53
5.2.
En resumen:
Son satisfactorios los resultados profesionales de los estudiantes?
Muy
satisfactorios
Satisfactorios
Poco satisfactorios
Nada satisfactorios
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
54
Evidencias
55
5.3.
En resumen:
Son satisfactorios los resultados personales de los estudiantes?
Muy
satisfactorios
Satisfactorios
Poco satisfactorios
Nada satisfactorios
Indicadores:
* Vase la escala de valoracin en la portada del protocolo.
56
Los estudios realizados han desarrollado las competencias clave y transversales de los
graduados.
Evidencias
57