Sei sulla pagina 1di 24

16173 Bordn 63.

2 (2)

19/5/11

15:13

Pgina 117

ANLISIS DE LOS CRITERIOS DE LA COMISIN


NACIONAL EVALUADORA DE LA ACTIVIDAD
INVESTIGADORA (CNEAI) PARA LA CONCESIN
DE LOS TRAMOS DE INVESTIGACIN EN EDUCACIN
Analysis of the criteria of the National Commission
for the Evaluation of Research Activity (CNEAI) for the concession
of the research incentives in Education
ARTURO GALN
Universidad Nacional de Educacin a Distancia (UNED)
IZABELA ZYCH
Universidad de Crdoba
Universidad de Huelva

La evaluacin de la Educacin Superior ha ganado gran importancia en los ltimos aos. Entre
las causas que han generado un incremento en el nmero de evaluaciones destacan la creacin
del Espacio Europeo de Educacin Superior y las nuevas Leyes Orgnicas espaolas y sus desarrollos por las que se establecen complementos retributivos y procedimientos de acreditacin
del profesorado. Aunque se hayan realizado varios estudios relacionados con criterios, parmetros e indicadores para dicha evaluacin, son muy pocos los trabajos dedicados a analizar
los criterios para la concesin de los sexenios. Por ello, el objetivo del presente estudio consiste en llevar a cabo dicho anlisis, prestando especial atencin al campo de la Educacin. Los
resultados ponen de manifiesto que el criterio ms claro para conseguir la evaluacin positiva
es la aportacin de artculos publicados en revistas incluidas en el Journal Citation Reports
(JCR). Aunque se acepta en la normativa la valoracin de otras aportaciones no incluidas en el
JCR, siempre y cuando cumplan, a juicio del Comit Asesor, una serie de criterios de calidad
que se mencionan en las convocatorias a partir del 2005, se demuestra que los criterios son
poco especficos y que no existe ningn baremo objetivo que pueda ser aplicado a la hora de
valorar los mritos aportados por los solicitantes. Esta situacin provoca una enorme tasa de
fracaso en trminos absolutos y en comparacin con otras reas. En conclusin, se incluyen
una serie de recomendaciones para mejorar el sistema de evaluacin de la productividad investigadora en el futuro.
Palabras clave: Educacin Superior, Evaluacin, Profesorado, Complementos de produc-

tividad.

Fecha de recepcin: 18-04-11 Fecha de aceptacin: 26-04-11

Bordn 63 (2), 2011, 117-139, ISSN: 0210-5934 117

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 118

Arturo Galn e Izabela Zych

Introduccin
En el ltimo decenio, Espaa se ha visto envuelta en un proceso creciente de evaluacin de la
Educacin Superior, en parte por la entrada en
el Espacio Europeo de Educacin Superior
(acreditacin y verificacin de los ttulos oficiales) y, por otro lado, por la aplicacin de la LOU
(2001) y la LOMLOU (2007), en especial en lo
relativo al artculo 55 que permite complementos retributivos al profesorado por mritos individuales y a los artculos 50-52 relacionados con
la seleccin de profesorado contratado. An
ms recientemente (7/1/2011), se ha presentado
el Borrador del Estatuto del Personal Docente e
Investigador de las Universidades Pblicas
Espaolas, que dibuja una carrera horizontal
sometida a evaluacin externa.
Este proceso ha provocado un contexto de presin evaluativa para el profesorado (Galn,
2007; Galn y Rubalcaba, 2006) que puede influir negativamente en los objetivos de mejora
de la calidad que propician dichas polticas. La
objetividad y la transparencia son elementos
esenciales para dotar de credibilidad y prestigio
a las evaluaciones realizadas.
En el actual contexto de competitividad global,
la evaluacin de la actividad cientfica de los profesores e investigadores cobra especial relevancia, de modo que la existencia de Highly Cited
Researches es uno de los indicadores importantes
a la hora del establecimiento de los rankings
internacionales de universidades, como el Times
Higher Education World University Rankings o el
Academic Ranking of World Universities (de la
Shanghai Jiao Tong University) o ranking nacionales (Buela-Casal, Bermdez, Sierra, QuevedoBlasco y Castro, 2009, 2010).
Espaa se convierte as en uno de los pases con
mayor control externo del trabajo realizado por el
profesorado en todos los niveles (investigacin,
docencia, gestin, transferencia del conocimiento, innovacin, etc.), y cuyas evaluaciones suponen decisiones cruciales para las posibilidades

118 Bordn 63 (2), 2011, 117-139

de promocin y salario, siendo un modelo muy


distinto del utilizado en las universidades norteamericanas. La primera experiencia espaola de
este tipo, la evaluacin de los tramos de investigacin, con todas sus limitaciones, es probablemente la causa ms importante del crecimiento
exponencial en los ltimos 30 aos de la presencia de investigadores espaoles en las revistas
con mayor visibilidad cientfica mundial.
Los trabajos relacionados con la evaluacin de la
actividad cientfica han aumentado a lo largo de
los ltimos aos. Por un lado, se invent el Factor de Impacto basado en el nmero de citas
recibidas por las revistas cientficas y recogido
en el Journal Citation Reports (JCR) (Garfield,
2003). Diferentes investigadores han analizado
el Factor de Impacto o el nmero de citas (Buela-Casal, 2010; Buela-Casal y Zych, 2010), el
ndice h (Buela-Casal, Olivas-vila, Musi-Lechuga y Zych, 2011) o la produccin de investigadores en revistas incluidas en el JCR
(Olivas-vila y Musi-Lechuga, 2010a, 2010b).
Incluso se han creado otros ndices relacionados,
como por ejemplo, el ndice de Internacionalidad (Buela-Casal, Zych, Sierra y Bermdez,
2007; Zych y Buela-Casal, 2007, 2009, 2010).
Igualmente, se ha reflexionado e investigado
mucho en relacin con el proceso de contratacin y acreditacin de profesorado universitario
por parte de la Agencia Nacional de Evaluacin
de la Calidad y Acreditacin (ANECA) (BuelaCasal, 2005a, 2007a, 2007b; Galn y Serrano,
2006; Sierra, Buela-Casal, Bermdez y SantosIglesias, 2008, 2009a, 2009b) y tambin sobre
los criterios de evaluacin de la Educacin Superior (Arana Uli, 2010; Bermdez, Castro, Sierra
y Buela-Casal, 2009; Betz, 2010; Buela-Casal
et al., 2009; Buela-Casal, Guilln-Riquelme,
Guglielmi, Quevedo-Blasco y Ramiro, 2011;
Castro et al., 2010; Garca-Berro et al., 2010). No
obstante, son pocos los trabajos que se hayan
dedicado a analizar los criterios para la concesin de los sexenios.
Desde el Real Decreto 1086/89 de 28 de agosto
de 1989, se establece que la evaluacin de la

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 119

Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

investigacin del profesorado universitario e


investigadores del Consejo Superior de Investigaciones Cientficas (CSIC) sea realizada por la
Comisin Nacional Evaluadora de la Actividad
Investigadora (CNEAI). En caso de la obtencin
de una evaluacin positiva, la CNEAI reconoce
el llamado complemento de productividad, tambin denominado tramo de investigacin o sexenio. Desde entonces, diferentes convocatorias
anuales han regido el proceso de evaluacin.
Tal como comentaba De Miguel Daz (1997),
miembro de uno de los Comits de la CNEAI en
el campo de la Educacin, la evaluacin de la
actividad investigadora se realiza a partir de los
indicadores de la misma, sin analizar el trabajo
en s. Por ello, el mismo autor resalta que en caso
de que los profesores presenten informacin
incompleta acerca de los mismos, la probabilidad
de conseguir una evaluacin positiva es baja. Por
tanto, el conocimiento de los criterios de evaluacin de la Comisin es crucial para poder conseguir el resultado deseado. En este sentido, uno de
los objetivos del presente documento consiste en
acercar dichos criterios al lector, analizando su
significado y posibles interpretaciones en el
mbito de la Educacin. Dicho anlisis entraa
una dificultad especial ya que, a diferencia de
otras reas, los criterios de evaluacin y su aplicacin para conseguir una evaluacin positiva no
son claros. Por otra parte, la falta de claridad puede afectar a la coherencia entre convocatorias en
el juicio evaluativo dentro de un mismo Comit,
al interpretar los evaluadores de forma diferente
los mismos criterios de evaluacin, lo que puede
aumentar la tasa de tramos denegados y la confusin de la comunidad cientfica.
Hace ya cerca de 15 aos, De Miguel Daz (1997)
analiz las diferencias entre los subcampos del
campo sptimo en el que se incluan y se siguen
incluyendo las Ciencias Sociales, Polticas, del
Comportamiento y de la Educacin, centrndose
sobre todo en el ltimo. Segn dicho autor, los
problemas del subcampo de la Educacin estaban
relacionados con la escasez de publicaciones internacionales, un elevado nmero de publicaciones

nacionales con poco rigor cientfico y poca difusin. Por otra parte, el autor comenta que algunas
reas de la Educacin son nuevas y tienen poca
tradicin investigadora, variedad de enfoques bsicos o aplicados, presencia de trabajos de innovacin/creacin en vez de investigacin, junto con
las diferencias debidas a contextos, conceptos de
investigacin o pertenencia o no a equipos de investigacin. Por todo ello, dicho autor sugiere
que el subcampo de la Educacin puede verse desfavorecido en relacin con el resto de los subcampos en el mismo grupo. Sin embargo, De Miguel
no abord dos de los problemas fundamentales: la
poca transparencia del sistema de evaluacin, que
no permita a los solicitantes conocer las revistas y
editoriales que daban lugar a una evaluacin positiva y, de acuerdo con Aliaga (2009), la cuestionable aplicacin de dichos criterios por parte de los
Comits de Evaluacin.
Un buen anlisis de los principios y criterios
utilizados por la CNEAI ha sido publicado
recientemente por Ruiz-Prez, Delgado LpezCzar y Jimnez-Contreras (2010). En ste se
ha puesto de manifiesto que, en trminos generales, los criterios se han ido reorientando a lo
largo de los aos, introduciendo nuevos ndices
e incorporando los libros. Estas dos modificaciones parecen ser especialmente importantes
para el campo de la Educacin.
Por otra parte, hay una serie de trabajos relacionados con los tramos de investigacin que han
sido publicados en nuestro pas. Buela-Casal
(2005b) analiz la productividad cientfica en las
universidades espaolas, incluyendo los porcentajes de sexenios teniendo en cuenta diferentes
universidades espaolas y las figuras de profesor
titular y catedrtico de universidad, sin distinguir, sin embargo, por campos de conocimiento.
En otro trabajo de investigacin, se relacion el
aumento en el nmero de artculos internacionales, entendidos como documentos incluidos en la
Web of Science, y el impacto de la CNEAI. Los
autores de dicho estudio argumentan que el
aumento es debido, entre otros factores, a que la
Comisin da preferencia a los artculos incluidos

Bordn 63 (2), 2011, 117-139 119

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 120

Arturo Galn e Izabela Zych

en esta base de datos (Jimnez-Contreras, Moya


Anegn y Delgado Lpez-Czar, 2003). Otros trabajos se han realizado para reflexionar sobre los
criterios para la concesin de sexenios (Echebura
Odriozola, 2002; Fernndez Esquinas, Prez Yruela y Merchn Hernndez, 2005; Pelechado Barber, 2002; Polaino Lorente, 2002; Roales-Nieto y
Luciano, 2002; Salvador Coderch, Azagra Malo
y Gmez Ligerre, 2008; Sanz Menndez, 1995).
A pesar de la existencia de diferentes trabajos
relacionados con los criterios utilizados por la
CNEAI mencionados anteriormente, el nico
aplicado especficamente al campo de la Educacin tiene casi 15 aos de antigedad. Debido a
que dicho campo de conocimiento parece desfavorecido, en comparacin con otros de su
mismo grupo y con otros campos, es crucial
analizar los criterios que permiten la obtencin
de un tramo de investigacin en Educacin. El
presente trabajo trata de abordar ese objetivo y
analizar los elementos que lo dificultan.
No cabe duda de que en estos casi 15 aos se ha
producido una aclaracin de los criterios para
conseguir una evaluacin positiva, as como un
comprensible aumento del nivel de exigencia.
Sin embargo, como trataremos de demostrar, las
altas tasas de evaluaciones negativas en Educacin en comparacin con otros campos reflejan
dos grandes problemas que no han sido debidamente abordados por las autoridades de la
CNEAI: a) la no aplicacin, por parte de los Comits de Evaluacin, de los propios criterios de
evaluacin definidos por la CNEAI (Aliaga, 2009)
tal y como se deduce del manifiesto firmado por
las reas de Educacin (ver anexo I); b) la falta
de transparencia a la hora de informar sobre los
medios de difusin que generan, en la prctica,
una evaluacin positiva. En esta lnea, Aliaga
(2009: 26) afirma: [] revistas que cumplen
con todos y cada uno de los requisitos del Apndice 1, son luego consideradas, durante el proceso de evaluacin por parte de los Comits de la
CNEAI, revistas de escasa repercusin cientfica, aunque simultneamente sean premiadas
por su calidad por otros organismos del mismo

120 Bordn 63 (2), 2011, 117-139

Ministerio al que pertenece la CNEAI, y estn


entre las de mayor impacto segn los estudios
empricos de IN-RECS. As las cosas, el problema ya no parece ser slo de explicitacin de criterios, faceta en la que an quedara mucho por
avanzar, sino tambin, directamente, del cumplimiento de los mismos por parte de los integrantes de los Comits.
Se propondrn, finalmente, algunas recomendaciones para mejorar la tasa de tramos conseguidos, tanto desde el punto de vista de la poltica de evaluacin de la CNEAI como desde el
punto de vista del solicitante.

Mtodo
Unidad de anlisis
En el presente estudio, se han utilizado los documentos relacionados con los criterios de evaluacin para el reconocimiento de complementos
de productividad disponibles en la pgina web
de la CNEAI (http://www.educacion.es/horizontales/ministerio/organismos/cneai.html).
Igualmente, se han utilizado los Boletines Oficiales de Estado en los que se establecen criterios generales y/o especficos para el reconocimiento de dichos complementos. Por ltimo,
se ha consultado el Journal Citation Reports.

Diseo
Este trabajo se clasifica como estudio descriptivo
mediante anlisis de documentos (Montero y
Len, 2007) y se ha redactado segn las normas
establecidas por Ramos-lvarez, Moreno-Fernndez, Valds-Conroy y Catena (2008).

Procedimiento
Despus de una minuciosa bsqueda de bibliografa al respecto, se ha realizado un anlisis

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 121

Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

exhaustivo del contenido de la pgina web de la


CNEAI y de los Boletines Oficiales de Estado en los
que se establecan criterios generales y especficos
para el campo de la Educacin para la concesin
de complementos de productividad (sexenios).
Dichos criterios se han incorporado en una tabla,
recogiendo a su vez las rdenes, Resoluciones o
Reales Decretos en los que aparecan. Igualmente,
se han analizado los datos sobre los resultados de
dicha evaluacin para la Educacin, disponibles en
la web de la CNEAI. Adems, se calcularon resultados para cada rea dentro del campo de la Educacin, a partir de los datos brutos disponibles en
una hoja de clculo de Microsoft Office Excel en la
pgina de la CNEAI.
Finalmente, se realiz una bsqueda de las revistas iberoamericanas de la Educacin incluidas
en la Web of Science, apuntando en una tabla los
pases donde se editan, su Factor de Impacto y
en qu cuartil de su categora se encuentran.

Resultados y discusin
Los criterios generales y especficos en el campo
de la Educacin para el reconocimiento de complementos de productividad se recogen en tabla 1.
Durante 16 largos aos, entre 1989 y 2005, la evaluacin de la actividad investigadora del profesorado adoleci de falta de criterios pblicos, transparentes y objetivos que permitieran a los
solicitantes prever el resultado de la evaluacin
con cierto grado de fiabilidad ms all de una
genrica e inconcreta referencia al JCR. La
necesidad de aclarar y especificar los criterios para
la evaluacin del profesorado en Espaa ya se
haba comentado en otros contextos, como, por
ejemplo, en el sistema de acreditacin (BuelaCasal, 2005a, 2007b) o de contratacin del profesorado (Galn y Serrano, 2006). Si bien es cierto
que en las reas ms prximas a las ciencias experimentales y biosanitarias existan ya unos claros
referentes internacionales para valorar el impacto
y la calidad de la produccin cientfica, se no era
el caso de muchas reas de Ciencias Sociales y

Humanidades. Desde luego, en las Ciencias de la


Educacin no exista ningn listado pblico y
reconocido de revistas de calidad, siendo porcentualmente irrelevante el nmero de profesores
(catedrticos incluidos) que publicaban en revistas incluidas en el SSCI del JCR. Por consiguiente, hasta 2005, en el campo de la Educacin,
tanto por tradicin como por la orientacin
imprimida por los maestros responsables de formar a las nuevas hornadas de profesorado novel,
el JCR era visto mayoritariamente como algo ajeno al mbito propio de produccin cientfica.
No obstante, el paso de los aos fue transformando la poltica ministerial y de los responsables de
la CNEAI, as como la mentalidad de los evaluadores que se incorporaban a dicho organismo. En
este sentido, desde la aprobacin de la LOU
(2001), lo que se inici aos atrs como un complemento econmico individual de productividad, se ha ido convirtiendo en el sello de calidad
ms reconocido y ms utilizado en Espaa, tanto para la promocin profesional como para el
desempeo de ciertos cargos acadmicos de especial relevancia. La consecuencia de ello ha sido un
endurecimiento paulatino de los estndares para
la evaluacin positiva. Esta posicin, que podra
tener su defensa, ha sido la fuente de un creciente malestar en las reas de Educacin, no tanto
por el nivel de exigencia como por el absoluto
desconocimiento de los criterios utilizados para
considerar a las revistas NO-JCR y las editoriales
de libros como de reconocido prestigio. No
se comprende bien el motivo para no hacer
pblicos los listados con las puntuaciones
otorgadas a las revistas y editoriales por los
Comits de Evaluacin. La simple publicacin
de la prctica evaluativa realizada por los Comits habra orientado a los solicitantes de
convocatorias posteriores, evitando las publicaciones mal valoradas por dichos Comits.
Por otra parte, los cambios constatados en los
criterios internos de evaluacin entre convocatorias significaban cambios significativos en
las puntuaciones otorgadas a una misma
publicacin, prctica que ha dado lugar a ciertos agravios comparativos.

Bordn 63 (2), 2011, 117-139 121

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 122

Arturo Galn e Izabela Zych

TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios
Orden / Resolucin / Real Decreto

Resumen de los criterios generales y especficos


en educacin

Real Decreto 1086/1989, de 28 de agosto de 1989,


sobre retribuciones del profesorado universitario

Criterios generales:
Slo se menciona que se evala el rendimiento en la
investigacin.
Criterios especficos:
No se incluyen.
En general, no se incluyen criterios para la evaluacin
de los tramos de investigacin.
Criterios generales:
Se tiene en cuenta la contribucin al progreso
del conocimiento, la innovacin y creatividad de
las aportaciones
Tienen prioridad los trabajos formalmente
cientficos e innovadores frente los descriptivos
o divulgativos.
Los trabajos se dividen en ordinarios (libros,
captulos de libros, prlogos, introducciones y
anotaciones a textos; artculos de vala cientfica;
patentes, o modelos de utilidad, de importancia
econmica demostrable) y extraordinarios.
(informes, estudios y dictmenes; trabajos tcnicos
o artsticos; participacin relevante en exposiciones
de prestigio, excavaciones arqueolgicas o
catalogaciones; direccin de tesis doctorales de
mritos excepcionales; comunicaciones a
congresos, como excepcin).
Las aportaciones ordinarias tienen prioridad y las
extraordinarias se valoran excepcionalmente.
Se consideran indicios de calidad (relevancia
cientfica del medio, criterios internacionales si
existen en la disciplina, referencias de otros autores,
apreciacin del solicitante sobre la contribucin de su
trabajo, reseas, datos de explotacin de patentes).
Criterios especficos:
No se menciona en ningn momento el campo de
la Educacin; en cuanto a los criterios especficos
que no hacen referencia a ningn campo en
concreto se incluye lo siguiente:
Se tiene en cuenta la situacin en la disciplina del
solicitante.
Se reitera que las aportaciones deben ser de
reconocido prestigio o valor en su rea.
Se aplicarn criterios internacionales de calidad si
existen en el rea.

Orden de 2 de diciembre de 1994 por la que se


establece el procedimiento para la evaluacin
de la actividad investigadora en desarrollo del
Real Decreto 1086/1989, de 28 de agosto, sobre
retribuciones del profesorado universitario
Resolucin de 5 de diciembre de 1994 de la Secretara
de Estado de Universidades e Investigacin por la que
se establece el procedimiento para la evaluacin
de la actividad investigadora realizada por los miembros
de las Escalas de Profesores de Investigacin,
Investigadores Cientficos y Colaboradores Cientficos
del Consejo Superior de Investigaciones Cientficas,
a efectos de reconocimiento del componente excepcional
del complemento de productividad

122 Bordn 63 (2), 2011, 117-139

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 123

Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios (cont.)
Orden / Resolucin / Real Decreto

Resumen de los criterios generales y especficos


en educacin

Resolucin de 26 de octubre de 1995 de la Direccin


General de Investigacin Cientfica y Tcnica-Presidencia
de la Comisin Nacional Evaluadora de la Actividad
Investigadora, por la que se establecen los criterios
especficos en cada uno de los campos de evaluacin

Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
No se especifican criterios para Educacin, pero s
para el campo 7 Ciencias Sociales, Polticas, del
Comportamiento y de la Educacin:
Las cinco aportaciones deben ser ordinarias y
suponer un progreso de la ciencia.
Preferentemente artculos en revistas del Journal
Citation Reports, aunque la Comisin podr
reconocer la calidad de otras revistas segn un
control de calidad de los artculos publicados.
En las tesis, se tendrn en cuenta los trabajos
publicados derivados de stas.
En casos justificados, se podrn valorar trabajos
de desarrollo tcnico, ej. estudios o informes.
stos deben cumplir una serie de criterios y como
mximo se pueden valorar dos aportaciones de este
tipo.
La participacin del solicitante debe ser activa.
Las cinco aportaciones deben cumplir dichos
criterios aunque pueden ser menos si son de
especial relevancia.
Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
Nuevamente, no hay criterios especficos en el
campo de la Educacin, aunque s se establecen para
el campo 7. Los criterios son los mismos que en la
resolucin de 26 de octubre de 1995, con la siguiente
diferencia:
Al menos una aportacin debe ser artculo en
revistas del Journal Citation Reports, aunque la
Comisin podr reconocer la calidad de otras
revistas.

Resolucin de 6 de noviembre de 1996, de la Direccin


General de Enseanza Superior Presidencia de
la Comisin Nacional Evaluadora de la Actividad
Investigadora, por la que se establecen los criterios
especficos en cada uno de los campos de evaluacin

Bordn 63 (2), 2011, 117-139 123

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 124

Arturo Galn e Izabela Zych

TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios (cont.)
Orden / Resolucin / Real Decreto

Resumen de los criterios generales y especficos


en educacin

Resolucin de 25 de octubre de 2005, de la Presidencia


de la Comisin Nacional Evaluadora de la Actividad
Investigadora, por la que se establecen los criterios
especficos en cada uno de los campos de evaluacin

Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
Se mantienen los criterios de las resoluciones
anteriores, introduciendo los siguientes cambios:
Aunque se establezca que el nmero de autores no
sea evaluable, se comenta que debe ser justificado
por la complejidad.
Se ampla el elenco de revistas de reconocida vala.
El JCR deja de ser el nico criterio preferente. En
esta lnea, se especifican con ms detalle (Apndice
1 de la resolucin) los criterios de calidad de las
revistas alternativas al Journal Citation Reports.
Las revistas electrnicas se consideran cuando
aparezcan en los listados del Journal Citation
Reports.
Se introducen los libros y como criterios de calidad
de stos el nmero de citas, la editorial, la
coleccin, las reseas y las traducciones.
Se eliminan los apartados de tesis o trabajos de
desarrollo tcnico referidos a todo el campo 7.
Para que la evaluacin sea positiva, las cinco
aportaciones deben cumplir los criterios, a
excepcin de trabajos de especial calidad.
Por primera vez se hace mencin especfica al
campo de Ciencias de la Educacin en el que, para
la evaluacin positiva, las aportaciones deben
cumplir alguno de los siguientes criterios: a) que
una sea un libro monogrfico de investigacin, b)
que dos sean artculos del JCR o c) que tres sean
artculos nacionales o internacionales que cumplan
los criterios de calidad del Apndice 1.
Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
A continuacin se especifican los cambios con
respecto a las resoluciones anteriores:
Un elevado nmero de autores puede reducir la
calificacin, a no ser que sea justificado por la
complejidad del tema.
Las revistas electrnicas estarn sujetas a los
mismos criterios que las restantes.

Resolucin de 17 de noviembre de 2006, de la Presidencia


de la Comisin Nacional Evaluadora de la Actividad
Investigadora, por la que se establecen los criterios
especficos en cada uno de los campos de evaluacin

124 Bordn 63 (2), 2011, 117-139

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 125

Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios (cont.)
Orden / Resolucin / Real Decreto

Resumen de los criterios generales y especficos


en educacin

Resolucin de 6 de noviembre de 2007, de la Presidencia


de la Comisin Nacional Evaluadora de la Actividad
Investigadora, por la que se establecen los criterios
especficos en cada uno de los campos de evaluacin
Resolucin de 11 de noviembre de 2008, de la Presidencia
de la Comisin Nacional Evaluadora de la Actividad
Investigadora, por la que se establecen los criterios
especficos en cada uno de los campos de evaluacin

Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
No hay cambios en relacin con la resolucin anterior.
Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
Se incluyen los libros y captulos de libros como
aportaciones valoradas preferentemente.
Se valoran tambin artculos en revistas de otras
bases de datos nacionales o internacionales (por
ejemplo, ERIH, INRECS, LATINDEX, SCOPUS,
DICE-CINDOC, etc.) si cumplen los criterios de
calidad a juicio del comit asesor. No obstante,
contina existiendo el Apndice 1.
Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
Se incluyen artculos en revistas acreditadas por la
FECYT entre los que pueden ser valorados.
Criterios generales:
Se crea un nuevo campo para la Transferencia del
conocimiento y de la Innovacin. La evaluacin en
dicho campo puede ser solicitada por investigadores
que ya tengan un tramo en otro campo cuando
tengan mritos relacionados con la transferencia o
innovacin podrn presentarse en el mismo como
alternativa.
Criterios especficos:
No hay cambios en relacin con la resolucin anterior.

Resolucin de 18 de noviembre de 2009,


de la Presidencia de la Comisin Nacional Evaluadora
de la Actividad Investigadora, por la que se establec
en los criterios especficos en cada uno de los campos
de evaluacin
Resolucin de 23 de noviembre de 2010, de la Presidencia
de la Comisin Nacional Evaluadora de la Actividad
Investigadora, por la que se establece un nuevo campo
relativo a la transferencia de conocimiento e innovacin
y se actualizan los criterios especficos en cada uno de los
campos de evaluacin

Hemos citado algunas de las causas que podran


explicar los resultados de la evaluacin, lo que
puede quedar avalado por los propios datos de
la CNEAI: en el periodo 1989- 2005, el 50% de
los profesores de las reas del campo de la Educacin (funcionarios sin incluir los titulares de
escuela universitaria) nunca haba obtenido un
sexenio. El porcentaje aumenta hasta el 58% si
no ponderamos por el tamao relativo de las

reas, uno de los ms bajos de todo el espectro


cientfico espaol. Pero, al contrario de lo que
podra pensarse, si ampliamos el anlisis al perodo posterior a 2005 (1989-2008), cuando tericamente se clarifican los criterios de evaluacin, el porcentaje de profesores sin sexenio en
las reas de Educacin sube hasta el 66% (ver
grficos 1 y 2), un fracaso ms de 30 puntos
porcentuales por encima de la media en el resto

Bordn 63 (2), 2011, 117-139 125

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 126

Arturo Galn e Izabela Zych

de campos (Agrait y Poves, 2009). Los resultados detallados del informe de la CNEAI 19892005 confirman el problema especfico de las
reas de Educacin. Si la media general nacional
de concesin de sexenios era del 71%, la media
en Educacin era tan slo del 38% (variando
desde el 20% de Didctica de la Expresin
Musical hasta el 57% del rea de Mtodos de
Investigacin y Diagnstico en Educacin).
GRFICO 1. Porcentajes de profesores por nmero de
sexenios en Educacin y otras reas hasta el 2009
70
60
50
40
30
20
10
0

%NP % % 0 % 1 % 2 % 3 % 4 % 5 % 6
+ 0 NP Sex. Sex. Sex. Sex. Sex. Sex. Sex.
Sex.
Educacin

Resto de reas

Otro de los aspectos que ha podido influir en


esta altsima tasa de fracaso es la composicin
del Comit Asesor en este campo: Ciencias de
la Educacin, Comunicacin, Periodismo,
Ciencias del Comportamiento, Sociologa y
Ciencia Poltica y de la Administracin. A la
hora de establecer los criterios especficos de
evaluacin, este campo se ha dividido en tres
grupos con criterios diferenciales:
a) Sociologa y Ciencia Poltica y de la
Administracin.
b) Ciencias del Comportamiento.
c) Ciencias de la Educacin, Comunicacin, Periodismo.
Probablemente, la cercana temtica del campo
de la Educacin con la Psicologa y la mayor exigencia de artculos incluidos en el JCR por esta

126 Bordn 63 (2), 2011, 117-139

ltima (ya en 2005 se exigen al menos dos), as


como el menor peso relativo de evaluadores de
Educacin en el Comit, han podido contribuir a
la utilizacin de unos criterios de evaluacin alejados de la forma de produccin real de la comunidad cientfica pedaggica. Como se expondr
ms adelante, la comunidad cientfica no critica
que exista un alto nivel de exigencia, sino que se
lamenta de que no se informe con claridad de la
aplicacin de los criterios de evaluacin y de que
se cambien stos sin informacin previa.
Prosiguiendo con el anlisis de la tabla anterior,
observamos que en 2005 se produce un cambio
fundamental: la aparicin de criterios especficos
de evaluacin por campo. En las reas de Ciencias
de la Educacin se explicita lo que ya se vena
haciendo: es posible conseguir un sexenio sin
publicar en el JCR. Sin embargo, se reproduce
tambin la fuente de la discordia: la publicacin en
la resolucin del Apndice 1, que no es ms que
un listado de criterios de calidad editorial de las
revistas de impacto No-JCR. As, en la prctica,
resulta materialmente imposible comprobar uno a
uno el cumplimiento de dichos criterios. En consecuencia, la decisin sobre la puntuacin a otorgar a cada artculo (se utiliza una escala 0-10) se
basa en otros criterios diferentes y desconocidos
por los solicitantes de los sexenios. Una opcin
ms sencilla habra sido utilizar algo similar y ya
objetivado, como el nmero de criterios editoriales cumplidos segn el catlogo LATINDEX (disponible desde 2002). En este sentido se expresan
Aliaga (2009) y el comunicado de las sociedades
cientficas de Educacin (anexo I), indicando que
solicitantes que se han presentado a evaluacin
acreditando que las revistas en las que publicaban
cumplan los criterios del Apndice 1, se han
encontrado con una puntuacin inferior a 6 y con
su tramo de investigacin rechazado. Nos referimos a los artculos sin entrar en los libros y captulos de libros, mbito an ms complejo.
Desde 2005, las resoluciones con los criterios de
evaluacin varan poco, corrigen algunos errores iniciales (consideracin de las revistas electrnicas), aunque tambin producen nueva

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 127

Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

GRFICO 2. Porcentajes de profesores por nmero de sexenios y por reas en Educacin hasta el 2009

80
70
60
50
40
30
20
10
0
805

625
% NP

215
% 0 Sex.

187
% 1 Sex.

189
% 2 Sex.

193

195
% 3 Sex.

200

205

% 4 Sex.

% 5 Sex.

210

245
% 6 Sex.

Nota: 805 - Teora e Historia de la Educacin; 625 - Mtodos de Investigacin y Diagnst. en Educ.; 215 - Didactica y Organizacin Escolar; 187 - Didctica de la Expresin Corporal; 189 - Didctica de la Expresin Musical; 193 - Didctica de la Expresin
Plstica; 195 - Didctica de la Lengua y la Literatura; 200 - Didctica de la Matemtica; 205 - Didctica de las Ciencias Experimentales; 210 - Didctica de las Ciencias Sociales; 245 - Educacin Fsica y Deportiva.

confusin (ambigedad en torno a la penalizacin en funcin del nmero de autores). En


2008 aparece un nuevo cambio que puede considerarse importante en Educacin: la aparicin
de bases de datos distintas al JCR (IN-RECS,
ERIH, Scopus, Latindex, etc.) para considerar
revistas de impacto. Este cambio podra deberse
a la peticin de mayores garantas de transparencia y objetividad que demandan las reas de
Educacin a la CNEAI a travs de la Sociedad
Espaola de Pedagoga. En un grupo de trabajo
interdisciplinar sin precedentes, las grandes
reas y asociaciones pedaggicas consensuan los
criterios mnimos que deberan cumplir las evaluaciones de la CNEAI y que son entregadas de
modo informal a los responsables de la CNEAI
en 2008. Ante la falta de respuesta adecuada, se
enva formalmente un manifiesto en febrero de

2009 (ver anexo I). En este manifiesto se indican todas las bases de datos aadidas en la resolucin de 2008, pero se va mucho ms all, ya
que se solicita que se hagan pblicos los rangos
de puntuacin que atribuirn los Comits a las
revistas, en funcin del puesto que posean las
revistas en las bases de datos referenciadas.
Parece claro que un sistema de evaluacin de este
tipo reducira al mnimo las posibilidades de arbitrariedad por parte de los Comits de Evaluacin,
permitira autoevaluarse a los solicitantes potenciales de sexenios y aumentara considerablemente, en consecuencia, la tasa de evaluaciones
positivas, adems de orientar con mayor rigor la
produccin cientfica en la lnea deseada por los
administradores educativos. Adems, transparencia y objetividad se antojan deseables en un

Bordn 63 (2), 2011, 117-139 127

398
228
357
41
13
34
100
113
136
82
90
1.592
0,62

218
520
191
128
152
315
205
198
163
146
2.549
231,73

Total
sexenios

313

N de
profesores

0,25
0,16
0,05
0,02
0,04
0,07
0,12
0,15
0,10
0,18
0

0,28

iS

69

NP

0,06
45
0,02 183
0,01 132
0
90
0,01 103
0
173
0,01
97
0,05
68
0,02
70
0,09
46
1.076
0
42%

0,07

iE

53
143
31
27
30
83
46
56
52
33
616
24%

62

0
sex

56
103
16
8
10
32
33
36
17
47
430
17%

72

1
sex

35
47
11
3
6
15
12
21
14
17
227
9%

46

2
sex

21
24
1
0
1
11
13
11
5
3
126
5%

36

3
sex

2
12
0
0
1
0
3
5
3
0
43
2%

17

4
sex

5
8
0
0
1
1
1
1
2
0
27
1%

5
sex

1
0
0
0
0
0
0
0
0
0
4
0%

6
sex

19/5/11
15:13

128 Bordn 63 (2), 2011, 117-139

Nota: Tabla de elaboracin propia a partir de los datos disponibles en la Web de la CNEAI. Sex= sexenio; iS = nmero de sexenios conseguidos/nmero de sexenios posibles. A su
vez, el nmero de sexenios posibles = (Edad 27)/6 (debido a que la edad media de inicio de publicaciones es de 27 aos). iE es un indicador binario al que se asigna 1 si iS es
mayor o igual a 1 y 0 si iS es menor a 1, indicando de este modo el xito completo en las evaluaciones. Para ms informacin, vase Agrait y Poves (2009).

805 - Teoria e Historia de la Educacin


625 - Mtodos de Investigacin
y Diagnstico en Educacin
3 215 - Didctica y Organizacin Escolar
4 187 - Didctica de la Expresin Corporal
5 189 - Didctica de la Expresin Musical
6 193 - Didctica de la Expresin Plstica
7 195 - Didctica de la Lengua y la Literatura
8 200 - Didctica de la Matemtica
9 205 - Didctica de las Ciencias Experimentales
10 210 - Didctica de las Ciencias Sociales
11 245 - Educacin Fsica y Deportiva
Total
Media o porcentaje

1
2

rea

TABLA 2. Resultados de la evaluacin de la CNEAI para diferentes reas y para el total en el campo de la Educacin hasta el 2009

16173 Bordn 63.2 (2)


Pgina 128

Arturo Galn e Izabela Zych

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 129

Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

sistema de evaluacin sumativo que puede limitar los derechos de los ciudadanos. La utilizacin
de un baremo objetivado de evaluacin ayudara
tambin a los evaluadores a motivar con mayor
acierto sus decisiones, especialmente en los casos
de evaluacin negativa. Todos los problemas comentados anteriormente se ven reflejados en los
resultados de la evaluacin de los tramos de investigacin en Educacin por parte de la CNEAI. La
tabla 2 recoge dichos resultados, calculados a partir de los datos disponibles en la pgina web de la
Comisin, para cada rea por separado y para el
campo de Educacin en su totalidad.
Tal como se puede apreciar en la tabla 2, el 42%
de los profesores nunca se han presentado para
un sexenio, un 24% s se ha presentado pero no
tiene ningn sexenio, un 17% tiene un sexenio,
un 9% tiene dos, tan slo un 5% tiene tres, un 2%
tiene cuatro, un 1% tiene cinco y un 0% tiene seis
sexenios. Por tanto, la mayora de los profesores
en Educacin no tiene ningn sexenio.

Conclusiones y propuestas para


mejorar la poltica de evaluacin
1. La tendencia y la necesidad de competitividad. Sera hacerse un flaco favor solicitar
en el campo de Ciencias de la Educacin
que se utilicen unos criterios menos exigentes que en otros campos cientficos
(JCR). Nos encontramos en la era de la
globalizacin, en la que debemos competir con los mejores. Confrontar nuestro trabajo con la comunidad cientfica
internacional en el idioma que se ha
impuesto para tal fin, slo puede ser un
acicate para mejorar nuestro trabajo,
aunque requiera un mayor esfuerzo inicial. En este sentido, la mejor recomendacin para el profesorado de Educacin, en las condiciones actuales, es
publicar en el JCR. Adems, el esfuerzo
editorial de algunas revistas iberoamericanas permite publicar en espaol en
dicha base de datos (ver anexo II).

2. Necesidad de una evaluacin que garantice


la claridad, transparencia y objetividad.
Los polticos de la educacin universitaria espaola han optado, para impulsar la
productividad investigadora de calidad,
por un sistema de incentivos por mritos
individuales con efectos econmicos y
efectos en la promocin y posible desempeo de cargos. Una evaluacin que puede conllevar la limitacin de derechos
individuales en la funcin pblica cuando los resultados son negativos, debe
hacerse con mximas garantas de respeto a los derechos del profesorado. Esto
exige transparencia en los criterios de
evaluacin y en su modo de aplicarlos en
la prctica, as como procurar la mxima
objetividad y profesionalidad en las decisiones de las comisiones evaluadoras. En
este sentido, sealamos un cambio que
mejorara dichos aspectos: eliminar el
apndice 1 de las resoluciones y sustituirlo por un baremo claro, objetivo y
transparente, similar al propuesto en el
manifiesto de las reas y sociedades cientficas pedaggicas (ver puntos 3 y 4 del
anexo I). Se propone tambin publicitar
cmo se estn puntuando a las editoriales de libros o establecer igualmente un
baremo de las mismas.
Asimismo, sera conveniente que las
evaluaciones negativas y las contestaciones a los recursos de alzada estuvieran
especialmente revisadas y adecuadamente motivadas; es un derecho inexcusable del solicitante, una oportunidad
para remarcar la racionabilidad de la
evaluacin y una orientacin fundamental para minimizar en el futuro los errores de los solicitantes. Si para ello es
necesario subdividir el campo 7 en subcampos (como se hizo en su da con el
campo 6), debera plantearse llevarlo a
efecto cuanto antes.
3. Una poltica pedaggica: definicin de criterios ex-ante. Igual que a un estudiante no
se le cambian los criterios de evaluacin el

Bordn 63 (2), 2011, 117-139 129

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 130

Arturo Galn e Izabela Zych

da antes del examen, cambiar los criterios


de evaluacin para la consecucin de un
tramo de investigacin en una convocatoria que afecta a la produccin de, al
menos, seis aos previos, puede afectar de
forma muy negativa al resultado. As,
podemos ver, por ejemplo, que en la ltima convocatoria de 2010, en el campo de
Ciencias del Comportamiento, se exige
que uno de los tres artculos JCR tenga un
impacto medio o alto. Los solicitantes
producen y preparan la solicitud del sexenio conforme a los parmetros de evaluacin conocidos. Por ello, sera recomendable que, con el objetivo de incentivar la
produccin cientfica, se informase a la
comunidad de profesores de los cambios a
realizar con una antelacin de unos cinco
aos, de modo que el profesorado tenga
tiempo y oportunidades de adaptar sus
contribuciones a las nuevas exigencias. La
falta de dicha informacin puede desembocar en el rechazo y abandono de la actividad investigadora (como demuestran
los datos) y propiciar que parte del profesorado deje de investigar.
4. Una apuesta arriesgada: tcnicos evaluadores + expertos consultores. Si se dan
las condiciones apuntadas en los prrafos anteriores, quiz podra ahorrarse
mucho tiempo de los evaluadores y
dinero. Con criterios claros y objetivos,
la primera baremacin de las contribuciones podran realizarla y motivarla tcnicos evaluadores de la administracin,
quedando las comisiones actuales como
consultoras externas en caso de duda de
los tcnicos y como revisoras y acreditadoras de la evaluacin final de cada caso
individual. Esta propuesta seguramente
tenga la oposicin de quienes piensen
que slo los profesores ms cualificados
pueden realizar esta labor. Sin embargo,
debe recordarse que no se trata, en la
mayora de los casos, de una tarea de
alta especializacin acadmica, ya que
no se leen ni se valora la calidad de los

130 Bordn 63 (2), 2011, 117-139

trabajos (basndose en la previa evaluacin positiva del trabajo por parte de los
dos referees de la revista en cuestin),
sino el medio de difusin de los mismos,
lo que puede hacerse segn criterios objetivos externos aplicables por tcnicos
no acadmicos. La labor de los miembros
de las comisiones servira para dirimir
los casos raros que requieran conocimientos ms all de los tcnicos y para
corroborar, matizar o corregir las puntuaciones individuales finales asignadas
por los tcnicos evaluadores.
5. La calidad de las revistas cientficas espaolas y la difusin de la ciencia en espaol.
Durante algunos aos, siguiendo patrones de evaluacin propios de las ciencias
experimentales, se han despreciado los
trabajos publicados en revistas espaolas. Aunque ya hemos defendido la
importancia de publicar en ingls en
revistas de alto impacto, no podemos
despreciar que, en Educacin, Espaa
tiene una clara influencia en el mbito
iberoamericano, por lo que la produccin cientfica en espaol no slo no
debe despreciarse, sino que debe potenciarse hasta competir en igualdad de
condiciones con la produccin cientfica
en lengua inglesa. En caso contrario, los
mejores trabajos siempre sern publicados en las revistas extranjeras, dejando
los trabajos de segundo orden para las
espaolas. Los esfuerzos realizados por
grupos como los que elaboraron INRECS, RECYT, Latindex, etc., y la inclusin de algunas revistas espaolas en el
JCR, suponen un gran avance al evaluar
y ayudar a mejorar y potenciar las revistas espaolas e iberoamericanas. En
determinados campos, sera conveniente
que la CNEAI favoreciera tambin la
publicacin de trabajos en las revistas en
lengua espaola de calidad contrastada,
aunque no pertenezcan al JCR. Tal como
se ha demostrado en algunos estudios
cientficos, una publicacin internacional

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 131

Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

no es igual que una extranjera y no es


sinnimo de revista incluida en el JCR
(Zych y Buela-Casal, 2007, 2009, 2010).
6. Apostar por la actual plantilla de profesores: formacin y potenciacin de los sexenios vivos. Algunos problemas en el
actual sistema de evaluacin de los tramos de investigacin han conducido a
muchos profesores a descartar una de las
tareas ms importantes de su rol o, simplemente, a hacer su trabajo investigador
sin someterse al control externo de su
actividad. La poltica evaluadora de la
CNEAI debe plantearse, como hemos
dicho en el punto 3, con efectos orientadores a futuro. Una vez decidida esta
poltica, sera conveniente difundirla de
la forma ms eficaz posible, con la ayuda
de los vicerrectorados de investigacin
de las universidades. Las acciones formativas deberan ir especialmente dirigidas
al profesorado joven y a los que supuestamente se han retirado de la actividad
de investigacin. La orientacin a estos
profesores sobre su futura produccin
cientfica y la transmisin de unos criterios claros y objetivos al respecto, podra
hacer cambiar la actitud de los quemados. Para ello, sera tambin importante
valorar en la poltica interna de las universidades (por ejemplo, en la evaluacin de los grupos de investigacin,
direccin de becarios o los incentivos
individuales) tanto la acumulacin de
sexenios como la tenencia de un sexenio vivo, es decir, estar en posesin del
ltimo sexenio posible, independientemente de la situacin anterior. Esto
podra ser un acicate para replantearse
la va investigadora de estos profesores.
7. Algunos efectos indeseados del nfasis en la
produccin investigadora. No toda la comunidad cientfica comparte la nueva poltica
de incentivacin y control basada en evaluaciones externas. Ciertas crticas se centran en la excesiva burocratizacin y control del trabajo del profesor universitario,

que constantemente debe estar rindiendo


cuentas, como si no hubiera confianza por
parte de las autoridades en su desempeo
profesional. La necesidad de cumplir ciertos requisitos o, dicho de otra forma, de
rellenar las mltiples casillas de las aplicaciones de evaluacin para conseguir una
promocin o un incentivo, pueden llegar a
hacer descuidar una de las tareas esenciales de un profesor: el estudio profundo
disciplinar, la reflexin crtica sobre su
disciplina, en pro de cumplir las mltiples exigencias de investigacin, docencia,
gestin, formacin (Fernndez, Carballo y
Galn, 2010), estancias en el extranjero,
direccin de trabajos, innovacin, transferencia del conocimiento, etc. En la misma
lnea, los jvenes profesores, conscientes
de dichos requisitos para su progresin
profesional, centran sus energas en ello,
minimizando otras actividades de formacin igualmente importantes como el trabajo con su director o las tareas docentes.
Tambin los profesores senior, que observan que la productividad investigadora es,
con gran diferencia, mucho ms valorada
que la actividad docente, corren el riesgo
de reducir el tiempo dedicado a esta ltima, haciendo disminuir la calidad docente
que reciben nuestros estudiantes. Finalmente, otro de los efectos indeseados de
publicar en un grupo de revistas previamente seleccionadas es la posible prdida
de cierto grado de libertad de ctedra. Los
consejos editoriales marcan sus lneas y
temas prioritarios, as como la orientacin
preferida de los artculos. De esta forma,
algunos temas de investigacin no interesan, lo que reduce la oportunidad de los
investigadores para dedicarse a determinadas lneas de su preferencia.
La vida acadmica del profesor universitario es
apasionante y llena de posibilidades. La necesidad estructural del ser humano de justicia y verdad se manifiesta an con ms fuerza cuando se
emite un juicio sobre su mrito o su capacidad

Bordn 63 (2), 2011, 117-139 131

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 132

Arturo Galn e Izabela Zych

(Galn, 2007). El profesor debe dar respuesta a


sus cometidos fundamentales, entre los que est
la realizacin de una produccin cientfica contrastada de calidad. Sin embargo, es exigible que
las reglas del juego estn claras para todos y que
el nivel de exigencia investigadora sea coherente
con el resto de obligaciones del profesorado, de
tal modo que no se convierta en la excusa para
descuidar la docencia y la participacin en la vida
universitaria. Por otra parte, los incentivos derivados de la creciente presin evaluativa deben ser

proporcionales al enorme trabajo que suscitan. Si


deseamos una plantilla de profesores excelentes,
se les debe reconocer como tales en todos los
aspectos. El coste cero se antoja contraproducente para conseguir la mejora. Finalmente, si la
investigacin es importante, probablemente lo
sea ms la capacidad del profesor para entrar en
relacin con los alumnos y contribuir a su pasin
por el conocimiento: no olvidemos, entre burocracia, controles y baremos, la verdadera misin
de la universidad y de sus profesores.

Anexo I
Manifiesto sobre la Evaluacin de sexenios en Ciencias de la Educacin
Al Coordinador General de la CNEAI
Las cifras relativas a la concesin de tramos de investigacin en el campo de las Ciencias de la Educacin arrojan un resultado preocupante, puesto que el porcentaje de profesores con todos los sexenios posibles no llega al 17%, aunque hay variaciones en funcin de las reas de conocimiento (ver
anexo).
Por este motivo, las asociaciones y grupos abajo firmantes, exponemos las siguientes reflexiones y
propuestas para contribuir a la mejora del sistema de evaluacin de la produccin investigadora en
nuestras reas de conocimiento:
1. Un buen sistema de evaluacin de mritos debe ser lo ms objetivo y transparente posible. En
la actualidad, en las Ciencias de la Educacin, ms all del Social Sciencies Journal Citation Report
(JCR del ISI), no son pblicos los referentes utilizados por el Comit 7 para evaluar revistas o
editoriales positivamente (puntuacin superior a 6). En ocasiones, incluso las contribuciones
publicadas en revistas que cumplen los criterios del Apndice 1 de la convocatoria, no alcanzan
la puntuacin mnima de 6 puntos.
2. El avance en la produccin investigadora de impacto requiere unos criterios de evaluacin
pblicos y suficientemente detallados como para que la comunidad cientfica pueda producir en la direccin adecuada en funcin de las estrategias nacionales e internacionales y respetando la libertad de ctedra e investigacin.
3. Somos conscientes de la escasa tradicin en nuestras reas respecto a la publicacin en revistas consideradas de impacto internacional, en concreto, en revistas del ISI (SS-JCR). No
podemos trasladar acrticamente, sin embargo, la forma de publicar de las Ciencias Experimentales a las Ciencias Sociales (hay grandes diferencias como el nmero de revistas disponibles, inters local o de poco inters para el mbito anglosajn de muchos estudios, etc.).
Sin duda, una forma de potenciar esta dimensin internacional es su obligatoriedad para conseguir un sexenio. Sin embargo, estos cambios no se producen a corto plazo, sino tras un adecuado recorrido de informacin y formacin en esta lnea y deben, en todo caso, respetar las
peculiaridades de las distintas reas de conocimiento relacionadas con la educacin.

132 Bordn 63 (2), 2011, 117-139

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 133

Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

4.

5.

6.

7.

8.

9.

10.

Por ello, y sabiendo la importancia de la internacionalizacin de la produccin cientfica


espaola en educacin, creemos que se podra proponer, a medio plazo (6-8 aos) la obligatoriedad de presentar un artculo en una revista perteneciente a ndices internacionales como
el SS-JCR, ERIH o similares, para conseguir la evaluacin positiva de un tramo de investigacin.
Estos ndices deben ser considerados en igualdad de condiciones para evitar el sesgo anglosajn que hasta ahora caracteriza a los ndices norteamericanos y dar cabida a publicaciones cientficas europeas de prestigio.
En todo caso, para garantizar la objetividad de la evaluacin, a ttulo de ejemplo, la CNEAI
podra publicar un baremo como el siguiente (la puntuacin dentro de la horquilla debera
asignarse tambin conforme a criterios objetivos):
a) Primer tercio JCR o grupo A ERIH: 9-10 puntos.
b) Segundo tercio JCR o grupo B ERIH: 8-9 puntos.
c) Tercer tercio JCR o grupo C ERIH: 7-8 puntos.
Sin embargo, no debemos caer en el absurdo de desprestigiar nuestros excelentes canales de
difusin cientfica y debe impulsarse el conocimiento de las publicaciones espaolas de reconocido prestigio por parte de la comunidad investigadora nacional e internacional. No podemos obviar que, en nuestras reas, Espaa sigue siendo un referente en el mbito internacional
iberoamericano. Cada vez son ms conocidos los distintos intentos de evaluar la calidad cientfica de nuestras revistas en ndices ms o menos cuantitativos: IN-RECS (EC3, Universidad de
Granada), DICE-RESH (MEC-ANECA), FECYT (RECYT), MIAR (Universidad de Barcelona),
ISOC (CINDOC) o LATINDEX, entre otros.
En esta direccin, como indicamos en el punto anterior, podra publicarse un baremo para
las revistas cientficas espaolas de prestigio de este tipo:
a) Primer tercio en los principales ndices como los citados en el punto 4: 8-9 puntos.
b) Segundo tercio: 6-7 puntos.
c) Tercer tercio: 3-5 puntos.
Para completar estos ndices y dar lugar a un listado nico de revistas y editoriales que asegure la transparencia, se propone que la CNEAI haga un estudio sobre las puntuaciones
asignadas a revistas y editoriales presentadas por los solicitantes de Ciencias de la Educacin en los tres ltimos aos y haga pblica la horquilla de puntuaciones asignadas a cada
una de ellas.
Los criterios y baremos pblicos que tendran que utilizarse en la evaluacin, deberan mantenerse vigentes durante un perodo de tiempo suficiente (5 aos), de manera que permita a los
investigadores orientar su produccin. En todo caso, se evitar la publicacin de criterios de
evaluacin con efectos retroactivos.
El nmero de autores de las publicaciones no debera ser un criterio que penalice la puntuacin. Los equipos de investigacin son fundamentales para la concesin y realizacin de
proyectos y debe apoyarse, en consecuencia, la publicacin en equipo. En cualquier forma,
debe hacerse pblica la influencia de este aspecto en la evaluacin.
En el mismo sentido, y dada la transversalidad de algunas de nuestras reas, no debe penalizarse la publicacin interdisciplinar en revistas de otras reas (Psicologa, Sociologa, Medicina). Ms bien debera ser al contrario, primar la presencia de este tipo de trabajos.
Dado que se trata de evaluar la produccin investigadora, debera tenerse en cuenta, de
hecho, el curriculum investigador de los solicitantes y su participacin en equipos competitivos, especialmente en los casos dudosos.
Al igual que sucede en otros campos disciplinares de la CNEAI, la evaluacin del primer sexenio
de investigacin podra realizarse con una mayor grado de flexibilidad.

Bordn 63 (2), 2011, 117-139 133

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 134

Arturo Galn e Izabela Zych

10. Finalmente, sugerimos que las contestaciones a los numerosos recursos de alzada estn debidamente motivadas, ya que la situacin contraria est produciendo una cierta sensacin de indefensin e inseguridad jurdica.
Madrid, febrero de 2009
Documento aprobado por las juntas directivas de:
Sociedad Espaola de Pedagoga
Asociacin Interuniversitaria de Investigacin Pedaggica (AIDIPE)
Reunin Estatal del rea de Didctica y Organizacin Escolar Seminario Interuniversitario de
Teora de la Educacin
Sociedad Espaola de Educacin Comparada
Sociedad Espaola de Historia de la Educacin

Consecucin de sexenios por rea y global en Ciencias de la Educacin


rea

1. 805 - Teora e Historia


de la Educacin
2. 625 - Mtodos de Investigacin
y Diagnstico en Educacin
3. 215 - Didctica y Organizacin
Escolar
4. 187 - Didctica de la Expresin
Corporal
5. 189 - Didctica de la Expresin
Musical
6. 193 - Didctica de la Expresin
Plstica
7. 195 - Didctica de la Lengua
y la Literatura
8. 200 - Didctica de la Matemtica
9. 205 - Didctica de las Ciencias
Experimentales
10. 210 - Didctica de las Ciencias Sociales
11. 245 - Educacin Fsica y Deportiva
Media global por reas
Fuente: CNEAI. Periodo: 1989-2005.

134 Bordn 63 (2), 2011, 117-139

N de
profesores

Profesores
con
todos los
sexenios

% todos
los sexenios
presentados
(A)

% parte
de los
sexenios
(B)

A+B

% sin
sexenios
+ no
(C)

301

80

27

33

60

40

205

52

25

33

58

42

387

82

21

27

48

52

69

13

12

25

75

31

17

23

77

55

15

18

33

67

131
80

18
17

14
21

28
40

42
61

58
39

113
70
122

27
8
37

24
11
30
16,75

36
39
10
25

60
50
40
41,75

40
50
60
58,25

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 135

Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

Anexo II
Revistas iberoamericanas de Educacin incluidas en la web of science
Ttulo

Bolema-Mathematics Education Bulletin-Boletim


de Educacao Matematica
Cultura y Educacin
Educacin XX1
Ensenanza de las Ciencias
ESE-Estudios sobre Educacin
Infancia y Aprendizaje*
Movimento
Porta Linguarum
Revista de Educacin
Revista Espanola de Pedagoga
Revista de Psicodidctica*
Revista Latinoamericana de Investigacion en Matemtica
Educativa-Relime
Revista Lusofona de Educaao
Teoria de la Educacin

Pas

Factor
de Impacto
2009

Cuartil de
su categora

Brasil
Espaa
Espaa
Espaa
Espaa
Espaa
Brasil
Espaa
Espaa
Espaa
Espaa

Pendiente
Pendiente
Pendiente
Pendiente
Pendiente
0,441
Pendiente
Pendiente
Pendiente
0,245
0,414

Pendiente
Pendiente
Pendiente
Pendiente
Pendiente
Cuarto
Pendiente
Pendiente
Pendiente
Cuarto
Cuarto

Mxico
Portugal
Espaa

Pendiente
0,114
0,19

Pendiente
Cuarto
Cuarto

Nota: Revistas incluidas en la categora Education & Educational Research. Con el asterisco se han incluido revistas en la categora Psychology Educational y Psychology Developmental (ya que se entiende que son reas afines y se publican algunos artculos
de Educacin). No hay revistas iberoamericanas incluidas en Education Special. La mayora de las revistas ha sido incluida recientemente y, por tanto, todava no se conoce su Factor de Impacto o su cuartil.

Referencias bibliogrficas
ALIAGA, F. (2009). La evaluacin de la actividad investigadora del profesorado universitario: contraste entre intenciones y hechos. En J. JORNET (ed.), La letra sin sangre entra. Valencia: Universidad de Valencia, 19-31.
ARANA Uli, L. (2010). La importancia de la educacin en la estrategia estatal de innovacin. Aula Abierta, 38, 41-52.
BERMDEZ, M. P.; CASTRO, A.; SIERRA, J. C. y BUELA-CASAL, G. (2009). Anlisis descriptivo transnacional de los estudios de doctorado en el EEES. Revista de Psicodidctica, 14, 193-210.
BETZ, B. (2010). Anlisis de las fortalezas institucionales para la contratacin de investigadores. Aula Abierta, 38, 6574.
BUELA-CASAL, G. (2005a). El sistema de habilitacin nacional: criterios y proceso de evaluacin. Anlisis y modificacin de conducta, 31, 136-137.
BUELA-CASAL, G. (2005b). Situacin actual de la productividad cientfica de las universidades espaolas. International
Journal of Clinical and Health Psychology, 5, 175-190.
BUELA-CASAL, G. (2007a). Consideraciones metodolgicas sobre el procedimiento de acreditacin y del concurso de
acceso a cuerpos de funcionarios docentes universitarios. Revista Electrnica de Metodologa Aplicada, 12, 1-14.

Bordn 63 (2), 2011, 117-139 135

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 136

Arturo Galn e Izabela Zych

BUELA-CASAL, G. (2007b). Reflexiones sobre el sistema de acreditacin del profesorado funcionario de Universidad en
Espaa. Psicothema, 19, 473-482.
BUELA-CASAL, G. (2010). ndices de impacto de las revistas cientficas e indicadores para medir el rendimiento de los
investigadores. Revista de Psicodidctica, 15, 3-19.
BUELA-CASAL, G.: BERMDEZ, M. P., SIERRA, J. C., QUEVEDO-BLASCO, R. y Castro, A. (2009). Ranking de 2008 en investigacin de las universidades pblicas espaolas. Psicothema, 21, 304-312.
BUELA-CASAL, G.; BERMDEZ, M. P.; SIERRA, J. C.; QUEVEDO-BLASCO, R. y CASTRO, A. (2010). Ranking de 2009 en investigacin de las universidades pblicas espaolas. PSICOTHEMA, 22, 171-179.
BUELA-CASAL, G.; GUILLN-RIQUELME, A.; GUGLIELMI, O.; QUEVEDO-BLASCO, R. y RAMIRO, T. (2011). Rendimiento en el
doctorado en funcin del rea del conocimiento. Revista de Psicodidctica, 16, 181-192.
BUELA-CASAL, G.; OLIVAS-VILA, J.; MUSI-LECHUGA, B. y ZYCH, I. (2011). The h index of the presidents of the American
Psychological Association (APA) through journal articles included in the Web of Science. International Journal of
Clinical and Health Psychology, 11, 95-107.
BUELA-CASAL, G.; VADILLO, O.; PAGANI, R.; BERMDEZ, M. P.; SIERRA, J. C.; ZYCH, I. y CASTRO, A. (2009). Comparacin
de los indicadores de la calidad de las universidades. Revista de Universidad y Sociedad del Conocimiento (RUSC),
6, 9-21.
BUELA-CASAL, G. y ZYCH, I. (2010). Analysis of the relationship between the number of citations and the quality evaluated by experts in psychology journals. Psicothema, 22, 270-275.
BUELA-CASAL, G.; ZYCH, I.; SIERRA, J. C. y BERMDEZ, M. P. (2007). The Internationality Index of the Spanish Psychology Journals. International Journal of Clinical and Health Psychology, 7, 899-910.
FERNNDEZ, M. J.; CARBALLO, R. y GALN, A. (2010). Faculty attitudes and training needs to respond the new European Higher Education challenges. Higher Education, 60, 101-118.
CASTRO, A.; GUILLEN-RIQUELME, A.; QUEVEDO-BLASCO, R.; RAMIRO, M. T.; BERMDEZ, M. P. y BUELA-CASAL, G. (2010).
Las Escuelas Doctorales: evolucin histrica, caractersticas y aspectos relevantes para su consolidacin en Espaa. Aula Abierta, 38, 17-28.
DE MIGUEL DAZ, M. (1997). La evaluacin de la actividad investigadora del profesorado en el mbito de las Ciencias
de la Educacin. Revista de Investigacin Educativa, 15, 171-186.
ECHEBURA ODRIOZOLA, E. (2002). El sistema de sexenios en la evaluacin de la actividad investigadora en el mbito
de la psicologa clnica: una primera reflexin. Anlisis y Modificacin de la Conducta, 288, 391-404.
GALN, A. (ed.). (2007). El perfil del profesor universitario: situacin actual y retos de futuro. Madrid: Editorial Encuentro.
GALN, A. y RUBALCABA BERMEJO, L. (2006). Motivaciones del profesorado universitario espaol y nuevas exigencias
en la universidad de hoy. Revista Krinein. Revista de Educacin, 2, 57-90.
GALN, A. y SERRANO, C. (2006). Tendencias actuales en la evaluacin externa del profesorado universitario: el caso
de la ACAP. Miscelnea Comillas.Revista de Ciencias Humanas y Sociales, 64, 127-171.
GARCA-BERRO, E.; ROCA, S.; AMBLS, G.; MURCIA, F.; SALLARS, J. y BUGEDA, G. (2010). La evaluacin de la actividad
docente del profesorado en el marco del EEES. Aula Abierta, 38, 29-40.
GARFIELD, E. (2003). The meaning of the impact factor. International Journal of Clinical and Health Psychology, 3, 363369.
JIMNEZ CONTRERAS, E.; MOYA ANEGN, F. y DELGADO LPEZ-CZAR, E. (2003). The evolution of research activity in
Spain. The impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy,
32, 123-142.
LEY ORGNICA 4/2007, de 12 de abril, por la que se modifica la Ley Orgnica 6/2001, de 21de diciembre, de Universidades (LOMLOU).
MONTERO, I. y LEN, O. G. (2007). A guide for naming research studies in Psychology. International Journal of Clinical and Health Psychology, 7, 847-862.
OLIVAS-VILA, J. A. y MUSI-LECHUGA, B. (2010a). Anlisis de la produccin de los profesores funcionarios de Psicologa en Espaa en artculos de revistas en la Web of Science. Psicothema, 22, 909-916.

136 Bordn 63 (2), 2011, 117-139

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 137

Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

OLIVAS-VILA, J. A. y MUSI-LECHUGA, B. (2010b). Produccin en tesis doctorales de los profesores funcionarios de Psicologa en Espaa ms productivos en la Web of Science. Psicothema, 22, 917-923.
PELECHANO BARBER, V. (2002). Valoracin de la actividad cientfica en psicologa: Pseudoproblema, sociologismo o
ideologismo? Anlisis y Modificacin de la Conducta, 28, 323-362.
POLAINO LORENTE, A. (2002). Ciencia, poltica y poltica de la investigacin. Anlisis y Modificacin de la Conducta, 28,
363-390.
RAMOS-LVAREZ, M.; MORENO-FERNNDEZ, M. M.; VALDS-CONROY, B. y CATENA, A. (2008). Criteria of the peer review
process for publication of experimental and quasi-experimental research in Psychology: A guide for creating research papers. International Journal of Clinical and Health Psychology, 8, 751-764.
ROALES-NIETO, J. G. y LUCIANO, C. (2002). A la calidad por the quantity (porque la cantidad no vale): algunas reflexiones sobre los criterios de evaluacin de la calidad de la investigacin en psicologa. Anlisis y Modificacin de
la Conducta, 28, 431-454.
RUIZ-PREZ, R.; DELGADO LPEZ-CZAR, E. y JIMNEZ-CONTRERAS, E. (2010). Principios y criterios utilizados en Espaa por la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la valoracin de las publicaciones cientficas: 1989-2009. Psicothema, 22, 898-908.
SALVADOR CODERCH, P.; AZAGRA MALO, A. y GMEZ LIGERRE, C. (2008). Criterios de evaluacin de la actividad investigadora en derecho civil, derecho privado y anlisis del derecho. InDret, 3, 2-63.
SANZ MENNDEZ, L. (1995). Research actors and the state: Research evaluation and evaluation of science and techology policies in Spain. Research Evaluation, 5, 79-88.
SIERRA, J. C.; BUELA-CASAL, G.; BERMDEZ, M. P. y SANTOS-IGLESIAS, P. (2008). Anlisis transnacional del sistema de evaluacin y seleccin del profesorado universitario. Internciencia, 33, 251-257.
SIERRA, J. C.; BUELA-CASAL, G.; BERMDEZ, M. P. y SANTOS-IGLESIAS, P. (2009a). Importancia de los criterios e indicadores de evaluacin y acreditacin del profesorado funcionario universitario en los distintos campos de conocimiento de la UNESCO. Revista de Universidad y Sociedad del Conocimiento (RUSC), 6, 49-59.
SIERRA, J. C.; BUELA-CASAL, G.; BERMDEZ, M. P. y SANTOS-IGLESIAS, P. (2009b). Opinin de Profesores Titulares y Catedrticos de Universidad acerca de criterios y estndares para la acreditacin del profesorado universitario. Revista Espaola de Documentacin Cientfica, 32, 89-100.
ZYCH, I. y BUELA-CASAL, G. (2007). Anlisis comparativo de los valores en el ndice de Internacionalidad de las revistas iberoamericanas de psicologa incluidas en la Web of Science. Revista Mexicana de Psicologa, 24, 7-14.
ZYCH, I. y BUELA-CASAL, G. (2009). The Internationality Index: Application to Revista Latinoamericana de Psicologa.
Revista Latinoamericana de Psicologa, 41, 401-412.
ZYCH, I. y BUELA-CASAL, G. (2010). Internacionalidad de las revistas de psicologa multidisciplinar editadas en Iberoamrica e incluidas en la Web of Science. Universitas Psychologica, 9, 27-34.

Fuentes electrnicas
AGRAIT, N. y POVES, A. (2009). Informe sobre los resultados de las evaluaciones de la CNEAI: La situacin en 2009.
http://www.educacion.es/dctm/ministerio/horizontales/ministerio/organismos/cneai/2009-info-v5.pdf?documentId=0901e72b8008d9ff [Fecha de consulta 1/03/2011]
ACADEMIC RANKING OF WORLD UNIVERSITIES (Shanghai Jiao Tong University (SJTU)) http://www.arwu.org/ARWU2010.jsp
[Fecha de consulta: 1/3/2011].
BORRADOR DEL ESTATUTO DEL PERSONAL DOCENTE E INVESTIGADOR DE LAS UNIVERSIDADES PBLICAS ESPAOLAS
http://www.fe.ccoo.es/comunes/temp/recursos/25/760575.pdf. [Fecha de consulta: 1/3/2011].
FERNNDEZ ESQUINAS, M.; PREZ YRUELA, M. y MERCHN HERNNDEZ, C. (2005). El sistema de incentivos y recompensas
en la ciencia pblica espaola. Instituto de Estudios Sociales Avanzados de Andaluca y Consejo Superior de Investigaciones Cientficas. http://digital.csic.es/bitstream/10261/2044/1/01-06.pdf. [Fecha de consulta: 10/3/2011].

Bordn 63 (2), 2011, 117-139 137

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 138

Arturo Galn e Izabela Zych

WORLD UNIVERSITY RANKINGS (Times Higher Education) http://www.timeshighereducation.co.uk/. [Fecha de consulta: 1/3/2011].

Abstract
Analysis of the criteria of the National Commission for the Evaluation of Research Activity
(CNEAI) for the concession of the research incentives in Education
The importance of the evaluation of the Higher Education has recently increased, on one hand,
because of the creation of the European Higher Education Area and, on the other, as the new
Spanish Organic Laws establish research incentives and accreditation processes of the university
professors. Although many studies were conducted in relation to the criteria, parameters and
indicators for this evaluation, there are very few works which focus on analyzing the criteria for the
concession of the research incentives. For this reason, the objective of the current study consisted
of conducting this analysis, focusing on the field of Education. The results show that the most
important criterion to get an incentive is the publication of articles in journals included in the
Journal Citation Reports. Other publications can be assessed if they accomplish a series of criteria
according to the Assessing Committee, which have been mentioned since 2005. It has been shown
that the criteria are not specific and that there is no established reckoner which could be applied to
evaluate the merits of the solicitants. The rate of negative evaluations is very high, in absolute terms
and also in comparison to other areas. Thus, the authors include some recommendations for the
future.
Key words: Higher Education, Evaluation, University professors, Research incentives.

Rsum
Analyse des critres de la Commission Nationale dvaluation de lActivit de Recherche (CNEAI)
pour la concession des tapes de recherche en ducation
Lvaluation de lEnseignement Suprieur a gagne en importance pendant ces dernires annes.
Parmi les causes qui ont conduit une augmentation du nombre des valuations on peut souligner
la cration de lEspace Europen dEnseignement Suprieur, ainsi que les nouvelles Loi Organiques
espagnoles et ses dveloppements normatifs, lesquels tablissent des complments conomiques et
des procdures daccrditation pour les enseignants. Mme sil y a eu plusieurs tudes sur les
critres, les paramtres et les indicateurs propres ce type dvaluation, trs peu dentre eux ont t
consacrs lanalyse des critres pour la concession des sixaines de recherche. Par consquent,
lobjectif de cette tude est de procder cette analyse, en concdant une particulire attention au
domaine de lducation. Les rsultats montrent que le critre plus clair pour obtenir une valuation
positive est la contribution des articles publis dans des revues incluses dans le Journal Citation
Reports (JCR). Mme si la normative accepte lvaluation dautres contributions qui ne soient pas
incluses dans le JCR, condition quelles rpondent, selon lavis du Comit Consultatif, une srie
de critres de qualit approuves depuis 2005, nous dmontrons que les critres sont trs peut
spcifiques et quil nexiste pas un barme objective qui puisse tre appliqu lors de lvaluation des
mrites apports par les solliciteurs. Cette situation entrane un taux dchec norme en termes

138 Bordn 63 (2), 2011, 117-139

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 139

Anlisis de los criterios de la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI)

absolus ainsi que par rapport dautres domaines. En conclusion, nous prsentons une srie de
recommandations visant amliorer le systme dvaluation de la productivit de la recherche dans
le futur.
Mots cls : Enseignement suprieur, valuation, Professorat, Complments de productivit.

Perfil profesional de los autores


Arturo Galn Gonzlez
Profesor titular en el Departamento MIDE de la UNED, donde ejerce el cargo de vicedecano. Es
vicepresidente de la Asociacin para la Investigacin y la Docencia Universitas. Ha investigado y
publicado sobre la evaluacin de la calidad y la evaluacin de la competencia docente en la universidad. Research Scholar en Boston University y en el M.I.T. Durante dos aos investig en la Agencia
de Calidad de las Universidades de Madrid (ACAP) como jefe de la Unidad de Evaluacin para la
Contratacin del Profesorado, donde desarroll un baremo objetivo para la evaluacin del profesorado contratado.
Correo electrnico de contacto: agalan@edu.uned.es

Izabela Zych
Izabela Zych es licenciada y doctora en Psicologa por la Universidad de Granada. Autora de diferentes artculos cientficos en revistas incluidas en la Web of Science. Sus lneas de investigacin
estn relacionadas con la evaluacin de la calidad de la ciencia y de la educacin. Actualmente, trabaja como profesora en las Facultades de Ciencias de la Educacin de la Universidad de Crdoba y
de la Universidad de Huelva.
Correo electrnico de contacto: izych@uco.es

Bordn 63 (2), 2011, 117-139 139

16173 Bordn 63.2 (2)

19/5/11

15:13

Pgina 140

Potrebbero piacerti anche