Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
2
PROYECTO EDITORIAL
BIBLIOTECA DE EDUCACIÓN
Director:
Antonio Bolívar Botia
3
AUTOEVALUACIÓN DE CENTROS EDUCATIVOS
CÓMO MEJORAR DESDE DENTRO
4
Consulte nuestra página web: www.sintesis.com
En ella encontrará el catálogo completo y comentado
Reservados todos los derechos. Está prohibido, bajo las sanciones penales y el resarcimiento civil previstos en las
leyes, reproducir, registrar o transmitir esta publicación, íntegra o parcialmente, por cualquier sistema de
recuperación y por cualquier medio, sea mecánico, electrónico, magnético, electroóptico, por fotocopia o por
cualquier otro, sin la autorización previa por escrito de Editorial Síntesis, S. A.
© EDITORIAL SÍNTESIS, S. A.
Vallehermoso, 34. 28015 Madrid
Teléfono 91 593 20 98
http://www.sintesis.com
ISBN: 978-84-995875-0-9
5
Índice
Prólogo
P ARTE I:
EVALUACIÓN DE CENTROS Y APRENDIZAJE INSTITUCIONAL: EL PAPEL DE
LA EVALUACIÓN INTERNA
6
2. Evaluación interna y evaluación externa
2.1. Un debate: evaluación interna versus externa
2.2. Una necesidad: coexistencia de la evaluación externa y la evaluación interna
2.3. Un problema: el papel de la inspección
2.4. La autoevaluación no es una inspección interna
2.5. El difícil equilibrio entre la presión externa y la responsabilidad interna
4. La autoevaluación institucional
4.1. Marcos teóricos de referencia
4.1.1. Innovación basada en el centro
4.1.2. Investigación-acción institucional
4.1.3. Movimiento para la mejora
4.1.4. Organizaciones que aprenden
4.1.5. Comunidades de aprendizaje
4.1.6. Evaluación participativa
4.2. Conceptualizando la autoevaluación
4.2.1. Qué es lo específico o novedoso de la autoevaluación
4.2.2. Finalidades y efectos positivos de la autoevaluación
4.3. La autoevaluación del centro: una puerta a la innovación y el aprendizaje
institucional
P ARTE II:
LA PRÁCTICA DE LA AUTOEVALUACIÓN INSTITUCIONAL
7
5.1. Transparencia
5.2. Visión global del centro
5.3. Contextualización
5.4. Participación
5.5. Orientación a la acción
5.6. El diálogo como método: el papel del evaluador
8
7.6. Elaboración del plan de mejora
7.6.1. Identificación de las áreas de mejora
7.6.2. Elaboración del plan de mejora
7.6.3. Integración en la dinámica del centro
9. Materiales y recursos
Nota bibliográfica
9
Prólogo
Aún sabiendo que los centros escolares tienen una buena imagen social en el conjunto de
las instituciones públicas, es menester admitir que existe siempre un umbral para la
mejora, umbral que justifica los esfuerzos para acometer su evaluación. Con frecuencia
los centros escolares, al no asumir su evaluación, tienden a esperar, solicitar e incluso
contratar evaluaciones externas, cuando deberían ser los más interesados en poner en
práctica su propia evaluación, sin esperar a las ofertas o directrices procedentes de fuera.
La hipótesis de la que parte este libro es la de que el potencial de las organizaciones
educativas para el cambio se relaciona directamente con su capacidad de llevar a cabo
procesos internos de diagnóstico y planificación de su acción, esto es, con su capacidad
para evaluarse.
Una organización escolar que se define cada vez con mayor autonomía profesional
para tomar decisiones, más participativa y corresponsable, demanda nuevas formas de
evaluación acorde con estos postulados. Desde una perspectiva de la gestión, la
evaluación es un proceso de producción de información jerarquizado dirigido a
incrementar la calidad de las decisiones organizativas. Sin embargo, esta perspectiva
clásica es insuficiente si tenemos en cuenta que la organización es algo más que gestión,
es un conjunto de relaciones, grupos, tradiciones, intereses, etc.
En gran medida lo que necesita un centro para mejorar está dentro de él. El
desarrollo de su capacidad y responsabilidad para reflexionar y analizarse se convierte así
en la condición básica de su mejora. Autoevaluarse requiere de una actitud investigadora
dirigida a recoger evidencias de la práctica cotidiana para llegar a un mejor conocimiento
de la misma. Al mismo tiempo exige un compromiso ético y de autoexigencia a los
diferentes colectivos implicados en la educación.
La autoevaluación escolar, lejos de ser una reacción defensiva frente a las demandas
de control y responsabilización, puede contribuir a hacer más públicas las políticas y las
prácticas educativas (Simons, 1982). Según esta autora una autoevaluación basada en
principios democráticos permite, por un lado, ayudar a los miembros del centro a tomar
decisiones y, por otro, informar de su trabajo a otros colectivos de la comunidad.
La autoevaluación es una vía para introducir la reflexión en las prácticas educativas,
tanto las que se desarrollan en el aula como aquellas que tienen lugar en el centro.
¿Conocemos realmente nuestros centros, nuestras prácticas, nuestros alumnos? ¿Cómo
podemos poner ese conocimiento al servicio de los fines educativos?
10
La constatación inicial o, si se prefiere, la hipótesis de partida que motiva la
elaboración de este libro, es que toda la maquinaria de evaluación de la eficacia de
nuestros sistemas educativos no parece guardar una relación muy directa con la
generación de procesos de cambio y mejora en el interior de las organizaciones
encargadas de materializar esa educación (Merchán, 2011). Sus efectos en la mejora de
los sistemas educativos, ¿justifican el gasto en energías humanas y recursos materiales y
formales que conllevan las evaluaciones educativas?
Esto lleva a plantearnos no solo qué tipo de evaluación (enfoque o metodología) es
el más adecuado para promover procesos de cambio orientados a la mejora educativa,
sino cómo y dónde se sitúan los procesos evaluativos dentro de esa red compleja de
intercambios, poderes e influencias que constituye el sistema educativo. En definitiva,
nos preguntamos por las modalidades, condiciones y contextos de evaluación
generadores de la mejora docente, con especial referencia a los modelos de
autoevaluación (en este libro utilizamos indistintamente las denominaciones
autoevaluación y evaluación interna).
Con esa finalidad en la Parte I del libro se analiza críticamente el papel que
desempeña la evaluación en la mejora de los centros educativos. Los efectos no deseados
de los enfoques de evaluación externa basados en estándares junto con las nuevas
tendencias en la gestión de la educación (autonomía, responsabilización institucional,
etc.) cuestionan las políticas de evaluación dominantes, más preocupadas por medir la
calidad educativa que por mejorarla. La tensión entre la evaluación externa y la interna
pone de manifiesto la necesidad de crear un nuevo paradigma de evaluación basado en la
perspectiva de la responsabilidad, la complejidad, la participación, el constructivismo y
las relaciones sociopolíticas.
También se describen los principales marcos teóricos que sirven de referencia al
desarrollo de la autoevaluación institucional, tales como la innovación basada en el
centro, la investigación-acción o la evaluación participativa… lo que nos permite
acercarnos a una conceptualización de esa corriente evaluativa.
En la Parte II del libro se recogen principios básicos, políticas y estrategias de
autoevaluación, con referencia a diferentes sistemas educativos, nacionales e
internacionales. Por otra parte, se describen las principales etapas y procesos implicados
en el ciclo de revisión y mejora interna: contextualización, planificación, coordinación,
recogida de información, redacción de informes y elaboración de un plan de mejora.
Finalmente, las experiencias y análisis previos realizados en este ámbito nos permiten
derivar criterios de calidad y ser conscientes de las posibles resistencias que han de
afrontarse en el desarrollo de un proyecto de autoevaluación institucional, con el objeto
de crear las condiciones internas y externas que faciliten su implantación.
Expresamos nuestro agradecimiento a las comunidades educativas de los centros
participantes en los proyectos experimentales de autoevaluación y mejora durante los
años 2005 a 2009 y al Servicio de Evaluación y Calidad de la Consejería de Educación y
Ciencia del Principado de Asturias.
11
12
Introducción: ¿La evaluación al servicio de
la educación? Una duda legítima
Dado que las personas somos ‘evaluadores naturales’, podemos asumir el compromiso de
desarrollar esta capacidad para ponerla al servicio de la mejora de las instituciones en las que
trabajamos y vivimos.
Educación y evaluación son expresiones que suelen ir juntas, aunque a menudo sus
relaciones no son cordiales. En su planteamiento más básico, si la educación pretende
tener efectos, por ejemplo generar cambios en las personas, la comprobación de esos
cambios constituye una parte inseparable del propósito educativo (evaluación de
resultados). Por otra parte, si la enseñanza debe someterse a revisión y actualización para
garantizar su continuo perfeccionamiento, ha de contar con algún procedimiento
sistemático de recogida y análisis de la información acerca de la práctica docente
(evaluación de procesos). De ambos casos se deriva una misma consecuencia: los
sistemas de evaluación no pueden constituirse en un componente independiente o
autónomo de los propósitos educativos, sino que adquieren su sentido al servicio de las
finalidades educativas. A su vez, la práctica educativa, como práctica deliberada, necesita
de algún mecanismo que le permita conocer sus efectos a corto y medio plazo.
Pero esta lógica impecable suele chocar con una realidad implacable. A través de
diversos mecanismos las prácticas evaluadoras pueden frustrar las intenciones de los
agentes educativos, llegando a obstaculizar, enmascarar o pervertir los mismos procesos
educativos. Al preguntarnos si la evaluación contribuye a la calidad educativa
simplemente estamos planteando la duda legítima que suscita la aplicación de numerosos
sistemas de evaluación cuya relación con la mejora de la educación queda lejos de ser
demostrada.
Los sistemas de evaluación externa de los centros educativos vienen generando
desde hace años mucha información sobre los resultados obtenidos, las estructuras
organizativas o los recursos existentes. Los métodos y los instrumentos se han ido
perfeccionando progresivamente, logrando que los datos que derivan de estas
evaluaciones sean cada vez más precisos y puedan ser comparados unos con otros.
Permiten incluso conocer las condiciones en las que trabajan los centros y sus
profesores. Constituyen un “barómetro” cada vez más preciso sobre la situación y
evolución de la educación escolar, informando sobre la eficacia así como sobre las
13
posibles causas de los éxitos y fracasos del sistema. Y sin embargo, esta maquinaria de
evaluación de la eficacia de nuestros sistemas educativos no parece guardar una conexión
muy directa con la generación de procesos de cambio en el interior de las organizaciones.
Esto no significa que las evaluaciones carezcan de efectos. La evaluación, como
dispositivo social e institucionalmente legitimado, es un instrumento de poder cuya
utilización media las relaciones entre la teoría y la práctica educativa. El poder de la
evaluación es tal que puede llegar a subvertir la misión de la educación, imponiendo
criterios particulares, generalmente de forma implícita, y promoviendo relaciones y
procesos antieducativos en aras de la eficacia y la eficiencia. Así, a veces se utilizan
metodologías de evaluación sofisticadas que tienden a mistificar los procesos evaluativos
e inhibir a los agentes del programa. En otras ocasiones las evaluaciones se plantean de
forma superficial y paralela a los procesos y prácticas educativas, al margen de los
lugares donde se toman las principales decisiones.
La difusión de sistemas de evaluación externa no ha evitado que en muchas
ocasiones se sigan tomando decisiones sin información. Guerrero Ortiz (2007) sugiere
que esto se produce porque:
14
evaluación nacional o de las mediciones internacionales. Pero si alguien lo
intenta, más pronto de lo que supone puede ser acribillado con demandas
operativas, todas urgentes, que lo harán desistir con resignación.
d) Quienes toman las decisiones no suelen tener el tiempo ni la experiencia
suficiente para analizar y digerir cuerpos complejos de información, que
exigen establecer relaciones a varios niveles y dimensiones entre distintos
aspectos de la realidad. Ciertamente, el actor político no tiene que hablar
necesariamente el lenguaje del investigador; pero la evitación de la
complejidad, la prisa y la poca familiarización con el tipo de información que
se le presenta, puede derivar en simplificaciones tan arbitrarias como inútiles
para resolver los problemas y a las que podría haberse llegado, además, sin
mirar dato alguno.
e) La necesidad que tiene el decisor de considerar otras cuestiones, a las que
atribuye mayor peso que los resultados de una evaluación. Es el caso del
presupuesto. Si las cifras indican, por ejemplo, que los problemas principales
de rendimiento están en los primeros grados de la primaria y se concentran en
las áreas rurales y más pobres del país, asignar recursos especiales a una
intervención dirigida a esas escuelas puede suponer ajustes en el presupuesto
que van a generar conflictos.
f) Los expertos muchas veces dan cuenta de sus hallazgos a través de su lenguaje
especializado. Quienes toman decisiones y quienes producen información son
actores que pertenecen a “culturas” separadas con intereses y lenguajes
distintos.
Esto lleva a la cuestión decisiva: ¿qué hacer para que las evaluaciones educativas
sean realmente útiles para tomar mejores decisiones?
El poder de la evaluación es a la vez simbólico, instrumental e institucional (ver
Correia, 2010). Por una parte, la evaluación tiene un gran poder simbólico en cuanto
ejercicio sancionador, en su doble sentido de lo bueno (autorizando) y de lo malo
(penalizando), como juicio acerca de lo correcto y lo incorrecto. Esto se relaciona a su
vez con el poder instrumental que la evaluación ejerce mediante el uso de una tecnología
específica que permite reducir la complejidad de la realidad educativa a unos pocos
parámetros y, en última instancia, a un juicio o sello final. A su vez, tanto el poder
simbólico como el poder instrumental de la evaluación necesitan una estructura para
ejercerse de forma estable, asociándose a un poder institucional. De esta forma, la
función evaluadora se vincula al ejercicio de autoridad legítimo y pasa a formar parte de
la estructura organizativa, creando dentro del sistema unidades específicas para su
ejercicio.
La expansión de las prácticas evaluadoras va pareja a la existencia de un problema
ampliamente difundido, como es la utilización inadecuada o incluso la noutilización de los
resultados de las evaluaciones, lo que cuestiona la justificación de los recursos invertidos.
Por una parte, las sucesivas iniciativas de reformas plantean cambios rara vez basados en
15
datos; por otra, desde la administración se recogen continuamente datos que apenas se
utilizan. Esto cuestiona directamente el papel que desempeña la evaluación en la mejora
del sistema.
Lo anterior no impide que las propuestas evaluadoras aparezcan casi siempre
asociadas a términos de mejora, calidad, eficiencia… Por una parte, existe la
consideración explícita y general de que la evaluación es un instrumento necesario para
ayudar a la toma de decisiones en el diseño, implementación y gestión de la educación;
pero, a su vez, es habitual encontrarse prácticas evaluadoras que no responden a estas
expectativas o que incluso generan efectos no deseados. Esta doble potencialidad de las
evaluaciones para crear expectativas y a la vez para frustrarlas debe ser tenida en cuenta
como punto de partida para el desarrollo de cualquier proyecto o propuesta evaluadora.
Y es que el ámbito de la evaluación no es ajeno a las paradojas de la realidad educativa,
al contrario, se sitúa en el centro de sus contradicciones.
Los discursos recientes sobre las reformas educativas dan por sentado el papel
central que ha de tener la utilización de “datos” para mejorar la enseñanza, la toma de
decisiones basada en evidencias. Pero ¿cómo pueden ayudar los datos a mejorar las
prácticas docentes? Generar datos, evidencias, no es suficiente para mejorar la práctica
educativa. Una evaluación para la mejora debe ser una evaluación que permita un uso
formativo de los datos. Muchas evaluaciones se denominan a sí mismas formativas
porque tienen entre sus propósitos mejorar la toma de decisiones, pero eso no significa
que tengan en cuenta las condiciones necesarias para que esto de produzca. Parecen
influir factores como las prácticas de evaluación, el tipo de datos (relevancia, utilidad,
accesibilidad), el papel a desempeñar por los profesores, los contextos de trabajo de los
docentes, esto es, el liderazgo, el apoyo para la utilización de los datos, las estrategias
institucionales de formación o los estándares de aprendizaje y de colaboración de los
adultos (Young y Kim, 2010). En su revisión de la literatura, estos autores comprueban
que la expresión evaluación formativa es imprecisa y analíticamente inadecuada.
La débil socialización profesional, el aislamiento docente y las normas burocráticas
determinan prácticas de evaluación individuales y descontextualizadas. Es importante la
unidad de evaluación elegida. El docente individual y su aula no son la única unidad de
evaluación, la cual debe ir más allá de la evaluación del rendimiento. Ello remite a las
condiciones organizativas necesarias para el uso formativo de la evaluación: liderazgo de
apoyo y no amenazante, información relacionada con el aprendizaje de los estudiantes,
colaboración docente, papel de los asesores… llegando a ser más importante el proceso
que el tipo de datos recogidos (Wayman et al., 2007; Young, 2006).
Hablar de evaluación educativa conlleva hacer referencia a diferentes niveles en la
toma de decisiones del sistema educativo, esto es, el político-administrativo, el técnico-
evaluador, el director-gestor, el profesional-docente y el de los beneficiarios. Uno de los
principales retos del sistema educativo es establecer relaciones entre estos niveles, que
con frecuencia constituyen mundos separados que se desarrollan en recíproca ignorancia:
el de la política educativa, el de la gestión, el de la práctica docente, el de la evaluación-
investigación educativa. El contexto de la práctica docente suele ser obviado desde los
16
entornos políticos de decisión y apenas tenido en cuenta por la gestión escolar, mientras
que las políticas se deciden al margen de los resultados obtenidos en la investigación y la
evaluación educativa (San Fabián, 2010). Una consecuencia de esto es la falta de
impacto de las políticas y las evaluaciones educativas en la toma de decisiones sobre la
práctica docente.
Los factores que han llevado a esta situación, algunos de los cuales serán descritos a
lo largo de este libro, suelen tener en común la existencia de una desconfianza recíproca
entre los diferentes ámbitos institucionales así como la pervivencia de un modelo
jerárquico de toma de decisiones, lo que repercute directamente en la evaluación. Los
docentes no creen en la utilidad de las evaluaciones y dudan de sus propósitos explícitos,
las evaluaciones se diseñan y desarrollan sin la implicación necesaria del profesorado, las
consideraciones políticas y económicas pesan más que las pedagógicas a la hora de
decidir por parte de gestores y políticos, etc. Una vía para modificar esta realidad pasa
por revisar los modelos de evaluación dominantes, cuestionar sus presupuestos y, a la
vez, desarrollar modelos alternativos.
Pruebas, tests, notas, exámenes, auditorías, informes, actas… forman parte del
funcionamiento cotidiano de las instituciones educativas, constituyendo lo que se ha
denominado un tipo de “evaluación bancaria”, entendida como un proceso donde se
genera y acumula información sin tener en cuenta a sus actores ni los escenarios donde
se realizan las prácticas (Azevedo, 2007). Este sin sentido de la evaluación como
acumulación de papeles e informes, resultado de la inercia burocrática del sistema, es lo
primero que debe ser cuestionado. En el contexto de esta sociedad de la información, la
evaluación educativa provoca, y también padece, una enfermedad ampliamente
extendida: la acumulación de información no utilizada, mal utilizada y, cómo no, inútil,
esto es, no utilizable. Frente al exceso de información, los procedimientos sistemáticos de
provisión del conocimiento −la evaluación es uno de ellos− se ven obligados a ser
altamente selectivos; ante la superficialidad de la información requieren ser relevantes y
rigurosos; ante el predominio de lo anodino han de ser incisivos y críticos. En una
sociedad del conocimiento, donde el exceso de información plantea la necesidad de una
selección inteligente de la misma, la evaluación no puede seguir desempeñando una
función “bancaria”.
Se receta evaluación como si de ella viniesen las respuestas a los principales problemas o
como si constituyese en sí una política o un valor. Por el contrario, los procesos de evaluación
están inmersos en el campo de la política e implican valores y aspiraciones de la sociedad. En este
sentido, la cuestión pertinente será: ¿cómo puede la evaluación contribuir a la lucidez? (Azevedo,
2007: 17).
17
PARTE I
18
1
La evaluación de centros educativos en el
contexto actual
La base neoliberal que impregna actualmente las políticas educativas imprime una
orientación específica a los procesos de evaluación de centros. Nociones como mercado
de servicios educativos, privatización, rendimiento de cuentas basado en resultados,
competencia, libertad de elección, procesos de estandarización, reducción de costes…
19
contribuyen a definir el marco en el que se desenvuelven hoy las políticas educativas y
en particular las políticas de evaluación (OCDE, 2005).
En los últimos años asistimos al auge de los llamados procesos de reforma educativa
basados en estándares y, más concretamente, basados en resultados de evaluación
centrados en el rendimiento de los estudiantes (Ruiz, 2009). Se trata de una tendencia
ampliamente extendida en los sistemas educativos actuales que forma parte de la
corriente de rendimiento de cuentas o responsabilización por parte de los centros
escolares y sus profesores. Con ella se busca que las principales decisiones de política
educativa, sobre recursos, innovaciones, asesoramiento, oferta escolar, etc. que recaen
sobre los centros y el profesorado se hagan depender de los resultados evaluados.
Los sistemas de rendición de cuentas mediante evaluaciones externas basadas en
estándares gozan hoy de una gran aceptación por parte de los gestores políticos, pues
suponen para ellos un asidero muy atractivo en un campo como el de la educación,
caracterizado por la complejidad y la incertidumbre, mayormente en tiempos de crisis.
Las tasas de rendimiento, el uso de rankings, las pruebas estandarizadas… aportan una
dosis de tangibilidad y de objetivación, no necesariamente de objetividad, que resulta
efectiva para reducir, al menos provisionalmente, dicha incertidumbre. De esta forma, las
estrategias de evaluación ocupan un lugar privilegiado en el conjunto de las políticas
educativas.
En España, con especial incidencia en los años ochenta y noventa, han predominado los
enfoques positivistas y tecnocráticos en la evaluación de centros, orientados a regular
administrativamente el control de la escuela (Bolívar, 1994b). Al respecto, la clasificación
de los diferentes enfoques de evaluación de centros educativos realizada por T. Escudero
(1997) es clarificadora, como lo fue el estudio bibliométrico realizado por Expósito et al.
(2004) sobre enfoques y metodologías empleadas en evaluación educativa, donde se
constataba el claro predominio de los enfoques positivistas y los métodos cuantitativos de
evaluación en nuestro contexto.
En los años ochenta, la incipiente corriente de evaluación de centros y profesores en
nuestro país se planteaba aún si esa evaluación era posible (Escudero Escorza, 1980). La
mayoría de las propuestas de evaluación procedían de inspectores o antiguos inspectores
(p. ej., Casanova, 1992; Chavarría y Borrel, 2003). A la vez fueron apareciendo diversas
herramientas dirigidas a evaluar dimensiones particulares de los centros, como el
ambiente y el clima organizativo del centro y del aula, siendo el cuestionario el
instrumento más utilizado a la hora de llevar a cabo una evaluación de centros educativos
(p. ej., Rodríguez Díez, 1992; Ruiz, 1992). Entre lo más novedoso que podíamos
encontrar, por su orientación más cualitativa, era algún instrumento como el QUAFE-80
(Cuestionario para el Análisis del Funcionamiento de la Escuela) de J. A. López y P.
Darder (1985).
20
La Ley Orgánica 1/1990, de 3 octubre, de Ordenación General del Sistema
Educativo (LOGSE, en adelante) y otros desarrollos oficiales señalan, entre los principios
por los que se regirá la actividad educativa, “la evaluación de los centros docentes y de
los diversos elementos del sistema” (art. 2.3). Como concreción de las propuestas
legislativas derivadas de la LOGSE, el Servicio de Inspección del Ministerio diseñó un
Plan de Evaluación de Centros (llamado Plan EVA) que comenzó el curso 1991-1992
como experiencia piloto, para irse generalizando en los cursos siguientes a todos los
centros. Diseñado por técnicos del CIDE e inspectores, incluía las siguientes
dimensiones: contexto del centro, recursos humanos y materiales, apoyos externos,
alumnado, organización y funcionamiento, procesos didácticos y rendimiento educativo;
cada una con sus correspondientes subdimensiones e indicadores. Utiliza un conjunto de
escalas descriptivas (fichas de evaluación), guías (para análisis de la documentación y
para la realización de entrevistas o reuniones) y cuestionarios para los diferentes sectores,
adaptados a cada nivel educativo (Luján y Puente, 1996). Sin embargo, por más que el
Plan EVA (MEC, 1992) insista en su carácter formativo y que su objetivo fundamental
es “mejorar la organización y funcionamiento de los centros”, así como “asesorar,
estimular y apoyar las actividades de evaluación interna” de los centros evaluados…, el
propio contexto, agentes e informes de evaluación lo acercan más a un control
administrativo, tal como sugiere Bolívar (1994).
Las tendencias que invadían la educación desde el ámbito de la empresa llevaron a
diversos gestores (Gento, 1995) y a los responsables de Educación del momento (MEC,
2001) a proponer los modelos de evaluación basados en la EFQM (European
Foundation for Quality Management) y la calidad total. En realidad pocos centros
llegaron a implantar dichos modelos de evaluación excesivamente formalizados y poco
adaptados a las características de las organizaciones escolares. Ante el predominio de la
evaluación externa de centros, una preocupación ha sido conocer el impacto de las
evaluaciones externas estandarizadas en los centros y en su mejora (Torres, 2003,
Bolívar, 2004b y Gairín, 2006).
En 1990 aparece una obra que marca un cambio de perspectiva en evaluación de
instituciones escolares, se trata del libro Hacer visible lo cotidiano de M. A. Santos
(1990), obra que el autor continuará con otras (Santos, 1993) que profundizan en esta
perspectiva cualitativa y etnográfica de la evaluación dirigida a la comprensión y mejora
de las organizaciones. Pero el cambio en las prácticas evaluadoras sería más lento.
Según Torres (2006: 156-179), el auge de los indicadores de rendimiento, asociado
al devenir de las políticas conservadoras y neoliberales, constituye una tecnología
vinculada al discurso eficientista y productivista de la educación. A partir de 1993 se
comenzó a diseñar un Sistema Estatal de Indicadores de la Educación, con la creación
del Instituto Nacional de Calidad y Evaluación (INCE), publicándose su primera versión
en el año 2000 hasta la actualidad. La LOCE (2002), que para lograr una menor
resistencia a la implantación de dicha tecnología tuvo que asignarle un “carácter
orientador”, previó que dicho sistema contribuiría a “orientar la toma de decisiones en la
enseñanza, tanto de las instituciones educativas, como de la administración, los alumnos
21
o las familias” (art. 97.1).
Esta perspectiva se mantiene en la LOE cuatro años después, proponiéndose la
realización de evaluaciones externas a los centros. Además, se implantan las llamadas
pruebas de diagnóstico, que versarán sobre las competencias básicas del currículo, pero
“en ningún caso los resultados de estas evaluaciones podrán ser utilizadas para el
establecimiento de clasificaciones de los centros” (art. 114). Dicho artefacto se plantea
como un instrumento técnico y neutral para corregir los desajustes del sistema, de donde
se deriva, según Torres (2006) que los problemas educativos son básicamente de tipo
técnico y tienen que ver (se resuelven) con lo que haga el profesorado y el alumnado.
Además, surgen otras cuestiones fundamentales como el carácter formativo de tales
evaluaciones, la neutralidad del Instituto de Evaluación, dependiente del Ministerio de
Educación, Cultura y Deporte (MEC, en adelante), respecto al gobierno, etc. Torres
propone una pluralidad de agencias de evaluación. En realidad esto, que ya ocurre en
varias CC.AA., no asegura la independencia política de las mismas.
La evaluación cualitativa dirigida a promover la mejora interna de los centros fue
poco a poco abriéndose paso. Desde finales de los años ochenta fueron apareciendo
algunos artículos sobre la revisión basada en la escuela (González, 1988), la
autoevaluación escolar (Beltrán y San Martín, 1992; San Fabián, 1996) o la
autoevaluación institucional (Bolívar, 1994a; Álvarez Méndez, 1997), los cuales
iniciaron en España una vía que posteriormente se plasmaría en propuestas más
desarrolladas de evaluación interna de centros (Cardona, 1994; AA.VV. 1999; Estefanía
Lera y López Martínez, 2001; Rul y Zaitegui, 2003), así como en la elaboración de
instrumentos de autoevaluación institucional (e.g. Tomás et al., 2000). La idea de mejora
interna de los centros escolares mediante proyectos de colaboración entre centros
escolares y otros agentes externos (profesores universitarios o asesores de CEP) ha dado
lugar a experiencias (iniciadas a fines de los ochenta) entre la universidad y los centros
escolares (e.g. Escudero et al., 1990; González y Martínez, 1992), que:
22
1.2. El auge de la evaluación estandarizada
Los resultados escolares son importantes en una sociedad donde el éxito escolar es una
puerta para el éxito profesional y social. Como señalan Elmore y Fuhrman (2003,
introducción), “en una sociedad donde el logro educativo está fuertemente relacionado
con los ingresos futuros, la repetición, la denegación de diplomas y los abandonos tienen
consecuencias extremadamente serias para los alumnos”.
La cuestión es en qué medida las evaluaciones dan cuenta de esos resultados de una
manera global y estable; y, sobre todo, cómo contribuyen dichas evaluaciones al
perfeccionamiento del sistema educativo. En otras palabras, ¿qué control tenemos de las
condiciones que hacen posible los aprendizajes?, ¿es ético castigar a alumnos por no
aprender lo que no se les han enseñado o que se les ha enseñado de forma inadecuada?,
¿es ético sancionar a los docentes por la producción de unos resultados que sólo en parte
dependen de su actuación? (Ravela, 2006).
Esta modalidad de toma de decisiones basada en el rendimiento escolar suscita
numerosas cuestiones: ¿qué miden realmente las pruebas de rendimiento?, ¿qué efectos
tienen las medidas del rendimiento del alumnado en la mejora de la docencia?, ¿cómo
condicionan el trabajo docente?, ¿cómo contribuyen a la equidad del sistema y a la
configuración de diferentes redes escolares?, ¿hablar de evaluación de rendimientos es lo
mismo que hablar de evaluación de la calidad de la enseñanza? y, sobre todo, ¿qué
certeza tenemos de que la evaluación del rendimiento de los estudiantes puede llevar a
mejorar la calidad de los centros?, ¿están conduciendo a mayores tasas de éxito escolar?,
¿están logrando retener una mayor cantidad de alumnos de la enseñanza secundaria, por
ejemplo? Tras estas preguntas una cuestión se encuentra en el fondo de todas ellas, el
impacto de las evaluaciones en la toma de decisiones orientada a la mejora: ¿los agentes
decisores y en especial los docentes, como protagonistas directos de las acciones
educativas, utilizan los resultados de las evaluaciones para mejorar su docencia?
Esto lleva al problema del uso de los indicadores, de su contribución a uniformidad y
estandarización de los sistemas, a la cuantificación de la evaluación… El proceso de
traducción de los indicadores a la práctica varía según las condiciones del sistema
(Mahony y Hextall, 2000), donde influyen especialmente los intereses de los que toman
decisiones. Un ejemplo lo encontramos en la utilización que hizo la ministra Esperanza
Aguirre de las pruebas de evaluación para intentar justificar su fracasada reforma de las
Humanidades, bajo la que escondía el interés por controlar los contenidos de la
enseñanza en la ESO.
Indica Ravela (2006) que una cosa es generar información sobre las escuelas que
están logrando que sus alumnos adquieran los aprendizajes esperados y otra
completamente diferente es convertir eso en una tabla de posiciones tipo campeonato de
fútbol, de manera simplista y con gran daño para muchos centros. En consecuencia
propone varios criterios que deben tenerse en cuenta al efectuar comparaciones entre
escuelas:
23
a) Utilizar diversos indicadores de calidad y no uno solo, lo que probablemente
dará lugar a diversos ordenamientos, dado que unas escuelas destacarán en
ciertos aspectos y otras en otros.
b) Cuando se ordena a las escuelas por un único indicador como, por ejemplo, sus
resultados en una prueba de Matemáticas, evitar denominar “calidad” a ese
único indicador. Es legítimo explicitar que ello no da cuenta de todo lo que las
escuelas realizan.
c) Tener en cuenta la composición social del alumnado de cada centro. Si esto no
se hace, lo que se está comparando principalmente es la selección social del
alumnado. Es preferible realizar varios ordenamientos o rankings por
separado, para escuelas de diferente composición social.
d) Utilizar datos de varios años o varias mediciones para evitar ofrecer imágenes
falsas que obedecen a factores aleatorios, dado que los resultados de escuelas
individuales son altamente volátiles y cambiantes.
e) Controlar la significación estadística de las diferencias, tanto en la comparación
entre escuelas en un mismo momento del tiempo como en la comparación de
los resultados de una misma escuela a lo largo del tiempo. Esto
necesariamente llevará a relativizar las posiciones en el ranking, dado que cada
escuela no tiene una única posición sino varias posibles. Por este motivo, es
preferible trabajar con agrupamientos de escuelas (escuelas de muy buenos
resultados, escuelas de resultados intermedios, escuelas de resultados
inferiores, etc.) más que con un ordenamiento individualizado.
f) Focalizar las comparaciones en la proporción de alumnos que están logrando los
aprendizajes que deberían lograr, más que en las posiciones relativas de las
escuelas en función de sus promedios. Una escuela puede tener un promedio
superior a otra, pero ambas ser malas en términos de lo que sus alumnos están
logrando.
El interés por relacionar los resultados de los aprendizajes de los estudiantes con la
eficacia docente ha provocado un uso creciente de los denominados Métodos de Valor
Añadido (MVA), desarrollados por Newton et al. (2010) para evaluar incrementos en los
aprendizajes de los alumnos. Estos autores cuestionan si se pueden aislar los efectos de la
práctica docente o de los centros en el rendimiento escolar respecto a otros factores. Para
ello exploran las posibilidades y limitaciones de estos métodos encontrando que no son
del todo fiables, especialmente cuando se aplican a la valoración de la eficacia docente de
un profesor, la cual puede variar sustancialmente a través de los distintos modelos
estadísticos, los grupos de clase asignados y los años de experiencia. Además, las
características de los estudiantes pueden impactar drásticamente las clasificaciones de los
profesores, aun cuando tales características hayan sido previamente controladas
estadísticamente. Los profesores que enseñan a los estudiantes menos aventajados en un
curso o año determinado reciben clasificaciones de eficacia más bajas que cuando un
mismo profesor está enseñando a los estudiantes más aventajados en otro curso o año.
24
Los modelos que no toman en cuenta las características demográficas de los
estudiantes perjudican adicionalmente a los profesores que sirven a un gran número de
estudiantes de bajos ingresos, con conocimientos limitados del idioma o que estén en
grupos de menor rendimiento académico. Los criterios de asignación de docentes y
alumnos a centros y grupos, las características de los estudiantes, su esfuerzo y el de sus
familias, la contribución de múltiples factores al aprendizaje, la interferencia del efecto
centro y el efecto docente, etc. dificultan determinar el papel específico que desempeñan
los centros y los docentes en la producción de incrementos medibles de aprendizaje
estudiantil, lo que lleva a realizar inferencias problemáticas y a formular hipótesis
demasiado complejas e inestables sobre la eficacia de los centros y sus profesores (Baker
et al., 2010).
Ello interroga por las finalidades de las políticas de evaluación. Los sistemas de
rendición de cuentas basados en pruebas de rendimiento pueden utilizarse de diversas
maneras y con diferentes objetivos (Carnoy y Loeb, 2002). Pueden ser usados como
indicador que informa a administradores y docentes si se están logrando los objetivos de
la organización y proporcionar información sobre qué elementos del currículo están
incidiendo en los estudiantes y cuáles no. Pueden ser utilizados como medida de éxito o
fracaso para establecer sistemas de incentivos. Pueden emplearse como criterio para
aumentar el nivel, para evaluar planes de estudio o para proporcionar asistencia técnica.
También se pueden utilizar como un mecanismo para asignar recursos adicionales con el
fin de mejorar los resultados de los centros que afrontan mayores dificultades… ¿Cuáles
de estas finalidades son las más apropiadas a la naturaleza de la evaluación? ¿Cuáles
justifican su empleo? ¿Cuál es la evaluación más adecuada a cada finalidad?
Ravela (2006) distingue dos tipos de propósitos diferentes en las evaluaciones
externas:
El primer propósito ha sido el más extendido, lo que lleva a preguntarnos por los
efectos que tienen los rankings públicos derivados de las evaluaciones. Incluso donde no
se publican puntajes crudos, sino medidas más refinadas de valor agregado, el uso de
rankings hace inevitable que haya ganadores y perdedores, y una vez que una escuela es
etiquetada como deficiente es difícil encontrar la manera de ayudarla, en un ambiente en
el que prevalecen actitudes de recriminación y reproche, impidiendo el surgimiento de
estrategias de mejora (Ravela, 2006).
25
No hay duda de que las reformas educativas basadas en estándares han convertido la
evaluación en un instrumento primordial para impulsar y sostener los cambios. El
principal problema surge cuando los sistemas de rendimiento de cuentas externos basados
en estándares se asocian a la política de libertad de elección de centros desligándose de
los procesos de mejora interna. En manos de una interpretación neoliberal, demasiado
lineal e infundadamente optimista, estas políticas hacen de la evaluación del rendimiento
una herramienta al servicio del mercado donde, supuestamente, las familias cuenten con
información sobre los resultados académicos de los centros y así puedan escoger
correctamente. No obstante, los resultados de rendimiento obtenidos reflejan solo
parcialmente la calidad del centro, no informan de los procesos, siendo más bien un
indicador de la capacidad de selección social del centro o, dicho de otra forma, del nivel
sociocultural de sus estudiantes (Redondo et al., 2004). Un aspecto que critican estos
autores se refiere a que los instrumentos de medición de la calidad no recogen la
integralidad de la experiencia educativa, por lo que si se le considera el único instrumento
de medición puede generar una imagen distorsionada de lo que es la calidad global de la
educación obtenida. Las evaluaciones estandarizadas son poco adecuadas para conocer si
los estudiantes son pensadores innovadores, ciudadanos tolerantes y responsables,
culturalmente alfabetizados y otros resultados educativos valiosos (Stein, 2001; Willinsky,
2004). Existen modelos e iniciativas tendientes a medir el valor agregado de cada centro,
pero no suelen llevarse a cabo debido a limitaciones políticas y burocráticas.
Según diversos autores (Elmore y Fuhrman; 2003; Bolívar, 2003; Ravela, 2006), los
estándares de evaluación pueden generar mejoras en la educación solo cuando se dan
unas condiciones específicas y se hace un uso correcto de los mismos. De lo contrario,
tienden a generar efectos perversos. Entre los posibles efectos de los indicadores de
rendimiento centrados en el alumnado pueden citarse (Torres, 2006: 165-175):
26
con información que únicamente tiene como objetivo resaltar útil en las
pruebas de control de los indicadores.
h) La preocupación principal del profesorado vuelve a ser la disciplina y la cultura
del esfuerzo.
i) Se elimina la autonomía del profesorado, apostando, en consecuencia, por
prescribir y centralizar las decisiones sobre los contenidos escolares, con el
subsiguiente efecto colateral de contribuir a una mayor desprofesionalización
del profesorado.
j) Las políticas de estándares hay quien las defiende para “estimular” a los malos
profesores y profesoras, no a los buenos, a los que se proclama que no les
afecta, pero los resultados de numerosas investigaciones en otros países dicen
que también los acaban forzando a acomodarse a trabajar unos determinados
contenidos y a emplear metodologías más acordes con las formas en que se
evalúan los estándares.
k) Las relaciones del profesorado con la Administración llegan a ser siempre de
sospecha e, incluso, de temor.
l) Los resultados de las políticas de estándares contribuyen a construir un ranking
de centros.
m) Se incrementan los niveles de burocracia y los gastos en el sistema educativo.
n) Favorece la entronización del positivismo como única epistemología válida en
educación.
Todas estas cuestiones llevan a examinar la evidencia en torno a los efectos de las
actuales políticas de evaluación para el rendimiento de cuentas o accountability.
Desde fines de los años sesenta se ha medido el nivel de aprendizaje de los alumnos para
elevarlo, pero no ha sido evidente la forma de conseguirlo. Los sistemas de rendición de
cuentas o responsabilidad por los resultados, en particular aquellos que intentan
establecer presiones directas sobre distritos, escuelas y maestros para que mejoren los
resultados de sus alumnos, no siempre han traído consigo los beneficios prometidos. Al
menos, la evidencia empírica no muestra que se produzcan mejoras sostenidas en el
tiempo a partir de los mismos (Ravela, 2006). Según este autor, los rankings son modos
inapropiados de valorar la calidad de las escuelas, siendo cuatro los tipos de problemas
que presentan la mayoría:
27
los años ochenta y noventa en los EE.UU., encuentran que en aquellos Estados donde la
evaluación externa alcanza mayor presión se observa un incremento en las pruebas de
rendimiento. Sin embargo, esta relación entre el incremento de la política de rendimiento
externo de cuentas y los resultados escolares medidos en tests no garantiza una mejora
en el aprendizaje escolar global ni efectos sostenidos en el tiempo (niveles de graduación
posterior). Por otra parte, detectan que los centros que ya tienen mejores rendimientos
son los que responden mejor a las demandas de evaluación externa, por lo que puede
decirse que se trata de una política que mejora a los centros mejores. Dichos autores
ponen de manifiesto los límites de la evaluación externa como vía para obtener mejoras
en los procesos y resultados de la enseñanza, señalando los efectos perversos que pueden
llegar a generar.
El rendimiento del alumnado medido en test es el principal procedimiento que usan los estados
para detectar la mejora educativa. Sin embargo, las mejoras en los exámenes estatales pueden no ser
una medida exacta de los avances educativos, ya que los centros pueden sustituir la adquisición de
aprendizajes más duraderos en los estudiantes por estrategias que aumenten su desempeño en la
contestación a los tests particulares. Debido a esto, es importante utilizar medidas alternativas para
evaluar el éxito de estas políticas (Carnoy y Loeb, 2002: 305).
28
a los alumnos hijos de las familias más educadas, dado que éstas contarían
con más información y mayores recursos para desplazar a sus hijos. Dichos
centros se quedarían con los alumnos de las familias menos educadas, lo cual
determinará que sus resultados empeoren en la siguiente evaluación. De este
modo se generaría una dinámica de incremento o “estiramiento” de las
distancias en los resultados entre los extremos del sistema educativo, también
denominado “efecto goma de mascar”. Este fenómeno fue constatado por
Orlyo Mella (2003) para el caso chileno, donde se ha apostado fuertemente
por este tipo de esquema de responsabilidad por los resultados desde los años
ochenta.
b) Los sistemas de incentivos motivan a los que ganan y desmoralizan a quienes
pierden. Todo sistema de incentivos tiene ganadores y perdedores. Lo que
muestra la evidencia empírica es que quienes ganan los incentivos se motivan
y tienden a querer seguir participando en el sistema y mejorar para volver a
ganar. Lo mismo puede ocurrir con quienes no ganan pero quedan cerca de
hacerlo. Simultáneamente, se ha constatado también que quienes quedan lejos
de ganar se desmoralizan, tienden a creer que nunca lograrán alcanzar los
primeros lugares y a volverse indiferentes ante el sistema. Como
consecuencia, queda sin resolver el problema de cómo mejorar las escuelas
cuyos resultados son peores. El efecto desmoralizador puede afectar incluso a
escuelas que han hecho esfuerzos importantes y han logrado mejoras pero no
las suficientes como para compararse a otros centros.
c) Entrenar a los alumnos para responder a pruebas estandarizadas. Todo sistema
de evaluación estandarizada tiene como efecto dirigir una parte de la
preocupación y el tiempo de enseñanza hacia lo que las pruebas evalúan. Este
efecto es mayor cuanto más importantes sean las consecuencias de las
pruebas para escuelas y docentes. En sí mismo, esto no es malo, en realidad
es parte de los efectos buscados cuando se evalúa. El problema se plantea
cuando se vinculan consecuencias fuertes a pruebas que no son lo
suficientemente complejas y amplias, por ejemplo, cuando se emplea
exclusivamente pruebas de opción múltiple dado su menor coste para
evaluaciones censales. En estos casos puede ocurrir que la “mejora” educativa
se limite a entrenar a los alumnos para responder pruebas de elección múltiple.
Cuando las pruebas no tienen consecuencias fuertes, es más fácil que los
docentes puedan considerarlas como lo que son (indicadores de lo que los
alumnos están aprendiendo) y aprender de ellas sin estar presionados a
mejorar los resultados de cualquier modo.
d) La tentación o necesidad de “rebajar” los niveles de exigencia. Si los niveles de
exigencia de las pruebas son muy altos, se corre el riesgo de generar un
fracaso generalizado entre los estudiantes o entre las escuelas que, por
diversas razones (costes financieros, sociales o políticos, entre otros), obligue
a reducir los niveles de exigencia. Si los niveles de exigencia se “rebajan” para
29
evitar el fracaso mencionado, se corre el riesgo de adaptar las expectativas al
nivel promedio de la población escolar y transmitir a los docentes una señal
equivocada en cuanto a qué es lo que todos los alumnos deberían aprender.
Además, las pruebas externas, si son exigentes y tienen consecuencias para los
alumnos, seguramente generarán, al menos en una primera etapa, incrementos
en los niveles de fracaso y deserción.
e) Aliento a conductas de corrupción. Finalmente menciona el autor que todo
sistema de consecuencias fuertes tiene como efecto altamente probable el de
generar conductas reñidas con la ética profesional, tales como dejar a los
alumnos más retrasados fuera de la prueba, ayudar a los alumnos en la
prueba, etc., lo cual a su vez obliga a establecer sistemas de vigilancia y
control que muchas veces contribuyen a generar un clima hostil hacia la
evaluación.
Refiriéndose al caso belga, Vanhoof y Van Petegem (2005) dan estas razones del
limitado uso de los informes de evaluación estandarizados:
a) Falta de competencia para analizar la información estadística pues los datos son
demasiado formalizados y con elevada abstracción.
b) Falta de competencia en el uso de la información.
c) La demora entre la realización de las pruebas y la recepción de los resultados.
d) Los resultados no aportan nada nuevo y confiando más en intuición y la
experiencia directas.
e) Dudas sobre la comparabilidad de los resultados.
30
Ryan (2005) sostiene que los sistemas de evaluación de centros basados en las
pruebas de rendimiento estandarizado son sistemas de control jerárquico. Responden a
un modelo de eficacia que emplea indicadores de productividad, sin referencia a los fines
en sí, sino a la utilización de unos recursos para conseguir esos fines; en consecuencia, el
debate sobre los fines se obvia. Cumplen una función de auditoría, pero desligada de la
mejora de los procesos de enseñanza-aprendizaje, son sistemas que no generan
información formativa sobre qué hacer para mejorar la formación. Tampoco brindan una
información que responda a una visión global de un centro, sino que, en todo caso, un
centro es eficaz en relación con los resultados obtenidos en unas pruebas. Son sistemas
de control verticales: la escuela es auditada desde fuera pero ella no puede evaluar a las
agencias externas de otros niveles territoriales. Las perspectivas de familias, estudiantes,
docentes y administradores no son incluidas en las definiciones habituales de rendimiento
de cuentas. Frente a la evaluación de control externa propone una evaluación
democrática (democratic accountability), de forma que los resultados derivados de los
controles externos se incorporen a debates internos democráticos:
Los centros necesitan definir lo que significa “eficacia”, ser proactivos y menos reactivos, y
mejorar los procesos de enseñanza-aprendizaje, todos estos elementos ausentes en los sistemas de
rendimiento de cuentas. Propongo que los centros superen estas limitaciones de la evaluación
externa para el control y se impliquen en un sistema de rendimiento de cuentas democrático (Ryan,
2005: 536).
Los resultados de las pruebas estandarizadas internacionales raramente son utilizados para
identificar las principales dificultades de aprendizaje y definir actuaciones de mejora en las prácticas
docentes en los centros. Con frecuencia, los resultados llegan demasiado tarde, de forma que los
profesores pueden haber cambiado… Es necesario ver a los centros como los destinatarios
principales de los resultados de las pruebas de evaluación (Azevedo, 2004: 79).
31
introduciendo la perspectiva del rendimiento de cuentas y con ella sistemas de
recompensas y sanciones en función de los resultados.
Aunque los métodos de valor añadido han supuesto un avance metodológico, aislar
los efectos de los centros y los docentes sigue siendo complicado debido a la existencia
de variables omitidas o parcialmente medidas. Newton et al. (2010: 20) sostienen que
resulta improbable evaluar con precisión la aportación que cada docente particular hace al
aprendizaje del alumnado, dados los numerosos factores implicados en ese aprendizaje,
las limitaciones de los tests y métodos utilizados y la organización del sistema escolar.
Discuten posibles razones para explicar estos resultados, entre ellas la naturaleza
específica de las medidas de las evaluaciones y los métodos estadísticos utilizados, y
concluyen que se debe tener precaución al hacer inferencias sobre la efectividad de
profesores individuales basadas en modelos de valor añadido especialmente para
determinar resultados que puedan tener consecuencias severas, como la promoción u
otros incentivos profesionales.
Varios autores ya habían alertado de que la evaluación de rendimientos por sí sola no
produce mejoras en la educación, siendo necesario a la vez mejorar la capacidad de
docentes y centros para desarrollar la mejora. Smith, O’Day y Cohen (1990) sugieren
que no se produce mejora sin un desarrollo de la capacidad de cambio de centros y
profesorado. Cuando los profesores saben qué hacer y la organización actúa en apoyo de
sus esfuerzos para lograr los objetivos, ello aumenta la capacidad colectiva de las
instituciones para mejorar la educación. De aquí podemos derivar una conclusión
relevante: la necesidad de establecer nuevos modelos de evaluación de la calidad
educativa que contribuyan a la mejora del conjunto del sistema y no excluya a los centros
que más lo necesitan.
Las escuelas con bajo rendimiento, que son las que nos deben primariamente importar, no
mejorarán justo por clasificarlas como de bajo nivel, justamente porque carecen de capacidades
para hacerlo mejor y, además, porque llegar a niveles aceptables será fruto de un proceso (largo) de
desarrollo. La construcción de capacidades es, pues, la ´missing piece´ de la reforma basada en
estándares (Bolívar, 2003: 2).
32
externa suele ir acompañada de un incremento en la toma de decisiones a nivel local. En
un contexto de políticas de evaluación externa, transferir la responsabilidad del
rendimiento escolar a centros y profesores tiene importantes consecuencias para el
modelo de trabajo docente y la organización de los centros (Bolívar, 2006). En la
actualidad pueden constatarse dos corrientes que pueden colisionar: la descentralización
de decisiones hacia unidades periféricas del sistema y el reforzamiento de los objetivos y
resultados a nivel regional y nacional. Estas dos tendencias, descentralización e
integración, autonomía y regulación, delegación y responsabilidad… actúan como dos
capas tectónicas cuyos movimientos explican gran parte de las tensiones y oscilaciones
que afectan a la evaluación. Cuando las políticas promueven la desregulación se origina
un movimiento hacia un tipo de evaluación, cuando se refuerza la centralización aparece
otro movimiento evaluador de diferente signo.
La autonomía de los centros facilita la autoevaluación, a su vez que la
autoevaluación contribuye a la autonomía de los centros, lo que potencia nuevas formas
de regulación internas. El desarrollo de procesos de autoevaluación no conlleva una
desregulación del sistema, sino una nueva forma de regulación que compagina el control
externo con procesos de reflexión interna.
La descentralización lo que hace generalmente es “sancionar”, esto es, legitimar la
capacidad (o incapacidad) existente en los centros, ya que se les asigna más
responsabilidad en las decisiones pero no siempre saben cómo ejercer efectivamente
dicha responsabilidad. Por lo tanto, las reformas descentralizadoras frecuentemente
tienden a aumentar las desigualdades en el desempeño estudiantil, ya que los estudiantes
de menores ingresos tienden a asistir a escuelas o zonas donde existen escasas
habilidades para sacar provecho de la gestión de sus recursos (Whitty et al., 1999;
McEwan y Carnoy, 2000; Torres, 2001; Carnoy, 2005).
Como señala Bolívar (1994a), el fracaso de las estrategias centralizadas podría llevar
a pensar que sólo estrategias descentralizadas, focalizadas en el centro escolar, podrían
hacer exitosa una reforma. Sin embargo, tal como postula Fullan (1994), tras revisar las
evidencias de las experiencias de gestión basada en la escuela, los esfuerzos en devolver
la toma de decisiones a los centros pueden alterar los sistemas de gobierno, pero no
afectan por sí mismos al núcleo docente, dada la ambigua conexión entre las estructuras
de gobierno y los procesos de enseñanzaaprendizaje. Según esto, las escuelas, como
otras organizaciones, no suelen iniciar cambios en ausencia de estímulos externos y los
sistemas descentralizados no necesariamente dan lugar a acciones docentes más eficaces,
haciéndose más difícil aún el rendimiento de cuentas. En consecuencia, este experto en
cambio educativo propone utilizar conjuntamente estrategias centralizadas y
descentralizadas, maximizar la combinación productiva de iniciativas de arriba, incentivos
y responsabilidad de un lado, con las iniciativas, el desarrollo y el rendimiento de cuentas
de abajo (Fullan, 1994: 199), a través de una coordinación descentralizada (Clune,
1993). El ejercicio de la autonomía institucional conlleva un incremento en el rendimiento
de cuentas externo que debe ser equilibrado por la práctica de la revisión interna.
33
1.4.2. Creciente diversidad de los centros
34
1.4.3. Limitaciones de los sistemas de inspección
El alto coste y la ineficacia de los sistemas de inspección externa están impulsando las
iniciativas de autoevaluación. Ya en 2003 John MacBeath hizo constar que la
autoevaluación está teniendo un gran auge en los países más avanzados
económicamente. Para la comunidad de evaluadores, esto no deja de ser sorprendente,
pues significa un cambio importante en la orientación de su trabajo tradicional, al pasar
de ser técnicos externos a agentes de cambio en un ciclo de mejora institucional. Esto ha
llevado durante los últimos años a un notable desarrollo teórico, práctico y legislativo de
los marcos y modelos de autoevaluación. Pero, lo que parece que no se ha desarrollado
tanto es la capacidad e interés de los centros y los profesores para implicarse en los
procesos autoevaluativos (McNamara y O’Hara, 2008).
Los sistemas de accountability no parecen movilizar nuevas capacidades por sí
solos; las respuestas de las escuelas a ellos dependen fuertemente de la capacidad que ya
tienen. Como señala Elmore (2003b: 10), “el mejor predictor de la forma como
responderá un centro a la introducción de una innovación es su cultura y capacidad
organizacional previa”.
Según este autor, a medida que aumenta la presión, las escuelas con baja capacidad
tal vez agreguen contenidos y soluciones académicas, pero sin el desarrollo deliberado de
capacidades es poco probable que logren grandes mejoras en su capacidad instructiva
medular. Los centros que prestan más atención al éxito académico y cuentan con mayor
capacidad para lograrlo frecuentemente responden a las presiones de accountability de
maneras que refuerzan su perspectiva y coherencia académicas.
Las “nuevas” orientaciones de la gestión de la escuela (descentralización, autonomía
escolar, liderazgo participativo) han movilizado las resistencias a las medidas de vigilancia
y control impositivo que sitúan al profesorado en la condición de agente subordinado a
las reglas dictadas por otros estamentos. La evolución del papel y la función de las
inspecciones escolares han llevado a plantear nuevas formas de seguimiento promovidas
desde el interior de las organizaciones. El concepto de autorresponsabilidad institucional
se considera que debe ser compatible con el de supervisión externa.
MacBeath y McGlynn (2003) sugieren que la inspección debería considerar en
primer lugar si existe alguna forma de autoevaluación en los centros y, en ese caso, cómo
es la misma. En numerosos países la inspección informa sobre la calidad de la
autoevaluación escolar, lo que expresa a la vez respeto y apoyo a la autonomía de los
centros (Van Amelsvoort, 2001). Más aún, los mismos resultados de la autoevaluación
pueden condicionar el contenido, la forma y la frecuencia de la intervención de la
inspección (Inglaterra, Holanda, Escocia y Baja Sajonia).
35
unidades de trabajo tan complejas como las escuelas requiere enfrentarse a problemas
que son a la vez globales y específicos, teniendo en cuenta los diferentes factores que
inciden en su progreso. Las “nuevas” teorías de la organización ven a las escuelas como
organizaciones que se caracterizan por la ausencia de consenso y la diversidad de metas;
lugares de confrontación ideológica, donde están en juego recursos, carreras y
reputaciones; campos de lucha, divididas por conflictos entre sus miembros, débilmente
coordinadas e ideológicamente diversas (Weick, 1985; Ball, 1989). Bien se resalte su
“celularismo” o su fuerte componente micropolítico, las escuelas son vistas como
organizaciones con rasgos distintivos (Gairín, 1996; Santos Guerra, 1997): indefinición
de metas, ambigüedad tecnológica, dificultad para establecer estándares de actuación,
debilidad estructural, dependencia de recursos externos, falta de tiempo para la gestión,
difícil control externo del trabajo, etc. Pero el hecho de que los centros sean
organizaciones con rasgos propios o específicos no significa que no sean evaluables, en
todo caso serán evaluables de una manera diferente a las de corte empresarial, es decir,
aplicando métodos alternativos adaptados a la naturaleza de su trabajo.
Esta especificidad de las organizaciones escolares se manifiesta especialmente a la
hora de promover cambios en profundidad en su interior. Los resultados de muchas de
las iniciativas de reforma escolar han sido decepcionantes (Sarason, 1990), esencialmente
aquellas basadas en las políticas de reestructuración escolar, al prestar poca atención a las
condiciones que permiten crear en los centros capacidad para incorporar tales cambios
(Fullan, 1999). Construir la capacidad de la organización implica crear oportunidades y
experiencias para la colaboración y el aprendizaje mutuo, supone que las personas tienen
confianza en su capacidad, en la capacidad de sus colegas y en la del centro para
promover el desarrollo profesional (Mitchell y Sackney, 2000). El desafío de las reformas
educativas estriba en la dificultad para mantener las iniciativas de cambio (Usdan y
Cuban, 2002). Cuando no se presta atención a la capacidad y condiciones internas de los
centros, el trabajo innovador termina siendo marginado (Hopkins et al., 2000).
Adams y Kirst (1999), tras distinguir entre diferentes sistemas de rendimiento de
cuentas (burocráticos, legales, profesionales, políticos, morales o de mercado), señalan
que es importante no confundir un sistema profesional con uno burocrático. Mientras que
en aquel debe haber una responsabilidad basada en el compromiso moral de un trabajo
bien hecho, el rendimiento de cuentas burocrático ejerce el control en función de la
jerarquía, observando desde fuera el proceso y evaluando los resultados, reforzado por
incentivos o sanciones. Un sistema de rendimiento basado en la responsabilización
profesional debe tener en cuenta tanto los requisitos de acceso a la profesión, en términos
de destrezas, conocimiento y valores requeridos, como la calidad de los procesos
desarrollados (DarlingHammond, 2001).
Resulta discutible que la evaluación externa de centros, por sí misma, pueda
provocar una acción coordinada del profesorado que incremente los aprendizajes de los
alumnos (Mehrens, 1998; O’Day, 2002).
36
de la enseñanza en la mayoría de los países residen en la dificultad de definir las mejores prácticas
del aula y los materiales necesarios para su aplicación. En consecuencia, para que los tests tengan
un impacto significativo en el aula, se debe incrementar el esfuerzo para ayudar a los profesores y a
los centros a mejorar sus prácticas en el aula (Carnoy, 1999:75).
37
evaluación externa eficaz es aquella que desemboca en una evaluación interna. Para ello
aquélla debe generar información sobre el currículo y la enseñanza que ayude al
profesorado a entender mejor los resultados y a decidir sobre los procesos, diseñando
nuevas intervenciones. Richard Elmore (2002) habla del “principio de reciprocidad” en el
rendimiento de cuentas, donde las exigencias de consecución de estándares tienen que
corresponderse recíprocamente (quid pro quo) con la capacitación para lograrlos. Sólo
así podrá lograrse un equilibrio entre las distintas coordenadas que atraviesan la
evaluación: presión-apoyo, interno-externo, ascendente-descendente.
Los enfoques descendentes necesitan respuestas de abajo arriba. Las expectativas externas
deben relacionarse con necesidades internas, y la presión puede no funcionar si no se brinda
además apoyo (MacBeath et al., 2000: 93).
38
1.5. El referente de toda evaluación: una idea sobre la calidad educativa y la
manera de obtenerla
39
incidencia en el valor añadido del establecimiento escolar− y el rendimiento
de cuentas basado en estándares se mueven en esta línea.
b) Mejora de la escuela: con un enfoque más amplio de la mejora educativa,
pretende generar las condiciones internas de los centros (autorrevisión) que
promuevan el propio desarrollo de la organización, acentuando la labor de
trabajo conjunto.
40
información en acciones que reduzcan esa discrepancia.
Para algunos autores, la autoevaluación forma parte de un ciclo de calidad
(Schildkamp, 2007), para otros constituye el ciclo completo (Janssens y Van Amelsvoort,
2008). Estas concepciones van desde aquellas que reducen la autoevaluación a un
instrumento específico de medida de alguna variable organizativa, hasta las que la
identifican con un proceso interno de mejora que incluye una serie de actividades cíclicas
dirigidas a revisar, planificar e implantar cambios de forma sistemática.
Una de las cualidades más destacables de la autoevaluación es su capacidad para
generar y establecer un conjunto de criterios sobre la calidad educativa. Kyriakides et al.
(2002 y 2004) diferencian dos enfoques para establecer dichos criterios, no
necesariamente excluyentes:
41
2
Evaluación interna y evaluación externa
42
actores implicados en los diferentes niveles de aula, centro y comunidad (MacBeath et
al., 2000). A través de una visión comprensiva, se evalúa el centro como organización
total, con el uso predominante de indicadores cualitativos.
No obstante, afirmar que la evaluación externa está centrada en el control y la
evaluación interna lo hace en el desarrollo y mejora de los centros supone simplificar
excesivamente. Ambas funciones de la evaluación no solo son imprescindibles y
complementarias sino que también guardan relación entre sí, de forma que la política que
se aplique en una de ellas condicionará directamente las posibilidades y desarrollo de la
otra. Hoy suele aceptarse que la inspección puede hacerse de forma complementaria a la
autoevaluación y viceversa. Por otro lado, la autoevaluación también puede orientarse a
propósitos de desarrollo interno como al rendimiento de cuentas (Ferguson et al., 2000;
MacGilchrist, 2000; Leung, 2005; MacBeath, 2006).
La orientación a la mejora de la institución no es una orientación exclusiva de la
evaluación interna, sino que debe y puede ser finalidad de toda evaluación de las
instituciones educativas. Cualquier tipo de evaluación busca facilitar información
relevante para tomar decisiones orientadas a la mejora de un ámbito educativo. Esto
tampoco excluye otras finalidades de la evaluación, como el control o la certificación. Lo
que sí parece coherente es que la evaluación interna priorice la mejora institucional por
encima de otras posibles. La clave está en la perspectiva evaluativa que se adopte, pues
ella determina las relaciones entre la evaluación interna y la externa. En la perspectiva del
control, la evaluación interna está subordinada a la evaluación externa, mientras que en la
perspectiva del desarrollo del centro sería a la inversa.
Analizar las relaciones entre evaluación interna y externa lleva a reconocer en ambas
una serie de limitaciones que conviene considerar a la hora de plantearlas. Según Bonami
(2004), los principales inconvenientes de la evaluación externa, sea diagnóstica o
certificativa, son:
43
– Riesgo de desmovilización después de un cierto tiempo, al no ver
resultados directos.
– Necesita de una dirección competente para dinamizar la participación.
A partir de las ideas de varios autores (Gather Thurler, 2002; Bonami, 2004;
Sonnichsen, 2006), se ha elaborado una síntesis de las principales características de las
evaluaciones internas y externas, reflejada en el cuadro 2.1.
La evaluación interna, al realizarse en el ámbito de cada centro educativo y por sus
propios miembros, adquiere el valor de la mayor cercanía a quienes tienen la posibilidad
de modificar, mejorándolos, los programas concretos, los proyectos, los procesos
educativos y los resultados que conforman la esencia cotidiana de los actos de
aprendizaje y de las relaciones que se producen en el centro y en su entorno. La
evaluación externa, desde una implicación menos directa, tiene el valor de manejar
mayores elementos de contraste, una diferente posición analítica y en consecuencia una
menor carga de subjetividad en las valoraciones y comprobaciones que pueda comportar.
La evaluación interna facilita la construcción de un consenso en la definición de las
prioridades y promueve la capacidad del centro para generar un proceso de desarrollo
centrado en sus competencias, aunque puede dificultar que los actores se perciban como
“parte del sistema”. Una de las limitaciones más señaladas a los sistemas de
autoevaluación es la falta de validez (Madeus, Scriven y Stufflebeam, 1983; Scriven,
1991); aunque esto podría resolverse incorporando procesos de metaevaluación
realizados por evaluadores independientes. Se suele objetar que las iniciativas de
autoevaluación son asistemáticas, poco rigurosas, mientras que las evaluaciones externas,
más técnicas, no llegan a los que tienen que desarrollar la enseñanza. Se acusa a las
autoevaluaciones de complacientes y blandas; pero las evaluaciones externas también han
fallado en el objetivo de vencer las resistencias organizativas y generar autocrítica
constructiva, pues con frecuencia carecen de profundidad en su análisis o de capacidad
para implicar a los actores de los cambios, derivando muchas veces en controles
formales.
44
45
La evaluación externa realiza un seguimiento o monitorización de la calidad por un
agente externo, utilizando datos comparativos generales como indicadores de
rendimiento. Se apoya en la obtención de estándares y facilita datos comparativos para
que los centros conozcan su situación en el conjunto (benchmarking). Los datos que
aportan las evaluaciones externas pueden ser valiosos en cuanto que suponen una señal,
avisan de un posible problema o dificultad. Sin embargo, las puntuaciones de las pruebas
no prescriben el remedio al mal. Los centros necesitan autoanalizarse para diagnosticar
sus problemas e identificar sus necesidades concretas.
46
Christie, Ross y Klein (2004) sugieren la conveniencia de una colaboración entre
evaluadores internos y externos. En principio, un evaluador externo se encarga de la
evaluación sumativa, tiene una mayor objetividad y credibilidad, es más independiente de
las políticas internas de la organización y suele tener una formación específica sobre
evaluación. Por su parte, el interno conoce mejor el programa y la cultura de la
organización, se relaciona con el staff del programa y se comunica más fácilmente con él.
Generalmente el evaluador interno es menos costoso que el externo y puede adquirir una
credibilidad en la organización a lo largo del tiempo. Además, no abandona el programa
una vez evaluado sino que puede continuar en el proceso de implementación de cambios
(Patton, 1997; Scriven, 1991). Sin embargo, estos roles no siempre se reparten así,
dándose situaciones donde los papeles se intercambian. Por ejemplo, un centro puede
contar con un evaluador interno para recoger datos y con un evaluador externo para
analizarlos. O un evaluador interno puede dirigir el proceso total de evaluación mientras
que el evaluador externo se encarga de la metaevaluación. Un tercer enfoque sería aquel
en el que ambos, el evaluador interno y el externo, realizan evaluaciones independientes,
para después integrar o comparar sus resultados. Finalmente, un centro puede contratar
un evaluador interno para recoger y analizar datos y uno externo para supervisar el
proceso evaluador (Christie, Ross y Klein, 2004).
Las potencialidades de la evaluación externa para influir en la mejora interna de los
47
centros pueden ser bastante limitadas, planteándose dudas razonables sobre su capacidad
para influir directamente en la mejora de los centros. Obtener conocimiento sobre el
funcionamiento general de un centro, dada su complejidad, exige el desarrollo de una
evaluación próxima y contextualizada. La evaluación interna hace posible este
conocimiento y evita los efectos perversos de la comparación de centros a partir de datos
parciales de rendimiento de sus estudiantes o de su oferta de actividades.
Joan Mateo (2000) propone una evaluación institucional que integre ambas
perspectivas. La evaluación interna constituye una estrategia de autorregulación
absolutamente necesaria para la generación de compromiso entre el centro y su propia
búsqueda de calidad y es un elemento clave de desarrollo institucional; sin embargo,
precisa del enfoque externo, no tan sólo porque le confiere credibilidad al someter a
contraste el interno sino porque lo retroalimenta con nueva información evaluativa
obtenida por otros medios, le somete a un análisis más diverso y plural y evita la pérdida
de referentes que conduzcan a una exagerada subjetividad. Por su parte, la evaluación
externa necesita ser sustanciada desde la interna, ésta le aporta significado a sus procesos
y evita su desarraigo. Así, la evaluación institucional ha de tratar de conjugar ambas
perspectivas y aunarlas en un objetivo común: la gestión eficaz y eficiente de la calidad
educativa en el marco globalizador e integrador de la institución.
Reconocer la escuela como unidad de evaluación no significa considerarla como
unidad exclusiva de decisión. Existen numerosas y legítimas razones que justifican la
evaluación externa de los centros educativos. En una sociedad que invierte importantes
recursos y donde las expectativas sociales hacia la educación son altas, la evaluación
externa es la exigencia de una política responsable en una sociedad democrática
(ajustarse a unas normas básicas, garantizar deberes y derechos básicos, perseguir
valores sociales consensuados, etc.).
Bolívar (1994a) considera que el criterio contingente de lo que se estime bueno para
nosotros (autoevaluación) es insuficiente, y que éste debe ser compatible con un justo
para todos; de donde plantea la necesidad de conjugar una evaluación externa con la
autoevaluación institucional.
Desde una ética discursiva (Habermas y Apel) se puede defender que, además de promover
espacios institucionales de decisión autónoma, se deba intervenir para restablecer un principio
universalizante de justicia, cuando se estén violando valores que solidariamente no aseguran el
derecho a una igualdad en la calidad educativa (Bolívar, 1994b: 7-8).
En este debate sobre los dos tipos de evaluación existe pues un acuerdo sobre las
principales diferencias así como sobre sus posibilidades y limitaciones respectivas. Hay
mayor discrepancia a la hora de valorar las relaciones entre la autoevaluación y los
sistemas de evaluación externa (Kyriakides y Campbell, 2004), concretamente sobre las
posibilidades de compatibilizar la función de control administrativo y rendimiento de
cuentas con la función de mejora. Este asunto centrará ahora nuestra atención.
48
2.2. Una necesidad: coexistencia de la evaluación externa y la evaluación interna
49
y por esta razón la evaluación externa es el medio para comprobar la eficacia
del sistema e informar a las audiencias externas. Ambos tipos de evaluación se
desarrollan de forma independiente.
b) Evaluación secuencial, que a su vez puede ser de dos tipos:
50
evaluador externo del peso de una evaluación completa o centrarse en la supervisión del
proceso de evaluación interna y en el seguimiento de sus resultados (Eurydice 2004: 135).
51
previa para que las evaluaciones externas puedan incidir internamente. Los resultados o
recomendaciones de las propias evaluaciones externas sólo pueden ser bien procesados e incidir en
la mejora si previamente existen equipos y procesos de autoevaluación (Bolívar, 2008: 15).
Las administraciones educativas han ido prestando cada vez mayor atención a la
autoevaluación, promoviéndola, apoyándola e incluso considerándola, en algunos
contextos, obligatoria (Azevedo, 2007). Con frecuencia, los marcos de evaluación
externa son utilizados por los centros para hacer un diagnóstico y seguimiento de su
situación, incorporando esquemas externos para hacer su revisión interna. Por ejemplo,
en Escocia, la Inspección brinda un modelo de indicadores de calidad (How good is our
school) que puede ser usado tanto para la evaluación externa como interna. Sajonia ha
introducido los “retratos escolares” (school portraits), donde cada centro describe su
situación referida a un determinado número de áreas y proveen a los responsables
educativos información para su banco de datos, lo que puede utilizarse como marco-
esquema para la autoevaluación. En otros casos, Inglaterra, Irlanda del Norte, Bélgica,
Hesse… la autoevaluación es un componente fundamental de la evaluación externa para
impulsar la mejora. Incluso en algunos lugares, como Holanda o Baja Sajonia, donde la
autoevaluación forma parte de la concepción de autonomía de los centros, la
autoevaluación es considerada una base suficiente para que la inspección formule sus
valoraciones.
Algunos autores han alertado de la posibilidad de que se produzcan ciertos
desequilibrios (Janssens y Van Amelsvoort, 2008), por ejemplo, cuando los informes de
evaluación externa incluyen prescripciones excesivamente detalladas, o cuando las
demandas de control dificultan los procesos de mejora, lo que puede generar ciertas
asimetrías. Cuando la evaluación externa es la predominante, los centros, obsesionados
con las reglas y procedimientos, pueden actuar de forma oportunista o estratégica, es
decir, incorporando solo requisitos externos. También pueden sentirse poco reconocidos,
52
restringiendo, dificultando o distorsionando la información, maquillando datos, etc.
(Janssens, 2005; de Wolf y Janssens, 2007).
Cuando la función de la evaluación externa es solo sumativa, es lógico preguntarse si
la autoevaluación tiene algo que aportar en ello, ante el riesgo real de que los centros
consideren la evaluación como una obligación y una tarea sin relación con el desarrollo
del centro (Hopkins, 1987; Renkema, 2002). Sin embargo, si la inspección externa se
centra en la identificación de necesidades y, como respuesta a ellas, en promover el
desarrollo profesional en los centros, su actuación puede ser perfectamente compatible y
complementaria con un sistema de autoevaluación (Plowright, 2007).
53
evaluación implica cambios en la concepción estructural de la mayoría de los sistemas
educativos, incluido el nuestro, especialmente una revisión del papel de los órganos de
evaluación externa (inspección) y de su relación con la evaluación interna (centro
escolar). Para conocer las posibilidades reales de este diálogo entre ambos tipos de
evaluación, es clave discutir el papel que han de jugar los evaluadores externos en
relación con los centros escolares. Al hablar de “evaluadores externos”, en la mayoría de
los países, se entiende la inspección educativa. De hecho, el auge de la autoevaluación
ha provocado que algunos países como Irlanda, Países Bajos, Austria o República Checa
revisen el papel y funciones de su inspección. Cuestiones como la relación de la
inspección con los procesos de autoevaluación de los centros, el uso de los resultados de
las autoevaluaciones por parte de la inspección o los sistemas de metaevaluación de la
autoevaluación realizada por los centros son parte de este debate.
En numerosos países europeos los servicios de inspección han incorporado modelos
de autoevaluación escolar, adoptando diferentes enfoques: abiertos, preestructurados,
orientados directamente a la mejora… En Alemania u Holanda la inspección tiene en
cuenta informes derivados de la autoevaluación, de forma que no recoge información de
aspectos que ya han sido tenidos en cuenta por el propio centro. En países como
Inglaterra o Irlanda la inspección ha dejado de considerar la autoevaluación como un
proceso complementario para convertirse en un prerrequisito de su intervención, de
forma que la evidencia derivada de la autoevaluación es el núcleo de la inspección y el
protocolo de autoevaluación es un componente crucial para el equipo de inspección
(DfES, 2004a; Swaffield y MacBeath, 2005).
En general, suele haber un apoyo de la inspección a las iniciativas de autoevaluación
si bien este apoyo puede adoptar diversas formas. En unos países (Inglaterra, Escocia,
Irlanda del Norte, Países Bajos, República Checa, etc.) la inspección apoya directamente
el proceso de autoevaluación de los centros. En otros (Francia, Dinamarca, Irlanda, etc.)
la inspección concede un apoyo indirecto orientando y supervisando los procesos de
planificación y mejora. En Irlanda y en Hesse la inspección facilita apoyo, recursos y
orientación para actuar como un critical friend. En otros países, como Holanda, Austria
o Sajonia, la inspección juega un papel activo en construir redes que apoyan la
implementación de la autoevaluación, de forma que mediante esas redes los centros
pueden discutir con otros su progreso, sus problemas, etc. (Janssens y Van Amelsvoort,
2008).
Aparentemente, se produce una reacción compensatoria, aquellos países donde la
inspección tiene una fuerte función de control (Inglaterra, Países Bajos, Irlanda del Norte
y Escocia) han asumido modelos de autoevaluación, mientras que en los países con una
inspección débil o más orientada a la mejora (Bélgica, Dinamarca, Hesse, Baja Sajonia)
la autoevaluación tiene menos consideración entre la inspección.
Allí donde la función predominante de la inspección es la “evaluación de la calidad”
(Bélgica, Inglaterra, Baja Sajonia, Países Bajos, Irlanda del Norte y Escocia), las guías
de evaluación son estandarizadas y contienen sistemas de indicadores de calidad y de
evaluación de la eficacia. Allí donde la principal función de la inspección es la
54
“orientación y el apoyo” (Dinamarca o Hesse), las guías aparecen como listas de control
y son menos estandarizadas. En otras palabras, las demandas de control impuestas a la
autoevaluación generan una autoevaluación orientada al control, mientras que las
demandas de mejora generan una autoevaluación orientada a la mejora (Janssens y Van
Amelsvoort, 2008).
Alvik (1996) identifica tres modelos predominantes en las relaciones autoevaluación-
inspección:
En función de este espectro podemos establecer tres tipos de relación entre la inspección
y la evaluación interna de los centros (Janssens y Van Amelsvoort, 2008):
55
es voluntaria y se realiza después de experiencias en evaluaciones internas.
56
importante en los procesos de autoevaluación. Un ejemplo significativo lo encontramos
en Irlanda del Norte:
es ventajoso para la autoevaluación escolar tener en cuenta los mismos criterios que son utilizados
en todas las escuelas por los inspectores, ello permite a los maestros y los gobernadores desarrollar
un lenguaje común y saber que los criterios reflejan las cosas que importan (OFSTED, 1999b: 138).
57
(excepcional, bueno, satisfactorio e inadecuado) a aspectos como (OFSTED, 2004):
58
“autoevaluación” o es “autoinspección” lo que se está llevando a cabo, pudiendo derivar
la autoevaluación en una forma de inspección interna, selfinspecting school (Ferguson et
al., 2000). Pero según MacBeath (2006), se trata de dos procesos claramente diferentes
(cuadro 2.3).
Autoinspección Autoevaluación
Va de arriba abajo – Va de abajo arriba
Es una actividad puntual – Está interesada en el trabajo habitual
del profesorado
Aporta una “instantánea” del trabajo – Refleja un contínuum a lo largo de
escolar un tiempo
Se dirige más al control que a la mejo‐ ra – Se dirige más a la mejora que al con‐
trol
Aplica un esquema rígido – Usa un marco más flexible y
espontáneo
Usa un conjunto de criterios – Utiliza, adapta y crea sus criterios
predeterminados
Crea resistencia – Requiere la implicación de las
personas
Consume tiempo que se detrae de los – Mejora los procesos de enseñanza‐
procesos de enseñanza‐aprendizaje aprendizaje
Exige consenso – Celebra la diferencia
Busca la seguridad – Asume riesgos
Rudd y Davies (2000) admiten que la mayoría de las escuelas ven los criterios
externos como una base adecuada para la autoevaluación, pero su investigación reveló
que quedan por resolver algunas dificultades derivadas del hecho de que la
autoevaluación y la inspección escolar son cosas diferentes, siendo evidentes las
tensiones entre las exigencias externas de control y las internas basadas en los deseos de
autoevaluación y mejora. Por eso, numerosos centros han combinado la propuesta de la
OFSTED con otros modelos como los referidos a las normas de garantía de calidad, la
Gestión de Calidad Total o la propuesta realizada por MacBeath (1999) en su influyente
obra Las escuelas deben hablar por sí mismas. Por lo general, esta combinación de
elementos estandarizados de la OFSTED (como las listas de control incluidas en sus
manuales) con otros personalizados parece más adecuada.
En realidad, aunque no se exprese abiertamente, la propuesta de sistemas de
autoevaluación a los centros por parte de agencias externas como la OFSTED o un
59
servicio de inspección lo que buscan es establecer una nueva relación con los propios
centros, que facilite y mejore su evaluación externa. También buscan cubrir las carencias
de la evaluación externa.
Hall y Noyes (2009), desde una perspectiva foucaultiana, hacen una crítica a los
procesos de autoevaluación impulsados por la OFSTED, ilustrando mediante estudios de
casos las formas en que los regímenes de verdad, a través de los discursos cotidianos y
los rituales de la práctica educativa, están generando realidades en los centros que
recontextualizan y producen nuevo conocimiento pedagógico. Según estos autores, desde
finales de los años noventa, la inspección introdujo los enfoques de autoevaluación como
una metodología blanda que provocase menos resistencias por parte de los centros. El
poder disciplinario es ejercido desde fuera: la inspección tiene menor presencia en los
centros a cambio de que éstos mantengan actualizada una aplicación informática que
estaría permanentemente bajo el escrutinio de la inspección. Los sistemas de evaluación
contribuyen así a crear un régimen de verdad mediante la imposición de unas tecnologías
disciplinarias que buscan someter el trabajo del profesor.
¿Esto significa que debemos descartar toda posibilidad de una colaboración
equilibrada entre ambos tipos de evaluación? Algunas experiencias parecen indicar lo
contrario. El gobierno de Hong Kong ha llevado a cabo un proyecto, The School
Development y Accountability Framework, asignando a la autoevaluación dos
propósitos: mejora y responsabilización. Ello se ha conseguido planteando la
autoevaluación dentro de un ciclo de desarrollo, estable y apoyado desde dentro
−liderazgos individual y colectivo− y desde fuera −formación, recursos, seguimiento−. El
trabajo colaborativo impulsado por los directores de los centros y desarrollado por los
equipos de mejora escolar ha permitido crear un ambiente de aprendizaje profesional
capaz de “hablar de tú a tú” con los equipos de evaluación externa. Según MacBeath
(2008), se trata de una forma exitosa de resolver las tensiones entre ambos tipos de
evaluación.
60
Apoyamos pues la necesidad de una complementariedad entre ambos tipos de
evaluación, sabiendo que el equilibrio entre las funciones de mejora y control es difícil y
dependerá finalmente del entramado político y organizativo de cada sistema educativo
(Janssens y Van Amelsvoort, 2008). Las soluciones apuntan hacia la sustitución de los
sistemas de control centralizado por un sistema de control descentralizado o negociado
entre los diferentes implicados (Perrenoud, 1998 y 2000); la combinación de un sistema
de inspección abierto donde la autoevaluación tenga un lugar primordial junto con el
apoyo a los centros para desarrollar sus planes de mejora (Janssens y Van Amelsvoort,
2008).
61
Cuadro 2.4. Evaluación basada en la autoridad vs. evaluación basada en la responsabilidad (James, 1987: 186).
Por eso siendo conscientes de la continua amenaza de ser utilizada políticamente, como
recurso instrumental, cuando se apela oficialmente a ella; optamos por entender la autoevaluación
institucional orientada a la mejora interna al capacitar al propio centro para hacer sus opciones de
mejora, construyendo condiciones y procesos que permitan innovar y ser expresión de su
autonomía, dentro de las contradicciones insalvables que cualquier opción tiene en este campo
62
(Bolívar, 1994b: 5-6).
La propia evaluación del profesorado se encuentra entre dos lógicas: una orientada a
la mejora interna y al desarrollo profesional, y otra dirigida al control de resultados, que –
estableciendo diferencias entre el profesorado– pretende incrementar la calidad y la
motivación por la mejora. En la primera, la evaluación se dirige a promover el desarrollo
organizativo y profesional, por lo que requiere el compromiso de los propios implicados
en el proceso evaluativo como estrategia para incidir sobre la calidad. Esto último supone
procesos de autoevaluación institucional o, en cualquier caso, de naturaleza contractual,
no impositiva, entre evaluador y evaluados (Bolívar, 2008).
Una idea cada vez más extendida es que la evaluación basada en el centro permite
apropiarse de los estándares de rendimiento interno y externo (Rallis y MacMullen, 2000;
MacBeath y McGlynn, 2002; Nevo, 2002; Ryan, 2004). Estos autores mantienen que la
evaluación externa y la autoevaluación pueden adoptar una variedad de formas de
relación, y que en ambas lo fundamental es la reflexión crítica derivada de la toma de
decisiones a partir de información relevante. Las evaluaciones externas estandarizadas y
las evaluaciones internas pueden ser complementarias y no antagónicas. Nadie duda de
que los resultados sean importantes, pero también lo es conocer cómo se producen,
cómo se llega a ellos. Como señala David Nevo (1997: 167), “si la evaluación de un
centro es interna y externa a la vez, se convierte en un diálogo para la mejora, en vez de
en acusaciones externas y defensiva interna”.
Un sistema eficaz de evaluación escolar combina elementos de evaluación interna y
externa (MacBeath y McGlynn, 2003). Según estos autores, ambos tipos de evaluación
constituyen procesos complementarios, aunque frecuentemente en tensión. Por una
parte, las evaluaciones externas sin el conocimiento y el compromiso de los centros son
ineficaces; por otra, los centros no son entes aislados que puedan gestionar de manera
autónoma todos sus procesos. Por tanto, los procesos de responsabilización deben tener
una vertiente externa y otra interna. Los sistemas de control externo en parte se justifican
como estímulo para que los propios centros asuman la responsabilidad en su propia
mejora, instaurando sistemas de responsabilización interna. A su vez, la mejora y el
control de la calidad no pueden dejarse sólo en manos de sistemas externos.
Un centro escolar que no cuenta con ningún mecanismo interno para su
autorrevisión, tendrá dificultades para sacar partido, en un diálogo constructivo, a
cualquier informe de evaluación externa (Nevo, 1994). En estos casos la evaluación
externa engendrará actitudes defensivas y será percibida como un intento de controlar el
funcionamiento del centro y una amenaza a la autonomía profesional. Por su parte,
Darling-Hammond (1994) ha argumentado que una política externa de evaluación de
alumnos, centros o profesores sólo puede legitimarse si sirve de base para mejorar la
enseñanza. La evaluación, en estos casos, es usada para ofrecer a los profesores
informaciones prácticas sobre el aprendizaje del alumnado y proveer información para
que la comunidad escolar realice su propia autorrevisión. La evaluación externa aporta
apoyos de arriba para mejorar lo de abajo, en lugar de controlar o dar directrices de
63
cómo implementar prescripciones externas (Bolívar, 1994a).
Cada una permite ´ver´ o ´hacer´ algunas cosas, pero no otras. La evaluación externa sirve
para poner el foco de atención en aquello que todos los alumnos deberían aprender pero, por
supuesto, no puede ni pretende dar cuenta de todos los aprendizajes. La evaluación en el aula,
cuando se hace bien, puede ser mucho más rica en su apreciación de los procesos de aprendizaje de
alumnos específicos, pero no puede nunca ofrecer un panorama de lo que ocurre a nivel del
conjunto del sistema educativo (Ravela, 2006: 73).
64
miembros. Si queremos que la evaluación incremente la transparencia de las
instituciones, debe contribuir en primer lugar a hacer más transparente la organización a
sus propios miembros. No parece muy coherente que determinados efectos o resultados
de las organizaciones escolares difundidos en el exterior sean desconocidos por sus
miembros. Por otra parte, este conocimiento resulta ineficaz si éstos no son capaces de
comprender ni asumir la responsabilidad que los resultados de las evaluaciones externas
tienen para su propia actuación.
En esta búsqueda de la complementariedad se pueden observar dos perspectivas
asimétricas diferenciadas según se ponga el acento en una u otra evaluación: a) la
evaluación interna es el requisito para que una evaluación externa sea de utilidad y b) la
evaluación externa es una buena base para desarrollar la autoevaluación.
Se requiere algún tipo de articulación entre la evaluación interna y la externa, sin
subordinar ninguna de ellas a la otra, sino compartiendo criterios mediante un proceso de
negociación, intercambio y contraste de resultados; una evaluación interna que sea
participativa, con apoyo, acompañamiento y supervisión externa. Esta opción se basa en
el principio de desarrollo de los centros como instituciones con su propio proyecto,
organización y medios adecuados y una interacción con la comunidad que la envuelve, lo
que no disminuye la responsabilidad de la administración (Azevedo, 2007).
La tendencia más razonable apunta a acoplar los dos tipos de evaluación
asignándoles papeles complementarios adaptados a sus potencialidades. Esto conlleva
una nueva política de evaluación que tenga en cuenta criterios como (Vanhoof y Van
Petegem, 2005):
65
cuestiones: ¿qué estamos haciendo bien? y ¿qué podemos hacer mejor? Este organismo
(OFSTED, 2004a y 2004b) destaca ocho principios en los que apoyar la autoevaluación:
Cada sistema educativo puede decidir qué áreas deben ser reguladas por la
autoevaluación y cuáles deben ser reguladas y sometidas a control externo. Existen
recursos públicos implicados, derechos y deberes generales, proyectos globales de
ciudadanía legitimados democráticamente que sirven de referencia general de la
educación que promueven los centros. Articular ambos niveles de decisión (evaluación)
educativa es un asunto a la vez fundamental y complicado. Se ha de evitar la
sobrerregulación externa así como la falta de control público al servicio de un interés
general. Los centros deben saber cuál es el ámbito de su responsabilidad y cuál el de
otros poderes públicos, incluida la administración (Hall y Noyes, 2008). Estos autores
defienden que el desarrollo de la autoevaluación escolar debe ir paralelo a la evaluación
externa y que la coherencia entre diferentes agencias y enfoques de evaluación escolar es
algo fundamental para la mejora de la escuela y, en general, para el desarrollo de los
sistemas educativos.
Cualquier evaluación educativa, sea de origen interno o externo, finalmente debe
traducirse en propuestas de actuación en todos los niveles del sistema educativo. El
centro es el nivel de referencia en torno al que giran los demás niveles de decisión
escolar; pero la autoevaluación no es específica del aula o del centro, sino que debe
realizarse en todos los niveles del sistema: aula, centro, comunidad escolar, sistemas de
apoyo externo, inspectores, legisladores y diversos niveles administrativos.
Según Gather Thurler (2002), ello obliga a la administración, en primer lugar, a
diseñar nuevos procedimientos para garantizar que la autonomía asignada a las
instituciones y las necesidades locales no den lugar a un descenso en términos de calidad
y equidad; en segundo lugar, surge la necesidad de identificar claramente las necesidades
de las instituciones con el fin de adoptar las medidas necesarias −en términos de la acción
afirmativa− para garantizar una distribución equitativa de los recursos disponibles.
Se requiere abandonar el modelo de relación jerárquica que la administración
mantiene con los centros, modelo que lleva a las autoridades a definir el tipo ideal de
66
organización del centro y de la enseñanza a la vez que delegan en el centro la obligación
de conseguir unos resultados. La autoevaluación, mecanismo de responsabilización del
centro, requiere conceder a los centros un papel mucho más activo y autónomo en el
proceso de definición de sus necesidades y metas. El rendimiento de cuentas tiene su
verdadero sentido si lleva a los docentes a asumir responsabilidades para mejorar la
enseñanza. En Ontario (Canadá), el gobierno promueve una política de
responsabilización y mejora a través de dos instrumentos: la investigación sobre la
eficacia escolar y la autoevaluación escolar (Ryan y Telfer, 2011).
Ciertamente los dos tipos de evaluación pueden ponerse en relación y desarrollarse
de manera complementaria. De hecho, en muchos países (ver Tilkin y Kerkhofs, 2007)
los gobiernos nacionales o regionales transmiten regularmente a los centros datos sobre
su rendimiento con la finalidad de que puedan compararse con otras escuelas y ayudarles
a formular objetivos de mejora. Esta información procedente de las evaluaciones
externas, de tipo cuantitativo y comparativo, puede servir de punto de partida para iniciar
una autoevaluación del centro, especialmente si los centros son invitados a usar los
indicadores de rendimiento generales para diagnosticar su situación y acordar objetivos
de mejora.
Corresponde a cada centro asumir la responsabilidad de definir claramente, desde su
proyecto educativo, los requisitos de calidad y establecer las reglamentaciones necesarias
para conseguirlos. La responsabilidad de los organismos externos, con posterioridad, se
limitarían a comprobar si el procedimiento de autoevaluación se lleva a cabo, si se
desarrolla con los métodos y los instrumentos adecuados y si coincide con unas normas
mínimas de calidad negociadas entre el poder político y asociaciones profesionales
(Strittmatter, 2000). El objetivo de este cambio en la relación interno-externo es doble:
devolver la responsabilidad educativa al centro como contexto profesional de la
enseñanza y, a la vez, dar una respuesta a la crisis de identidad de los administradores
escolares externos, con la consiguiente redefinición de su papel en la vida de los centros
(Gather Thurler, 2002).
Se propone pues la definición de un marco general de evaluación de centros
educativos que integre ambos modelos, se adapte al contexto y a la realidad del sistema
educativo. A modo de síntesis se detallan algunas de las razones que fundamentan esta
necesidad:
67
A modo de ejemplo, cabe citar la Ley Orgánica 3/2007, de 22 de marzo para
la igualdad efectiva de hombres y mujeres.
c) Se hace necesario combinar evaluación y autoevaluación en un marco común
que asegure la complementariedad de las actuaciones de ambas en un norte
común: la mejora de la calidad educativa.
d) El énfasis en los resultados, el protagonismo de las evaluaciones externas del
alumnado, tanto nacionales como internacionales, y los datos que de ellas se
obtienen han de estar integrados en el marco de una evaluación global de
centros.
e) La educación es una tarea compartida, alumnado, profesorado, familias y
servicios educativos, que se basa en la interacción de distintos grupos de
personas con una meta común. Frente a modelos anteriores que partían de
una visión parcial de los centros, todos los agentes y las variables relacionales
que se generan en su interacción han de estar reflejadas en el marco común.
68
3
Un nuevo paradigma de evaluación
69
En general, las nuevas tendencias en evaluación se relacionan con lo que Lincoln y
Guba (1989) denominaron la cuarta generación en evaluación, formada por enfoques
constructivistas e interpretativos (responsivos) y donde adquiere especial importancia la
consideración del contexto, los significados, la interacción y la negociación. Horelli
(2009) habla de una evaluación en red desde la perspectiva de la vida diaria (network
evaluation from the everyday life perspective, NEELP), dirigida al empoderamiento de
los individuos y grupos implicados en la co-creación de sus contextos, a la vez que lleva a
reconocer los aspectos complejos del entorno. Centra su atención en los temas del
aprendizaje, la construcción de capacidad y el equilibrio de interdependencias, con
énfasis en la voz de los participantes.
En el año 2000, Sonnichsen anunciaba una serie de tendencias que marcarían el
futuro paradigma de evaluación y que guarda relación con la evaluación interna:
70
c) Énfasis en la evaluación como instrumento de mejora.
d) Mantenimiento de relaciones cooperativas con los gestores de programas.
e) Cooperación entre evaluadores externos e internos al servicio de las metas de
las organizaciones.
f) Mayor implicación de los evaluadores en la toma de decisiones y necesidades de
los miembros de la organización.
g) Ante la pluralidad metodológica se requiere una aproximación integrada que se
adapte a los diferentes contextos de evaluación.
Es de interés la distinción que hacen Leithwood, Edge y Jantzi (1999) entre enfoques
orientados al mercado y el control de cuentas, y aquellos enfoques orientados a la
profesionalización y la descentralización de la toma de decisiones.
La utilización habitual que se ha hecho de la evaluación en el sistema educativo, en
la que han primado las funciones de calificación, control y etiquetado, ha llevado a que
las prácticas evaluadoras sean vistas a menudo como una amenaza. Muchas personas
muestran inquietud al oír hablar de evaluación, término asociado a “valoración” y
“juicio”. A nadie le atrae la idea se sentirse juzgado. Ni siquiera a los propios docentes
agrada la idea de ser valorados, a pesar de que esto es algo que hacemos con nuestros
estudiantes continuamente.
Cualquier esfuerzo o propuesta de evaluación en una organización plantea, explícita
o implícitamente, el tema de la responsabilidad por los resultados. En consecuencia, una
pregunta ineludible en cualquier proceso de evaluación es ¿quién y cómo debe hacerse
responsable de los resultados? Como destaca Ravela, un modo habitual de responder a
esta pregunta es mediante lo que se ha denominado la lógica del enfrentamiento, y
consiste en que cada actor involucrado trata de responsabilizar a otro. Así, el docente
responsabiliza al alumnado porque no estudia, a la familia porque no apoya lo suficiente
y al sistema o a las autoridades porque no ofrecen los medios necesarios para desarrollar
su labor. La familia, por su parte, responsabiliza al docente y a la escuela porque no
enseñan o no exigen como antes. Los administradores buscan responsabilizar a centros y
docentes, ejerciendo presión sobre ellos. Las autoridades centrales responsabilizan a las
autoridades regionales, y viceversa. Los gestores políticos responsabilizan a los
funcionarios, etc. El resultado de esta lógica es una suerte de guerra de todos contra
todos en la que, paradójicamente, todos niegan su responsabilidad atribuyéndola a los
demás. Por este camino, los esfuerzos evaluadores se desperdician y los sistemas
71
educativos no pueden cambiar ni mejorar. Es necesario un nuevo contexto de evaluación
que cambie la lógica del enfrentamiento por una lógica de la colaboración entre los
actores.
Por tanto, un sistema integral de ‘rendición de cuentas/ responsabilidad por los resultados’,
que no se apoye únicamente en los eslabones más débiles de la cadena debería, en primer término,
construir una visión de la educación como emprendimiento nacional, en el que todos son
responsables de algo, en lugar de buscar responsables a los cuales señalar para premiar o castigar
(Ravela, 2006: 15).
72
educativo subyacente. De esta forma se podrían detectar posibles contradicciones entre
los modelos evaluadores y los proyectos educativos que supuestamente se persiguen,
origen de numerosas disfunciones y patologías de la evaluación (Santos, 1988).
Desde una perspectiva de la complejidad, el aprendizaje no es el resultado directo y
automático de lo que planifica, piensa o hace el docente. El hecho de que un alumno
aprenda depende, además, de otros factores, como su acumulación cultural previa; su
motivación para aprender, en parte construida por el docente; los valores sociales
dominantes; la importancia y el apoyo que la familia otorga a la educación… Todo lo que
contribuye a construir el sentido que para un alumno tiene estudiar debería ser tenido en
cuenta a la hora de formular propuestas evaluadoras.
A su vez, los centros educativos son organizaciones cuya estructura aparentemente
sencilla, comparada con otras organizaciones, esconde un funcionamiento complicado.
Individuos y grupos despliegan una red de relaciones informales, simbólicas y de poder
que las estructuras formales se empeñan en ocultar. Desde esta perspectiva, lo que
realmente justifica la evaluación es la endémica opacidad que caracteriza la labor
educativa. En la medida en que la evaluación contribuya a iluminar el conocimiento
educativo existente, dando cuenta de la diversidad de factores y condiciones
intervinientes, podrá servir para mejorar las prácticas educativas.
El funcionamiento desacoplado de las organizaciones educativas, es decir, esa
distancia entre la planificación y la acción que las caracteriza, repercute directamente en
su evaluación. La idea tradicional, propia del modelo de evaluación positivista, de que
todas las actividades pueden ser explícitamente descritas y valoradas a partir de criterios
racionales choca con la estructura desajustada de los centros educativos. Es esta
disonancia entre el modelo racional y la realidad institucional lo que hace imprescindible
la práctica autoevaluadora en los centros. Los evaluadores internos logran establecer
relaciones entre las perspectivas de los gestores con el resto de perspectivas (Torres,
2006). La evaluación puede ser una ocasión privilegiada para intentar relacionar los
proyectos con las prácticas, lo de arriba con lo de abajo, lo formal con lo informal
(Dahler-Larsen, 2002).
73
conocimiento, creando espacios de debate e interacción entre el conocimiento y la
práctica educativa a través de procesos de revisión interna. La experiencia demuestra que
el cambio hacia una gestión más participativa se asocia con una mayor aceptación de la
diversidad, pero también con una nueva cultura de evaluación, que incorpora los
requerimientos de un sistema descentralizado y plural no sólo adaptándose a las
necesidades generales del sistema educativo sino también impulsando la capacidad
normativa de las propias instituciones (Gather Thurler, 2002).
Las iniciativas de autoevaluación institucional forman la corriente más amplia de la
evaluación participativa vinculada a la gestión democrática de las organizaciones. Se
inscriben dentro de una concepción de las organizaciones sociales como unidades con
autonomía para impulsar su propio desarrollo mediante procesos de autoanálisis. El
propósito de la evaluación convencional es ejercer un rendimiento de cuentas en orden a
determinar si la financiación de un programa debe continuar, de forma que el programa
es evaluado de acuerdo a indicadores de éxito predeterminados y la evaluación es
conducida por evaluadores independientes. El propósito de la evaluación participativa es
empoderar a las personas, participando en el diseño de la evaluación y de los indicadores
para medir el éxito, e implicándose en actividades de autoevaluación (Fetterman et al.,
1996).
Weaver y Cousins (2004) identifican tres justificaciones principales para la
participación de los implicados en la evaluación: pragmáticas (orientación a la resolución
de problemas), políticas (orientación a la justicia social) y epistemológicas (orientación a
la validez del conocimiento). De manera similar, Greene (2000) da estas razones para
incluir a los implicados en los procesos evaluativos:
74
constituye una experiencia de aprendizaje para los participantes en él, incrementando sus
habilidades evaluadoras y su comprensión acerca del propio trabajo. Otro beneficio de la
evaluación participativa consiste en que el proceso de evaluación interactiva contribuye
por sí mismo a mejorar la comunicación entre los agentes del programa que se
encuentran trabajando en diferentes niveles de su implementación (Aubel, 2000).
Aun siendo predominantes los modos de evaluación de centros de carácter externo,
en la mayoría de los países de nuestro entorno la tendencia de las políticas educativas de
los últimos años es asignar a los centros escolares una mayor autonomía y
responsabilización en su propia evaluación, promoviendo su capacidad para la definición
y seguimiento de sus fines, así como el análisis y mejora de sus procesos educativos.
Este incremento de la autonomía y de la responsabilización de los centros se apoya en
dos supuestos básicos: los centros son capaces de evaluar sus niveles de calidad y de
establecer planes de mejora de su funcionamiento. Allí donde la evaluación es interna
resulta imprescindible la implicación de los actores en las diferentes etapas del proceso.
En nuestro sistema educativo, la normativa reguladora de los consejos escolares de
centro permite que éstos asuman funciones de evaluación, lo que abre esta función
también a los colectivos de padres y estudiantes, junto con el claustro de profesorado.
Los centros deben tener autonomía para definir los criterios de evaluación interna así
como para crear fórmulas organizativas específicas de evaluación.
75
equivocadas ni tienen por qué implicar un vencedor y un vencido. Enfoques como la
evaluación para capacitación se orientan a promover estrategias donde todos ganen,
donde los implicados identifiquen debilidades y fortalezas de sus programas y puedan
afrontarlas positivamente en beneficio de sus usuarios y de la comunidad (Wyersman y
Snell-Johns, 2005).
76
social, no es la consecuencia de una simple lógica o metodología, al margen del tiempo y
del despacio. Las prácticas evaluativas están firmemente enraizadas en estructuras y
prácticas institucionales y sociales concretas. De hecho, su tecnología no es muy original,
tomando prestados sus métodos de las ciencias sociales. Su especificidad viene
determinada más por los contextos organizativos y las opciones políticas que se adoptan.
77
4
La autoevaluación institucional
78
La autoevaluación de centros educativos surge como respuesta alternativa a la
corriente anglosajona del rendimiento de cuentas y al descrédito de la inspección,
encontrándose entre las corrientes que más influyen en su desarrollo (Gather Thurler,
2002; Azevedo, 2007):
79
Estas corrientes enfatizan los procesos dinámicos del desarrollo y la mejora escolar,
incorporando además las teorías sobre la implementación de las innovaciones desde un
punto de vista cíclico (Stoll y Fink, 1997; Hopkins, 2001). A continuación describimos
brevemente algunas de las corrientes de mayor influencia.
80
organización asumen el papel de evaluadores.
Es relevante el concepto de autoorganización, dado que poner en marcha una
autoevaluación implica de alguna forma un proceso de autoorganización. Este concepto
aporta una perspectiva interesante para comprender mejor las iniciativas autoevaluadoras.
La autoorganización se refiere a cómo una organización se mira a sí misma para generar
dinámicas renovadoras (Bower, 2006).
Los sistemas complejos se distinguen por su capacidad de autoorganización, esto
es, por su habilidad para cuestionar y reformar su funcionamiento y adaptación a las
necesidades y capacidades cambiantes de sus componentes, así como a las nuevas
demandas de su entorno. Lo característico de este modelo es que surge como resultado
de procesos de comunicación, selección y adaptación internos y de sus relaciones con el
entorno, no es impuesto externamente (Lewin, 1999). La autoorganización contribuye a
desarrollar su potencial latente para innovar y transformarse. El resultado es un nuevo
orden más constructivo y dinámico ante los cambios del entorno (Pascale et al., 2002).
Estos modelos persiguen dos grandes metas: el desarrollo profesional, a través de
procesos de autorrevisión docente, y el desarrollo del potencial organizativo (capacity
building) (e.g., Simons, 1995; King, 1998; Kyriakides y Campbell, 2004); lo que
conlleva instaurar sistemas de evaluación integrados en las rutinas del funcionamiento
institucional. Si se asume que el centro es la unidad básica del cambio educativo, es
preciso aplicar políticas que estimulen el potencial de cambio desde dentro. La
autoevaluación formaría parte esencial de estas políticas, al aportar un modelo
sistemático de revisión interna inscrito en el conjunto del funcionamiento de la
institución. En este sentido, como señala Bolívar (1994a), la autoevaluación se entiende
más como un proceso de formación e innovación centrada en la escuela que como una
fase específica o terminal. En ningún caso es una acción puntual o esporádica.
81
para la autorrevisión de la práctica para su mejora, logrando una amplia difusión. La
entrada de otros movimientos como la mejora de la escuela (Proyecto ISIP), el
desarrollo curricular basado en el centro, las propuestas de formación en centros, la
revisión basada en la escuela o GRIDS, el desarrollo profesional centrado en la escuela,
el desarrollo organizativo, el trabajo en colaboración entre agentes externos y centros,
etc., han dado lugar a una sensibilización e incipientes experiencias de autoevaluación
institucional, ya sea explícitamente, o más a menudo como procesos de innovación que
incluyen una autorrevisión en el proceso (Bolívar, 1994a).
La autoevaluación es una estrategia para comprender y mejorar la práctica educativa
de los centros a partir de su propia capacidad para actuar. El enfoque deliberativo
subraya la capacidad de los docentes para interpretar y regular las propias acciones desde
la reflexión en equipo, teniendo en cuenta las actitudes y comprensión personal de sus
agentes. El profesor, junto a sus colegas, reconstruye el currículo escolar, toma la
iniciativa de elaboración del mismo, generando procesos y formas de trabajo dirigidas a
autorrevisar lo que se hace, repensar lo que se podría cambiar y consensuar planes de
acción. Aun cuando la práctica educativa tiene un carácter personal, los criterios de
actuación no quedan al arbitrio de cada profesor, son, por el contrario, un tema de
deliberación y construcción por parte del equipo docente.
La evaluación institucional queda inscrita así en un proceso más amplio de
reconstrucción cultural de la escuela y de los modos de trabajar y hacer escuela de los
profesores. Para no reducirla a una cuestión administrativa, requiere planificar
conjuntamente acciones de desarrollo donde se justifican y consensuan las opciones de
mejora que se van a poner en práctica (Bolívar, 1999).
Los procesos de mejora de la eficacia escolar deben estar coordinados por el centro
educativo, por un departamento concreto o por un grupo de personas implicadas, pero siempre
desde el centro. Ello no significa que algunas funciones no puedan ser llevadas desde el exterior o
por docentes individuales, pero es importante la implicación y dirección de la escuela en el proceso
(Murillo Torrecilla, 2011: 78).
82
escuela tienen un gran auge, la autoevaluación es recomendada a centros y equipos
directivos (Maes, 2007: 4).
Según Ryan y Telfer (2011), la autoevaluación encuentra su base en la investigación
sobre las escuelas eficaces. Tras 35 años de investigación se ha generado el conocimiento
suficiente para saber cómo pueden mejorar los centros el rendimiento de sus estudiantes:
centrarse en la calidad de la enseñanza, en el clima del centro, en lo que hacen los
docentes, en la colaboración profesional, en la implicación de las familias, en la
evaluación de sus efectos sobre los alumnos. Al ser el centro la unidad básica de cambio
educativo, la autoevaluación se convierte en el componente necesario para mejorar su
eficacia (Scheerens y Bosker, 1997). Próximos a la corriente de la mejora escolar, los
modelos de autoevaluación muestran una gran coherencia con la teoría, la práctica y la
investigación sobre el cambio educativo eficaz.
83
concepción de las escuelas como organizaciones de aprendizaje, los evaluadores se
hicieron más conscientes de la necesidad de organizar la evaluación de forma que
proporcionase una oportunidad óptima de aprendizaje a quienes se implicaban en ella. Se
echaba en falta un concepto de evaluación centrada en los procesos de aprendizaje:
84
La evaluación puede contribuir al aprendizaje organizacional, pero no cualquier
modalidad de evaluación. Es preciso buscar sistemas de evaluación institucional al
servicio del aprendizaje. Por eso es importante no confundir con evaluación los informes
que realizan los directores del rendimiento del profesorado; la revisión del cumplimiento
de planes y proyectos que la administración prescribe; la comprobación de un listado de
indicadores de rendimiento elaborado externamente o los formularios que la
administración envía a los centros para que se “autoevalúen”, lo que no puede
identificarse con un sistema de autoevaluación (San Fabián, 1996). Como sugiere Simons
(1987), llamar a estos enfoques de autoevaluación es hacer una caricatura de un
concepto educativo esencial. El enfoque de listas de control es útil para tener a las
escuelas ocupadas; no se trata de una evaluación, sino de la elaboración de respuestas
tranquilizadoras ante las dudas que reflejan las necesidades de control externo.
El concepto de aprendizaje en este modelo de evaluación se fundamenta en el
constructivismo social. El aprendizaje se entiende como un proceso en el cual el que
aprende está creando activamente su propio conocimiento en interacción con los demás.
El aprendizaje individual puede afectar así a los otros, a través de la transferencia del
conocimiento y la experiencia adquiridos, o puede traducirse en cambios o mejoras de
estructuras, métodos, tecnologías, normas y regulaciones dentro de la organización. La
evaluación educativa forma parte de un entorno de aprendizaje profesional que requiere
la interacción de todos los actores que intervienen en la escuela.
Según MacGilchrist, Myers y Reed (1997), la “escuela inteligente” debe poner en
juego un conjunto de capacidades colectivas, que incluyen nueve tipos de “inteligencia”
para obtener éxito:
85
todos los miembros de la comunidad escolar.
9. Inteligencia ética: reconoce la importancia de los derechos de los alumnos y de
su participación en la toma de decisiones sobre su aprendizaje.
86
2000).
Un modelo de formación e innovación centrado en la escuela comporta una
determinada concepción de los profesores como profesionales reflexivos, que comparten
conocimientos en sus contextos naturales de trabajo, y exige ir rediseñando el centro (con
los recursos y apoyos necesarios) como comunidad de aprendizaje para los alumnos, los
profesores y la propia escuela como institución (Bolívar, 1999).
Un concepto relevante para el desarrollo de una organización es el de comunidad de
práctica (Sergiovanni, 1994). Construir una “comunidad de práctica” es una condición
necesaria para mejorar un centro (Harris, 2001: 261-262). Ello requiere la existencia de
equipos docentes dispuestos a colaborar y aprender, lo que nunca es fácil, pues las
estructuras escolares suelen mantener a los profesores aislados unos de otros
predominando una cultura profesional individualista (Hargreaves, 1990).
Estas son las principales características de las Comunidades de Aprendizaje
Profesional (Stoll y Fink, 1997):
87
educativos, desde la sensibilización hasta la institucionalización.
En la autoevaluación el control o la responsabilización mutua es un recurso
conceptual crítico. Un sistema de rendimiento de cuentas democrático significa construir
la responsabilidad democrática mediante el diálogo y la discusión entre padres, docentes,
estudiantes, administradores, expertos y otros ciudadanos para definir el significado de la
calidad educativa y cómo debe ser construida. Este tipo de diálogo crea una comunidad
que se autoevalúa y se compromete con el desarrollo de programas educativos,
relacionándolos con información y políticas externas (Ryan, 2005).
Una idea ampliamente extendida es la que relaciona los niveles de participación con el
uso de la evaluación: cuando se incrementa la participación de los sectores implicados en
la evaluación mejora su compromiso en su proceso y la utilización de sus resultados
(Patton, 1997; Taut, 2007). Cousins et al., (2004) muestran que los enfoques de
evaluación participativa son los más eficaces para integrar la evaluación en la cultura
organizativa. Cuando la flexibilidad interactiva del diálogo da paso a la jerarquía, la
competición, la burocracia y el funcionamiento en compartimentos, la capacidad para
mejorar de una institución se bloquea. La autoevaluación institucional puede inscribirse
en el marco más amplio de la llamada “evaluación democrática” (MacDonald, 1995;
Patton, 2002). Según Espinoza (1993: 25): “La evaluación, lo mismo que el resto de las
fases que componen el desarrollo de un proyecto, adquiere su dimensión más valiosa
cuando considera como elemento activo en su gestión a la comunidad beneficiaria del
proyecto”.
Con frecuencia, la expresión evaluación “participativa” o “democrática” se usa de
manera bastante genérica. Carol Weiss (1998), por ejemplo, incluye: modelos de
evaluación orientada al cliente, evaluación colaborativa, basada en los implicados, dirigida
al advocacy o el empowerment. Otras expresiones para referirse a la evaluación
participativa son evaluación inclusiva (inclusive evaluation) (Mertens, 1999) o
evaluación para el empoderamiento (empowerment evaluation) (Fetterman et al., 1996).
Según Daigneault y Jacob (2009), el concepto de evaluación participativa es
ambiguo y carente de una teorización adecuada, al no existir medidas fiables de la
participación de los implicados. Se trata de un concepto polisémico que abarca diferentes
matices (Cousins y Whitmore, 1998; Murray, 2002; Cousins, 2003), si bien, en general,
se refiere a un tipo de evaluación que busca incluir al personal del programa en el
proceso evaluativo (Torres y Preskill, 2001), “un proceso educativo mediante el cual los
grupos sociales producen conocimiento orientado a la acción sobre su realidad, clarifican
y articulan sus normas y valores y buscan un consenso sobre su acción futura” (Brunner
y Guzman, 1989: 11).
MacDonald (1976: 474), en un ensayo clásico, aplica un análisis político a la
evaluación, proponiendo, frente a tipos burocráticos o autocráticos, una evaluación
88
democrática: “los evaluadores, no sólo viven en el mundo real de la política educativa, de
hecho, influyen en sus cambiantes relaciones”. Entiende la evaluación democrática como
un servicio de información a toda la comunidad, negociado, confidencial y accesible a
todos los concernidos, sin reconocer un derecho especial a ningún grupo; para lo que
utiliza metodologías e informes que puedan hacer accesible el conocimiento.
Beltrán y San Martín (1992: 67) definen la evaluación participativa como “aquella en
la que, tanto los métodos aplicados, como la información generada en el proceso
evaluador es abierta, y se discute y reelabora entre los diferentes grupos de interés,
formales o no, que configuran la comunidad educativa”.
La evaluación participativa permite (Aubel, 2000: 17) que:
89
social de evaluación es más importante que el diagnóstico que genera, pues dicho proceso
en sí mismo mejora las relaciones y refuerza el compromiso.
Cousins y Whitmore (1998) diferencian entre evaluación participativa
transformadora y evaluación participativa pragmática. La primera busca contribuir al
cambio social mediante la creación y el control de la producción del conocimiento;
constituye un proceso político de reflexión crítica, donde el evaluador se implica también
en la acción y el compromiso contra la injusticia y la desigualdad. En la evaluación
participativa práctica el evaluador asume la responsabilidad técnica y los afectados
participan en la definición del problema, la interpretación de los datos, etc. El dilema
técnico versus participativo responde, en último extremo, a la doble perspectiva de la
evaluación del centro: control administrativo y mejora interna (Bolívar, 2001). Las
diferencias entre ambos son notables, en el caso de un diagnóstico participativo se puede
afirmar (Gather Thuler, 1994) que el sentido del diagnóstico se construye, no es un dato
de partida; en segundo lugar, se construye a partir de una cultura o conjunto de valores y
de representaciones; y, finalmente, se construye en situación, en la interacción y relación
de los actores del centro. En último extremo, la eficacia que cuenta, es decir, que cuenta
de cara a la mejora…
90
actores implicados son el centro de la evaluación.
c) Apertura metodológica: utilizar métodos y técnicas de evaluación accesibles a
los no especialistas.
d) Negociación: emplear un rango de fuentes que reflejen la diversidad de
intereses, estableciendo procesos de negociación entre grupos de interés.
e) Transparencia: los informes son accesibles, relevantes y útiles.
f) El diálogo y la deliberación entre los implicados son más importantes que los
juicios de los expertos.
Una evaluación democrática debería procurar servir a los valores universales de las sociedades
democráticas, atendiendo a los dos elementos que creemos fundamentales en la democracia. Por
una parte el ejercicio del voto, que debe ser un voto informado y, por lo tanto, la necesidad de
asumir como valor el deber de informar a la ciudadanía de todos los asuntos que le compete. Y por
otra parte, que la democracia se caracteriza por un sistema de equilibrios y controles para prevenir
el uso ilícito del poder. La evaluación debe tener en cuenta todos los intereses que se puedan
identificar… Tener en cuenta todos los intereses significa identificar las preocupaciones de los
diferentes grupos respecto de la actividad que se está realizando, y para garantizar que sus intereses
estén representados todos han de recibir información de todos los resultados (MacDonald, 1995:
16).
Más que arbitraje, lo que la evaluación democrática pone en práctica son procesos
de negociación. La esencia de la evaluación democrática es poder reunir a personas con
diferente poder frente a frente para expresar e intercambiar sus ideas e intereses en
condiciones de igualdad (Macneil, 2000).
La evaluación como compromiso (De Miguel, 2004) exige mantener un equilibrio
entre el rigor técnico y el diálogo con los stakeholders.
91
La evaluación debe dar voz a todos los sectores del centro, incluidos los estudiantes,
en una lógica de implicación y corresponsabilidad.
Una evaluación se asienta en la confianza, el respeto por todos los que intervienen y en la
confidencialidad respecto a ciertas materias, siendo en sí misma un proceso educativo. En la
evaluación también se debe aplicar el sabio principio de educar en y no solo educar para (Azevedo,
2007: 73).
92
utilizar diferentes métodos teniendo en cuenta los principios de la empowerment
evaluation. Por esta razón, el debate no se centra tanto en la búsqueda de estrategias
alternativas o en las cuestiones epistemológicas sino en los valores fundamentales acerca
de la naturaleza de la evaluación. Es un tipo de evaluación que busca mejorar la
probabilidad de éxito de un programa (Wyersman et al., 2005):
93
evaluación interna, revisión interna, evaluación basada en el centro) se han llevado a
cabo en casi todos los sistemas educativos una variedad de experiencias donde los
participantes y responsables del programa y de la organización asumen su propia
evaluación (Scheerens, 2002). A su vez, la autoevaluación ha recibido atención del
ámbito académico, contando en la actualidad con un cierto desarrollo teórico (e.g.
Simons, 1987, 2002; King, 1998; Nevo, 1997, 2002; MacBeath, 2000; Rallis y
MacMullen, 2000).
No obstante, y a pesar de esa tendencia relativamente extendida a permitir e incluso
promover prácticas de autorrevisión institucional, no suelen encontrarse definiciones
oficiales de la autoevaluación escolar por parte de las administraciones. Dependiendo de
la perspectiva que se adopte (desarrollo de la organización, investigación-acción,
rendición de cuentas, gestión centrada en la escuela) la autoevaluación puede adoptar
significados y modalidades diferentes. Taut (2007) comprueba que el uso del término
autoevaluación en la literatura depende del contexto en que se aplica. Así, mientras que
en algunos países (EE.UU.) es vista como un complemento a la evaluación externa de
rendimientos, en otros se considera un sistema válido en sí mismo para evaluar un
centro.
MacBeath et al., (2000) constatan que no existe un modelo europeo de
autoevaluación, no porque no se hayan hecho formulaciones en este sentido, como las
propuestas por estos mismos autores, sino porque la tradición política y administrativa de
cada país hace que prevalezcan unos modelos específicos de relación entre la evaluación
externa y la interna, lo que viene a determinar, en última instancia, el concepto de
autoevaluación aplicado en cada lugar. Según el estudio Effective School Self-Evaluation
ESSE (SICI, 2003), existe un conjunto de factores contextuales que influyen en el
desarrollo de la autoevaluación en cada país: el marco legal, la presencia de datos de
referencia a nivel nacional, la existencia de un esquema general de evaluación con
indicadores de calidad, la previsión de formación y apoyo a la autoevaluación, la
naturaleza de la evaluación externa, la forma en que son utilizados por la inspección los
resultados de las autoevaluaciones.
Debido a ello, la autoevaluación puede recibir diferentes orientaciones según los
contextos (Scheerens, Van Amelsvoort y Donoughue, 1999):
94
tipo instrumentalista, orientada a la acción, racionalista y gerencialista (p. ej., el “modelo
inglés”) y otra ética, afectiva, no racional y democrática (p. ej., el modelo CIDREE). El
“modelo inglés” es solo un enfoque parcial y particular de autoevaluación, modelo que al
utilizar el esquema de inspección como base para la autoevaluación escolar ignora las
implicaciones éticas del proceso evaluador.
Las distintas definiciones de autoevaluación pueden ser clasificadas en varias
categorías:
Autoevaluación institucional
“El proceso de reflexión, generalmente iniciado por el propio centro, que implica a los participantes en
la descripción sistemática y valoración del funcionamiento del centro en orden a tomar decisiones para el
95
desarrollo global del mismo” (Van Petegem)
“Un proceso básicamente iniciado por el centro para recoger información sistemática sobre su
funcionamiento, analizar y valorar esa información teniendo en cuenta la calidad de los procesos educativos y
tomar decisiones para realizar nuevas propuestas y recomendaciones” (Devos)
“Es la evaluación realizada por los responsables del diseño y la implementación de una intervención para
el desarrollo” (OCDE)
“El esfuerzo colectivo de un equipo interno para someter a la organización a un examen en profundidad
en base a observaciones y datos que permitan: identificar sus fortalezas y debilidades, definir la evolución de
la calidad de los aprendizajes de los alumnos y adaptar los modos de acción pedagógica y de gestión de la
vida escolar a los cambios de la sociedad” (Bonami)
“Proceso de reflexión sobre la práctica, realizado de forma sistemática y transparente, con el fin de
mejorar el aprendizaje organizativo, profesional y del alumnado” (MacBeath)
“Proceso iniciado en el centro escolar, llevado a cabo por el profesorado y personal de la escuela, en el
que se examina y diagnostica, recogiendo de modo sistemático información, el estado de la escuela (puntos
fuertes y necesidades), con el propósito de encontrar respuestas a problemas de la escuela y a sus
posibilidades de mejora” (Bolívar)
“Proyectos de evaluación a pequeña escala llevados a cabo por los participantes y gestores de los
programas como parte de sus actividades de trabajo diario con la finalidad de dar respuestas a cuestiones que
plantea su propio trabajo” (Taut)
“Proceso de recogida sistemática de información a iniciativa del propio centro y que busca valorar el
funcionamiento del centro y el logro de los objetivos educativos con el propósito de fundamentar la toma de
decisiones y contribuir a la mejora del centro en su conjunto” (Schildkamp)
“Enfoque sistemáticamente organizado y apoyado en evidencias por el que los grupos implicados
revisan y supervisan regularmente el progreso y los resultados del centro con el fin de articular iniciativas de
mejora” (Plowright)
96
Tipo de evaluación Interna
La autoevaluación institucional forma parte de esa pedagogía que busca “dar voz” (pedagogy
of voice) a los protagonistas del proceso educativo, a los propios centros (Ryan y Telfer, 2011).
97
funcionamiento con el propósito de tomar decisiones o iniciativas en el contexto del
desarrollo global de la escuela.
La autoevaluación es un medio para la construcción compartida de significados
institucionales, que posibilita el contraste de percepciones, crea vínculos de colaboración
y promueve la reflexión. Busca construir una visión compartida sobre el significado, los
beneficios y limitaciones de las prácticas de enseñanza mediante el debate informado,
reconociendo que los actores necesitan información periódica, válida y pertinente para
que puedan desarrollar sus prácticas.
Es una oportunidad para mejorar desde dentro. Para los centros, el proceso de
evaluación no es un fin en sí mismo, es un medio, un instrumento al servicio de la
mejora que debe ser valorado en función de su impacto y los resultados deseados
(MacBeath, 1999). Ahora bien, sus beneficios no se reducen a la mejora del rendimiento
escolar de los estudiantes sino que también deben incluir cualquier otra mejora obtenida
en el transcurso de la evaluación y que directa o indirectamente contribuya a la obtención
de mejores resultados, como es el clima de relaciones, la convivencia, la comunicación,
etc. Las iniciativas de autoevaluación institucional implican al conjunto de dinámicas y
estructuras de la organización, independientemente de que su objeto de atención se
centre en unos ámbitos concretos de la misma.
Como puede deducirse, la autoevaluación no es algo especialmente novedoso o
distante de las prácticas profesionales de la educación. Más bien hay que hablar de un
continuo en el proceso de autorrevisión, con diferentes niveles de compromiso, como así
describe Gather Thurler (2002):
a) A pesar de las reservas, sobre todo de tipo pragmático, que pueden plantearse a
este modelo, son muchas las escuelas que practican alguna forma de
autoevaluación de manera espontánea, a menudo con medidas concretas: la
necesidad de comprobar el impacto de la introducción de nuevas prácticas,
para encontrar la respuesta a algún problema (la insatisfacción expresada por
algunos padres, verificar las causas de los malos resultados, etc.), justificar la
solicitud de recursos adicionales… suelen ser prácticas poco sistemáticas,
basadas en las herramientas improvisadas que no siempre llevan al
profesorado a una reflexión común.
b) Del mismo modo, muchos profesores se han acostumbrado, colectiva o
individualmente, a generar retroalimentación de los estudiantes a los padres de
sus alumnos, algunos participan en grupos formales o informales de
seguimiento y análisis de prácticas, mientras que otros colaboran en proyectos
de la comunidad y evalúan periódicamente su aplicación o participan en
proyectos de investigación-acción para conocer la evolución y el impacto de
sus prácticas. Muchos centros hacen una evaluación al final del curso para
evaluar la eficacia de las medidas adoptadas y determinar las prioridades y las
acciones del año siguiente.
c) Un pequeño número de instituciones recopilan datos de forma regular y
98
sistemática a fin de comprobar sus hipótesis y justificar sus decisiones.
d) Y, finalmente, una minoría de las instituciones realiza periódicamente una
auténtica devolución de la información a los padres, alumnos, supervisores y
profesionales sobre los cambios en sus prácticas y negocian algunas de sus
decisiones con estos colectivos.
La autoevaluación debe servir para que el centro se pregunte cómo está ayudando a sus
alumnos (OFSTED, 2004).
99
procesos sistemáticos que se gestionan desde las evidencias sin caer en fórmulas
burocráticas (Bubb et al., 2007).
La literatura no solo ha descrito los procesos y dificultades a los que se enfrentan las
iniciativas de autoevaluación sino también los beneficios derivados de ellas. MacBeath et
al., (2000) se refieren a la autoevaluación como una excelente oportunidad para valorar
diferentes puntos de vista, comprender otras posiciones y llegar a acuerdos sobre lo que
hacemos y cómo deberíamos hacerlo. Concretamente, permite al centro un mayor
seguimiento de sus resultados, mejorar la comunicación y el sentido de grupo, explorar la
propia cultura, reducir las prácticas defensivas, potenciar el trabajo en equipo, la
participación y el intercambio de información, un mayor conocimiento de la práctica,
centrar el interés en los temas críticos que requieren mayor atención, descubrir nuevas
áreas de mejora incrementando las expectativas de cambio, identificar buenas prácticas.
Bonami (2004) destaca entre sus efectos el diseño y puesta en práctica de proyectos
institucionales internos que implican nuevas formas de gestión de espacios, tiempos,
comunicación o trabajo en equipo, siendo sus principales beneficios: una visión
compartida de los objetivos y dificultades encontradas; la movilización de los actores en
el proceso de mejoramiento de los aprendizajes y una gestión más fundada en la
comunicación con las familias, los agentes sociales, etc.
Para Meuret y Morlaix (2003: 65 y ss.), la autoevaluación contribuye a mejorar el
conocimiento que los participantes tienen del centro como organización. La evaluación
sirve para detectar y promover cambios individuales en la forma de actuar y pensar,
cambios en los procedimientos organizativos, cambios en los programas y en la cultura
entre los implicados como resultado del aprendizaje derivado del propio proceso
evaluativo (Patton, 1997).
La autoevaluación escolar supone un proceso de desarrollo del profesorado y del
centro que permite a las escuelas hacerse dueñas del proceso de cambio.
100
positiva. Los docentes se vuelven más proclives a recoger y utilizar datos para mejorar su
enseñanza aprendiendo dos cuestiones: que la realidad es observable y qué es
culturalmente relevante para los estudiantes (pensar evaluativamente).
La autoevaluación es un tipo de evaluación necesaria, especialmente, cuando las
diferencias y resultados existentes entre centros son grandes y no se justifican por la
procedencia del alumnado o por el nivel socioeconómico de sus contextos. Es entonces
cuando las prácticas internas, de gestión y enseñanza, deben ser objeto de un sistemático
análisis interno.
Los centros europeos participantes en la Conferencia de Austria (Viena, 1998)
consideraron la evaluación interna como el tipo de evaluación más adecuado para la
mejora de la enseñanza y de su gestión, destacando entre sus beneficios: promover el
autoconocimiento, reconocimiento de los logros, potenciar la autoconfianza, ampliar las
perspectivas de análisis, reforzar la cultura y mejorar el centro.
Davies y Rudd (2001) describen así los beneficios derivados de las experiencias
autoevaluadoras:
101
pasando.
b) Ayuda a incidir sobre el que se considera importante.
c) Posibilita el debate, la implicación y el perfeccionamiento del profesorado.
d) Permite revisar el currículo, corregir errores y plantear áreas de mejora.
e) Unifica criterios y facilita la coordinación de los equipos docentes.
f) Impulsa el diálogo y la participación en los procesos de decisión, contribuyendo
a una cultura evaluativa y de transparencia.
g) Contribuye a mejorar aspectos del funcionamiento diario de los centros.
102
herramientas de autoevaluación y mejora (MacBeath, 1999). Introducir e institucionalizar
estas herramientas constituye uno de los principales desafíos de la evaluación (Kyriakides
y Campbell, 2004). Barber (1996) afirma que la esencia de una buena organización
reside en la búsqueda de mejoras y en ello es clave su autoevaluación. La autoevaluación
es, pues, un indicador de un alto nivel de desarrollo organizativo.
El uso de las evaluaciones, y especialmente la utilización de los resultados de las
mismas, es un tema que está suscitando gran interés en los últimos años entre teóricos y
prácticos de la evaluación. La evaluación es una práctica orientada a la utilización de sus
resultados y a la toma de decisiones, no a las conclusiones. No acaba pues con la
redacción del informe de evaluación, su meta es ejercer influencia. Dado el enorme
volumen de recursos y energías generado en torno a los procesos de evaluación, parece
justificado preguntarse por el poco uso, el mal uso e incluso el no uso de las evaluaciones
(House, 1993).
Weiss (1972 y 2006) realiza una síntesis del estado de la cuestión en torno a tres
cuestiones:
Según Weiss (2006), durante los años sesenta y setenta se mantenían expectativas
poco realistas sobre los efectos de las evaluaciones, considerando que era posible su uso
directo e inmediato en la mejora de los programas sociales. Esto ha ido dando paso a un
concepto más complejo para asumir que la evaluación puede ser objeto de diferentes
usos por parte de los implicados, dándose un mayor énfasis en el uso simbólico y
103
conceptual. Así, Patton (1977) se refiere a efectos en el conocimiento, la reducción de la
incertidumbre, el primar o acelerar determinados procesos, etc. Además, se reconoce que
las tomas de decisiones no suelen depender de una sola causa, y que la evaluación puede
tener un efecto acumulativo. Entre los factores condicionantes están: las características
del evaluador, el diseño y contenido de la evaluación, el estilo del informe, las
características de las audiencias y sponsors, el origen de la demanda, la credibilidad del
evaluador… De Miguel y San Fabián (2008) señalan varios factores que limitan el uso de
los resultados en las evaluaciones: inadecuación del informe, escasa consistencia de los
datos o argumentación de las propuestas, la falta de diálogo entre el evaluador y los
implicados, la percepción restringida de la evaluación sobre los efectos en el aprendizaje,
la baja credibilidad del evaluador.
Pero, junto al uso de los resultados, también surge la preocupación por otro nivel de
uso, el relacionado con la utilidad del proceso mismo (Patton, 1997). Según este autor, el
impacto del proceso se refiere a los cambios que a nivel individual, estructural y cultural
son consecuencia del aprendizaje que tiene lugar durante el proceso de evaluación.
Podríamos decir que la autoevaluación tiene como fin la mejora y como medio el
aprendizaje. Dentro de la perspectiva de la mejora, la autoevaluación adquiere su
verdadero sentido como proceso de aprendizaje, o si se quiere, de autoaprendizaje
institucional. Podemos decir que una evaluación es “educativa” si está al servicio del
aprendizaje, no solo del aprendizaje de los estudiantes –justificación última de su
existencia− sino también del aprendizaje de todos los que intervienen en el desarrollo de
las acciones educativas.
La evaluación institucional es una evaluación “enfocada a la utilización” o
stakeholder evaluation (Guba y Lincoln, 1989), donde el evaluador, más que alguien que
juzga la bondad o maldad de unas acciones educativas o pretende situarse en tierra de
nadie para ser imparcial y objetivo, aporta elementos para promover el debate, clarificar
cuestiones, mediar entre las diversas posiciones, valorar necesidades, explicar las posibles
consecuencias de tomar determinadas opciones, etc.
Esta perspectiva suscita varias cuestiones esenciales en relación con los procesos de
evaluación y al papel de los evaluadores: ¿cómo pueden contribuir al aprendizaje de los
miembros de las organizaciones las evaluaciones y los evaluadores?, ¿de qué forma los
procesos de evaluación facilitan la utilización de los resultados?, o de una manera más
específica, ¿cómo contribuyen al aprendizaje del propio proceso evaluador? Todas estas
cuestiones, de gran interés para la evaluación en general, son especialmente relevantes
para el conocimiento y la práctica de la autoevaluación. Su orientación al aprendizaje
organizativo, la necesidad de que los participantes en el proceso adquieran conocimientos
y habilidades evaluadoras, su traducción en planes de mejora… son ingredientes
imprescindibles de los procesos autoevaluativos.
Se ha sugerido que la evaluación, además de otras funciones básicas como
rendimiento de cuentas, acreditación o comprobación de resultados, puede contribuir a
cambiar la cultura de aprendizaje existente en una organización. La evaluación, y
especialmente la autoevaluación, tiene también una función pedagógica (Taut, 2007).
104
Esta autora señala que es un objetivo de la evaluación institucional desarrollar la
capacidad de aprendizaje de la organización, de forma que el desarrollo de esta capacidad
para aprender es posible cuando los participantes asumen el proceso evaluativo, son
responsables de la calidad del objeto evaluado y tienen autonomía para sugerir e iniciar
cambios derivados de los resultados de la evaluación, lo que requiere una cultura
organizativa de confianza, transparencia y clima constructivo.
Esta forma de entender la evaluación como impulsora del aprendizaje organizativo
ha llevado a algunos autores (p. ej., Schwandt, 2005) a asignar a los evaluadores un rol
“pedagógico”, compartiendo las características de un “investigador en la acción”:
facilitador, agente de cambio, catalizador, negociador… donde son básicas las habilidades
de escucha, de aceptación de diferentes puntos de vista, de detección de necesidades de
los participantes, saber establecer relaciones de confianza, etc.
En la medida en que la evaluación permite establecer un diálogo crítico con los
demás y someter a revisión el propio conocimiento, deriva en un instrumento de
aprendizaje. No es sólo un medio para controlar los procesos hacia el logro de un fin
determinado, sino un instrumento que modifica los procedimientos y las personas
mismas. La evaluación, así entendida, no sólo aporta conocimientos para su utilización
en la gestión (uso técnico), sino que genera cambios en los propios conocimientos de los
participantes (formación) y en su realidad (implicación).
105
PARTE II
La práctica de la autoevaluación
institucional
106
5
Principios básicos de autoevaluación
5.1. Transparencia
107
constituye además una condición básica que debe caracterizar todo el proceso. No
tendría ningún sentido un proceso de autoevaluación que fuese opaco a los ojos de los
participantes en él. La transparencia tiene pues un doble cometido en la autoevaluación,
como garantía de que los implicados tienen la información suficiente y un conocimiento
efectivo del proceso de evaluación, y, en segundo lugar, como finalidad que persigue
contribuyendo a una mejor comprensión de la realidad evaluada.
Cuando se habla de centros escolares debemos tener en cuenta que son organizaciones
complejas no tanto por su estructura como por su funcionamiento, y que la evaluación
debe dar cuenta de esa complejidad. Sin embargo, las evaluaciones educativas se han
dirigido más al estudio de procesos específicos dentro de las aulas o centros,
generalmente centrados en determinados resultados o rendimientos académicos, al
margen de las características internas y dinámicas de los centros que contribuyen a la
consecución de esos resultados así como de la interacción entre los distintos
componentes. El conocimiento de los participantes en su contexto es esencial para tomar
decisiones en la evaluación (Wyersman y SnellJohns, 2005), especialmente si ésta se
dirige a mejorar la capacidad de la organización (capacity-building).
Esto significa una relación recíproca entre la vida del aula y la vida escolar, y entre el
aprendizaje escolar y el que ocurre fuera de la escuela. Significa reconocer que el aprendizaje de los
alumnos y el de los docentes están conectados y que el aprendizaje docente procede y contribuye al
aprendizaje de la organización. Es esta complejidad y dinámica la que está ausente en los enfoques
108
formales y ritualizados de la autoevaluación, lo que hace más costoso y tedioso el proceso a
profesores y líderes escolares (MacBeath, 2008: 395-396).
Hoy se considera que la evaluación debe hacer referencia a los principales niveles de
la realidad educativa: el currículo, el profesorado, la organización de la clase, los
recursos, las expectativas y la participación del alumnado, la cultura familiar, el contexto
social…, pues todos ellos actúan con un alto grado de interdependencia. MacBeath y
McGlynn (2003) sugieren un modelo con tres niveles principales. En el centro del
modelo se encuentra el aprendizaje del alumnado, propósito principal de la educación.
Un segundo nivel es el de la cultura, esto es, el clima y las condiciones que hacen posible
el aprendizaje tanto del alumnado como del personal docente. El tercer nivel lo
constituye el liderazgo, la dirección y el empuje que crea y mantiene la cultura. A su vez,
estos tres niveles interactúan en el marco de un contexto familiar y social.
La autoevaluación supone una aproximación al centro como totalidad, sin que eso
signifique que deba evaluarlo todo a la vez. La complejidad de los centros hace difícil, si
no imposible, evaluar todas sus dimensiones a la vez, por lo que se recomienda centrarse
en un área específica relevante, lo que genera un mayor nivel de satisfacción,
participación y logro de resultados traducibles en acciones (MacBeath et al., 2000). No
se trata de intervenir en muchas áreas a la vez, con el consiguiente riesgo de dispersión,
sino de hacerlo en profundidad en algunas áreas cuidadosamente seleccionadas. Una cosa
es considerar un ámbito concreto de la escuela desde una perspectiva global, y otra tratar
de abarcar todos los aspectos particulares del centro, tarea poco menos que imposible o
condenada a derivar en un proceso de análisis superficial. Focalizar el análisis en algunos
temas o ámbitos de interés no impide un enfoque de carácter holístico, pues la
autoevaluación permite dirigir a esos ámbitos el conjunto de factores, recursos y energías
del centro escolar.
La autoevaluación da a los actores de la institución una oportunidad de reflexión
colectiva sobre la situación del centro educativo en su conjunto. La autoevaluación puede
contribuir al análisis de los problemas educativos desde diversos ámbitos de actuación y
diferentes niveles de ejecución. De esta forma, necesita contemplar los diferentes niveles
de la realidad institucional, tratando un determinado ámbito en profundidad desde todas
las dimensiones organizativas posibles. Así, si se elige como ámbito de evaluación la
comunicación con las familias, ésta puede ser contemplada desde su dimensión tutorial,
participativa, individual, grupal, directiva, de gestión, curricular, técnica, etc.
5.3. Contextualización
109
los estudiantes; sin embargo, esta valoración, con frecuencia medida, de los logros o
adquisiciones en los estudiantes se ha hecho en la mayoría de las ocasiones de manera
sesgada, parcial y descontextualizada.
Las organizaciones educativas se han caracterizado tradicionalmente por su falta de
conexión entre los resultados en los alumnos y las estructuras y formas curriculares-
organizativas, de manera que las evaluaciones suelen dar cuenta de aquellos pero fallan al
establecer relaciones con las estructuras y los recursos organizativos. La evaluación de
los centros tiene como reto iluminar esas relaciones de forma contextualizada.
Además, la evaluación interna debe realizarse en plena coexistencia con el
funcionamiento normal del centro, formando parte integral de la vida escolar, abordando
los temas que más preocupan a los docentes, las familias y el alumnado (MacBeath y
McGlynn, 2003).
La evaluación formativa requiere un alto grado de contextualización, de adaptación a
las características particulares de las organizaciones y sus necesidades. La evaluación ha
de ser sensible a las necesidades específicas de las escuelas y su éxito dependerá de su
adaptación a las características particulares de cada centro. Pero, a su vez, no debe
olvidarse que el centro constituye una comunidad educativa dentro de un contexto social
más amplio.
5.4. Participación
110
Cuando las autoridades determinan los criterios y procedimientos de la evaluación interna, ésta
tiende a ser tecnicista o administrativa, lo que no será problema si el objetivo principal es
proporcionar información a esas autoridades, pero no es la mejor opción si se pretende fomentar un
proceso de mejora de la escuela, pues los criterios pueden no ser los más útiles para el centro en
concreto y hay una tendencia de los centros a presentar los datos más positivos. Así, cuando se
pretende promover un proceso de mejora, es más adecuado que la evaluación sea participativa,
comenzando por la definición de los objetivos, los criterios y los procedimientos (Azevedo, 2007:
34).
Lograr un adecuado nivel de consenso inicial entre los participantes es esencial para
el éxito de la autoevaluación. De aquí la importancia que tiene establecer procedimientos
para asegurar que los implicados comprenden claramente el sentido y fines de la
autoevaluación (MacBeath et al., 2000). Entre los colectivos implicados en los procesos
de autoevaluación se destacan tres: alumnado, familias y profesorado, incluyendo
miembros del equipo directivo y miembros de los consejos escolares. En países como la
República Checa o la Bélgica francófona la inspección es también uno de los agentes
implicados, en Dinamarca los servicios de apoyo externo.
Una de las finalidades de la autoevaluación es observar y estudiar los entornos de
aprendizaje para adaptar el proceso de enseñanza a los estudiantes. A pesar de que la
consulta a los estudiantes suele hacerse de forma más limitada y menos sistemática que la
que se hace a las familias o al profesorado, su opinión es muy importante: los maestros
son expertos en la enseñanza, pero los estudiantes son expertos en su aprendizaje.
Una vez asumida la participación como un ingrediente fundamental de los procesos
de autoevaluación, conviene ser conscientes de sus dificultades y limitaciones, con el fin
de optimizar sus posibilidades. La participación es una condición necesaria pero no
suficiente. Como en otros campos de la acción educativa, no hay una relación clara entre
una mayor participación en el proceso y una mayor satisfacción de los implicados, por lo
que debe potenciarse una participación significante, relacionada con la posibilidad de
actuar e intervenir (MacBeath et al., 2000). La participación parece ser más satisfactoria
cuando los implicados son invitados a participar no solo en los aspectos operacionales,
sino también en las fases de diseño, seguimiento y revisión del proceso. Para que la
participación genere satisfacción debe producir resultados, la eficacia del proceso debe
juzgarse finalmente por su impacto en la mejora del compromiso con el aprendizaje por
parte de estudiantes, profesores y familias.
La participación es un instrumento básico en la autoevaluación, pero no todos
necesitan participar en todo. Los miembros del equipo de evaluación deben ser
seleccionados en función de lo que puedan contribuir dentro del proceso o de lo que
puedan aprender de él. Algunos autores consideran que el principal condicionante de la
actitud positiva hacia la autoevaluación no es la amplia participación ni la satisfacción de
los implicados ni la actitud inicial de los directivos hacia la autoevaluación, sino la opinión
sobre el impacto del proceso en la eficacia del centro y su capacidad para mejorar
(Meuret y Morlaix, 2003, 65 y ss.). Un exceso de participación puede tener un efecto
negativo en los resultados de la autoevaluación. Se trata de buscar una participación
“apropiada”, con un equilibrio entre la implicación de los participantes y el asesoramiento
111
experto (Hoy y Miskel, 2001; Vanhoof et al., 2009).
Uno de los principales escollos de los modelos de evaluación para la mejora está en cómo
dar el salto de los datos a las actuaciones que modifiquen las prácticas, cómo pasar de los
resultados a las decisiones. Es aquí donde la autoevaluación tiene mucho que aportar.
La autoevaluación es una herramienta que debe ser juzgada por los centros por su impacto en
la eficacia y mejora de los mismos. Cuando la autoevaluación se dirige a la acción los centros
parecen entusiasmarse más con el proceso. Por tanto, el proceso de autoevaluación debería verse
en una perspectiva de acción y teniendo en cuenta los resultados esperados (MacBeath, 2000: 3).
112
caso, no es realista introducir un nuevo modelo de evaluación si el papel del agente
evaluador no es acorde a ese modelo.
Diferentes autores se han referido al papel del evaluador en la autoevaluación como
facilitador, mediador, amigo crítico, pacificador… (Preskill y Torres, 1999; Ryan y
DeStefano, 2000; King y Stevahn, 2002; Schwandt, 2005). “El fin de la evaluación
interna es representar con imparcialidad y sensibilidad la variedad de asuntos y
perspectivas múltiples en un esfuerzo en promover la toma de decisiones responsable. El
evaluador hace surgir temas e ilumina perspectivas sobre cuestiones de interés para
aquellos que toman decisiones y otros implicados, centrándose en la utilización de la
información recogida” (Torres, 2006: 169).
La imagen asociada a la autoevaluación escolar con más frecuencia es la del amigo
crítico (critical friend). El modelo de MacBeath (1999) para la autoevaluación
recomienda incluir esta figura, que ha de pasar dentro del centro un tiempo que le
permita observar y asesorar el proceso a la vez que aporta la experiencia de otros centros
y enfoques; sin olvidar que el apoyo a la autoevaluación del amigo crítico no depende
solo de sus características, sino de la dirección y otras personas del centro (Swaffield y
MacBeath, 2005).
Tomarse un tiempo para conocer el centro −su experiencia con la evaluación−,
evitando la valoración, escuchando y aprendiendo, constituyen el punto de partida del
amigo crítico. Los colegas del centro pueden estar impacientes por recibir ayuda y
solicitar del experto soluciones prematuras; pero lo importante es crear un clima de
autorreflexión que ayude a los participantes a expresar las razones para implicarse en el
proceso, facilitar la planificación de las sesiones, ofreciendo modelos y creando
oportunidades para escuchar diversos puntos de vista; buscar enfoques alternativos
adaptados a diferentes propósitos, tales como evaluación mediante fotos, vídeos, análisis
de incidentes críticos, etc. También puede recoger información, realizar entrevistas,
clarificar papeles y límites y llegar a acuerdos, redefiniendo si es necesario el proceso a
medida que se avanza, asegurar que todos comprenden los diferentes papeles…
(Swaffield y MacBeath, 2005). Un amigo crítico puede ayudar a los docentes a
identificar áreas para el desarrollo, satisfacer las exigencias de un calendario para la
aplicación y evaluación de actividades y también puede hacer preguntas difíciles (Davies
y Rudd, 2001).Cierto grado de escepticismo es consustancial al papel del evaluador
(Stake, 1997).
La función del amigo crítico es ejercida mejor cuando tienen menos peso las
agendas ocultas, las bases diferenciales de poder o las funciones de control. Cuando hay
una responsabilidad interna y el apoyo crítico de un asesor externo de confianza, los
centros suelen responder mejor a la presión externa, confiados en el conocimiento que
tienen y conscientes de que tienen cosas importantes que decir, más que las medias
estadísticas que prevalecen en los sistemas de evaluación competitivos ortodoxos
(MacBeath, 2008).
La metodología de la autoevaluación tiene un cierto parecido con la metodología
docente: necesita conocer el contexto, el conocimiento previo de los participantes, sus
113
intereses, busca la colaboración y la comunicación, conlleva un proceso de aprendizaje;
de ahí que “la metodología de evaluación necesite ser compatible con las perspectivas
y preocupaciones de aquellos a los que se dirige” (Torres, 2006: 178).
114
6
La autoevaluación escolar en diferentes
contextos educativos
Tanto en Europa como en Asia, Australia, Nueva Zelanda y en América del Norte se ha
producido una evolución más allá de las formas tradicionales de garantía de la calidad hacia
sistemas de evaluación desarrollados desde los centros (MacBeath, 2001: 387).
Según el informe TALIS de la OCDE (2009b), en numerosos países hay una proporción
notable de centros donde solo se llevan a cabo evaluaciones internas, como Austria
(22%), Dinamarca (27%), Italia (40%), Lituania (34%), Malta (46%), Noruega (17%),
República Eslovaca (17%) y Eslovenia (24%). Casi todos los sistemas educativos suelen
exhibir alguna forma de autoevaluación institucional, desde Australia a China (Wen Jung
Penga et al., 2006), la cual tiene un gran peso en países como Bélgica, Austria,
Dinamarca, Italia o México (OCDE, 2009a). En Europa, la política comunitaria ha
mostrado su respaldo a las prácticas de autoevaluación entre sus países miembros
(European Commission SICI, 2001). La autoevaluación tuvo un reconocimiento e
impulso a nivel europeo con un proyecto piloto iniciado en 1996 y en el que participaron
101 escuelas secundarias pertenecientes a 18 países, entre los que se encontraba España.
Dicho proyecto constaba de dos subproyectos, uno sobre los métodos de autoevaluación
y el otro sobre el uso de los resultados de la evaluación para mejorar los centros. El
proyecto piloto aglutinaba cinco componentes “metodológicos” o estructuras de apoyo: la
red internacional de países, el apoyo a nivel nacional, el “amigo crítico”, el perfil de
autoevaluación y la implicación de todos los agentes implicados en la educación dentro y
fuera de los centros (MacBeath, 2000).
La Conferencia de Austria (Viena, noviembre de 1998) concluyó que los países
participantes deberían continuar su colaboración para promover una cultura de
autoevaluación escolar en Europa, emplazando a los centros, gobiernos nacionales y a la
Comisión Europea a impulsar la autoevaluación como una estrategia para la mejora de
los centros e invitando a implicar en el proceso a todos los afectados por la
115
autoevaluación. En particular se hizo una llamada a que los gobiernos nacionales
aseguren un equilibrio entre la evaluación externa y la evaluación interna con el fin de
contribuir al desarrollo de los centros.
En general, aunque no se prescriba la autoevaluación se contempla la posibilidad de
que cualquier centro se implique en procesos de autorrevisión. En los países donde se
promueven políticas y planes de desarrollo centrados en las escuelas, la autoevaluación
es una práctica altamente recomendada, siendo contemplada directa o indirectamente por
la legislación como instrumento para informar del avance hacia los objetivos propuestos.
En la mayoría de los países, órganos nacionales, regionales u otras organizaciones,
proporcionan a las escuelas información regular sobre los datos de referencia para
ayudarles a juzgar cómo fueron sus actuaciones en comparación con las de otras
escuelas, y para ayudarles en la fijación de objetivos de mejora apropiados.
De hecho, la mayoría de los centros debe elaborar informes internos sobre sus
resultados, incluyendo resultados de autoevaluación, para informar a distintas audiencias.
Varios países y regiones europeas contemplan la autoevaluación como una obligación
formal de los centros −Irlanda, Comunidad francófona de Bélgica, Dinamarca, región
norte de Austria−; en otros, no habiendo obligación formal de poner en práctica la
autoevaluación, se anima vivamente a las escuelas a que lleven a cabo algún tipo de
autoevaluación. En algunos casos, no les queda otra opción. En Inglaterra, Escocia,
Irlanda del Norte, Países Bajos, Francia, Austria, Flandes y Hesse, la puesta en práctica
de la autoevaluación es intensamente promovida por las autoridades o la inspección. En
los últimos años, la autoevaluación escolar está cobrando mayor impulso en otros países
como Dinamarca, Holanda o Portugal. En ellos, los centros o los órganos que las
gobiernan son animados a poner en práctica la autoevaluación de diferentes maneras, de
forma que el uso de los resultados de la autoevaluación constituye un elemento
fundamental para planificar y mejorar la actuación de los centros, estableciéndose una
relación estrecha entre resultados de la autoevaluación y la planificación de la acción
escolar (Maes, 2007).
La Recomendación del Parlamento Europeo y del Consejo de Cooperación Europea
en “Evaluación de la Calidad en Educación Escolar” (2001) afirma que la mejora de la
evaluación escolar en Europa depende del desarrollo de habilidades para que los centros
se evalúen a sí mismos. De manera específica, la Recomendación llama a los Estados
miembros a fomentar la autoevaluación escolar como método para el aprendizaje y la
mejora en las escuelas. Este análisis tuvo su repercusión en el informe de la OCDE sobre
el futuro de la profesión docente, Teachers Matter (2005), al considerar las destrezas de
autoevaluación como un elemento crítico para mejorar los sistemas educativos
(McNamara y O’Hara, 2008).
En la mayoría de los países, aunque no es una práctica obligatoria pero sí directa o
indirectamente promocionada, es fácil encontrar experiencias de autoevaluación y, en
consecuencia, una gran variedad entre los diferentes países en cuanto a los
procedimientos y enfoques para el desarrollo y mejora de los centros a través de la
autoevaluación. Entre estos enfoques predominan los inspirados en el modelo EFQM
116
(Países Bajos, Reino Unido, Irlanda del Norte, Portugal y en nuestro propio país en los
años 2000-2005), junto con otros que adoptan denominaciones particulares como:
Investors in People, Charter Mark o Service First, Research Based Instruments,
Projects Stimulating School Quality Evaluation, Observatory for School Quality, How
Good is Our School, School Development, etc.
Hay importantes diferencias entre países a la hora de promover la autoevaluación
escolar. En algunos países, todas las escuelas son implicadas, a través de una legislación
general o la provisión de herramientas, en otros los centros son invitados a participar en
los proyectos de evaluación, de abajo arriba creciendo progresivamente con el tiempo.
Algunos países establecen modelos prescriptivos a través de instrumentos aportados a las
escuelas o mediante un modelo conceptual, otros tienen mayor libertad para elegir sus
propios procedimientos de autoevaluación.
En un mismo país se pueden combinar diferentes modelos de autoevaluación. En
Portugal encontramos varios programas relacionados con la autoevaluación (Azevedo,
2007):
117
autoevaluación (metaevaluación) y articular el rendimiento de cuentas con la
promoción de la mejora.
d) El Proyecto Efectividad de la autoevaluación de los centros (2005-),
promovido por la inspección, dirigido a centros de infantil, primaria y
secundaria, consiste en una actividad de evaluación externa bajo la modalidad
de metaevaluación que se pregunta por la efectividad de la autoevaluación que
cada centro hace acerca de su funcionamiento y de los servicios que presta,
con la finalidad de organizar acciones que contribuyan a reforzar sus puntos
fuertes y superar los débiles. Sus objetivos son: identificar aspectos claves de
la autoevaluación como actividad promotora del desarrollo de los centros;
desarrollar una metodología metaevaluadora para la inspección, promover en
los centros una cultura de la calidad, exigencia y responsabilidad mediante una
actitud crítica de autocuestionamiento, teniendo en cuenta la calidad de los
procesos y los resultados; contribuir al desarrollo de una cultura de
perfeccionamiento institucional focalizado y estratégico; desarrollar
dispositivos externos de apoyo a la autoevaluación de los centros.
Los países que están más involucrados en los procesos de autoevaluación disponen
de diferentes iniciativas para proporcionar apoyo a escuelas, directores y autoridades
locales. Bélgica, Reino Unido, Holanda o los países nórdicos han desarrollado sistemas
de apoyo a la evaluación interna para proporcionar orientación (Tilkin et al., 2005;
Azevedo, 2007):
118
una tendencia a disminuir su intervención. Como resultado, a finales de los noventa la
evaluación ejercida desde la administración ha disminuido a favor de un mayor énfasis en
la evaluación conducida desde dentro, como sistema preferente para conseguir los
objetivos de mejora y rendimiento de cuentas. La autoevaluación es vista como una
buena preparación de la inspección pero también es un factor en sí mismo para promover
la mejora interna.
El proyecto contempla la negociación del proceso y del uso de los resultados, utiliza
criterios de evaluación en vez de indicadores de rendimiento, logrando un lenguaje
común, y tiene en cuenta eficacia, mejora y desarrollo del centro. Hay una validación
externa del proceso por parte de la inspección. Los centros ejercen un papel central en el
plan de evaluación y su desarrollo. Sobre ellos recae la tarea fundamental de identificar
buenas prácticas así como áreas para su desarrollo futuro, existiendo un conjunto de
temas que pueden seleccionar para revisar su rendimiento. Estos temas, que pueden ser
actualizados y adaptados por los centros como parte de un proceso de mejora interna, se
organizan en cinco grandes áreas:
Bart Maes (2007), tras una revisión del “estado del arte de la autoevaluación” en 14
países o regiones europeas (entre las que no se encuentra España), concluye que la
autoevaluación tiene una tradición importante en países del ámbito anglosajón y
germano, no así en los del arco mediterráneo, donde la centralización del sistema ha sido
mayor, negando a los centros una autonomía para organizar y gestionar la actividad
escolar. La presencia de los colectivos implicados en los órganos de gestión escolar no ha
servido para impulsar la práctica de la autoevaluación.
MacBeath (2008: 397) hace este balance de la implantación de la autoevaluación en
diferentes países:
119
de atención educativa en el aula y en la escuela. En 2006 se publica el documento
Autoevaluación de Centros Escolares para la Gestión de la Calidad: Documento Guía
para la Implantación del Sistema de Autoevaluación de Centros Escolares con el fin de
ayudar a iniciar proyectos de autoevaluación en todo el sistema educativo.
En el estudio TALIS, España, junto con Italia, es el país donde el profesorado dice
recibir menos información sobre cómo está realizando su trabajo (apenas un 50%), sea
por evaluaciones internas o externas. Además en España el impacto de dicha información
es poco relevante para el centro y se considera poco útil para mejorar los resultados de
los estudiantes y su propia enseñanza. Tres cuartas partes de los docentes consideran que
no reciben ningún reconocimiento por mejorar su enseñanza o por introducir prácticas
innovadoras (OCDE, 2009b).
120
ha de realizar cada centro y señala el nivel de participación en la misma de los órganos
colegiados y unipersonales de gobierno.
La Orden de 21 de febrero de 1996 de la evaluación de centros docentes sostenidos
con fondos públicos, desarrolla la evaluación interna y externa de los centros educativos.
En la evaluación interna señala que los centros han de evaluar los procesos y los
resultados y que los órganos de gobierno serán los responsables de dicha evaluación. La
Administración elaborará modelos e indicadores de evaluación y se les proporcionará a
los centros docentes para facilitar la evaluación de su propio funcionamiento. La
evaluación externa tendrá en cuenta los resultados de la evaluación interna realizada por
el propio centro.
La Ley Orgánica de Calidad de la Enseñanza (LOCE) en su Título V sobre los
Centros Docentes dice que el ejercicio de la autonomía pedagógica, organizativa y de
gestión de los centros irá acompañada del desarrollo de mecanismos de responsabilidad y,
en particular, de procedimientos de evaluación, tanto externa como interna y que las
Administraciones educativas promoverán acuerdos o compromisos con los centros para
el desarrollo de planes y de actuaciones que comporten una mejora continua tanto de los
procesos educativos como de los resultados.
En la actualidad, la Ley Orgánica de 2/2006 de 3 de mayo de Educación dedica su
Título VI a la evaluación del sistema educativo. En él, determina que dicha evaluación
tendrá como finalidad: contribuir a mejorar la calidad y la equidad de la educación;
orientar las políticas educativas; aumentar la transparencia y eficacia del sistema; ofrecer
información sobre el grado de consecución de los objetivos educativos españoles y
europeos y señala que no se aceptan las clasificaciones de centros ni el uso de las
valoraciones del sistema para las valoraciones individuales de los alumnos. Determina
que la evaluación se extenderá a todos los ámbitos educativos regulados en la misma y se
aplicará a los procesos de aprendizaje y resultados de los alumnos, la actividad del
profesorado, los procesos educativos, la función directiva, el funcionamiento de los
centros docentes, la inspección y las propias Administraciones educativas.
En su artículo 145 referido a la evaluación de centros docentes establece que las
Administraciones Educativas podrán elaborar y realizar planes de evaluación de centros
educativos teniendo en cuenta: las situaciones socioeconómicas y culturales de las
familias de los alumnos que acogen, el entorno del propio centro y los recursos de que
disponen. Asimismo establece que las Administraciones educativas apoyarán y facilitarán
la autoevaluación de los centros educativos.
121
de Gestión de la Calidad, también denominado EFQM, como instrumento para que los
centros realizasen su autoevaluación. La primera convocatoria de implantación del
Modelo se realiza en 1998 –Resolución de 27 de mayo de 1998– para los centros
públicos dependientes del MEC. Se plantea la participación como voluntaria para los
centros y se crea y convocan Premios a la Calidad en la Educación para premiar los
esfuerzos realizados por los centros que incluyen compensación económica y
reconocimiento público de las buenas prácticas realizadas.
El Modelo de Excelencia de la EFQM es un marco no prescriptivo basado en nueve
criterios, cinco de ellos “Facilitadores o agentes” y cuatro “Resultados”. Los criterios
“Agentes” se refieren a lo que una organización hace. Los criterios “Resultados” se
relacionan con lo que la organización logra. La comprobación sistemática de la existencia
o no de dichos indicadores en la institución, como procedimiento para la autoevaluación,
permite tener un conocimiento del funcionamiento del centro basado en hechos, con el
fin de elaborar proyectos y planes de mejora en coherencia con las necesidades
detectadas. Esta experiencia se lleva a cabo en todas las comunidades autónomas que
aún no tenían asumidas sus competencias en materia de educación, hasta el año 2000 en
la que ya son asumidas prácticamente por la totalidad de ellas.
A partir de ese momento, las comunidades autónomas, en el ejercicio de sus
competencias, tienen la responsabilidad de elaborar y poner en marcha planes de
evaluación periódica de los centros docentes sostenidos con fondos públicos y de
establecer el marco de apoyo a los procesos de autoevaluación. En este sentido, algunas
administraciones educativas desarrollan normativas para apoyar e impulsar la
autoevaluación o evaluación interna. Las tendencias se resumen en tres grandes bloques:
122
con fondos públicos y organiza la evaluación interna y externa en cuatro
ámbitos de desarrollo: los procesos de enseñanza y aprendizaje; la
organización de la participación y la convivencia; las relaciones con el entorno
y los procesos de autoevaluación, formación e innovación de los centros
docentes. Las orientaciones se complementan con la publicación de los
diferentes componentes de la evaluación interna y con la publicación de
modelos de materiales de evaluación para su uso por los centros docentes y
del marco teórico de la evaluación. Se plantea la evaluación interna en
conjunto con la externa y se desarrolla en tres cursos escolares mediante
procesos complementarios, distribuyendo anualmente las dimensiones para
asegurar a su término que ha sido evaluada la globalidad del centro.
c) Por último, se encontrarían aquellas que inciden en el desarrollo autónomo de la
autoevaluación por los propios centros educativos dentro de un marco de
directrices y orientaciones y una serie de medidas de apoyo y reconocimiento.
Este es el caso de administraciones educativas como Andalucía, que regula
convocatorias anuales de Planes de Autoevaluación y Mejora para centros
docentes públicos –Orden de 22 de julio de 2003–. Tan sólo los dirige a
centros públicos cuando en la mayoría de las comunidades estas iniciativas
van dirigidas a los centros docentes sostenidos con fondos públicos. Las
evaluaciones tienen carácter voluntario y se establecen a modo de estímulos la
valoración como mérito de la experiencia y la incentivación económica.
Todas ellas comparten como objetivo implantar en los centros educativos procesos
de evaluación y mejora continua que les permitan intervenir de forma coordinada sobre
aspectos de su realidad educativa, con el objetivo de mejorar su organización,
funcionamiento y resultados educativos. Del mismo modo se plantea en todas las
situaciones como iniciativas voluntarias en las que el centro establece un compromiso
consigo mismo además de establecer medidas de apoyo y seguimiento por agentes
externos.
Fuera ya del ámbito de las administraciones educativas también hay experiencias
desarrolladas por fundaciones u organismos que han trabajado en el desarrollo de
procesos de autoevaluación y mejora continua en centros educativos. El Proyecto de
Calidad Integrado (PCI) es un modelo de intervención en centros que tiene por objetivo
facilitar el cambio desde una cultura burocrático-formal a una cultura transformacional,
centrada en el crecimiento profesional y humano de las personas que lo constituyen (Villa
et al., 2003). Las características generales del modelo son:
123
voluntario. Es fundamental la implicación de la mayor parte de estos
colectivos en el proceso para no provocar la división en dos culturas, la de los
que han tomado parte en la dinámica de autoevaluación y los que no han
participado activamente en el proceso. Se hace un esfuerzo por crear canales
de información de los resultados y avances de cada fase con objeto de que en
todo momento todos los implicados conozcan el desarrollo del proyecto y
puedan tomar parte en las decisiones importantes que les afectan.
c) Es fundamental para el éxito del modelo la implicación seria y responsable de
todo el equipo directivo a lo largo del proceso de formación y de
funcionamiento de los equipos de mejora.
d) La metodología se fundamenta en un conjunto de estrategias, herramientas y
procedimientos específicos de los modelos de calidad que persiguen el
objetivo de crear la cultura del trabajo en equipo y la toma de decisiones
mediante la negociación y el consenso. A lo largo del proceso de implantación
se va facilitando a los equipos de mejora técnicas y herramientas de:
124
año 2005 una experiencia de apoyo a centros educativos que voluntariamente participen
en la implantación de proyectos de autoevaluación y mejora. Promueve esta iniciativa
mediante convocatorias anuales durante un periodo de cuatro años académicos, los
comprendidos entre los años 2005 y 2009.
La iniciativa tiene como objetivo poner al servicio de los centros educativos no
universitarios sostenidos con fondos públicos los apoyos y recursos necesarios para
analizar y revisar su funcionamiento y emprender planes de mejora institucional.
Desarrolla de este modo la Ley Orgánica de 2/2006 de 3 de mayo de Educación, que en
su Título VI sobre la evaluación del sistema educativo establece que las Administraciones
educativas apoyarán y facilitarán la autoevaluación de los centros educativos.
Apoya su justificación en el hecho de que la cultura de evaluación en los centros es
demandada por la sociedad y que el objetivo general de la evaluación, tanto externa
como interna, es mejorar la calidad de la educación y servir como instrumento para
detectar los aciertos y los errores de la acción educativa, de modo que permita dirigir el
trabajo de una forma efectiva.
La autoevaluación, al presentar unas características diferentes a otro tipo de
evaluaciones, necesita un marco propio de desarrollo que contribuya a consolidarla como
una función más en la dinámica habitual de la vida escolar. Su introducción en los centros
educativos es un proceso complejo que requiere tanto cambios en su cultura interna
como unas condiciones externas favorables para su implantación. Los expertos coinciden
en afirmar que los centros educativos, para desarrollar una cultura de autoevaluación,
necesitan (Rul y Zaitegui, 2003; Meuret y Morlaix, 2003):
125
El marco de actuación se apoya en unas directrices básicas:
126
mejora).
El resultado es un modelo caracterizado por los siguientes rasgos:
B) Apoyos externos
127
los proyectos; seguimiento de la formación general y específica de los centros;
trabajo conjunto para el apoyo a los proyectos.
b) Formación y asesoramiento: tiene como objetivo el diseño y planificación de la
formación en autoevaluación y mejora que desglosa en tres niveles de
actuación: diseño de contenidos; planificación de sesiones y seguimiento de la
formación.
c) Elaboración de materiales e intercambio de experiencias: tiene como objetivo
la elaboración de un Manual y de materiales de apoyo a los centros.
d) Seguimiento y metaevaluación: tiene como objetivo el seguimiento de los
proyectos de los centros, con recogida de datos para su seguimiento y
metaevaluación.
Objetivo: diseñar y planificar los contenidos y las sesiones de formación; apoyar a los asesores implicados en
los Proyectos en cada uno de los centros; recoger información, coordinar y acompañar la experiencia en su
conjunto.
Nivel II: Formación general conjunta de los responsables directos de los proyectos
Destinatarios: equipos directivos y coordinadores de los proyectos en los centros. Asesores responsables de
los proyectos en los centros.
Objetivo: formación técnica general sobre el proceso de evaluación, acompañando su desarrollo. Intercambio
de experiencias entre los participantes.
Destinatarios: todos los profesores participantes en los proyectos de cada uno de los centros.
Objetivo: formación específica necesaria para atender la singularidad de cada centro, seguimiento y
asesoramiento en cada uno de los centros por parte de los asesores.
128
Este plan de trabajo crea dinámicas de participación evitando aplicar modelos de
“personas expertas”, de forma que la asesoría del centro de profesorado se incorpore al
equipo de autoevaluación como uno más.
La elaboración de materiales de apoyo tiene como objetivo dotar de materiales que
ayuden a las instituciones educativas que deseen iniciar procesos de autoevaluación y
mejora, ofrecer pautas sencillas e instrumentos que ayuden a los centros escolares a
diseñar y poner en práctica sistemas de autoevaluación y compromisos de mejora. Con
este fin y al amparo de un Convenio de Colaboración entre la Consejería de Educación y
la Universidad de Oviedo, se formaliza un proyecto de investigación integrado por varios
centros educativos participantes en la convocatoria, personal de la administración y
asesores externos integrados en los proyectos. El trabajo permite recoger datos de los
procesos desarrollados en los centros y culmina con la publicación de la Guía de
Autoevaluación y Mejora (San Fabián y Granda, 2007). La publicación busca un
equilibrio entre su utilidad, ofreciendo pautas orientadoras para la toma de decisiones, y
la no imposición de un modelo al que los centros deban ajustarse, incorporando también
materiales y ejemplificaciones
El seguimiento y metaevaluación se realiza con recogida de información en
reuniones periódicas con una muestra reducida de centros y con las personas asesoras
responsables de los proyectos en los centros.
129
propia acción educativa, así como se valora la forma participativa y estructurada en la
que se desarrolla la experiencia. Esto refuerza la idea de que los proyectos de
autoevaluación y mejora no sólo son útiles por las propuestas o resultados finales, sino
también por las propias dinámicas internas que genera el proceso.
Estas son algunas reflexiones realizadas por los centros:
130
pocas formas de poner en marcha procesos de autorrevisión. Lo que sí resulta decisivo
es que la propuesta externa respete la libre decisión del centro para implicarse en un
proceso así, por tanto, carecería de sentido la imposición de una convocatoria de
autoevaluación a los centros por parte de la administración. Puede tratarse pues de una
iniciativa externa, pero ha de ser una invitación, nunca una imposición, y además será
esencial contar con apoyos externos.
El sentido de la autoevaluación es la mejora, su orientación a la mejora institucional.
Esto plantea una segunda cuestión, ¿cómo entendemos la mejora? En realidad, cualquier
equipo u organización, por muy satisfactorio que sea su funcionamiento, tiene siempre
algún margen de mejora. Descubrir este umbral de mejora es la finalidad de la
autoevaluación En estos tiempos de reformas educativas, vemos que existen muchas
formas de entender la calidad y, en consecuencia, la mejora de los centros (Santos
Guerra, 2003). Si, por ejemplo, definimos la mejora básicamente por las puntuaciones de
los alumnos en las pruebas de rendimiento, estaremos apostando por un determinado
modelo de evaluación (centrada en los resultados, de carácter externo, con predominio de
los instrumentos y técnicas cuantitativas, etc.). Frente a esta orientación vertical y externa
a la hora de definir la mejora, la autoevaluación se significa por dar capacidad y
autoridad (empowerment) a las escuelas para decidir lo que entienden por calidad y
mejora de la educación.
La autoevaluación debe llevar a un mejor conocimiento no solo de lo que se hace y
cómo se está haciendo en los centros, sino también a un conocimiento de lo que se puede
hacer y no se hace. Su práctica permite captar la complejidad de lo que ocurre en las
escuelas y del trabajo docente. De esta forma, la autorrevisión se convierte en un método
privilegiado de descubrimiento, un sistema que ayuda a vislumbrar horizontes que la
práctica cotidiana no deja ver.
Con el trabajo en autoevaluación los centros se desarrollan tanto con los resultados
que obtienen como con los procesos que se generan. Uno de sus principales logros es
proporcionar experiencias de aprendizaje organizacional. Para ello es necesario
generar expectativas de que el proceso de revisión iniciado servirá para mejorar el
conocimiento, los procesos y los resultados del centro, es decir, que va a aportar un
conocimiento valioso para ser utilizado en la introducción de cambios y la consecución de
mejoras.
Los procesos de autoevaluación no son herméticos, cerrados o limitados al interior
de la institución, sino que pueden ser objeto de asesoramiento externo. Es más, en el
inicio han de estar fuertemente apoyados en la formación en los conceptos y las técnicas
propias de este tipo de trabajo. Ahora bien, el sistema específico de apoyo o formación
dirigido a cada centro debe respetar la autonomía en la toma de decisiones del centro con
relación a cómo conducir el propio proceso. Si bien en los momentos iniciales este apoyo
puede ser relativamente intenso, a medida que la autoevaluación avance se irá
reduciendo, sin desaparecer, pues en cualquier momento pueden aparecer nuevas
necesidades. El asesoramiento ha de estar enfocado a descubrir necesidades derivadas
de la puesta en marcha del proceso de autoevaluación. Un principio básico que guiará el
131
asesoramiento es el de no dar instrucciones sino detectar necesidades de recursos,
estrategias y de formación de los participantes.
Es necesario que el proceso de formación sea coherente con el de autoevaluación,
creando dinámicas de participación y evitando aplicar modelos de “expertos”, de forma
que el asesor se incorpora al equipo de autoevaluación como uno más. En otras palabras,
los procesos de autoevaluación deberían favorecer sistemas de autoformación. A su vez,
las propias instituciones formadoras deberían incorporar progresivamente procesos de
autoevaluación.
El trabajo ha de apoyarse en establecer mecanismos de intercambio permanente
entre los centros que desarrollan los procesos de autoevaluación. Este intercambio se
hará posible mediante distintos procedimientos: reuniones periódicas de coordinación,
mediante jornadas de intercambio de experiencias, con sistemas de comunicación entre
los centros participantes a través de redes y plataformas digitales…
A veces es preciso acompañar a los centros en temas concretos. Pero el
asesoramiento puntual, por ejemplo, a la hora de definir indicadores, elaborar
instrumentos o analizar datos no debe inhibir la responsabilidad de los centros a la hora
de adoptar y justificar las diferentes decisiones que se van tomando. La autoevaluación
debe ser objeto de asesoramiento y apoyo desde fuera, pero nunca de supervisión, pues
perdería su razón de ser.
Existen grandes diferencias entre los centros, que se evidencian en el proceso,
mostrando ritmos y enfoques diferentes, que deben ser respetados en los procesos de
coordinación y asesoramiento. Cuando media, como en nuestro caso, una convocatoria
oficial, se debe tratar de combinar las necesidades derivadas de las características de los
centros con las exigencias de dicha convocatoria. La autoevaluación sólo tiene sentido si
se interpreta como un ejercicio de autonomía organizativa de los centros educativos.
132
7
El ciclo de revisión y mejora interna:
descripción de las etapas básicas
1. Diagnóstico de un problema.
2. La recopilación de datos relacionados con el problema.
3. La implementación de acciones coordinadas para hacerle frente.
4. El seguimiento de las acciones.
5. La evaluación de la eficacia de las medidas aplicadas.
Fase I: Pasos 1 a 5
133
Definición de metas y objetivos de la
evaluación; identificación de los
miembros del equipo de evaluación;
arreglos logísticos y administrativos;
desarrollo del marco de referencia del
proyecto; orientación a facilitadores
Reuniones de pre-planificación (Grupo del taller de planificación de la
de coordinación de la evaluación) evaluación.
Fase II: Pasos 6 a 10
Organizar a participantes en grupos de
trabajo; definir las preguntas de
evaluación; identificar fuentes y
técnicas de recolección de
información; desarrollar instrumentos
de recolección de información;
conclusión de muestra de lugares para
Taller de planificación de la evaluación la recolección de información y de
(Equipo de evaluación) personas a encuestar.
Fase III: Pasos 11 a 14
Preparación de los equipos de trabajo
de campo (técnicas de recolección de
información logística); realización de
entrevistas y observaciones; análisis
Trabajo de campo: prepara- ción, de la información recolectada;
recolección y análisis de la información resumen de los hallazgos del trabajo
(Equipos de trabajo de campo) de campo.
Fase IV: Pasos 15 y 16
Formulación de lecciones aprendidas
para cada pregunta de la evaluación;
Taller para la formulación de lecciones análisis del proceso de evaluación por
aprendidas (Equipo de evaluación) parte del equipo.
Fase V: Paso 17
Resumen de resultados (Grupo de Resumen de los hallazgos y lecciones
coordinación) aprendidas de la evaluación.
Fase VI: Paso 18
134
Desarrollo de un plan de acción en
Plan de acción (Participantes clave) base a los hallazgos de la evaluación.
Fase VII: Paso 19 y 20
Redacción del informe de evaluación;
Conclusión, diseminación y discusión distribución y discusión de los
del informe de la evaluación resultados de la evaluación con
(Coordinador y grupo de coordinación de personas que colaboran con el
la evaluación) programa.
Este capítulo tiene el propósito de ofrecer una herramienta útil para aquellos centros
educativos que se inician en procesos de autoevaluación y mejora. En él se describen los
pasos que recorre una organización educativa para autoevaluarse, agrupándose en tres
grandes bloques que a su vez se subdividen en varias fases. La propuesta se basa en el
proceso de experimentación de proyectos de autoevaluación y mejora impulsado en
Asturias de 2005 a 2008(San Fabián y Granda, 2007).
Identificación de las fuentes, selección de las técnicas y elaboración de instrumentos, análisis e interpretación
de la información, participación y toma de decisiones.
Fase 6. Plan de mejora: elaboración del Plan de mejora, aplicación, negociación y difusión, participación,
colaboración y trabajo en equipo.
135
La primera etapa consiste en preparar las condiciones técnicas y de participación
necesarias, planificando las principales actuaciones a realizar a partir de la constitución de
un equipo o comisión coordinadora e impulsora del proceso. A continuación será
necesario definir cuál va a ser el foco de la revisión interna, los ámbitos o procesos que
han de ser objeto de revisión, con el fin de poder iniciar la recogida y análisis de
información, utilizando para ello los procedimientos y técnicas adecuadas. Se procederá a
continuación a la redacción del informe o informes, teniendo en cuenta criterios de
utilidad, negociación y difusión. Finalmente, a partir del análisis y discusión de la
información recogida a lo largo del proceso, se elaborará un plan que contenga las
principales actuaciones y propuestas de mejora así como la previsión de compromisos,
acciones y recursos necesarios para su puesta en práctica.
136
autoevaluación así como el proceso a seguir. Al haber aspectos profesionales implicados,
puede producirse desconfianza por la utilización de los resultados. Otras veces el
volumen propuesto de objetivos a evaluar es demasiado grande, por ejemplo, cuando se
incorporan de manera mecánica nuevos objetivos sin haber terminado el proceso de
revisión de los anteriores, lo que puede desbordar la capacidad de los centros para
gestionar su evaluación. De aquí que sea fundamental establecer claramente el alcance de
la autoevaluación, cómo se llevará a cabo el proceso y cómo serán utilizados los
resultados (Schildkamp, 2007).
Contextualizar un proceso de autoevaluación consiste en generar condiciones
óptimas que permitan al centro desarrollar sistemas de actuación orientados a su
perfeccionamiento. Por tanto, el primer ingrediente de una autoevaluación es la
preparación de un clima adecuado para que tenga lugar un debate educativo honesto.
Esta fase es una evaluación previa que permitirá conocer las características de partida del
centro y preparar a la comunidad para iniciarse en la evaluación participativa,
identificando los puntos fuertes y las resistencias que puedan surgir. Antes de iniciar un
proceso de revisión y mejora en un centro éste debe analizar y conocer sus
características concretas.
Resistencias
• Pérdida de tiempo
• Fiscalización y control
• Sobrecarga de trabajo
• Dudas en la utilización de los resultados
La mayor parte del personal docente, como parte de su trabajo, tiene una idea de
evaluación ligada a calificación, con lo que se pierde de esta forma el mensaje más
importante: se evalúa para mejorar. En la mayoría de las ocasiones se suele identificar
con procesos de control y fiscalización. Tradicionalmente se asocia con intromisión y
puntuación. La autoevaluación institucional nace de otro tipo de cultura. El conocimiento
137
de otra forma de evaluar junto con una sensibilización adecuada son las mejores
herramientas para deshacer ideas preconcebidas.
Todos los centros educativos comparten fines similares pero parten de realidades
muy diferentes. El contexto en el que se enmarcan, el tipo de población que atienden, las
expectativas de las familias de su alumnado, el capital humano con el que cuentan varía
mucho de unos centros a otros. Por esta razón es importante clarificar en el mensaje la
utilidad de la autoevaluación, contextualizándolo y haciendo hincapié en una de sus
principales características: adaptación a las realidades y necesidades de cada centro.
Con frecuencia, los métodos utilizados para realizar evaluaciones tienden a ser
complejos. Los términos y técnicas pueden confundir a las personas que las realizan. El
resultado es que no se identifican con los procesos ni con los resultados que se obtienen.
Se entienden además sus resultados como fuente de críticas y comparaciones. Poner en
marcha estrategias formativas para mostrar qué significa un proceso de revisión y mejora
interno, y aclarar los fines de los informes que se producirán en el transcurso, es clave
para evitar falsos temores.
El objetivo general de la evaluación, tanto externa como interna, es mejorar la
calidad de la educación y servir como instrumento para detectar los aciertos y los errores
de la acción educativa, de modo que permita dirigir el trabajo de una forma efectiva.
La evaluación revela el potencial de mejora de una institución educativa, lo que la
convierte en una herramienta imprescindible para responder a los retos planteados a la
educación. A diferencia de la evaluación externa ó de la inspección, la autoevaluación es
vista como un proceso iniciado en la escuela, organizado internamente y autorregulado.
Está dirigido a la profesionalización en la toma de decisiones y a la mejora de la calidad
de la educación en la escuela.
La autoevaluación surge como un proceso de reflexión desde el propio centro, en el
que la metodología y la información obtenida se realizan, elaboran y contrastan desde las
propias necesidades y desde el punto de vista de las personas implicadas.
138
• Equipo directivo
• Profesorado
• Alumnado
• Familias
• Personal de administración y servicios
• Agentes de formación e inspección
Los miembros del grupo de evaluación están de acuerdo en las siguientes normas que regulan su cooperación
y confidencialidad:
1. Con respecto a la cooperación, el equipo y sus miembros intentan ser tan abiertos como pueden
hacia los otros y absolutamente discretos hacia el resto de las personas ajenas.
2. El maestro individual decide el grado de discreción en todos los asuntos que le conciernen. Esto
es absolutamente respetado por los otros miembros del equipo.
4. Los informes para el equipo directivo de la evaluación en la escuela son básicamente anónimos y
139
dan por hecho el explícito acuerdo de todos sus miembros. El informe del proceso de
evaluación informa sobre qué y cómo se ha evaluado, y quién llevó a cabo la evaluación. El
informe de los resultados de la evaluación informa acerca de esos aspectos y problemas que
parecen ser importantes para toda la escuela, sin mencionar nombres.
5. El equipo acuerda de antemano que, en caso de conflicto, intentará encontrar una buena solución
o discutir la posible retirada de un maestro del grupo.
6. La discreción no termina con la reunión del grupo o con la desintegración del grupo como tal (¡no
al cotilleo!).
Firmas:
Si bien la autoevaluación se define como un proceso interno, esto es, como un proyecto
que se desarrolla por, para y en un centro concreto, una de las condiciones que aseguran
su éxito es contar con organismos o instituciones que, desde fuera, puedan ayudar a su
puesta en marcha. El asesoramiento ha de estar enfocado a descubrir necesidades
derivadas de la puesta en marcha del proceso de autoevaluación.
Contar con asesoramiento permitirá al centro conocer y adaptar las herramientas de
evaluación a su situación concreta y trabajar en los posibles problemas que surjan
durante el proceso. Con el apoyo de una visión externa se enriquecerá el proyecto y se
evitará que el día a día difumine los objetivos. Tener claro desde un principio dónde se
puede obtener apoyo o información facilitará la resolución de conflictos y el avance del
proyecto, solicitar ayuda no significa dejar en manos externas la autoevaluación sino
establecer “alianzas” que impulsen el proyecto, que creen un clima de formación
continua y que fomenten lazos para una red de conocimiento entre los centros.
Un recurso decisivo es la disponibilidad de tiempo. El esfuerzo requerido y, en
consecuencia, el tiempo a dedicar a la puesta en marcha de los proyectos de
autoevaluación llevan a una sobrecarga de trabajo que en la mayoría de las ocasiones
descansa en la voluntariedad del profesorado. Los centros que se implican han de contar
con contrapartidas y reconocimientos. Contar con disponibilidad horaria para el trabajo
facilitará el compromiso de las personas responsables y su asentamiento.
En muchas ocasiones las Administraciones suponen un apoyo vital para conseguir
poner en marcha una iniciativa de esta envergadura. Poner a disposición de los centros
equipos de expertos para formar a las personas que lo desarrollarán, establecer
mecanismos de intercambio entre centros que desarrollan procesos similares o fomentar
la creación de redes donde se comparten experiencias y buenas prácticas son soportes
que facilitarán el trabajo. Aprender de proyectos anteriores, aunque no hayan sido
desarrollados en el centro, puede abrir un abanico de posibilidades y evitar reuniones
140
ineficientes al mostrar los problemas que han tenido otras personas de antemano.
Errores Aciertos
Planteamiento sin sensibilización previa – Sensibilizar previamente
Justificación como necesidad institucional – Enfocar la autoevaluación a las
necesida
Restringir la información a los des del centro
participantes
Fiscalización y control – Proporcionar información abundante
y
Dudas sobre la utilización de los clara
resultados
Sobrecarga de trabajo – La credibilidad profesional de las
personas
Sentimiento de pérdida de tiempo que lo proponen
– Formación previa
– Dar a conocer otras experiencias
– Asociar la evaluación a la mejora
141
centro.
– Sensibilización previa: informar y
formar en las características
de la autoevaluación.
– Enfocar a necesidades visibles y
Oportunidades
compartidas.
– Asegurar la implicación y establecer
canales de difusión.
– Contar con asesoramiento externo y
formación.
– Introducir sin sensibilizar ni formar.
– Plantear de forma unilateral o
jerárquica.
– Información/formación restringida a
Amenazas
unos pocos.
– Obviar las resistencias previas.
142
Según Nevo (1994), evaluar es un proceso sistemático, técnicamente riguroso, y no
intuitivo, para el que se necesita planificación y preparación. Ha de apoyarse en una
estructura que permita establecer espacios y tiempos que aseguren la viabilidad del
proyecto. Ambas particularidades apoyan la afirmación de que no es un acto puntual y,
como tal, necesita una coordinación y seguimiento específico que permita establecer
espacios y tiempos de trabajo conjunto.
El equipo de evaluación y mejora nace como una estructura nueva dentro de la vida
del centro, capaz de asumir nuevas funciones como referente del proyecto tanto en el
centro educativo como para el resto de la comunidad escolar. La globalidad del centro es
el objeto del trabajo de la evaluación y todas las etapas o ciclos han de estar
representados. No es sólo el personal docente el directamente implicado, el alumnado, las
familias y el resto de personal que forma parte de la vida del centro son también objetos
y agentes del proceso. Cada uno de ellos va a aportar una visión diferente.
143
considerar el modo en que cada cual debería estar implicado en ella. Se pueden distinguir
distintos papeles: miembro del equipo de evaluación, encuestado, miembro de la
audiencia o grupo a evaluar, evaluador crítico, agentes externos, procesador de datos,
portavoz, etc.
Como cualquier otro tipo de proyecto, precisa de una persona coordinadora, que
será responsable principal de su dinamización. Del acierto de su labor va a depender en
gran medida el éxito o el fracaso de la autoevaluación. Una visión global del centro, junto
con la experiencia previa en la dinámica de proyectos y en el trabajo en grupo, son
competencias del coordinador que favorecerán el desarrollo de la experiencia.
El equipo ha de tener una estructura de funcionamiento y toma de decisiones
estable. Sus funciones han de ser claras y conocidas por toda la comunidad educativa
con referencia clara a la evaluación y mejora del centro, desde elaborar el proyecto inicial
de autoevaluación hasta concretar el plan de acción a seguir para el trabajo en los
ámbitos de mejora que surjan de la misma.
Para un óptimo desarrollo de todos los procesos que se van a producir, es necesario
comenzar por una planificación del objeto de evaluación, tiempos y recursos, tanto
materiales como personales. El plan de acción recogerá las líneas fundamentales de
actuación. Este plan de acción guiará el trabajo. Su fin es definir el objeto de la
evaluación y estructurar el proceso. Es fundamental establecer claramente el propósito de
la autoevaluación, cómo se llevará a cabo el proceso y cómo serán utilizados los
resultados (Schildkamp, 2007).
144
incluir la meta, los objetivos y las actividades del proyecto o programa considerados en la
estrategia. Tres son las líneas fundamentales que ha de recoger para asegurar el éxito:
planificar el trabajo de autoevaluación y mejora, diseñar la sensibilización y difusión que
irá asociada a todo el proceso, y consensuar y recoger la formación en conocimientos,
técnicas y estrategias necesarias para este tipo de proyectos. La concreción recogerá los
siguientes elementos:
Para que una autoevaluación tenga éxito es necesario que las personas que toman parte
en ella, se sientan implicadas e informadas en todos los pasos del proceso. Necesita de
transparencia en el avance del trabajo y acuerdos sobre los resultados y los informes.
Con mucha frecuencia, la falta de tiempo hace que se tenga poca consideración por este
aspecto y que tan sólo se informe al inicio del trabajo y al final.
Cuadro 7.6. Claves para llevar a cabo la evaluación (Altricher, Messner y Posch, 2004).
145
2. Organizaremos correctamente el flujo Sistema estructurado de información
de la información. (sitios, colores, etc.)
3. No te diremos cada pequeño detalle
P. ej., una frase por póster
pero sí todo aquello que necesitas
saber.
4. Trabajaremos abiertamente, no a
P. ej., invitaciones a reuniones abiertas
puertas cerradas.
5. Preferimos tomar decisiones contigo.
P. ej., decisiones dentro de un marco de
alternativas
146
frecuencia, los métodos utilizados para realizar la autoevaluación y los términos usados
tienden a ser complejos y hacen necesaria una formación general inicial.
Según Jennifer Greene (1990), las autoevaluaciones implican una disminución de la
calidad técnica-metodológica, lo que crea una tensión entre rigor metodológico e
implicación de los usuarios. Para evitar esta tensión recomienda que los evaluadores
hagan explícitos los valores que están en la base de sus propósitos, métodos y diseños.
Por ello, la “calidad metodológica” debe ser valorada en el contexto global de la
evaluación, de sus finalidades, del tipo de decisiones sobre los métodos, decisiones que
nunca son puramente técnicas (Patton, 2002). Ha de tenerse en cuenta que la calidad
metodológica puede ser diferente si lo que se pretende es generar juicios de expertos o
establecer un diálogo informado.
La contextualización del proceso en realidades concretas precisa, generalmente, una
adaptación de la técnica. El ámbito que se aborda, el tipo de contexto social en el que se
trabaja, el nivel educativo que se atiende, las personas que forman parte del grupo de
trabajo incorporan variables que determinan unas necesidades específicas de formación
que han de tener una respuesta adaptada.
Los centros educativos, con los asesoramientos externos, son los que diseñan los
contenidos y el trabajo a desarrollar para la formación específica o autoformación que se
genera como respuesta a las necesidades de cada proyecto. Esta formación ha de estar
ligada a las decisiones de los centros y acompañar a la práctica. Las sesiones de
formación, además de contar con expertos en autoevaluación, también han de disponer
de tiempos destinados al intercambio de experiencias entre los propios centros
educativos.
Según Nevo (1994), aprender haciendo sigue siendo todavía la mejor manera de
aprender a evaluar. Es más eficaz motivar, sensibilizar y explicar bien la evaluación y su
significado y formar poco a poco con el apoyo de la práctica que introducir en bloque
una evaluación. Por ello, la evaluación interna suele ser mejor camino de aprendizaje que
la evaluación externa.
147
• Ofreciendo formación en activo u P. ej., en Inglaterra, Austria, Irlanda del
organizando seminarios, conferencias Norte, Flandes, Sajonia y Hesse.
y reuniones.
• Aconsejando por medio de discusiones
P. ej., Irlanda del Norte, Sajonia,
con agentes en escuelas individuales
Dinamarca; por medio de diferentes
durante (la implantación de) el
agentes que funcionan como “críticos-
proceso de autoevaluación.
amigos”. P. ej., en Portugal, Irlanda y
Francia.
• Estableciendo proyectos o campos de
P. ej., en los Países Bajos (proyectos
trabajo sobre calidad, que
Q5, QPO y KWAPO), Austria
proporcionen información,
(proyecto-QIS), Sajonia (los proyectos-
instrumentos y orientación.
modelo).
Taller de planificación
de la evaluación
148
apoyo externo.
Qué se obtiene
– Incluir en el trabajo a todas las etapas
educativas.
– Contar con la representación de
alumnos, familias y personal de
administración y servicios.
– Organizar subcomisiones según tareas
Oportunidades
y tiempos.
– Elaborar cronograma de seguimiento.
– Comenzar con una formación general
inicial.
– Sustituir el equipo de autoevaluación
por estructuras de
gobierno ya existentes.
– Restringir la sensibilización y difusión
al sector del profesorado.
– Iniciar el trabajo sin formación o con
Amenazas
una formación no con
textualizada.
– No contar con asesoramiento externo.
149
Las áreas a evaluar pueden ser diversas, desde las actividades de acogida en el
centro hasta el desempeño de la dirección. La determinación de aspectos, niveles y
criterios admite diversas categorizaciones. El conjunto de todas ellas refleja la totalidad
de la gestión educativa. Algunas áreas que pueden ser objeto de evaluación de un centro
son: pedagógico-didáctica, organizacional, administrativa, comunitaria e institucional.
El cuadro 7.9 recoge las principales áreas, niveles e indicadores de tres experiencias
europeas:
150
Es necesario definir y jerarquizar aquellos aspectos sobre los cuales focalizar la
evaluación. Su determinación dependerá de las necesidades e intereses de cada
institución educativa. Una buena estrategia es comenzar por aquellos aspectos que
parecen más deficitarios y necesiten acciones de mejora. Según Azevedo (2004), el
diagnóstico debe ser claro, sucinto, comprensivo sin complacencia, objetivo y con juicios
fundamentados. Para elaborar un diagnóstico no es necesario realizar estudios complejos,
bastará con mirar con otros ojos la información disponible o de fácil acceso sobre los
alumnos, el medio social, calidad de los servicios de la escuela, eficacia de los apoyos
complementarios, la relación entre el centro y las familias.
Una vez definidos los ámbitos o niveles sobre los que se va a centrar el proceso de
autoevaluación comienza el trabajo de concreción. El primer paso es traducir el ámbito a
la realidad, a los procesos y a las actuaciones que en el trabajo diario se manifiesta y lo
hacen tangible. El ámbito pasa de ser un concepto teórico global a una realidad que
define lo que es en un centro concreto. Se trata de definirlo y acotarlo, haciendo visibles
los distintos elementos procesos y acciones en los que el ámbito se concreta en el trabajo
real. Cualquier evaluación presupone una selección. No es fácil delimitar y seleccionar
aquellos aspectos más relevantes a evaluar dentro de cada uno de los ámbitos. La
selección puede partir de distintos criterios pero el principal es decidirse por aquellos que
151
sean más relevantes para la mejora de cada centro.
Sin embargo, las unidades de análisis no aparecen siempre diferenciadas, tienen
constantes puntos de fricción que hacen difícil su separación; definir el qué se evalúa;
precisar, objetos, sujetos, procesos, servicios y acciones de forma concreta. Su
descripción y examen son necesarios para delimitar los ámbitos de evaluación
seleccionados, así como para ordenar la cantidad de información a recoger.
Pasos a seguir
Dificultades Propuestas
– Revisar la documentación que recoge
las acciones realizadas en el centro
(fundamentalmente memorias y
programas de trabajo vinculadas a
los ámbitos de interés).
– Para su análisis, crear dinámicas de
Problemas para determinar los ámbitos
trabajo específicas para la toma de
decisiones mediante aproximación y
consenso.
– Solicitar la colaboración de diferentes
colectivos y de personas externas al
152
centro que puedan enriquecer la
visión de conjunto.
– En el primer año, elegir los ámbitos
que resulten más asequibles para el
centro.
153
obtendría al final es una gran cantidad de información dispersa que no puede ser
valorada.
La estructura de trabajo, desde los ámbitos hasta los indicadores, no tiene por qué
ser cerrada pero sí ordenada. Con frecuencia surgen dudas de hasta dónde llegar en su
detalle o cuáles priorizar. Al igual que sucede con la concreción y selección de aspectos a
evaluar, la definición o formulación de indicadores pasa por dinámicas de trabajo en
equipo y toma de decisiones en las que se asegure la participación más amplia posible.
Los indicadores no pueden ser considerados como simples estadísticos que aportan
datos puntuales, sino que deben reflejar parte de un sistema global, mostrando algún
elemento o parte significativa del mismo.
154
los indicadores sobre “relación con los padres y la comunidad” se mencionan en 11
modelos, mientras que los indicadores sobre “la gestión de los recursos” aparecen en 10
modelos. El indicador “logros y consecuciones de los alumnos” es el más popular
(aparece en 12 modelos), en el área clave “resultados”.
El análisis de los ámbitos y su posterior delimitación en componentes requiere del
trabajo y la reflexión colectiva. Cuando se traducen los ámbitos a la realidad, se hacen
explícitas las visiones que cada una de las personas tiene de dicha realidad, de lo que
significa dicho ámbito en el centro. En el momento en que estos ámbitos se desglosan y
se decide cuáles van a ser los aspectos prioritarios, lo que aflora es la idea de lo que se
cree que dicho ámbito ha de contemplar. Por último, al definir los indicadores que serán
el esqueleto en que se apoye el entramado técnico de la evaluación, lo que se está
definiendo es lo que se quiere, el ideal al que se intenta llegar. Para consolidarse, todo
este recorrido necesita trabajo y toma de decisiones conjuntos.
La toma de decisiones puede dilatar excesivamente la duración del proceso debido a
la cantidad de información que debemos analizar y delimitar. La reflexión, la puesta en
común y la posterior toma de decisiones pueden apoyarse en dinámicas y métodos
específicos de trabajo en grupo que faciliten su realización. Tomar decisiones en grupo
mediante el consenso puede llevar tiempo, pero enriquecerá el proceso y le dará una
identidad específica.
Revisión Interna
La delimitación de los ámbitos objeto de
autoevaluación, la precisión de los
Qué es esta fase
aspectos a trabajar y la definición de los
indicadores.
– Delimitar los ámbitos/
áreas/dimensiones a evaluar.
– Focalizar: precisar objetos, sujetos,
Qué pasos
procesos, servicios y acciones.
recorre – Formular indicadores.
– Incorporar técnicas de trabajo en
grupo.
Un sistema de indicadores adaptado a las
necesidades de cada centro. El punto de
Qué se obtiene
partida de la recogida y análisis de la
información.
155
– Comenzar por ámbitos asequibles y
en los que existe un mayor consenso.
– Formación, asesoramiento externo e
Oportunidades intercambio de experiencias resultan
útiles para romper el bloqueo.
– Formular los indicadores como ideal a
cumplir.
– Establecer criterios previos:
viabilidad, relevancia para el centro,
etc.
– Imponer los aspectos a evaluar.
– Dificultades para delimitar el alcance
de los aspectos a evaluar.
– Lentitud hasta conseguir definir el
Amenazas
foco de la evaluación.
– Iniciar la recogida de información sin
definir previamente los indicadores.
La evaluación busca construir una base empírica de información para hacer juicios y
orientar la toma de decisiones. En esta fase se describe el proceso que lleva desde los
indicadores hasta la recogida y análisis de la información. Ha de ser éste un proceso
conducido por la “teoría” que deriva de los valores y necesidades del centro, expresados
en el conjunto de preguntas e indicadores previos.
La recogida de información, así como los métodos y procedimientos empleados en
su análisis e interpretación deben ser coherentes con la filosofía de la autoevaluación: un
proceso de base democrática, con la participación de las personas implicadas en el
programa evaluado para promover la autonomía de las mismas en la resolución de sus
problemas. A la vez que se adoptan decisiones metodológicas guiadas por la objetividad y
el rigor técnico, la evaluación es un proceso cargado de valores que se van haciendo
explícitos desde el diseño inicial hasta la negociación de los resultados.
Lo primero que un centro debe plantearse, antes de planificar la recogida de nueva
información, es averiguar qué información relevante está ya a su disposición. Existe un
gran cúmulo de información accesible a los centros y que éstos no utilizan. Ello es debido
a diversas razones:
Falta de tiempo para leer los resultados de la investigación e implementar nuevas ideas; falta de
acceso a las publicaciones de investigación; lenguajes académicos y análisis estadísticos no
fácilmente comprensibles; falta de relevancia de los resultados de la investigación de cara a la
práctica o falta de experiencia profesional como investigadores para interpretar los resultados de
156
una investigación o traducirlos a la práctica del aula (Hemsley-Brown et al., 2002: 2).
157
ejercicio consistente principalmente en
preguntas abiertas. El objetivo de esta
técnica es recabar información detallada
Entrevistas individuales detalladas
acerca de las creencias y actitudes de
los individuos relacionadas con el tema
que se está tratando.
Un tipo especial de entrevista
individual: un "informante clave" es una
persona que posee experiencia y
conocimiento extensivo sobre un tema
de interés para la evaluación o estudio.
Entrevistas a informantes claves Generalmente los informantes claves
son los líderes de la comunidad. El
encuestador deberá desarrollar una
relación de confidencia con el individuo
a fin de que sus experiencias y
opiniones sean compartidas.
Son similares a las entrevistas
individuales, pero dirigidas a un grupo
de personas que tienen características y
experiencias similares. Deberá
permitirse a los miembros del grupo que
Entrevistas de grupo
discutan sus opiniones y actitudes entre
ellos. El encuestador podrá determinar
las tendencias acerca de las creencias y
conocimientos del grupo en función de
las respuestas de sus integrantes.
158
Análisis de información secundaria planificadas y que han sido ejecutadas.
Un instrumento puede recoger información de varios indicadores y, a su vez, un
indicador puede ser recogido por varios instrumentos. Para la selección de los
instrumentos se tendrá en cuenta el contexto de aplicación, los recursos de los que
disponemos, el número de personas a las que van dirigidos, etc. Conviene evitar
instrumentos estandarizados. Estos pueden ser elaborados o adaptados a partir de
ejemplos ya existentes. En muchas ocasiones debido a las características de las fuentes es
necesario adaptar o elaborar nuevos instrumentos que respondan al contexto y a las
características de la información.
Las fuentes de evaluación van a venir determinadas por los indicadores, las técnicas
e instrumentos necesarios para recoger la información. Muchos autores opinan que la
mejora de la enseñanza sólo es posible con la participación de los alumnos en el propio
proceso de diagnóstico y realización de los planes (Hodgkin, 1998; Rudduck, 2003).
Como sugieren estos autores, cuando se les consulta de forma genuina y no puramente
simbólica se sienten respetados y se implican dentro de sus posibilidades en la mejora del
aula y del centro. Ello requiere entre docentes y estudiantes desarrollar unas relaciones de
confianza que permiten trabajar juntos en una revisión constructiva de la enseñanza y el
aprendizaje (MacBeath, Demetriou, Rudduck y Myers, 2003).
La selección de las fuentes vendrá determinada por su relevancia y pertinencia. En
muchas ocasiones la utilización de una única fuente de evaluación no va a cubrir todos
los aspectos a evaluar. Un indicador no tiene por qué ser evaluado por un solo
instrumento o una única fuente, es decir, para responder a un indicador en muchas
ocasiones vamos a necesitar seleccionar más de una fuente. Si combinamos varias
fuentes de información, obtendremos datos más fiables (triangulación de fuentes). Se
pueden distinguir tres tipos de fuentes:
159
asegurarán una mejor comprensión del fenómeno que se pretende observar y permitirán
una mayor riqueza de datos.
Cuando se elaboran o adaptan instrumentos hay que tener en cuenta el tipo de
información que nos van a facilitar y, en consecuencia, el análisis del que van a ser
objeto. Con frecuencia se recogen datos que posteriormente no se analizan por falta de
tiempo, por desconocer cómo hacerlo o porque no son relevantes a los problemas
detectados.
160
será lo mismo conocer la opinión que tiene el alumnado de nueva incorporación sobre el
centro en los primeros meses del calendario escolar que en los últimos.
Cuadro 7.14. Condiciones que ha de cumplir la evaluación (Joint Committee, 1981 y 1988).
161
la evaluación.
Recogida de información
Momento en que se deciden las
técnicas, los instrumentos y la fuentes y
se procede a recoger la información y
Qué es esta fase
analizarlas
De los indicadores a los instrumentos:
técnicas, fuentes e ins
Qué pasos recorre
trumentos
Concretar la aplicación: momentos y
muestras Recoger y analizar la
información
Una síntesis organizada y contrastada
de la información más relevante
Qué se obtiene
recogida por los distintos instrumentos
Asegurar la consistencia del instrumento
Oportunidades
con los indicadores
Comenzar por recopilar la información
ya existente en el centro
162
7.5. Redacción y difusión del informe
De la información recogida por los distintos instrumentos, una vez sintetizada, organizada
y contrastada, se obtienen las conclusiones que dan información sobre el estado del
ámbito trabajado. Estas conclusiones son el punto de partida del informe. No todos los
datos obtenidos constituyen conclusiones a presentar. En algunas ocasiones pueden
presentarse datos que no se puedan contrastar, en otras que no cuenten con evidencias
suficientes para su valoración.
Estas conclusiones se contrastan con la situación de partida del proceso de
evaluación, la justificación o hipótesis y los objetivos planteados al inicio de la
evaluación. Analizar y valorar el conjunto de la información, para construir las
conclusiones que se presentan a discusión y validación es tarea del equipo de evaluación
y constituye el punto de partida del informe. Presentar las propuestas y sugerencias como
provisionales permite al evaluador y a los que deben tomar decisiones desarrollar una
relación colaborativa (Torres, 2006).
Las conclusiones obtenidas a partir de las evidencias de la evaluación se contrastan
en el seno del equipo de autoevaluación. Se pueden organizar subgrupos de trabajo
encargados de triangular y asegurar la consistencia de dichas conclusiones. Una vez
consensuadas las conclusiones, se procede a redactar el informe provisional. La persona
que coordina el proyecto es la encargada de redactar el informe provisional sin que esto
implique que el centro no pueda buscar otras estrategias mejor adaptadas a su situación y
características concretas.
Son varios los sectores de la comunidad educativa a los que va a ir dirigido el
informe. En primer lugar están todas aquellas personas que han participado de una
manera u otra en el proceso de evaluación: el equipo de autoevaluación, servicios de la
administración educativa y otros miembros de la comunidad escolar participantes de
manera activa. Diferentes sectores del centro, profesorado, alumnado, familias, personal
163
administrativo, junto con los diferentes organismos de la administración también pueden
tener conocimiento del proyecto que se ha ido desarrollando al igual que otras
comunidades escolares con el fin de difundir e intercambiar experiencias. Todas las
audiencias a las que va dirigido el informe deberán ser consideradas en el momento de su
diseño y difusión.
Teniendo en cuenta cada una de las audiencias a las que va a ir dirigido, es
conveniente elaborar apartados diferentes en el informe, no solo en su formato sino
también en su contenido, seleccionando la información que en cada caso pueda resultar
más relevante para cada una de ellas. Cada una de las audiencias va a tener una visión
distinta del proceso e igualmente va a requerir una información diferente.
El informe constará al menos de las partes recogidas en el cuadro 7.16.
164
evaluación, las fortalezas y debilidades,
incluyendo las propuestas de mejora.
Según la audiencia se pueden presentar
Multinformes
formatos y anexos específicos para
cada una de ellas.
a) La asfixia de los datos. El caudal ingente de material que permite acumular una
exploración realizada a través de diversos métodos, de muchos informantes,
de un largo tiempo y de varios evaluadores, lleva a la dificultad de su
articulación en un informe que pretende ser coherente, breve y claro.
b) La dilación excesiva. Posponer el informe distancia psicológicamente a los
evaluadores de la necesidad de la redacción. Progresivamente se va haciendo
más difícil retomar el compromiso y afrontar la consumación. Por otra parte,
los evaluados pierden la perspectiva de la evaluación y, cuando se llega con el
informe, ya no se acuerdan de lo que sucedía entonces en el centro. A veces,
ya no están los protagonistas.
c) La dificultad de la escritura. Redactar el informe entraña una dificultad que
algunos consideran especialmente problemática ya que piensan que no tienen
las cualidades necesarias para escribir. Contarlo sería otra cosa.
d) La pretensión tecnicista. Cuando se llega al momento de la redacción, parece
necesario elevar el discurso de la recogida de datos a la categoría de informe
técnico, redactado en términos académicos, con expresiones crípticas y
pretensiones cientificistas.
e) La falta de esquemas. Hilvanar todos los datos en un discurso coherente es una
dificultad que algunos redactores viven con especial angustia, sin tener en
cuenta que existen múltiples posibilidades y que, en definitiva, narrar lo que ha
sucedido podría ser una de ellas.
f) Las actitudes del evaluador. Al llegar a la redacción del informe, el evaluador
puede verse abrumado por la responsabilidad de la redacción o bien sentir que
lo que ha hecho no tiene rigor, que no le va a interesar a nadie o que no va a
servir para nada.
g) Los conflictos surgidos. Si se han presentado conflictos y el informe puede
resultar amenazador para algunas personas o para toda la comunidad, pueden
existir dificultades que lleven al retraso de la entrega del informe o a la
edulcoración de su contenido.
h) La extensión desmedida. Hacer un informe excesivamente voluminoso es un
riesgo importante. Y lo es porque resultará difícil su lectura, complicada la
165
negociación y farragosa la comprensión de la realidad.
166
difusión de los re
Discusión del informe provi-
sultados del proceso de autoevaluación.
Se recogen las aportaciones de las
sional con la comunidad
distintas audiencias
al informe de evaluación.
Se realizan los cambios oportunos a la
luz de las aporta
Redacción del informe final
ciones de la comunidad educativa.
Se vuelve a redactar el informe de
evaluación.
Se ponen en marcha estrategias de
Difusión
difusión adecuadas para el informe.
167
directivos son consultados, la información se presenta en un formato que es fácil de
comprender y utilizar, en un formato confidencial dirigido a suscitar preguntas más que a
hacer juicios previos sobre el centro, observadores-gestores externos pueden colaborar
con los miembros del centro, desde una perspectiva de mejora.
Los informes de evaluación diseminados por la Administración educativa son
instrumentos de poder, recurriendo a tesis de Foucault, por lo que habría que cuidar la
“economía política de información” en el proceso empleado de producción y distribución
del conocimiento. Debido a que parece constatado que casi nunca se hace cambios
significativos en función de los resultados de la evaluación, la difusión de los informes de
evaluación debían dirigirse a promover un “uso ilustrado”: ilustrar a los patrocinadores,
clientes y agentes proporcionando información para comprender y reflexionar sobre la
situación, fomentar contextos en que pueda darse una interacción social y debate sobre
las prácticas docentes habituales en función de la evaluación. La publicación de
resultados, en medios de comunicación, como se pretende en determinados lugares
(Inglaterra y Gales, Francia), puede provocar un uso distorsionado (Bolívar, 1994).
El proyecto I-Probenet recoge distintas maneras en que las escuelas informan sobre
los resultados de sus procesos de autoevaluación:
En las escuelas de Inglaterra, Escocia, los Países Bajos, la comunidad francófona de Bélgica, Francia y
Dinamarca se tienen que redactar informes sobre los resultados de las autoevaluaciones o informes que
incluyan dichos resultados.
Todas las escuelas inglesas tienen que publicar un “Informe Anual de los Gobernadores”, que debe estar
basado en un proceso de autoevaluación en relación con la fijación de objetivos.
Informes escolares sobre los resultados de la autoevaluación como punto inicial para la metaevaluación
(P. ej., la evaluación de la calidad y efectividad de la autoevaluación). Este es el caso de tres países: Irlanda
del Norte, Austria y los Países Bajos.
En Irlanda del Norte la escuela lleva a cabo una auditoría interna e informa acerca de los resultados de esta
auditoría a sus empleados. Este informe de auditoría es el punto de partida para una inspección que asegure
la calidad, para evaluar la eficacia de los procedimientos internos que aseguran la calidad, y para comentar la
validez de los resultados.
Informes que son (también) para la Inspección, pero sin tener la metaevaluación por propósito
168
Informes internos para los agentes implicados
En ocho países las escuelas informan a los agentes relevantes, tales como maestros, estudiantes, padres,
por ejemplo a través de folletos, documentos (de planificación escolar), documentos, reuniones,
conferencias. Esto no es obligatorio en todos esos países. Es el caso de Irlanda, República Checa,
Portugal, Hesse, Sajonia, Dinamarca, Inglaterra y los Países Bajos.
En los Países Bajos, las escuelas crean sus propios folletos informativos, que contienen información sobre
los objetivos escolares, las actividades educativas y los logros obtenidos, que quedan recogidos en un
registro público que permite a los padres influir en la calidad de la educación. En Dinamarca, algunos
maestros también informan a los directores sobre la calidad de la educación. Esos informes se basan en
observaciones proporcionadas por los estudiantes.
Folletos, catálogos, revistas informativas sobre la escuela para un público más amplio
En algunos países, las escuelas incluyen los resultados de la autoevaluación en sus folletos (p. ej., en
Francia), catálogos (p. ej., en Hesse, distribuidos por el Instituto de Formación continua del profesorado de
Hesse “HeLP”), revistas informativas (p. ej., en Portugal) y en otros documentos (p. ej., en la República
Checa, a través de un informe anual) que están destinados a un público más amplio.
169
Cuadro 7.19. Aspectos básicos a evaluar.
170
técnicas utilizadas están ajustadas y
precisas para la información que obtie
nen? ¿Los análisis de los datos y las
conclusiones se apoyan en una base
sólida?
171
de la dinámica del centro.
– Presentar el informe definitivo sin
someterlo a discusión.
– No recoger las aportaciones, aunque
Amenazas
sean contrarias a los resultados
obtenidos.
– Dilatar en el tiempo la presentación
del informe.
– Extensión o complejidad excesiva.
172
Sus características se podrían detallar en:
173
definido y por tanto son asumibles a corto plazo e incluso de forma inmediata
y otras acciones que necesitan un mayor tiempo de implantación (corto, medio
y largo plazo).
c) Impacto o resultado de la actuación en el conjunto.
En ocasiones resulta más oportuno priorizar aquellas áreas en las que hay consenso.
Esta priorización de los ámbitos más “sencillos” permitirá a la comunidad practicar las
estrategias y establecer una cultura colaborativa. En esta línea, el establecimiento de
indicadores de logro permitirá ir comprobando el avance de las acciones y alentará a las
personas que participan en éste. Contar con objetivos muy ambiciosos o considerar que
se ha fracasado por no alcanzarlos completamente puede desmotivar a la comunidad y
poner en riesgo todo el proceso.
Igualmente importante es haber generado durante las fases anteriores una cultura
colaborativa en el centro. Tanto para la elaboración como para la puesta en marcha
posterior del Plan de Mejora es imprescindible contar con el apoyo de los agentes de la
comunidad. Especial relevancia tiene el apoyo de la dirección del centro, sin el cual
resulta complejo desarrollar cualquier actividad encaminada a la mejora. No obstante, y
al igual que se ha apuntado en las fases de evaluación, contar con apoyo y asesoramiento
externo facilitará cualquier medida que emprenda. Obtener información y formación será
crucial para desarrollar un plan realista y adaptado a las necesidades que se han detectado
en el centro.
Del trabajo de análisis y aplicación de los criterios establecidos se obtiene una selección
de áreas de mejora prioritarias que permite jerarquizar las líneas de acción que se traduce
básicamente en tres niveles: indispensables, necesarias y deseables. Una vez definidas las
áreas de mejora seleccionadas y antes de proceder a la planificación de su trabajo, se
recopilan los campos de cada una de ellas.
174
La realidad y complejidad de las acciones educativas en el centro y el aula hacen
inviables e inoportunos los planteamientos que ligan la planificación a la improvisación y
al voluntarismo. Hay que asegurar una base común y una visión colectiva. La
preparación formal del trabajo que se pretende desarrollar en un plan concreto facilita
una base para todo el proceso. Así pues, partiendo del plan de actuación, se ha de
desarrollar la fase de aplicación durante el tiempo que hayamos fijado. Es aquí donde
toma especial valor la previsión de actuaciones en cuanto a establecer fórmulas
operativas de resolución de problemas que previsiblemente puedan surgir a lo largo de
todo el trabajo. Se trata de plantear y prever alternativas de solución.
Cada área de mejora deberá especificar los objetivos, esto es, qué se considera
necesario lograr para una mejora. Una vez establecida la meta es preciso consensuar y
plasmar en el plan cómo va a lograrse, qué acciones van a desarrollarse y qué tareas
concretas implica. Al igual que en las fases iniciales clarificar la persona encargada de la
coordinación, la temporalización y establecer estrategias de seguimiento facilitarán tanto
la marcha del plan como la aceptación del mismo por parte de la comunidad.
Cuadro 7.23. Impacto del plan de mejora (San Fabián y Granda, 2007).
175
– Un instrumento para aprender como organización.
– Un mecanismo para mejorar la profesionalidad.
– Un medio para incrementar la calidad educativa del centro.
– Un compromiso entre el centro y la comunidad educativa a la que sirve y en la que se integra.
Otros efectos más concretos en el centro:
En Francia, la valoración anual de los resultados es parte del proceso de creación del proyecto
escolar (tanto éste como su autoevaluación son obligatorios). Los resultados de la evaluación anual
176
sirven de base para la corrección del proyecto escolar o para modificar su alcance si los resultados
sugieren que los objetivos fijados no son realistas.
c) En Irlanda del Norte, Portugal, Flandes y Sajonia también existe una clara
conexión entre los resultados de la autoevaluación y los planes de desarrollo.
Sin embargo, los centros tienen libertad para implantar procesos de
autoevaluación o planes de desarrollo.
En algunos países, los centros son libres de elegir entre establecer una conexión
entre los resultados de su autoevaluación con los planes de desarrollo y mejora escolar o
no. Éste es el caso de Austria, la República Checa, los Países Bajos, Hesse y Dinamarca
(a excepción de las escuelas superiores de empresariales), donde la autoevaluación no es
obligatoria. En estos países corresponde a la dirección concreta de cada centro, decidir si
desean establecer una conexión entre los resultados de la autoevaluación y los planes de
desarrollo y mejora escolar, o no.
177
seguimiento del proceso.
No consensuar ni priorizar.
No integrar las acciones en los planes
de trabajo del centro.
Aplicar las acciones sin comprobar los
Amenazas
efectos.
Aplicar las acciones sin informar.
178
8
Aprendiendo de la experiencia previa
La autoevaluación no es una receta de lo que las escuelas deben hacer para mejorar, sino una
herramienta para el análisis crítico de utilidad en cada contexto (Ryan y Telfer, 2011: 185).
179
podemos aguardar a que todas estén aseguradas para proceder a evaluar; pero debe
buscarse un equilibrio y coherencia entre los esfuerzos a realizar y las circunstancias
existentes. En todo caso, debemos ser conscientes de las dificultades con la finalidad de
reducir las resistencias y crear las condiciones favorables a la autoevaluación.
No existe una única manera de proceder en autoevaluación, la cual debe ser sensible a las
distintas perspectivas de los implicados. Son cada vez más los centros interesados en
implementar algún tipo de autoevaluación y también son muchos y diferentes los niveles
de compromiso con la misma. Las prácticas de autoevaluación dependen en gran medida
de las políticas de evaluación imperantes en cada país; pero a su vez se ven
condicionadas por las características del propio sistema educativo: grado de autonomía
institucional, pruebas de evaluación del rendimiento, autonomía curricular, perfil de la
inspección, etc. “Hay una gran variedad de procedimientos y enfoques en la mejora y el
desarrollo de los centros que estimulan e inician sistemas de autoevaluación en diferentes
países” (Maes, 2007: 4).
No obstante, se pueden encontrar experiencias autoevaluadoras a lo largo de todo el
planeta, de carácter local o nacional, de las que es posible aprender buenas prácticas. Así
en algunos países europeos la autoevaluación tiene un carácter obligatorio; en Irlanda la
autoevaluación es parte del proceso de programación de las escuelas, en Bélgica tiene un
carácter anual y en la zona norte de Australia han de llevar a cabo procesos de
autoevaluación los centros de secundaria superior. En países como Inglaterra, Escocia,
Irlanda del Norte, Países Bajos, Francia y Austria la autoevaluación no es obligatoria
pero sí se anima a las escuelas a desarrollarla, poniendo a su disposición medios y
momentos para ello. En países como Suecia (Segerholm, 2002), el proceso de evaluación
institucional se inicia con la autoevaluación, seguido por la evaluación de iguales y
finalmente con un informe público de un grupo de expertos.
En torno a estas experiencias surgen distintos manuales y propuestas sobre cómo
deben desarrollarse los procesos de evaluación interna, así como documentos donde se
muestran buenas prácticas y lecciones aprendidas en el desarrollo de las mismas.
Podemos encontrar ejemplos de carácter local (Ciudad de Buenos Aires); de carácter
nacional (México) y de carácter interestatal: aunque no es una experiencia de evaluación
interna en sí misma, resulta interesante el grupo de trabajo I-Probenet (Tilkin y
Kerkhofs, 2005), que se define como “…una red temática de Comenius 3 que
proporciona una oportunidad para el intercambio de buenas ideas, para una mejor
práctica y para la creación de nuevos contactos a través de su página web, de los talleres
nacionales y de las conferencias internacionales. Los grupos a los cuales se dirige son:
maestros de escuela, coordinadores de proyectos, líderes escolares, formadores de
maestros, responsables políticos, inspectores, académicos y otras personas interesadas en
el proceso de autoevaluación en la escuela”.
180
Este proyecto europeo de la Red Comenius 3 sobre la autoevaluación en la escuela
(Tilkin y Kerkhofs, 2005) muestra que en la mayoría de los países las escuelas tienen
libertad para utilizar otros modelos de evaluación distintos a los promovidos
nacionalmente. La alternativa más popular es el modelo de la Fundación Europea para la
Gestión de la Calidad (EFQM), utilizado en escuelas de numerosas regiones del Reino
Unido, los Países Bajos, Flandes o Portugal. En España, el MEC propuso dicho modelo
para que los centros se autoevaluasen, siendo muy reducida su implantación. Ello se debe
a que el modelo EFQM obedece a una lógica que choca con los principios de la
autoevaluación. Se trata de un modelo diseñado para comparar centros y sesgado hacia la
satisfacción del cliente, obviando los procesos. Con esto no descartamos la posibilidad de
que algunos instrumentos que aporta el modelo EFQM, siempre previamente adaptados,
puedan ser utilizados en un proceso de autoevaluación, lo que no significa que en sí pase
a ser un modelo de autoevaluación, a lo sumo lo que se hace es un uso instrumental del
mismo.
En cuanto a los métodos empleados en los diversos países se acude a una pluralidad
de herramientas de evaluación: cuestionarios, entrevistas individuales, entrevistas
grupales, dibujos, evaluación a través de fotos, análisis de fuerzas de campo, trabajos de
los alumnos, análisis de incidentes críticos, seguimiento de roles (sombra), role-play,
diarios… de los cuales los más utilizados son los cuestionarios, los análisis estadísticos de
datos y la observación. Menor uso tienen las entrevistas, los grupos de discusión, los
tests de rendimiento y otros métodos de diagnóstico específicos. Las estadísticas son un
instrumento útil cuando tienen el nivel de desagregación apropiado, atienden a los
diversos campos de la realidad escolar y son bien interpretadas. Es importante escoger
bien los indicadores, como un resumen de los aspectos esenciales que permiten formular
juicios de valor (Scheerens, 2004). Generalmente, los métodos utilizados son decididos
por los propios centros implicados, a excepción de algunos países como Bélgica o
Francia. Las evaluaciones deben ayudar a docentes, gestores y demás agentes educativos
a aprender tanto de los éxitos como de los problemas encontrados en la implementación
de sus actividades con la finalidad de mejorar los programas, de donde se deriva una
cierta predilección por los enfoques cualitativos. Por ejemplo, en una actividad de
seguimiento es importante saber no solo cuántas reuniones se han realizado sino también
identificar tanto los aspectos exitosos como los problemáticos surgidos en el desarrollo de
esas reuniones, lo que permitiría al personal del programa identificar alternativas para
mejorar reuniones futuras.
Entre las críticas metodológicas a los procesos de autoevaluación, podemos destacar
la de autores como Scriven (2005), quien ha cuestionado los sistemas de empowerment
evaluation y en general la autoevaluación como formas de evaluación poco fiables y
puramente subjetivas. Este autor, reconociendo que la autoevaluación aporta importantes
beneficios a través de la modalidad de “amigo crítico”, la considera un paso inicial que
debe ser continuado y completado por una perspectiva más profesional, evitando una
práctica de evaluación amateur, al no cumplir los criterios de validez y credibilidad. En
realidad esto sería así si los participantes en el programa decidieran al margen de las
181
fuentes de información; pero la autoevaluación se ha de basar también en procedimientos
sistemáticos de recogida de información procedentes de diversas fuentes, la cual es
utilizada para tomar decisiones. La estrecha relación entre el evaluador y los
participantes, lejos de ser disfuncional, puede ayudar a identificar procesos claves, los
cuales, con frecuencia, quedan ocultados por falta de confianza y de proximidad con el
evaluador externo (Wyersman y Snell-Johns, 2005).
¿Las autoevaluaciones implican una disminución de la calidad técnicametodológica?
Suele haber una tensión entre rigor metodológico e implicación de los usuarios (Greene,
1990), por lo que se recomienda que los evaluadores hagan explícitos los valores que
están en la base de sus propósitos, métodos y diseños. En todo caso, la “calidad
metodológica” debe ser valorada en el contexto global de la evaluación, sus finalidades, el
tipo de decisiones adoptadas, sabiendo que las decisiones sobre los métodos no son
puramente técnicas (Patton, 2002). La calidad metodológica puede ser diferente si lo que
se pretende es generar juicios de expertos o establecer un diálogo informado.
La evaluación tiene una base técnica, una base práctica y una base política. Se ha
insistido mucho en la base técnica y poco en la insuficiencia de la misma para tomar
decisiones eficaces dirigidas al cambio educativo. Los requisitos científicos de los
procesos evaluativos, siendo necesarios, no garantizan la efectividad de las acciones y
prescripciones que se derivan de ellos. La crisis del concepto tradicional de validez en la
evaluación en general ha llevado a la necesidad de incluir tanto los valores implicados en
la evaluación como las consecuencias sociales de aplicar un determinado tipo de
evaluación. Los resultados de las evaluaciones deben ser juzgados en función de su
capacidad para mejorar los procesos educativos. Se desplaza así la validez de los
formatos y requisitos científicos al modo como pueda beneficiar a aquellos que se ven
afectados por la evaluación (Bolívar, 1994).
Meuret y Morlaix (2003) distinguen el modelo “técnico”, que emplea más
cuestionarios y pruebas de rendimiento, del modelo “participativo”, que hace un mayor
uso de los portafolios, discusiones, observaciones. Estos autores no detectan una relación
entre el uso de estos métodos y la calidad de la evaluación, afirmando que la eficacia del
proceso depende de la relevancia del área evaluada, el uso adecuado del método elegido
y la calidad de la discusión de los resultados. No obstante, recomiendan que los procesos
de autoevaluación tengan una orientación más participativa que técnica. Los datos e
indicadores son útiles cuando se emplean de manera negociadora, es decir, en orden a
promover la discusión entre todos los participantes y no como imposición de los expertos
o tecnócratas. (En el Capítulo 9 se mencionan algunas herramientas y materiales
empleados en diferentes países).
La complejidad y el dinamismo de la realidad educativa siempre desborda la
capacidad de nuestras herramientas para analizarla. Esto, que también es aplicable a la
autoevaluación, previene del uso de esquemas metodológicos rígidos. La autoevaluación
puede desencadenar procesos y resultados no fácilmente previsibles, por lo que requiere
un grado razonable de flexibilidad. Los modelos de autoevaluación suelen ser específicos
de cada centro relacionándose con la cultura del mismo. Esto hace que en algunos
182
centros adquiera la forma de un proceso colaborativo, mientras que en otros sea un
proceso más jerárquico y formalizado (Hall y Noyes, 2008).
183
de vulnerabilidad. Suelen generar expectativas positivas sobre los posibles resultados, si
bien los procesos suelen ser más frustrantes. Las actitudes varían y se relacionan con las
características del funcionamiento de los centros, de forma que aquellos con una cultura
profesional más colaborativa tienen una actitud más positiva hacia la autoevaluación.
Bubb et al., (2007), en su balance de los procesos de autoevaluación en 38 centros
ingleses, concluyen que la autoevaluación ha ayudado a los centros a identificar sus
prioridades, las cuales a su vez se relacionan con las estrategias nacionales y las
iniciativas de la administración, y que las principales prioridades tienen que ver con el
ámbito de “enseñanza y aprendizaje”. A su vez, identifican limitaciones como: los centros
hacen comentarios descriptivos pero les cuesta llegar a análisis evaluativos del impacto de
lo que hacen; los sindicatos señalan que la autoevaluación supone un incremento de la
burocracia y de carga de trabajo docente; la difusión del modelo no es realista; falta
claridad sobre el estatus de los informes finales y sobre la responsabilidad para el
seguimiento de los temas identificados; el reducido papel de los implicados en el proceso,
particularmente familias y estudiantes.
Como reconocen Rudd y Davies (2000), los centros presentan grados de
apropiación del proceso muy distintos, manteniéndose una dicotomía entre los aspectos
internos y externos de la evaluación; varía mucho también la implicación real de los
agentes internos, de forma que en muchos casos el protagonismo recae sobre los equipos
directivos. El modelo de proceso ascendente, de abajo arriba propuesto por MacBeath
(1999) es poco habitual. Los procedimientos de autoevaluación difieren mucho según el
grado de sistematicidad, siendo frecuentes algunos de estos problemas (Janssens y Van
Amelsvoort, 2008):
184
Según este autor, los centros donde el profesorado participa en la toma de decisiones,
que tienen más recursos (tiempo y personas) y formación en evaluación, tienden a usar
más la autoevaluación para mejorar el funcionamiento del centro, destacando la
importancia del papel y expectativas del director del centro y el clima del equipo docente.
A veces los directivos deben enfrentarse a resistencias y actitudes negativas del
profesorado. Si éste no acepta las críticas y se resiste a tratar temas importantes, el uso
de los resultados de la autoevaluación puede ser difícil.
Plowright (2007) se pregunta ¿hasta qué punto los directores de centros están
formados para liderar procesos de autoevaluación? Comprueba que los directores tienen
una idea positiva del papel que puede jugar la autoevaluación en la mejora de los centros
−se muestran más convencidos de su utilidad que el profesorado− y consideran que son
capaces de guiar procesos de autoevaluación con este cometido recogiendo información
relevante, si bien prefieren contar con apoyos. Sin embargo, esta visión optimista de los
directores choca frecuentemente con la falta de evidencia que apoye los juicios
evaluativos sobre el funcionamiento y rendimiento del centro. Ello se debe a diversas
causas: falta de tiempo disponible, diseño de la autoevaluación de forma intuitiva, se
carece de un protocolo para orientar el proceso, falta asesoramiento…
A partir de un estudio de centros en nuestro sistema educativo, López Galán (2005)
valora los usos de la evaluación interna mencionando estas insuficiencias: los inicios son
difíciles y complicados; cuesta convencer al claustro, consideran que es algo utópico; hay
mucho desconocimiento sobre el tema, no hay conciencia de su utilidad; no hay personas
en los centros formadas en el tema; falta una cultura de reflexión y de evaluación interna;
no guarda relación con la evaluación externa; faltan recursos organizativos, mala
organización del tiempo; poca implicación del claustro, recayendo el proceso sobre el
equipo directivo; se convierte en un instrumento fiscalizador por parte de la dirección; las
propuestas de cambio son genéricas o poco realistas; los resultados confirman lo que ya
se pensaba, para cual no se justifica tanto esfuerzo ni tiempo empleado.
La autoevaluación es un proceso frágil que conlleva discusiones sobre el concepto de
calidad y la forma de lograrla, y sobre el que recaen muchas amenazas. Como se ha
señalado, la evaluación de los centros no es tanto una cuestión de técnicas como de
procesos y procedimientos. La evaluación implica una “inmersión emocional”, tiene que
ver con la valoración y el control. Los docentes se sienten intimidados ante la evaluación
porque piensan que serán controlados (Messner, 2002). La autoevaluación no elimina los
posibles conflictos de perspectivas e intereses que existen en un centro. A pesar de ser
una forma de evaluación relativamente “amistosa”, no es un proceso exento de tensiones.
Estas se manifiestan cuando se utiliza como un instrumento de control; otras veces se
incorpora formalmente pero sin implicación real, “haciendo como si” para reducir la
tensión con las autoridades políticas. La autorrevisión puede así convertirse en un modo
sutil de interiorizar el control externo (Bolívar, 2006).
Taylor Sutphin y Simpson (2009) apelan a la teoría de la legitimidad de la
autoevaluación (Della Fave, 1980) para sugerir que los individuos realizan
autoevaluaciones consistentes con su posición en el sistema y que esas autoevaluaciones
185
son usadas como una base para distribuir recompensas y legitimar el sistema de
estratificación. Quienes tienen un mayor nivel de recursos desarrollan altas
autoevaluaciones sobre su habilidad para obtener más recursos: una distribución dada de
recursos produce una distribución paralela de autoevaluaciones sobre las habilidades para
obtener recursos lo que lleva a una aceptación normativa del statu quo.
A partir de la experiencia de autoevaluación de centros en Ginebra, Gather Thurler
(2002) afirma que cuatro años son pocos para establecer una verdadera cultura de
autoevaluación, incluso en instituciones formadas por profesores voluntarios y altamente
motivados. Dependían demasiado del liderazgo externo que tomó la iniciativa para
impulsar la necesidad de un proceso cuyo significado no estaba lo suficientemente
arraigado en la cultura profesional.
a) Resultar motivadora en cuanto a los temas que refleja y las actividades que
incluye.
b) Proporcionar un entorno rico, interno y externo, de aprendizaje.
c) Dar oportunidades para la experimentación.
d) Incluir la autoevaluación.
e) Reflexionar sobre los resultados, los efectos y el impacto del aprendizaje.
a) Liderazgo fuerte.
b) Metas compartidas por los miembros de la comunidad escolar.
c) Implicación de los principales actores del centro en actividades de
autoevaluación y mejora.
d) Definición y comunicación clara de políticas y orientaciones.
e) Actividades de autoevaluación centradas en el aprendizaje y en la mejora de
186
resultados.
f) Dispositivos de acompañamiento y seguimiento sistemáticos, rigurosos y
robustos.
g) Buena planificación de las acciones y gestión de los recursos.
h) Equilibrio entre el estímulo externo y la insistencia interna en la calidad.
i) Una infraestructura fuerte de apoyo, nacional o local, a la autoevaluación como
proceso.
187
deben ser persuadidos de la importancia de la evaluación.
g) El diagnóstico debe ser claro, sucinto, comprensivo, objetivo y con juicios
fundamentados. Para elaborar un diagnóstico no es necesario realizar estudios
complejos, puede bastar con mirar con otros ojos la información disponible o
de fácil acceso sobre los alumnos, el medio social, calidad de los servicios de
la escuela, eficacia de los apoyos complementarios, la relación entre el centro
y las familias.
h) La implicación en el proceso de toma de decisiones deberá ser lo más amplia
posible. La recogida y análisis de los datos debe plantearse como un proceso
de interpretación y negociación. Han de recogerse tantas perspectivas como
sea posible a la hora de recabar información. Un centro que busca el
compromiso de los protagonistas en el proceso debe implicarles desde el
principio, así como prestarles apoyo a lo largo del mismo. Es importante
mantener la transparencia del proceso hasta la toma de decisiones.
a) Tienen acceso a los datos estadísticos para comparar su desempeño con centros
similares, teniendo en cuenta su contexto.
b) Utilizan un conjunto de indicadores de calidad para guiar el proceso de
autoevaluación.
c) Realizan consultas y se comunican con todas las partes interesadas.
188
d) Tienen alguna responsabilidad delegada para la gestión de los recursos
financieros y materiales.
e) Tienen una responsabilidad significativa en la evaluación y desarrollo del
personal del centro.
f) Elaboran un plan de mejora e informan periódicamente a los principales
interesados.
189
g) Las escuelas han introducido gradualmente medidas más sistematizadas para
observar el comportamiento de los estudiantes, evaluar la calidad de la
colaboración escuela-familia, incluso para comprender el funcionamiento o
fallos relacionados con la organización del trabajo.
190
Mejora de la Escuela, permiten extraer algunas lecciones (Bolívar, 1994a: 915-944):
191
agente o profesional externo (asesor de formación, de equipos
psicopedagógicos, profesor universitario, etc.) ha potenciado la formación,
revisión o innovación del centro. Esto exige clarificar sus relaciones con el
centro desde una relación igualitaria y cooperativa entre asesores externos y
los propios agentes.
h) La autoevaluación, como revisión interna basada en la escuela, no queda como
un momento específico o fase específica terminal, está inmersa en todo el
proceso de desarrollo, para potenciar el propio cambio, como actitud
permanente del grupo o institución por supervisar y valorar lo que se está
haciendo.
Podemos observar que una buena parte de estas características son comunes a los
factores más relevantes de la mejora escolar (Murillo, 2003): el cambio depende de los
profesores y de su cultura; el papel determinante de la dirección; la escuela como
comunidad de aprendizaje; implica cambios en la forma de enseñar y aprender; se centra
en los aprendizajes de orden superior; muestra unas expectativas altas hacia los alumnos;
utiliza una amplia variedad de estrategias, metodologías, técnicas e instrumentos de
evaluación.
Como señala Bolívar (1999: 16 y ss.), contamos con suficientes tradiciones de
trabajo con sus correspondientes propuestas y experiencias prácticas que pueden ser
aprovechadas para sugerir procesos metodológicos y estrategias de trabajo en esta línea.
Pero recuerda, así mismo, que es necesario partir de la cultura escolar existente en los
centros, con todas las limitaciones que impone, y de la necesidad de una redefinición de
las condiciones de trabajo, para abrir espacios que resquebrajen los muros actuales. La
cultura de la escuela es resistente a los intentos de embarcarse en procesos de este tipo.
Reconvertir lugares y espacios atrapados por burocracia, trabajo individualista y toma de
decisiones jerárquicas, por un trabajo en colaboración no es tarea fácil. Requiere, en
último extremo, un cierto compromiso ético y político por parte del profesorado y de la
propia comunidad educativa por una regeneración educativa y cambio social.
Las rutinas diarias dejan poco tiempo a los centros para introducir innovaciones, por
lo que deben darse a los mismos ciertas facilidades (Schildkamp, 2007). Para introducir
como práctica habitual la revisión interna de forma que sea percibida como algo útil para
la mejora, y no como una amenaza para ser puestos en evidencia o una sobrecarga sin
sentido, Masip y Muñoz (1999) mencionan tres condiciones: la implicación del
profesorado desde el inicio del proceso, la obtención de evidencias que permitan ver más
allá de lo que se percibe cotidianamente y una toma de decisiones prácticas para el
cambio.
Otras condiciones facilitadoras de los procesos autoevaluativos son las referidas a los
recursos, el tiempo y la dedicación disponibles. La autoevaluación escolar requiere un
desembolso importante de tiempo, energía y recursos (Davies y Rudd, 2001; Visscher,
2002). La falta de recursos, en forma de tiempo, formación y apoyo material, a menudo
restringen el interés de los centros por participar en la autoevaluación, generando
192
ansiedad entre los docentes en relación con la carga de trabajo al demandar un tiempo
que con frecuencia debe sustraerse de otras responsabilidades docentes y administrativas.
“El desarrollo práctico de la autoevaluación institucional no debería ser contemplado
como una intensificación del trabajo docente, sino como una estrategia de fondo y como
una poderosa herramienta para incrementar el grado de autorregulación del mismo e
incrementar su grado de elaboración” (Rué, 2001: 8).
No todo depende de las condiciones internas, las demandas externas que recaen sobre los
centros pueden contradecir los postulados básicos de la autoevaluación. El modelo de
evaluación externa dominante, frecuentemente de carácter jerárquico, cuantitativo,
impositivo, sancionador… puede crear actitudes y resistencias que predispongan
negativamente para abordar un tipo de evaluación diferente. Una parte importante del
contexto de cualquier evaluación es la experiencia histórica de la evaluación que
condiciona los esfuerzos de implementación y diseño de la nueva evaluación (Patton,
2002). De ahí la importancia de considerar las experiencias previas en evaluación que
tienen los participantes, ya que existe una conciencia bastante generalizada de que estas
experiencias suelen ser negativas.
El proceso de reconstrucción de los centros escolares como espacios institucionales
para la indagación, innovación y mejora −propósito de la autoevaluación− no excluye el
apoyo de facilitadores o agentes externos. En realidad, los agentes excluidos de la noción
de autoevaluación no son los agentes “externos” sino más específicamente las
“autoridades” (Meuret y Morlaix, 2003). Contribuir a la capacidad de los centros para
mejorar requiere considerar tanto fuerzas internas como externas. Según David Nevo
(1997), el diálogo entre la evaluación interna y la evaluación externa es el punto central
de la evaluación basada en el centro educativo. Se debe evitar tanto la evaluación externa
no asumida por el centro −cuando ésta se acepta sin crítica, evita, rechaza, manipula o
cambia lo necesario para que todo quede igual (Hanson, 2001)− como la evaluación
interna dominada por una lógica de autojustificación.
Los mensajes contradictorios procedentes de distintos agentes externos −asesores,
supervisores, etc.− pueden neutralizar los esfuerzos para aplicar la autoevaluación. Una
organización que se autoevalúa y posee un funcionamiento democrático interno es fácil
que choque con otras instancias que mantienen con ella una relación vertical y jerárquica,
pudiendo llegar a asfixiar su iniciativa. También hay diferencias dentro de cada centro,
por ejemplo, los directivos suelen ser más partidarios de la autoevaluación, mientras que
los docentes pueden pensar que ello es un medio para controlar su trabajo. Es muy
diferente si la autoevaluación es percibida como una necesidad interna o una obligación
impuesta o simplemente propuesta por agentes externos. A veces la normativa prescribe
exigencias que pueden desvirtuar el proyecto (p. ej., trabajar un ámbito durante 3 años).
En algunos centros, particularmente en aquellos donde la autoevaluación se asocia a la
193
visita de la inspección, apenas existe relación de la evaluación con el plan de mejora del
centro, al no coincidir las prioridades identificadas en la autoevaluación con dicho plan.
Estos centros ven la autoevaluación como algo que necesitan hacer de cara a la
inspección, no como algo valioso en sí mismo.
Los procesos de autoevaluación no están al margen de influencias de las instancias
externas que, supuestamente, han de facilitar o apoyar la evaluación. A veces se asignan
a la autoevaluación finalidades que pueden pervertir su propia naturaleza, por ejemplo,
cuando la autoevaluación antecede a la inspección, persigue estándares de rendimiento,
se utiliza para hacer comparaciones entre centros, etc. (ver Saunders, 1999). Estas
prácticas están introduciendo cierta confusión en el campo contribuyendo a la
ambigüedad del propio concepto de autoevaluación predominante y suscitando recelos
entre el profesorado, que tilda la autoevaluación de una inspección encubierta (Ferguson
et al., 2000).
Cabe preguntarse ¿cuál debe ser el equilibrio entre la inspección externa y la
autoevaluación interna? ¿Qué procedimientos y procesos pueden llevar a que la
autoevaluación no sea solo una base firme para la mejora del centro sino también una
forma creíble de control y garantía de la calidad? McNamara y O’Hara (2005)
recomiendan ayudar a los centros a generar datos relevantes para su mejora, sin perder
de vista el concepto de “investigación participativa” donde los evaluadores internos no
son meros receptores de información sino que colaboran activamente en el proceso de
análisis e interpretación de los datos.
Con frecuencia se plantea la duda de si es necesario el apoyo externo o, incluso, si
dicho apoyo es contradictorio a las iniciativas de evaluación interna. Desde nuestro punto
de vista y experiencia práctica consideramos, al igual que otros autores, que los procesos
de automejora requieren apoyo, monitorización y estímulo (Matthews y Sammons, 2005;
Granda y San Fabián, 2008). Con frecuencia, las iniciativas de autoevaluación son
apoyadas por la administración con poca convicción, lo que hace que el apoyo externo
decaiga una vez jugada la baza política y que los centros acaben desconfiando de las
propuestas autoevaluadoras. El apoyo de agentes externos de cambio a los centros es
fundamental para el buen desarrollo de la autoevaluación. Ahora bien, el papel de estos
agentes externos ha de ser redefinido en una relación de colaboración con el profesorado
(Escudero y Moreno, 1992; Nieto Cano, 1993). Ni el agente de cambio tiene como
función prescribir lo que ha de hacerse, ni la del profesor ser un ejecutor de
prescripciones externas; ambos quedan comprometidos con una realidad que tratan de
cambiar, detectando mutuamente los problemas y planificando las acciones adecuadas
para su transformación. Para ello han de establecerse modelos y prácticas de diálogo
entre las escuelas y los agentes externos. El apoyo externo a la autoevaluación, lejos de
ser visto como una invasión de la autonomía de los centros, se sitúa dentro de ese
paradigma de política educativa caracterizado por proveer apoyo de arriba a las
reformas de abajo, en lugar de directivas a los de abajo para implementar las reformas
emanadas desde arriba (Bolívar, 1999b).
Si la administración quiere incentivar, acompañar y promover la autoevaluación, es
194
fundamental proveer de asesoramiento externo. La colaboración de instituciones de
enseñanza superior y de centros de investigación puede asumir un papel de transición a
las nuevas prácticas, en procesos mutuamente beneficiosos. Esta colaboración, centrada
en la realidad de los centros o en redes de centros, puede adoptar diversas modalidades,
desde la participación como amigo crítico a la asesoría de los órganos de gestión
pedagógica o del equipo responsable de la autoevaluación, pasando por la consultoría de
especialistas en evaluación. La administración puede apoyar la autoevaluación facilitando
datos estadísticos e indicadores del sistema educativo nacional, regional y local;
formación en métodos y prácticas de autoevaluación; normativa marco; evaluación
externa de la autoevaluación para acompañar y verificar la fiabilidad del proceso (SICI,
2003). Además, los centros pueden beneficiarse de otras modalidades de asesoría
derivadas del apoyo asociativo, redes de escuelas, intercambio de experiencias, trabajo
cooperativo, autoformación… (Azevedo, 2007).
Cada agente externo llega al centro con un “pasaporte”, legitimidad, autoridad y
poder diferente (Swaffield y MacBeath, 2005). Lo importante es articular un apoyo
externo cuyos rasgos sean coherentes con la autoevaluación. Cuando el asesor se
circunscribe a unos objetivos marcados por la administración o a un modelo determinado
de mejora su apoyo a los procesos de revisión interna se verá limitado. El apoyo externo
debe guardar una proporcionalidad con la dinámica autogenerada del centro, es decir, el
apoyo externo no puede sustituir la voluntad colectiva de mejorar desde dentro sino que
debe ser expresión de la propia autonomía e insertarse en una acción de desarrollo
(Harris, 2001).
Durante los últimos años se ha venido revisando el papel de los evaluadores externos
con relación a los centros. Ante la creciente autonomía de éstos, se han reducido sus
funciones de control y supervisión a favor de las de asesoramiento y orientación, lo que
les permite tener un conocimiento más profundo de la realidad de los centros. El asesor
externo puede realizar un acompañamiento secuencial de la autoevaluación básicamente
mediante:
A la hora de apoyar los procesos de autoevaluación tan importantes o más que las
guías o materiales en sí lo son las modalidades de apoyo: poniendo a disposición de los
centros información y materiales; aportando instrumentos de evaluación y esquemas de
calidad para recoger información relevante; ofertando formación; organizando sesiones
195
de información y debate con los centros interesados; revisando e intercambiando
experiencias durante el proceso de implementación de la autoevaluación; creando redes
de centros en torno a proyectos generales de actuación. Además, los evaluadores internos
pueden acudir a otros recursos de apoyo como: la utilización de modelos generales de
evaluación, el apoyo directo de especialistas y de formadores, indicadores sobre el
sistema educativo que incluyan resultados de los alumnos, guías y manuales,
instrumentos y procedimientos de evaluación externa, intercambio de experiencias y
conocimiento de buenas prácticas, apoyo financiero.
McNamara y O’Hara (2008: 176) destacan dos tipos de apoyo:
196
de que no se produzca o definir patrones obligatorios sin atender la especificidad de cada
centro? La diversidad de historias, de dimensiones, de niveles de enseñanza o de
recursos, la propia naturaleza de la autoevaluación y la necesidad de establecer un
equilibrio entre autonomía del centro y regulación externa, exigen una actuación
coherente que, según Azevedo (2007), pasaría por:
197
logran llevar a cabo procesos sistemáticos y regulares de recogida y discusión de
resultados y propuestas de actuación. Puede ocurrir que la calidad de la información
recogida sea muy pobre y los informes superficiales, o que la identificación de problemas
no lleve por sí misma a los centros a superarlos. Los centros tienen dificultades en
seleccionar factores e indicadores claves, se dejan guiar por las urgencias, les falta un
marco de referencia, surgen discrepancias entre los implicados y dificultades para utilizar
un mismo lenguaje, desconocen los métodos de evaluación, decaen en su seguimiento de
los planes de mejora. Estas dificultades pueden terminar subvirtiendo los propios fines de
la autoevaluación (Alvik, 1995): rechazo de las valoraciones críticas, limitarse solo a los
aspectos positivos, buscar justificaciones a los hechos, burocratización, perder la visión
de conjunto, excluir a los colectivos más problemáticos o alejados del poder, plantear
temas poco relevantes. Estos riesgos tienen una mayor frecuencia de materializarse
cuando las personas implicadas poseen una reducida formación en evaluación (Ryan et
al., 2007). Por ello, las competencias en evaluación institucional deberían formar parte
del currículo de formación del profesorado (Schildkamp, 2007).
Simons (1995) considera necesario que la autoevaluación se inicie mediante un
programa de formación dirigido a los participantes en ella, basado en el desarrollo de una
responsabilidad profesional colectiva y la creación de una cultura de colaboración que
respalde el proceso. En cualquier proceso de evaluación es un requisito ineludible que los
evaluadores posean la formación adecuada para desempeño de su labor. Reconoce
Azevedo (2007) que, en tanto que se exige unas competencias específicas a los
evaluadores externos, los evaluadores internos también deben recibir una formación,
aunque sea menos exigente. Generalmente, esto significa diseñar una formación
especializada que recibe un grupo de personas en condición de técnicos en evaluación; en
los procesos de autoevaluación, sin embargo, se consideran evaluadores todos los
implicados, aunque puedan serlo en diferentes grados y por tanto necesitar diferentes
niveles de conocimiento sobre evaluación. Esto requiere que todos los participantes
tengan un conocimiento general del proceso de autoevaluación (sus fines, etapas,
procedimientos…); pero no solo, también deben adquirir o desarrollar un conjunto de
saberes y habilidades que les hagan competentes para responder a las exigencias de la
práctica autoevaluadora.
Países que han apostado fuerte por la autoevaluación han implantado procesos de
formación en temas como la animación y gestión de procesos de autoevaluación, la
selección y utilización de indicadores, la producción de informes, las actividades de
debate y consulta, etc. Nevo (1995) y Simons (2002) describen sistemas alternativos de
autoevaluación donde los equipos de los centros son formados en técnicas de evaluación,
orientados y apoyados para llevar a cabo procesos de evaluación en sus centros. La
formación ha de cumplir estos dos grandes objetivos complementarios: ayudar al centro a
familiarizarse con el significado y la naturaleza de la evaluación, y aprender a hacer
evaluación formativa.
El Proyecto “School Self-Evaluation–Towards a European Dimension”, que forma
parte del programa Comenius, implica el diseño e implementación de un programa de
198
formación de líderes escolares que tienen interés o experiencia en la autoevaluación, con
el fin de preparar redes de centros que incorporan la autoevaluación en sus prácticas.
Una de sus iniciativas a destacar es la creación de una red transnacional de prácticos que
les permita compartir sus experiencias en autoevaluación. El mecanismo utilizado fue el
diseño de un programa intensivo de 12 unidades sobre los principios y la práctica de la
autoevaluación en los centros escolares, dirigido a: introducir los sistemas de evaluación
escolar, facilitar el intercambio de experiencias, mejorar los conocimientos sobre la
autoevaluación, formar a los participantes en el uso de instrumentos de autoevaluación,
diseñar materiales de formación y herramientas útiles para actividades futuras mediante
sistemas de enseñanza a distancia (Barzano, 2002).
199
autoanálisis críticos, pues de lo contrario correría el riesgo de convertirse en un juego
justificativo del statu quo. Para que la autoevaluación sea un instrumento de cambio, es
necesario que constituya un ejercicio de autocrítica institucional. Sería profundamente
contradictorio que las iniciativas de autoevaluación derivasen en un modelo de
racionalidad burocrática. La evaluación implica una conversación abierta sobre los
valores, pero esto no es fácil dentro de las estructuras burocráticas y jerárquicas que
caracterizan a los centros.
Lejos de ser un juego de autocomplacencia, la autoevaluación es un proceso
exigente, que pone en juego tanto el desarrollo de las competencias profesionales de los
profesores como su disposición a debatir y dar a conocer la efectividad de sus prácticas.
Este debería ser el motivo que anime a las escuelas a llevar a cabo un diagnóstico
exhaustivo de sus fortalezas y debilidades y establecer los planes necesarios (Gather
Thurler, 2002).
La meta que muchos sistemas europeos se están esforzando en conseguir es un
exitoso y duradero matrimonio entre la evaluación interna y la externa. A pesar de las
dificultades de su aplicación, la autoevaluación ha contribuido a la participación activa de
los docentes en la resolución de sus problemas en el trabajo más allá del círculo de su
clase o su escuela, les permite reconocer los progresos realizados y, de hecho, ha
brindado oportunidades nuevas para la implicación y el reconocimiento social por las
principales audiencias: las autoridades escolares, padres, asociaciones profesionales, otras
escuelas interesadas en participar en el proceso de reforma (Perrenoud, 2000).
El motivo que guía nuestro esfuerzo en clarificar las potencialidades y riesgos de los
procesos de autoevaluación reside en la certeza de que han de ser los centros los que se
hagan conscientes de su capacidad para reflexionar y actuar sobre su propia acción, para
recuperar el protagonismo que de forma fatalista, y frecuentemente intencionada, ceden
fácilmente ante las presiones del entorno. El propósito de nuestra propuesta no es su
utilización directa por parte de los centros sino alentar a desarrollar su propia metodología
a partir de sus necesidades y recursos. Se trata de que los centros decidan por sí mismos,
como centros y no solo sus equipos directivos, qué y cómo evaluar sus prácticas para
mejorarlas.
200
9
Materiales y recursos
201
Instrument for School Improvement-DIS” o “SAS-Instrument for School Diagnosis”)
derivados de trabajos de especialistas como Schratz y Posch, o instrumentos y modelos
desarrollados por Flemish researchers (e.g. IZES by Van Petegem).
En algunos países −Portugal, Dinamarca− los centros utilizan modelos e
instrumentos para la autoevaluación desarrollados en el contexto de un proyecto. En
otros países −Inglaterra, Holanda− los modelos e instrumentos alternativos de
autoevaluación han sido desarrollados por los servicios de orientación y apoyo educativo
cuando no por empresas o servicios privados.
A continuación describimos sucintamente algunos modelos y herramientas de
autoevaluación, muchos de los cuales se encuentran on line como instrumentos de
apoyo:
202
ESSE), creado a partir de una Conferencia Internacional de Inspectores,
pretende ser una guía para que inspectores u otros agentes externos visiten
centros que han llevado a cabo una autoevaluación. Su finalidad es facilitar la
recogida de información y la elaboración de juicios sobre la eficacia del
proceso de autoevaluación realizado en el centro, así como la eficacia del
apoyo externo facilitado. Aunque se refiere más a la eficacia de la
autoevaluación que a la autoevaluación misma, se utiliza para guiar los
procesos de autoevaluación (http://sici.org.uk/ESSE/).
f) Una herramienta para mejorar la base empírica de la autoevaluación es el
ZEBO, acrónimo en holandés de Autoevaluación de Escuelas Primarias. Es un
instrumento de autoevaluación utilizado en las escuelas primarias de Holanda,
que se basa en la investigación sobre las escuelas eficaces. Puede utilizarse
para medir indicadores de proceso del aula y del centro. Lo forman cuatro
cuestionarios: para directores (colaboración, consulta, entorno de trabajo,
cuidado del alumnado, liderazgo educativo, desarrollo profesional del
profesorado y consenso con los fines y expectativas), para docentes
(organización de la enseñanza en el aula y a nivel de centro), para alumnos de
grado 3 y alumnos de los grados 4-8 (educación estructurada, educación en
NEE, clima del aula, tiempo de aprendizaje). Un característica importante del
ZEBO es la comparación de las medias de centro y aula de cada centro con
las medias nacionales (Hendriks y Bosker, 2003). Los centros pueden elegir
los cuestionarios que desean utilizar, obteniendo finalmente dos tipos de datos
(Hendriks et al., 2002):
203
h) El Ministerio de Educación Nacional de Colombia ha editado una Guía de
Autoevaluación para el Mejoramiento Institucional, que contiene:
204
propias cuestiones a las ya propuestas (www.sercolearning.com). Angel
Solutions tiene un portal de autoevaluación denominado Perspective para
ayudar a los centros a mejorar sus resultados ante la siguiente inspección, así
como para facilitar una mejor comprensión de las áreas que requieren un
mayor esfuerzo de mejora. (www.angelsolutions.co.uk).
l) En México, la Dirección General de Evaluación de Políticas
(http://www.comipems.org.mx/autoevaluacion/ACEBID.php), como parte de
las acciones encaminadas a fortalecer la labor escolar mediante procesos de
autoevaluación, ofrece dos modelos para que los centros realicen su
evaluación:
205
burocrático, pero su uso esconde algunos inconvenientes.
La gran diversidad de instrumentos plantea dificultades a los centros para elegir el
más adecuado, no sólo por su cantidad sino también porque dichos instrumentos son
muy dependientes del contexto específico. Además, como señalan Hofman et al.,
(2005), tampoco existe información sobre su validez y fiabilidad. Estos autores, en su
revisión de las principales dimensiones de evaluación de la calidad de los centros,
plantean un marco para la evaluación de los instrumentos de autoevaluación utilizados
más frecuentemente: estructura, criterios de elaboración, grado de utilidad… Identifican
el modelo CIPP (contexto, entrada, proceso y producto) como el más utilizado por la
investigación sobre la eficacia escolar, y el círculo de Deming (1989): Planificar–Hacer–
Adaptar–Revisar.
206
Referencias bibliográficas y recursos webs
Con el propósito de poner en práctica unos principios ecológicos, económicos y prácticos, el listado completo y
actualizado de las fuentes bibliográficas empleadas por los autores en este libro se encuentra disponible en la
página web de la editorial: www.sintesis.com.
Las personas interesadas se lo pueden descargar y utilizar como más les convenga: conservar, imprimir,
utilizar en sus trabajos, etc.
207
Publications. Thousand Oaks, CA.
Darling-Hammond, L. (2001): El derecho de aprender. Crear buenas escuelas para todos. Ariel. Barcelona.
Davidsdottir, S. y Lisi, P. (2007): “Effects of Deliberative Democracy on School SelfEvaluation”.
Evaluation. 13(3): 371-386.
Davies, D. y Rudd, P. (2001): Evaluating School Self-evaluation. National Foundation for Educational
Research.Slough.
De Miguel, M. y San Fabián, J.L. (2008): “Metaevaluación y utilización de resultados en las
organizaciones. Dimensión política de la práctica evaluadora”, en A. Villa (Coord.) Innovación y
cambio en las organizaciones educativas. Universidad de Deusto. Bilbao, pp: 393-421.
Elmore, R.F. (2003a): “Salvar la brecha entre estándares y resultados. El imperativo para el desarrollo
profesional en educación”. Profesorado. Revista de Currículo y Formación del Profesorado, 7 (1-
2), pp. 9-48. [En línea] http://www.ugr.es/~recfpro/rev71ART1.pdf. Consultado el 21 de diciembre
de 2010.
Escudero, J.M. y Bolívar, A. (1994): "Inovação e Formação Centrada na Escola. Uma Perspectiva da
Realidade Espanhola", en A. Amiguihno y R. Canário (Organiz.): Escolas e Mudança: O Papel dos
Centros de Formação. Lisboa: Educa, 97-155.
Estefanía Lera, J.L y López, J. (2001): Evaluación interna del centro y calidad educativa: estrategias e
instrumentos. CCS. Madrid.
European Commission SICI (2001): Project School Self-Evaluation in Thirteen European. Directorate-
General of Education and Culture. The Standing International Conference of Central and General
Inspectorates of Education Effective School SelfEvaluation (ESSE).
Ferguson, N.; Earley, P.; Fidler, B. y Ouston, J. (2000): Improving Schools and Inspection: the Self-
Inspecting School. Paul Chapman. London.
Fetterman, D. M.; Kaftarian, S. y Wyersman, A. (Eds.): (1996). Empowerment evaluation: Knowledge
and tools for self-assessment and accountability. CA: Sage. Thousand Oaks.
García Martín, J.C. (1995): Instrumentalización para la autoevaluación. Organización y Gestión Educativa,
3: 25-32.
Gather Thurler, M. (2002): “L’autoévaluation de l’établissement scolaire comme moteur du changement“
en Bois, M. (dir.) Les systèmes scolaires et leurs régulations. CRDP. Lyon. [En línea] Consultado el
4 de febrero de 2010:
http://www.unige.ch/fapse/SSE/teachers/perrenoud/mgt_main/Textes/Textes2002/MGT.
González, Mª. T. (1988): “La revisión basada en la escuela: una estrategia de innovación educativa”. Anales
de Pedagogía; 6: 27-35.
Granda, A. y San Fabián, J.L. (2008): “El apoyo externo a las iniciativas de autoevaluación de los centros”.
Organización y Gestión Educativa, 1: 18-23.
Hall, Ch. y Noyes, A. (2008): “School self-evaluation and its impact on teachers' work in England”.
Research Papers in Education, 2008: 1–23.
Hofman, R.H.; Dukstra, N.J. y W.H.; Hofman W.H. (2005): “School Self-evaluation instruments: An
assessment Framework”, International Journal of Leadership in Education, July–September, 8 (3):
253–272.
Hopkins, D. (2001): School improvement jot real. Routledge-Falmer. London.
House, E.R. (1993): Professional Evaluation. Social impact and political consequences.Sage Pub.
Newbury Park.
House, E. y Howe, K. (2000): “Deliberative democratic evaluation”, en K.E. Ryany L. DeStefano (eds.)
Evaluation as a democratic process: promoting inclusion dialogue and deliberation. Jossey-Bass.
San Francisco.
Janssens, F.J. y Van Amelsvoort, G. (2008): “School self-evaluations and school inspections in Europe: An
exploratory study”, Studies in Educational Evaluation 34:15–23.
Karlsson, O. (2003): “Democratic evaluation. An area for dialogue and learning?” en P. Haug y Th.
Schwandt (eds). Evaluating educational reforms. Scandinavian perspectives. IAP. Greenwich.
Kyriakides, L. y Campbell, R.J: (2004): “School self-evaluation and school improvement: A critique of
values and procedures”, Studies in Educational Evaluation, 30 (1): 23–36.
208
Leithwood, K.; Edge, K. y Jantzi, D. (1999): Educational accountability: The state of the art. Bertelsman
Foundation Publishers. Gütersloh.
Leung, C.K.L. (2005): “Accountability versus school development: Self-evaluation in an international
school in Hong Kong”, International Studies in Educational Administration, 33(1): 2-14.
MacBeath, J. (1999): Schools must speak for themselves: The case for school selfevaluation. Routledge.
London.
– (2005): School Self-evaluation Models, Tools and Examples of Practice. National College for School
Leadership. Nottingham.
– (2008): “Leading learning in the self-evaluating School”. School Leadership and Management, 28 (4),
September: 385-399.
MacBeath, J. y McGlynn, A. (2003): Self-evaluation: What’s in it for schools? Routledge, London.
MacBeath, J.; Schratz, M.; Meuret, D. y Lakobsen, L. (2000): Self-evaluation in European schools.
Routledge Falmer. London.
MacDonald, B. (1995): “La evaluación como servicio público: perspectivas de futuro”, en M.ª J. Sáez
Brezmes (Ed.): Conceptualizando la evaluación en España. ICE de Alcalá de Henares. Madrid, pp:
15-23.
MacGilchrist, B. (2000): “Improving self-improvement”. Research Papers in Education, 15(3): 325–38.
McNamara, G. y O’Hara, J. (2008): “The importance of the concept of self-evaluation in the changing
landscape of education policy”. Studies in Educational Evaluation 34: 173–179.
Maes, B. (2007): “El arte de la autoevaluación: su estado en 14 países/regiones europeas”. Departamento
de Desarrollo Educativo, Ministerio de Educación, Flandes. En Crea un espejo para tu escuela. I-
Probenet. Red Comenius 3 sobre la autoevaluación en la escuela. www.I-Probenet.net. 10 países
(Coordinador: Guy Tilkin), pp: 16-28.
Mark, M.M.; Henry, G.T. y Julnes, G. (2000): Evaluation. An integrated framework for understying,
guiding and improving public and non-profit policies and programs.Jossey-Bass. San Francisco.
Masip, M. y Muñoz, E. (1999): “¿Y ahora, encima, a autoevaluarnos?” Cuadernos de Pedagogía, 283: 63-
67.
Merchán, F.J. (2011): “La evaluación de centros y profesores como instrumento de la política educativa”.
Organización y Gestión Educativa, 1: 11-15.
Mestres, J. (1995): “Reflexiones sobre la negociación en la evaluación", en M.ª J. Sáez (ed.):
Conceptualizando la evaluación en España. Servicio de Publicaciones de la Universidad de Alcalá.
Alcalá de Henares, pp.: 37-51.
Meuret, D. y Morlaix, S. (2003): “Conditions of Success of a School’s Self-Evaluation: Some Lessons of
an European Experience”. School Effectiveness and School Improvement, 14 (1): 53–71.
Murillo Estepa, P. (2008): “La autoevaluación institucional: un camino importante para la mejora de los
centros educativos”. Organización y Gestión Educativa. 1: 13-17.
Nevo, D. (1997): Evaluación basada en el centro. Mensajero. Bilbao.
OCDE (2009): TALIS. School evaluation, teacher appraisal and feedback and the impact on schools and
teachers. [En línea] http://www.oecd.org/dataoecd/32/8/43541664.pdf. Consultado el 10 de
Septiembre de 2011.
OFSTED (2004b) A New Relationship with Schools: Improving Performance through School Self-
Evaluation. DfES Publications. London.
- (2006a) Improving performance through school self-evaluation and improvement planning. Ofsted.
London. {En línea} www.ofsted.gov.uk. Consultado el 23 de Octubre de 2009.
Patton, M.Q. (2002): “A Vision of Evaluation that Strengthens Democracy“. Evaluation 8 :125-139.
Plowright, D. (2007). “Self-evaluation and Ofsted Inspection. Developing an Integrative Model of School
Improvement”. Educational Management Administration y Leadership, 35(3): 373–393.
Ravela, P. (2006): Para Comprender las Evaluaciones Educativas. Fichas Didácticas Grupo de Trabajo
sobre Estándares y Evaluación (GTEE). PREAL. CINDE. Santiago de Chile. [En línea] Consultado
en 12 de Septiembre de 2010:
http://www.ucu.edu.uy/Portals/0/Publico/Facultades/Ciencias%20Humanas/IEE/GTEE_2007_Fichas_didacticas_eva
Rul, J. y Zaitegui, N. (2003): Autoevaluación del centro educativo: modelo de gestión evaluativo GE-Rs.
209
Servicio de publicaciones Gobierno Vasco. Vitoria.
Ryan, K.E. (2005): “Making Educational Accountability More Democratic”. American Journal of
Evaluation. 26: 532-543.
Ryan, K.E.; Chyler, M. y Samuels, M. (2007): “What should school-based evaluation look like?” Studies in
Educational Evaluation, 33: 197–212.
San Fabián, J.L. (1996): “¿Pueden aprender las escuelas? La autoevaluación al servicio del aprendizaje
organizacional”. Investigación en la Escuela, 30: 41-51.
- (2011): “El papel de la organización escolar en el cambio educativo: la inercia de lo establecido”. Revista
de Educación. Nº 356, sept.-diciembre: 41-60. {En línea]
http://www.revistaeducacion.educacion.es/re356/re356_02.pdf. Consultado el 10 de Noviembre de
2011.
San Fabián, J.L. y Granda, A. (2007): Guía de Autoevaluación y Mejora. Dirección General de Políticas
Educativas y Ordenación Académica. Oviedo.
- (2008): “Fases en la autoevaluación de un centro”. Organización y Gestión Educativa, 1. Dossier de
Herramientas: I-XII.
Santos Guerra, M.A. (1990): Hacer visible lo cotidiano. Teoría y práctica de la evaluación cualitativa de
los centros escolares. Akal. Madrid.
Saunders, L. (1999): “Who or what is school Self-evaluation for?” School Effectiveness and Scholl
Improvement, 10 (4): 410-430.
Saunders, L.; Stradling, B. y Rudd, P. (2000): Raising Attainment in Schools: a Handbook for school self-
evaluation. National Foundation for Educational Research.Slough.
Scheerens, J. (2002): “School self-evaluation: Origins, definition, approaches, methods and
implementation”, en D. Nevo (Ed.), School-based evaluation: An international perspective. Elsevier
Science. Oxford.
Schildkamp, K. (2007): The utilisation of a self-evaluation instrument for primary education. University
of Twente. Enschede.
Schratz, M. (1991): Initiating Change through Self-evaluation. CIDREE, Dundee.
SICI (2003): Effective School Self Evaluation (relatório final). SICI: Accesible en http://sici.org.uk/ESSE.
Simons, H. (1995): “La autoevaluación escolar como proceso de desarrollo del profesorado. En apoyo a
las escuelas democráticas”, en AA.VV. (eds.), Volver a pensar la educación, vol II. Morata.
Madrid, pp: 220-242.
Smith, N.L. (2007): “Empowerment Evaluation as Evaluation Ideology”. American Journal of Evaluation,
28 (2): 169-178.
Sonnichsen, R.C. (2006): “Building evaluation capacity within organizations”, en E. Stern (ed.).
Evaluation Research Methods. Sage Pub.Vol. IV. London.
Strittmatter, A. (2000): “L’autoévaluation dans les établissements scolaires et le rôle des autorités
scolaires“, in L. Demailly (Ed.) Evaluer les politiques éducatives, Le Boeck. Bruxelles.
Swaffield, S. y MacBeath, J. (2005): “School self-evaluation and the role of a critical friend”. Cambridge
Journal of Education, 35(2): 239-252.
Taut, S. (2007): “Studying self-evaluation capacity building in a large international development
organization”. American Journal of Evaluation, 28 (1): 45-59.
Taylor Sutphin, S. y Simpson, B. (2009): “The role of self-evaluations in legitimizing social inequality”.
Social Science Research, 38: 609–621.
Tilkin, G. y Kerkhofs, L. (Coords.) (2007): Crea un espejo para tu escuela. I-Probenet. Red Comenius 3
sobre la autoevaluación en la escuela. En línea: http://www.iprobenet.net/start.html
Torres, R.T. (2006): “Improving the quality of internal evaluation: The evaluator as consultant-mediator”,
en E. Stern (Ed). Evaluation research methods. Sage Pub, vol IV. London.
Torres, X. (2006): “Los indicadores de rendimiento como estrategia y medida contrarreformista en las
reformas educativas”, en J. Gimeno Sacristán (Comp.) La reforma necesaria: Entre la política
educativa y la práctica escolar. Morata. Madrid, pp: 161-165.
Vanhoof, J. y Van Petegem, P.V. (2005): “Feedback of Performance Indicators as a Strategic Instrument
for School Improvement”. REICE, 3 (1). [En línea] http://www.ice.deusto.es/rinace/reice/vil3n1_e.
210
Consultado el 8 de Abril de 2009.
Vanhoof, J.; van Petegem, P.; Verhoeven, J.C. y Buvens, I. (2009): “Self-evaluations: The View of School
Leaders Linking the Policymaking Capacities of Schools and the Quality of School”. Educational
Management Administration Leadership, 37: 667-686.
Wyersman, A. y Snell-Johns, J. (2005): “Empowerment evaluation: Clarity, dialogue and growth”.
American Journal of Evaluation, 26: 421-428.
Young, V. M. y Kim, D. H. (2010): Using assessments for instructional improvement: a literature review.
Education Policy Analysis Archives, 18 (19).[En línea]
http://epaa.asu.edu/ojs/article/view/809.Consultado el 29 de Septiembre de 2011.
211
Índice
Portada 2
Créditos 5
Índice 6
Prólogo 10
Introducción: ¿La evaluación al servicio de la educación? Una duda
13
legítima
PARTE I: EVALUACIÓN DE CENTROS Y APRENDIZAJE
18
INSTITUCIONAL: EL PAPEL DE LA EVALUACIÓN INTERNA
1. La evaluación de centros educativos en el contexto actual 19
1.1. La evaluación de centros en nuestro país: una breve reseña 20
1.2. El auge de la evaluación estandarizada 23
1.3. Los excesos de la evaluación externa basada en estándares 25
1.4. Tendencias que reclaman nuevas formas de evaluación 32
1.4.1. Autonomía institucional de los centros educativos 32
1.4.2. Creciente diversidad de los centros 34
1.4.3. Limitaciones de los sistemas de inspección 35
1.4.4. Insuficiencia de la evaluación externa 35
1.5. El referente de toda evaluación: una idea sobre la calidad educativa y la
39
manera de obtenerla
2. Evaluación interna y evaluación externa 42
2.1. Un debate: evaluación interna versus externa 42
2.2. Una necesidad: coexistencia de la evaluación externa y la evaluación
49
interna
2.3. Un problema: el papel de la inspección 53
2.4. La autoevaluación no es una inspección interna 57
2.5. El difícil equilibrio entre la presión externa y la responsabilidad interna 61
3. Un nuevo paradigma de evaluación 69
3.1. De la perspectiva del control a la perspectiva de la responsabilidad 71
3.2. De la perspectiva eficientista a la perspectiva de la complejidad 72
3.3. De la perspectiva jerárquica a la perspectiva democrática 73
3.4. De la perspectiva sancionadora a la perspectiva constructiva 75
3.5. De la perspectiva técnica a la perspectiva sociopolítica 76
212
4. La autoevaluación institucional 78
4.1. Marcos teóricos de referencia 78
4.1.1. Innovación basada en el centro 80
4.1.2. Investigación-acción institucional 81
4.1.3. Movimiento para la mejora 82
4.1.4. Organizaciones que aprenden 83
4.1.5. Comunidades de aprendizaje 86
4.1.6. Evaluación participativa 88
4.2. Conceptualizando la autoevaluación 93
4.2.1. Qué es lo específico o novedoso de la autoevaluación 97
4.2.2. Finalidades y efectos positivos de la autoevaluación 99
4.3. La autoevaluación del centro: una puerta a la innovación y el
102
aprendizaje institucional
PARTE II: LA PRÁCTICA DE LA AUTOEVALUACIÓN
106
INSTITUCIONAL
5. Principios básicos de autoevaluación 107
5.1. Transparencia 107
5.2. Visión global del centro 108
5.3. Contextualización 109
5.4. Participación 110
5.5. Orientación a la acción 112
5.6. El diálogo como método: el papel del evaluador 112
6. La autoevaluación escolar en diferentes contextos educativos 115
6.1. Experiencias en otros países 115
6.2. La autoevaluación en nuestro sistema educativo 120
6.2.1. Marco legal de la autoevaluación de centros 120
6.2.2. Experiencias en varias comunidades autónomas 121
6.2.3. El caso de Asturias: los planes experimentales de autoevaluación y
124
mejora
7. El ciclo de revisión y mejora interna: descripción de las etapas básicas 133
7.1. Contextualización y preparación del campo 136
7.1.1. Frente a la pérdida de tiempo, utilidad y mejora como objetivo 137
7.2.2. Elaborar el plan de acción 138
7.1.3. Condiciones para el éxito: formación, tiempos y apoyos externos 140
7.2. Planificación y coordinación 142
7.2.1. Formación del equipo de evaluación y mejora 143
213
7.2.2. Elaborar el plan de acción 144
7.2.3. Negociar y difundir 145
7.2.4. Formar y buscar asesoramiento 146
7.3. Revisión interna 149
7.3.1. Concretar los aspectos a evaluar 151
7.3.2. Formular indicadores 153
7.4. Recogida de información 156
7.4.1. De los indicadores a los instrumentos 157
7.4.2. Decidir momentos y muestras 160
7.4.3. Recoger y analizar la información 161
7.5. Redacción y difusión del informe 163
7.5.1. Elaboración del informe provisional 163
7.5.2. Discusión y validación del informe 166
7.5.3. Difusión del informe a la comunidad 167
7.5.4. Metaevaluación del proceso 169
7.6. Elaboración del plan de mejora 172
7.6.1. Identificación de las áreas de mejora 173
7.6.2. Elaboración del plan de mejora 174
7.6.3. Integración en la dinámica del centro 176
8. Aprendiendo de la experiencia previa 179
8.1. Diversidad de prácticas y flexibilidad metodológica 180
8.2. Ser conscientes de las dificultades y vencer las resistencias 183
8.3. Metaevaluación: criterios de calidad de la autoevaluación 186
8.4. Las condiciones internas 190
8.5. Coherencia del apoyo externo 193
8.5.1. El papel de la formación 197
8.6. Desafío y confianza 199
9. Materiales y recursos 201
Nota bibliográfica 207
214