Problemas de La Medición y Evaluación Educativas PDF

Problemas de la Medicin y Evaluacin Educativas
1

Problemas de la medicin y
evaluacin educativa

ESTANDARES E INDICADORES
PARA ANALIZAR LA REALIDAD
EDUCATIVA


2

DEPARTAMENTO DE
MTODOS DE INVESTIGACIN Y DIAGNSTICO EN EDUCACIN

GRUPO GEM
www.uv.es/gem
gem@uv.es

UNIVERSITAT DE VALNCIA

Autor/es: Jess M. Jornet Meli y Genoveva Ramos Santanta (Coords.)
Editor: Jess M. Jornet Meli
Dpto. MIDE. Avd. Blasco Ibez, 30. 46010 Valencia
Fecha Edicin: Noviembre 2005
ISBN-10:84-689-5127-7
N. 05/81434

GRUPO DE EVALUACIN Y MEDICIN (GEM)
Inmaculada Chiva Sanchis
Jos Gonzlez Such
M. Jess Perales Montolo
Amparo Prez Carbonell
Purificacin Snchez Delgado
Pilar Villanueva Bea
M. Paola Ruiz


1

INDICE

Presentacin ........................................................................................ 7
Criterios para la elaboracin de standars en la evaluacin
educativa .............................................................................................. 10
Arturo de la Orden Hoz
Universidad Complutense de Madrid
Paradigmas alternativos en la evaluacin..................................... 20
Pilar Cols Bravo
Universidad de Sevilla
Evaluacin, Acreditacin y Certificacin de la Formacin
Profesional, Ocupacional y Continua: unas notas para la
reflexin. .............................................................................................. 47
Jess M. Jornet Meli, M Jess Montolo y Amparo Prez Carbonell
Universitat de Valncia
Evaluacin de programas educativos ............................................. 67
Ramn Prez Juste
Universidad Nacional de Educacin a Distancia (UNED)
Un modelo de evaluacin del profesorado universitario........... 94
Fco. Javier Tejedor Tejedor
Universidad de Salamanca


2
Instituciones de evaluacin en espaa .......................................... 137
Julio Puente Azcutia
Instituto Nacional de Calidad y Evaluacin (INCE)
La evaluacin de centros................................................................... 159
Joan Mateo Andrs
Universidad de Barcelona
La evaluacin de estudiantes .......................................................... 187
Fuensanta Hernndez Pina
Universidad de Murcia
Reflexiones en torno a la evaluacin de los sistemas
educativos: un concepto dinmico de eficacia ............................. 227
Jos Luis Gaviria y Javier Tourn
Universidad Complutense de Madrid y Universidad de Navarra
Perfil profesional del evaluador ..................................................... 247
Jos Gonzlez Such; M. Jes Perales Montolo y Amparo Prez
Carbonell
tica de la evaluacin........................................................................ 277
Leonor Buenda Eximan y Emilio Berrocal de Luna
Universidad de Granada
Estndares para la evaluacin cualitativa ..................................... 300
Eduardo Garca Jimnez
Evaluacin de programas de orientacin....................................... 316
Ricard Mar Moll


3
Evaluacin externa de centros en la Comunidad Vasca ............. 326
Carlos Santiago Etxeberria y J.F. Lukas Mujica
Universidad del Pas Vasco
Una propuesta de ndices de igualdad educativa para la
evaluacin de centros docentes ....................................................... 350
Fco. Javier Murillo y Mara Castro
CIDE y Ministerio de Educacin y Cultura
Un marco para la Evaluacin de programas de mejora de
eficacia escolar .................................................................................... 357
M. Jos Prez-Albo
Centro de Investigacin y Documentacin Educativa
Inmigracin e integracin social en la enseanza
obligatoria............................................................................................ 365
Bayot; B. Del Rincn y M.J. Navarro
Universidad Castilla la Mancha
Evaluacin diagnstica de un Centro de Primaria desde la
reflexin del profesorado ................................................................. 374
Eugenio Hidalgo Dez; Beatriz Garca Lupin; Rafael Lpez Fuentes y
Daniel Gnzalez
Aspectos cualitativos del estudio de teleformabilidad de
perfiles ocupacionales....................................................................... 381
M. Jess Perales; Genoveva Ramos; Immaculada Chiva; Purificacin
Snchez; Amparo Prez y Jos Gonzlez


4
Construccin, validacin y mejora de pruebas criteriales de
clase....................................................................................................... 392
Jess M. Jornet; M. Jesus Perales; Immaculada Chiva; Genoveva
Ramos y Purificacin Snchez
Influencia de algunas variables relativas al profesor en la
valoracin que los estudiantes hacen de la docencia que
reciben. La categora, la edad, la carga docente real y la carga
docente neta......................................................................................... 401
M Reina Ferrndez; M. Teresa Mora y M. Martnez
Universidad Jaume I
Evaluacin de necesidades de Formacin Pedaggica del
profesorado de educacin secundaria postobligatoria: Un
ejemplo de Diseo de Encuesta....................................................... 413
M Luisa Ramos Galaviz y M Jos Rodrguez Conde
Una experiencia longitudinal de evaluacin del profesorado
universitario........................................................................................ 423
Rafael Lpez; Daniel Gnzalez, Eugenio Hidalgo y Beatriz Garca
Estudio descriptivo sobre las competencias profesionales del
evaluador ............................................................................................. 430
Teresa Gonzlez Ramrez


5
La formacin del alumno como referente de Calidad de la
universidad.......................................................................................... 439
Ignacio Gonzlez Lpez y M Jos Rodrguez Conde
Diferencias en la satisfaccin entre los tres centros de la
Universitat Jaume I: La docencia y la asignatura como
indicador de calidad .......................................................................... 448
Reina Ferrndez; E. Lorente, y M. Teresa Mora
Universidad Jaume I
Estudio del ndice de fiabilidad po de Hyunh para pruebas de
referencia criterial .............................................................................. 460
Gonzalo Almerich Cerver
Estudio de indicadores de fiabilidad en pruebas de referencia
criterial ................................................................................................. 465
Gonzalo Almarich Cerver
Aspectos del engao en el quehacer cientfico y
evaluativo............................................................................................. 472
Carlos Marco Blasco
Un estudio diferencial de los tems de la escala
Key-Math R ......................................................................................... 490


6
Materiales, NNTT y Evaluacin...................................................... 498
Belloch, M C.; Bo, R. M; Gonzalo, A.; Orellana, N. y Sez,
A.


7

Presentacin

La Medicin y Evaluacin Educativas constituyen reas
de conocimiento cientfico y de investigacin que estn al
servicio de la mejora e innovacin pedaggica.
Tradicionalmente ha sido la evaluacin de los estudiantes la
que ha centrado la atencin y la investigacin, pero desde hace
ya unos aos se viene trabajando con profusin sobre la
evaluacin de otros aspectos y agentes del proceso educativo.
As, ha sido en los ltimos aos cuando se ha incrementado de
manera notable el trabajo e inters en ellas, debido en parte a
los cambios producidos por las nuevas legislaciones que han
aparecido respecto al hecho educativo: LOGSE, LRU, LOPECE,
LOU, LOCE, LGE... La evolucin marcada por estas leyes
supuso, en primer lugar, un cambio profundo, democratizador,
de la gestin educativa, y luego una apuesta clara (aunque no
siempre desde las mismas concepciones) por la idea de calidad
en educacin. En este marco, debe entenderse que es
precisamente en los pases de honda tradicin democrtica, en
los que se localiza un mayor foco de investigacin en Medicin
y Evaluacin.
En esta lnea, cada vez son ms frecuentes las
evaluaciones de todos los aspectos relacionados con el Sistema
Educativo que implican progresivamente a todos los niveles y,


8
a su vez, a todos los actores implicados en el mismo
(estudiantes, profesores, centros, ... ). Las evaluaciones se han
ido sucediendo, al principio como primeras evaluaciones,
basadas en la buena intencin de los gestores que las haban
encomendado y en el esfuerzo de las partes implicadas en que
ello fuera posible. De este modo, poco a poco se ha consolidado
un saber sobre evaluacin, centrado tanto en cuestiones
conceptuales como, sobre todo, en temas metodolgicos y
procedimentales. As, aunque en muchos Congresos y
Reuniones Educativas del Area Educativa se han centrado en
aspectos parciales relacionados con las evaluaciones, desde el
MIDE de Valencia, y concretamente desde el GEM (Grupo de
Evaluacin y Medicin) nos propusimos crear un punto de
encuentro diseado como una reunin especfica de
especialistas en Medicin y Evaluacin en nuestro pas para
tratar de forma global los problemas implicados en esta
especialidad. As nacen las I Jornadas de Evaluacin y
Medicin.
La importancia disciplinar de este tipo de reuniones es
evidente y est refrendada no slo por el impacto social del
tema, sino por el reconocimiento acadmico -cientfico que
supone el hecho de que materias de esta especialidad (Medicin
Educativa, Construccin de Instrumentos y Pruebas,
Metodologa de Evaluacin de Programas, Centros y
Profesores, ...-por citar las ms frecuentes-) han sido
incorporadas bien como materias troncales u obligatorias en la
mayor parte de Planes de Estudios de titulaciones del rea
Educativa, como las Licenciaturas en Pedagoga y en
Psicopedagoga o las Diplomaturas en Educacin Social o en
Logopedia. Ahora, con la revisin de las titulaciones en marcha,
debido al proceso de Convergencia Europea, vuelve a ser
importante dinamizar esta reflexin, desde la necesidad ya
consolidada de que los diferentes profesionales de la educacin
tengan una slida formacin en cuestiones de Medicin y
Evaluacin.
As, ms tarde de lo inicialmente previsto, presentamos
en este documento las ponencias que fueron defendidas en las
Jornadas de Medicin y Evaluacin, con el objetivo de que sirva
de compendio de las reflexiones y propuestas planteadas en ese
momento y de punto de partida para un nuevo momento de
revisin. Algunas de las aportaciones han sido ya publicadas en


9
formatos y lugares diversos, pero hemos querido presentarlas
todas, puesto que fueron componentes de un hito en el
desarrollo del rea de Medicin y Evaluacin, y la reflexin, el
estado de la cuestin en ese momento y lugar estara
inacabada sin ellas.
Terminamos esta presentacin con la misma idea que
lanzamos en aquel momento, que vuelve a ser totalmente actual
y pertinente:
La evolucin de esta disciplina en nuestro pas requiere de un
momento de reflexin, de intercambio, en el que se analicen los
Programas de Evaluacin que se han desarrollado, as como las
soluciones metodolgicas que se han adoptado, para poder identificar
elementos de innovacin y mejora de este tipo de procesos.
Sera el momento, quiz, de pensar en una segunda
ocasin de encuentro y reflexin sobre cuestiones de Medicin
y Evaluacin en Educacin.

Valencia, octubre de 2005
Jess Jornet Meli
Grupo de Evaluacin y Medicin
Coordinador


10
ESTNDARES EN LA EVALUACIN EDUCATIVA
Arturo de la Orden Hoz
Universidad Complutense de Madrid

INTRODUCCIN

Los estndares como especificacin precisa de la
instancia de referencia en evaluacin, se constituyen en
determinantes de la decisin sobre el objeto evaluado-
promocionar, certificar, seleccionar, acreditar, habilitar
profesionalmente, etc.-.
En la evaluacin de resultados educativos los estndares
se identifican con el modelo de aprendizaje de los alumnos y
determinan el conjunto de decisiones de seleccin, clasificacin,
calificacin y promocin a todos los niveles del sistema.
De una u otra manera, los estndares han estado
presentes en la evaluacin educativa desde las primeras
manifestaciones en la evaluacin del aprendizaje de los
alumnos por los profesores y en la evaluacin de los profesores
por la Inspeccin, especialmente a partir de la
profesionalizacin de este Servicio en los primeros aos 30:
Los maestros recurran a niveles no explcitos de
conocimientos para clasificar y calificar a los alumnos.


11
Los inspectores, igualmente, utilizaban niveles de
competencia para proponer a los profesores premios y
sanciones.
As mismo, las pruebas para seleccionar profesores
suponan y componan algn tipo de estndar o nivel de
conocimientos y destrezas profesionales.
Es, sin embargo, el movimiento en pro de la formulacin
de objetivos en los aos 50 y 60, el que marca el inicio de la
referencia a estndares para la evaluacin de los estudiantes.
En efecto, en las obras ms utilizados como gua para la
formulacin de objetivos en esta poca (Bloom, 1956; Mager,
1962; Landsheere, 1977; Rodrguez Dieguez, 1979; en Espaa un
poco despus) se considera, junto a otros componentes del
objetivo bien formulado, la necesidad de establecer estndares o
criterios, para determinar con precisin si los alumnos haban
alcanzado tal objetivo.
Este estndar o criterio, se constituira en la base para la
elaboracin de los tems y de las pruebas de rendimiento
acadmico. Un ejemplo de este tipo de estndar sera: Se
considera que el alumno ha logrado el objetivo si responde
correctamente a X de los N tems de un test apropiado.
Al generalizarse la evaluacin, en principio a
programas educativos, y despus, a cualquier faceta o
elemento de la educacin, o a su manifestacin sistemtica en
un contexto dado- profesores, centros, sistemas educativos, la
propia evaluacin educativa- la referencia a estndares de una
u otra forma se ha hecho habitual, es decir, se ha generalizado
en el mismo grado que la evaluacin.
En la actualidad, la evaluacin del rendimiento de los
sistemas educativos, con la aplicacin masiva de pruebas a
amplias muestras de alumnos, junto a la necesidad de certificar
y acreditar niveles de calidad a centros, profesores y otros
profesionales, ha generado un nuevo inters por los estndares.
Incluso, los criterios para valorar la evaluacin de programas
elaborados por el Joint Committee (1981 y 1994) se han
publicado bajo la denominacin de Standars for program
evaluation.
Las fuerzas identificables en la base de la preocupacin y
el nfasis actual por el establecimiento de estndares de


12
rendimiento en los sistemas educativos son muchas. Podramos
aludir a cambios en las polticas y en el gobierno y gestin de la
educacin, que dibujan una situacin de alejamiento de la
tradicional tendencia a regular procesos mediante un conjunto
de normas y controles burocrticos, sustituda por un modelo
que apunta a dejar mayor libertad a escuelas y profesores,
exigiendo a cambio, unos resultados ms especficos, un
rendimiento bien definido, constatable y medible.
Por otra parte, la preocupacin por la equidad,
identificada en este caso por la equiparacin en el rendimiento
de los alumnos procedentes de distintos grupos tnicos,
lingsticos, culturales, econmicos, etc., ha impulsado tambin
la tendencia a utilizar estndares.
Asimismo, como veremos a continuacin, en el caso
paradigmtico de los Estados Unidos, el inters pblico y social
por un alto rendimiento de las escuelas y los estudiantes, ms
all de las implicaciones del "minimum competency testing" de
los aos 70, como base de la promocin social de cada
individuo y la competitividad econmica de la nacin, ha dado
un giro singular al uso de estndares.
stas y otras causas pueden rastrearse en este cambio
que apunta a una gestin de la educacin basada en los
resultados y en el producto. Ello implica decidir y definir con
precisin que es lo que los alumnos deben aprender en la
escuela que incluya lo que nos gustara que aprendiesen, junto
a lo que razonablemente puede esperarse que aprendan.
En otras palabras, se precisa establecer metas educativas
claras y estndares de resultados de aprendizaje y un sistema
paralelo de evaluacin para constatar en que grado se emplean
tales estndares.
Finalmente, la expansin del movimiento hacia una
evaluacin del rendimiento, centrado en las realizaciones del
alumno como muestra de los aprendizajes reales Performance
Assessment- partiendo de la idea de que las tareas implicadas en
las pruebas tradicionales no representan adecuadamente las
adquisiciones reales de los alumnos, es decir, los tests y pruebas
de eleccin de respuesta, por ejemplo, no seran lo
suficientemente vlidos, llev a considerar como manifestacin
autntica del producto educativo y, por tanto, como objeto de
evaluacin, tareas mucho ms amplias que las implicadas en los


13
tems de las pruebas tradicionales (evaluacin autntica, Ancess
y Darling Hamnond 1994-). Esta concepcin ha forzado a
establecer unos estndares que permitan valorar con fiabilidad
estas tareas. Estos estndares obviamente se alejan de los
tradicionales centrados en puntuaciones que representan tems
correcta o incorrectamente contestados.
Con estas premisas volveremos al planteamiento actual
de los estndares en el contexto de la evaluacin del
rendimiento de los sistemas de educacin.

ESTNDARES NACIONALES DE EDUCACIN

El nfasis actual sobre los estndares nacionales de
educacin y la discusin sistemtica sobre el tema, arranca,
quiz, de 1988-1989, cuando en la reunin del Presidente y los
gobernadores de los Estados Unidos celebrada en
Charlottesville (Va) establecieron seis grandes metas a lograr
por la educacin americana en el ao 2000. Se cre en 1990 el
National Education Goals Panet (NEGP) para responder ante la
sociedad del logro de tales metas y este Panel centr su trabajo
en los Estndares.
En el tercer informe anual sobre las metas educativas, el
NEGP estableca ...para asegurar el logro de las metas es
necesario desarrollar unos estndares nacionales claros que
reflejen lo que deseamos que los estudiantes sepan y sean
capaces de hacer (1993).
Un primer paso fue crear el Consejo Nacional sobre
Estndares y Pruebas Educativas (N.C.E.S.T.) para asesorar y
orientar sobre la deseabilidad y la viabilidad de los estndares
nacionales y recomendar estrategias y mecanismos para
establecerlos.
En el informe de 1992, el NCEST concluye que los
estndares nacionales de Evaluacin son viables y deseables y
recomienda mecanismos para su establecimiento y esto se
refleja en la Ley: Goals 2000, Educate America.
En el mismo periodo de tiempo surgi tambin The New
Standars projet (1993) (Proyecto de Nuevos Estndares)
integrado en torno al Learning Research and Development


14
Center de la Universidad de Pittsburgh y el National Center on
Education and the Economy de Rochester (N. York) y su equipo
de gobierno integra gobernadores estatales, legisladores,
representantes de los distritos escolares, empresarios, lderes
sociales, etc.
Esta asociacin, al margen del gobierno federal, se cre
para responder a la nueva necesidad puesta de manifiesto por
la gran demanda de evaluacin basada en claros estndares de
realizacin. Propuso el llamado Thinking Curriculum, que
enfatiza ensear a usar el conocimiento para razonar y resolver
problemas, y sustituir las pruebas tradicionales por la
realizacin de tareas ms complejas y el portafolio para la
evaluacin del rendimiento, basada en altos estndares de
logro.
Aunque el trmino de estndar ha sido usado y sigue
usndose en forma diversa, en general, de modo explcito o
implcito, aluden a expectativas altas de aprendizaje. Se espera
que los estndares sean altos y equiparables a los ms altos de
la comunidad internacional, es decir, lo que en la literatura
sobre el tema, y por analoga con las competiciones atlticas
(juegos olmpicos, etc.), denominan estndares world-class,
comparables con los de otros pases y en la lnea de la
competitividad a nivel mundial. Por ejemplo, una de las metas
formuladas por el N.E.G.P. (1993), anteriormente citado, para el
ao 2000 es que los estudiantes americanos de educacin
secundaria sern los primeros del mundo en Matemticas y
Ciencias. De una u otra forma, es frecuente en las bibliografas
nacionales sobre estndares, la necesidad de referencias
internacionales y la deseabilidad de establecer los estndares en
clave de niveles de rendimiento world-class (NCEST, 1992).
Aunque no se mencione, es evidente como afirman Linn y
Berker (1995) que este nfasis internacional surge en el contexto
actual que acenta la competicin econmica global,
asumiendo una relacin estrecha, no claramente establecida,
entre logros educativos de un pas y su competitividad
econmica. Esta perspectiva econmica, incrementa la
importancia percibida de obtener estndares de logros
educativos internacionalmente contrastados (benchmarked) en
determinadas reas (especialmente Matemticas y Ciencias)
para comparar con fiabilidad a los estndares de un pas con los


15
de otros. Esto se ha hecho en las evaluaciones internacionales
(IAE, 1995 y 1997).
Aunque la referencia criterial parece implicada en el uso
de estndares lo que el alumno debe aprender, debe saber o
saber hacer- los estndares world-class, como referencia a las
mejores marcas educativas mundiales, suponen una referencia
claramente normativa. En efecto, con todos los problemas que
plantean las comparaciones internacionales (adecuacin de las
medidas, la traduccin de la evaluacin a diferentes lenguajes,
diferencias en poblaciones y diseos de muestras, etc.), que
deben ser considerados, se acepta la utilidad de usar los
resultados de las evaluaciones internacionales para establecer
estndares nacionales (benchworks) identificados con las
puntuaciones de los pases mejor clasificados (National
Academy of Education, 1993).

TIPOS DE ESTNDARES

Durante los ltimos aos se han identificado distintos
tipos de estndares:
De contenido (Content Standars)
De realizacin (Performance Standars). Se trata de
niveles de rendimiento (aceptable, sobresaliente).
Tambin se han sealado en otra perspectiva los
estndares de oportunidad para aprender (adecuacin de las
oportunidades ofrecidas a los estudiantes), que no sern
considerados en este trabajo.
Los estndares de contenido y de rendimiento son
distintos, pero estn interrelacionados. Los estndares de
contenido describen el conocimiento, destrezas y otras
capacidades que la escuela debe ensear para que los alumnos
alcancen altos niveles de competencia al enfrentarse con las
materias de enseanza. Los estndares de rendimiento suponen
el establecimiento de varios niveles de competencia de los
alumnos al enfrentarse con las materias de enseanza incluidas
en los estndares de contenido.


16
En sntesis, los estndares de contenido definen lo que se
espera que los maestros y profesores enseen y los alumnos
aprendan, mientras que los estndares de rendimiento definen
los niveles de logro que se consideran aceptables o
sobresalientes.
Los estndares de rendimiento definen en qu grado el
buen rendimiento es suficientemente bueno.
Indican, por un lado, el tipo de evidencia (un ensayo,
una prueba matemtica, un experimento cientfico, un proyecto,
un examen o una combinacin de dos o ms) que se requiere
para demostrar que los estndares de contenido han sido
alcanzados; y por otro, la calidad de las realizaciones del
estudiante que se considera aceptable (qu merece ser aprobado
y qu sobresaliente o excelente).
Para determinar si los estndares de contenido han sido
satisfechos, es decir, para evaluar el grado en que los
contenidos son aprendidos, la condicin necesaria es que tales
estndares sean constatables, que sean lo suficientemente
especficos para que su logro sea medible. El nfasis en la
naturaleza de la evidencia, implica la necesidad de analizar las
tareas de evaluacin que deben realizar los estudiantes, en
trminos de los estndares de contenido.
En cuanto a la calidad del rendimiento del estudiante,
requiere el anlisis de ejemplos y muestras de tareas
evaluativas apropiadas y ejemplos de realizaciones y
rendimientos de los alumnos de tal forma que las caractersticas
de trabajo aceptable, sobresaliente o de otros niveles, puedan
ser claramente articuladas. Hay quien objeta que un anlisis
estricto de referencia criterial de las tareas y de las realizaciones
puede lograrse sin necesidad de recurrir a realizaciones o
rendimientos reales de los estudiantes, lo que permite imaginar
que los estndares de rendimiento podran ser establecidos ms
all de los niveles normalmente logrados por los estudiantes.
Esto sera suficiente para los tests tradicionales con respuestas
correctas claramente definidas para los tems. Pero no para
otras tareas evaluativas ms amplias que, incluso, exigen el uso
de ejemplos reales de realizacin de tareas como instancias de
comparacin (benchmarking).
Para las realizaciones con las que comparar los ms altos
estndares se puede recurrir a las realizaciones de estudiantes


17
ms avanzados o de expertos. Es la nica forma de especificar
adecuadamente los estndares de rendimiento en las formas de
evaluacin basadas en realizaciones amplias (performance
assessment).

PROCESO PARA EL ESTABLECIMIENTO DE ESTNDARES PARA LA
EVALUACIN EDUCATIVA

En el contexto de la evaluacin de sistemas educativos,
el proceso para el establecimiento de estndares debera seguir
en lneas generales un itinerario similar al siguiente:
- Formulacin de metas claras y precisas para cada
materia y grado de enseanza.
- Formulacin de los estndares de contenido, lo que
supone determinar con precisin lo que los alumnos
deben saber y saber hacer respecto de cada materia al
finalizar cada grado.
- Formulacin de tareas evaluativas especficas en
relacin con los estndares de contenido en cada
materia.
Slo a travs de las tareas evaluativas y las
realizaciones de los estudiantes puede obtenerse
evidencia de que han aprendido lo previsto en los
estndares de contenido.
- Fijacin (por consenso?) de niveles (estndares) de
rendimiento aceptable.
- Fijacin de niveles (estndares) de rendimiento
superior.
- Establecimiento del diseo de evaluacin del sistema
educativo a travs de su producto.
- Establecimiento de puntuaciones de corte congruentes
con los niveles de rendimiento en la escala utilizada
para expresar los resultados de la evaluacin, con la
posibilidad de referencia a los resultados educativos
en otros pases (benchmarking).


18
El hecho de tomar como estndares los puntos de corte
ha suscitado ciertas crticas apoyadas en el argumento de que
los alumnos en un punto de corte pueden no demostrar que
poseen los conocimientos y habilidades sealadas en los
estndares.

Este proceso supone la sistematizacin de programas de
evaluacin del rendimiento vinculados a un organismo
autnomo que pueda llevar a cabo los trabajos y estudios
tendentes al establecimiento de estndares y al desarrollo y
perfeccionamiento de diversos tipos de pruebas y tareas
evaluativas.


19
Bibliografa
Bloom, B. y otros (1956). Taxonomy of Educational
Objetives.Cognitive Domain. N.York, McKay.
Darling- Hammond, L., Ancess, J. y Falk, B. (1995). Authentic
Assessment in Action. N. York, Teachers College Pron.
IEA (1997) Third International Mathematies and Science Study.
Joint Committee on Standards for Educational Evaluation
(1994). The Program Evaluation Standards. Thousand
Oaks, CA. Safe Publications.
Landsheere, V. Y Landsheere, G. (1977). Objetivos de la
Educacin. Barcelona, Oikos-tan.
Linn, R. y Baker, E. (1995). What do International Assessment
Imply for World-class Standards? End Evaluation and
Policy Analysis. 17(4), 405-418.
National Academy of Education (1993). Setting Performance
Standards for Student Achievement. Stanford, CA.
NCEST (1992). Raising Standards for American Education.
Washington, D.C.
NEGP (1993). The National Education Goals Report. Washington,
D.C.
NEGP (1993).Promises to keep creating High Standards for
American Students.Washington, D.C.
New Standards Project (1993).Effective Publie Engagement.
Washington, D.C.
Rodrguez Dieguez, J.L. (1979). Objetivos Educativos. Valencia.
ICE Universidad de Valencia.


20
PARADIGMAS ALTERNATIVOS EN LA EVALUACIN
Pilar Cols Bravo

INTRODUCCIN

La prctica cientfico educativa, en la que se incluye la
evaluacin, traduce un plano epistemolgico. ste constituye el
principal motor de la investigacin, al operar en la construccin
del objeto cientfico y en la delimitacin de las problemticas de
la investigacin en una dimensin discursiva. Los procesos
discursivos son lenguajes por medio de los cuales el objeto
cientfico toma forma.
El momento actual se caracteriza por la emergencia de
nuevos paradigmas: Postmodernista y Feminista, que se
posicionan en una visin externa de la ciencia y generan nuevos
discursos cientficos. La inclusin de estas nuevas visiones
como perspectivas paradigmticas que orientan la actividad
cientfico educativa y evaluativa resulta pertinente desde
mltiples planos: conceptual o terico en tanto propone modos de
ver, analizar e interpretar la realidad, pragmtico, en cuanto
propone prcticas cientficas alternativas, epistemolgico por
cuanto generan nuevos discursos cientficos y lenguajes que
traducen nuevas formas de percibir y comprender la realidad, y
teleolgico al proponer valores y fines cientficos alternativos.
El paradigma Postmodernista y Feminista participan de
ciertos conceptos y posicionamientos con el paradigma Crtico.


21
Abogan por conceptos como multiplicidad, diferencia y
diversidad entre otros (Kincheloe y McLaren, 1994).
En nuestra posterior exposicin expondremos, como
antecedentes des estos paradigmas, algunos de los rasgos del
paradigma crtico que constituyen el ncleo matriz de lo que
hemos denominado paradigmas emergentes: postmodernista y
feminista.

PARADIGMA CRTICO

La teora crtica tiene sus races en la tradicin alemana de
la escuela de Francfort. Comienza con estudios crticos de la
sociedad desde unos supuestos tericos amplios que incluan la
crtica a los modelos positivistas. Esta corriente engloba filosofas
derivadas del marxismo y tiene su mximo apogeo entre 1965-
1975. Pretenda ser una alternativa a los modelos tericos
dominantes; fenomenologa y neopositivismo. Sus primeros
representantes Adorno, Marcuse y Horkheimer se mostraron
preocupados por el dominio de las ciencias positivistas y el grado
en que stas se haban convertido en un elemento poderoso de la
ideologa del siglo XX. Para ellos la ciencia se converta en una
ideologa, en un modo producido culturalmente y socialmente
respaldado, que a su vez, configuraba y diriga la accin social.
Fue Jrgen Habermas, sucesor de Horkheimer (principal terico)
quien articula de forma hbil y creativa la historia de las ideas y la
teora social, en una teora crtica del conocimiento que ya haban
iniciado Adorno y Horkheimer. Los pilares bsicos sobre los que
se asienta esta teora parten del proyecto intelectual de recuperar
elementos del pensamiento social, como valores, juicios e
intereses, para integrarlos en una nueva concepcin de ciencia
social que mantenga un concepto riguroso del conocimiento
objetivo en el estudio de la vida humana y social (Rubio, 1984).
Algunas de las caractersticas ms relevantes de este
planteamiento pueden girar en torno a las siguientes cuestiones:
a) Ni la "ciencia" ni los procedimientos metodolgicos
empleados son aspticos, puros y objetivos. El conocimiento
nunca es el producto de un agente "puro" que se halle en
actitud desinteresada, por el contrario, se construye siempre en
base a intereses que parten de las necesidades naturales de la


22
especie humana y que se configuran por las condiciones
histricas y sociales. Por tanto, la ciencia slo ofrece un tipo de
conocimiento entre otros.
b) El tipo de explicacin de la realidad que ofrece la
ciencia no es objetiva ni neutral, ya que obedece a un
determinado inters humano al que sirve. En este punto
adquiere especial importancia la teora del conocimiento de
Habermas. Segn este autor el saber humano se origina en
virtud de tres intereses: "tcnico", "prctico" y "emancipatorio". El
inters tcnico lleva a adquirir conocimientos que facilitan un
control tcnico de los objetos naturales. El saber resultante es
tpicamente un saber instrumental que adopta la forma de
explicaciones cientficas y es caracterstico de las ciencias
emprico-analticas o naturales. El saber prctico sirve para
comprender y clarificar las condiciones para la comunicacin y
el dilogo significativo. Genera por tanto un conocimiento
interpretativo capaz de informar y guiar el juicio prctico. Este
tipo de saber es propio de las ciencias hermeneticas o
interpretativas. El inters emancipador pretende la autonoma
racional y liberadora del hombre. Se conseguir mediante la
capacitacin de los sujetos para la participacin y
transformacin social. En el conocimiento emancipador
adquiere especial relevancia la conexin entre hechos, valores y
mltiples formas del contexto histrico-social. El tipo de
conocimiento que se genera es autorreflexivo; siendo especfico
de las ciencias crticas.
La misin de las ciencias crticas es disolver las limitaciones
sociales estructuralmente impuestas haciendo que los mecanismos
causales subyacentes sean visibles para aquellos a quienes afectan, a fin
de permitirles una superacin de los problemas sociales.
c) La metodologa que se propugna desde la ciencia social
crtica es la crtica ideolgica. Esta libera de los dictados y
limitaciones de la mentalidad y de las formas de vida social
establecidas. Tambin se incorporan procedimientos
metodolgicos del psicoanlisis. Este posibilitar una
comprensin de la situacin real de cada individuo, descubriendo
sus verdaderos intereses a travs de la crtica a la explicacin de la
realidad que le ofrece el sistema ideolgico dominante. La
autorreflexin, conocimiento interno y personalizado, permitir
tomar conciencia de cmo la historia y la biografa contribuyen en
la forma de verse cada uno, en los roles de cada uno y en las


23
expectativas sociales. La emancipacin se realizar a nivel
libidinal, institucional y ambiental. Algunas proyecciones
metodolgicas se desarrollan posteriormente desde otros
enfoques y paradigmas que se derivan de esta perspectiva.
Desde el punto de vista crtico, la realidad es dinmica y
evolutiva. Los sujetos son agentes activos en la configuracin y
construccin de esa realidad que tiene un sentido histrico y
social. La finalidad de la ciencia no ha de ser solamente explicar
y comprender la realidad, aunque ello sea necesario, sino
contribuir a la alteracin de la misma. La investigacin ser el
medio que posibilite a los sujetos analizar la realidad,
concienciarse de su situacin e incorporar dinamismo a la
evolucin de los valores y la sociedad. La ciencia y la
investigacin no sern un privilegio exclusivo de una
determinada clase social o intelectual, sino que ser un medio
legtimo de aprender en cualquier clase social.
Los valores ocupan un lugar predominante en la
perspectiva crtica; cualquier tipo de conocimiento y de ciencia
lleva implcita una ideologa que justifica y racionaliza las
prcticas y manifestaciones sociales y cientficas. Por tanto, la
ciencia y el conocimiento pueden convertirse en medios de
explotacin o de liberacin de los individuos segn el tipo de
valores que los orienten.
Puesto que la teora en la ciencia social crtica versa sobre
la praxis social y es una forma de ciencia social destinada a su
puesta en prctica, exige una participacin del investigador en la
accin social, o dicho de otra forma, que los participantes se
conviertan en investigadores. Esta caracterstica la distingue muy
claramente de las posiciones positivistas e interpretativas. El
investigador "objetivo" de las ciencias naturales y el observador en
actitud de empata de la ciencia interpretativa nicamente podrn
captar lo exterior de la accin al permanecer ajenos a la
organizacin de la autorreflexin. Desde la posicin crtica, la
colaboracin activa del prctico y de las comunidades educativas
y sociales es imprescindible en la creacin y produccin cientfica.
La exposicin precedente forma parte de la obra de Cols
y Buenda (1998). En ella se plantean las derivaciones
metodolgicas del Paradigma Crtico.


24
PARADIGMAS EMERGENTES

Desde una perspectiva socio-paradigmtica nuevos
paradigmas dan cobertura a una parte importante de la
produccin cientfica actual en diversos campos cientficos;
economa, historia, sociologa, etc. Nuestro propsito es hacer una
presentacin de los mismos desde una perspectiva cientfico
educativa. Su inclusin marca nuevas directrices en lneas de
trabajos cientficos.
En las ltimas cuatro dcadas se produce un cambio en
la epistemologa tradicional que se articula dentro de dos
movimientos el postmodernismo y el feminismo. Ambos
comparten ciertos desarrollos comunes, aunque su relacin a
veces no es fcil.
Tanto el feminismo como el postmodernismo cambian la
concepcin epistemolgica tradicional, esencialmente en cuanto
a la referencia poltica, entendindose poltica en el sentido de
desarrollo del poder. Los fundamentos en la epistemologa
tradicional lo constituyen los datos empricos y el pensamiento
racional, y por tanto, no existe un espacio poltico en la
elaboracin de creaciones cientficas.
Tanto una como otra propuesta epistemolgica incide en
llamar la atencin sobre la profunda e irreductible conexin
que existe entre conocimiento y poder. El postmodernismo
cambia la supuesta neutralidad de la epistemologa tradicional,
argumentando que las categoras fundamentales de verdad y
conocimiento, no slo son irreductiblemente complejas y
ambiguas, sino que estn saturadas con polticas.
El paradigma feminista toma como punto esencial de
referencia la opresin de las mujeres. Dentro del mismo se
incluyen otras identidades tales como clase, raza, nacionalidad
que incrementan la complejidad y a la vez la ambigedad de
esta epistemologa. Este debate ha ido ganando importancia en
las ltimas dcadas en el marco europeo con autores de
reconocido prestigio tales como Lyotard, Foucault, Derrida y
Braudillard.


25
Paradigma postmodernista

El postmodernismo puede entenderse como una teora
social que describe el momento actual. Es en los ltimos aos
cuando comienza a perfilarse y a conceptualizarse a travs de
publicaciones cada vez ms abundantes. El postmodernismo se
presenta como una teora que trata de explicar el estado actual
de la sociedad. Esta forma de estar trasciende a las
concepciones y movimientos educativos y por tanto a las
metodologas de investigacin educativa. Sus rasgos o
caractersticas tienen resonancia en el mundo educativo y
concretamente en la visin cientfica de la educacin.
No abordaremos su presentacin desde un punto de
vista exclusivamente terico desde los distintos planos a los que
ha lugar su anlisis (filosfico, econmico, social, cultural, etc.).
Nos ceiremos a aquellos aspectos que, a nuestro entender, son
importantes para comprender esta perspectiva y los fenmenos
o consecuencias educativas que se derivan del mismo.
La postmodernidad se entiende como ruptura, crtica,
oposicin y distanciamiento de la Modernidad y por tanto a las
ideas que la definen. Estas se concretan, resumidamente, en el
valor de la Razn como explicacin de todo, la creencia en el
progreso como consecuencia de la ciencia y la razn, y la
concepcin de la historia marcada por un sentido interno que
conduce a mundos mejores. Por tanto el modernismo se define por
un conjunto de ideas interrelacionadas, modernizacin,
racionalizacin y progreso y una visin implcita de la perfectibilidad
gradual de la sociedad, que se debera conseguir a travs de una
planificacin racional y una reforma social (Morley, 1998: 88).
La postmodernidad hace su aparicin cuando se observa
la incompetencia del proyecto modernista, y por tanto, cuando
ste pierde credibilidad en relacin al poder de la razn y la
esperanza de la felicidad, a raz de los acontecimientos
histricos acaecidos en este ltimo siglo (guerras mundiales, el
exterminio nazi, la guerra de Vietnam, el desastre de
Chernobyl, la guerra del Golfo y las insatisfactorias condiciones
de la humanidad marcadas por el hambre, las desigualdades, el
paro, las polticas totalitarias, las desigualdades norte-sur, etc).
La esperanza puesta en el progreso cientfico tambin se ve
empaada por los usos irracionales y no humanizados de los


26
mismos, tales como la carrera de armamentos y las armas
nucleares o el cuestionamiento tico de aplicaciones cientficas
tales como la clonacin que pueden llevar a una liberacin o a
un sometimiento del hombre, pero en cualquier caso recrudece
las diferencias entre pobres y ricos.
Ante este panorama nada optimista y alentador con
relacin a la mejora de la humanidad se alzan voces
(ecologistas, pacifistas, feministas, grupos gays, etc.) que
reivindican la recuperacin de una naturaleza degradada, la
paz en el mundo y la igualdad entre seres humanos. Con estas
metas se crean organizaciones y movimientos asociacionistas
que trabajan y se movilizan en retos concretos para lograr
mejoras reales y no utpicas para la humanidad.
El movimiento postmodernista, no obstante, resulta
bastante impreciso tanto en su fecha de origen e inicio como en
los factores que lo condicionan y en las lecturas que se hace del
mismo. As, por ejemplo, Lyotard y Lipovetsky lo sitan en la
dcada de los sesenta, mientras Ballesteros lo presenta a finales
de los setenta y Pic en los ochenta. Para Lyotard su origen
viene marcado por la transformacin de los conocimientos
debidos a la investigacin y a la ciberntica. Lipovetsky, en
cambio, toma como referencia los movimientos sociales y
culturales. Otros autores entre los que se encuentra Jameson
(1984) observan el postmodernismo como una lgica y
experiencia cultural que es el producto de un cambio en las
estructuras sociales y econmicas. Por tanto el postmodernismo
es la consecuencia cultural del capitalismo tardo, de las
transformaciones fundamentales que la sociedad ha
experimentado en las estructuras econmicas que a su vez han
provocado cambios culturales. De ah que se plantee el
postmodernismo como la cultura de la sociedad postindustrial
que deja de tener fe y creer en las metateoras.
Cules son las ideas o aspectos que definen el
movimiento postmoderno?. Se identifican basndose en la
oposicin al modernismo. Hebdige (1988) sintetiza el carcter
postmodernista sobre la base de tres ncleos de negaciones.
a) Contra la totalizacin, (sin soluciones definitivas).
Los postmodernistas rechazan la reivindicacin universalista
por la que se pretende conocer la verdad de la condicin
humana o hablar sobre conceptos abstractos como la justicia y


27
la sociedad. Abogan por una posicin micropoltica, lo que
supone luchas a nivel local y sobre asuntos determinados.
Algunos estudiosos del tema la definen en estos trminos tales
como Lozano (1989: 24). La postmodernidad es el rechazo de
los sistemas cerrados totalizantes (y potencialmente totalitarios)
que explican todo y que han justificado muchos sufrimientos
con la tranquilidad de quien lo hace por principios. Queda claro
que la postmodernidad no es la desvalorizacin de todos los
valores (aunque, efectivamente, en algunas de sus versiones as
lo sea) sino la desvalorizacin de los valores supremos.
b) Contra la teleologa (no se puede estar seguro de
nada). Los postmodernistas no aceptan el modelo
explicativo de fondo del universo que pretende descubrir una
verdad oculta detrs de la apariencia, como ocurre con el
marxismo, psicoanlisis o estructuralismo. En esta idea
redunda la definicin de Muoz (1986: 6-7). Se trata de un
vasto movimiento de unmaking presidido por el rechazo
radical de toda ambicin de totalidad, por el ejercicio
implacable de la duda epistemolgica y ontolgica, por el
nfasis en el pluralismo, el descentralismo, en la diferencia, en
la indeterminacin y la "inmanencia.
c) Contra la utopa frente a la cual la presente sociedad
podra ser juzgada y condenada como deficiente. Lipovetsky
(1990: 115) cifra la originalidad de este movimiento en el
predominio de lo individual sobre lo universal, de la
comunicacin sobre la politizacin, de la diversidad sobre la
homogeneidad, de lo permisivo sobre lo coercitivo. En este
sentido tambin Pic (1988: 13) expresa el movimiento de
deconstruccin que supone el postmodernismo y que se
traduce en un compromiso ideolgico con las minoras en
poltica, sexo y lenguaje. Esta teora de deconstruccin la
personifican hoy Derrida y Foucault, entre otros.
De forma ms analtica se dira que los autores
postmodernos coinciden en sealar como rasgos caractersticos
los siguientes: El desencanto de la razn, incredulidad en los
grandes relatos, disolucin del sentido de la historia. Al
perderse, por tanto, el imperialismo de lo verdadero, la
postmodernidad abre el camino al relativismo cultural,
afirmando lo cotidiano, lo inmediato; asumiendo las diferencias
y particularismos, y exaltando los movimientos pacifistas,
ecologistas y feministas. Este movimiento cala en las parcelas


28
culturales bsicas de la sociedad: el arte, la arquitectura, la
pintura, la poltica, la literatura, los medios de comunicacin, la
creacin visual, etc.

Postmodernidad y educacin.
Todos estos cambios se dejan sentir y tienen efectos en
el mbito educativo. La ruptura con los valores bsicos que
guan a la educacin genera un nuevo marco de referencia para
la educacin que se reflejan segn Gervilla (1993) en:
a) Predominio de lo relativo frente a lo absoluto, las
certezas y el fundamento estable.
b) El valor del pluralismo y la diversidad frente a la
homogeneidad. La educacin para la diversidad o la
educacin multicultural son las proyecciones
aplicativas de esta asuncin.
c) El valor de lo individual sobre lo colectivo y del
subjetivismo sobre el objetivismo.
d) El valor de lo cotidiano, lo presente e inmediato.

Todo este planteamiento conlleva una ruptura y por
tanto un momento de crisis en las referencias de modelos
educativos y objetivos formativos. Pero qu repercusiones
tiene en la Investigacin educativa y en los patrones
metodolgicos?. El siguiente apartado lo dedicamos a esbozar
algunas de estas consecuencias o manifestaciones.

Postmodernidad e Investigacin educativa
El postmodernismo, como corriente de pensamiento que
se instala en el acerbo cultural en los ltimos aos, se manifiesta
en prcticas y concepciones cientficas educativas. Si bien no
abundan las ilustraciones explcitas que muestren la expresin
de este movimiento intelectual en la educacin e investigacin,
si tenemos datos, ciertamente aislados y no integrados o
sistematizados bajo la cobertura de una concepcin ms global
o general, que son indicios de cambios que estn operando en
las prcticas investigadoras. Algunos de estos cambios, segn


29
Constans (1998:26), entroncan con los movimientos
intelectuales relacionados con la condicin postmoderna que
conlleva una orientacin poltica y no se restringe nicamente a
una prctica cientfica. Para el postmodernismo la poltica es el
eje sobre el que se expresa su posicin. La poltica se traduce
en distintas vertientes, tomndose el discurso como principal
recurso de investigacin. El discurso es definido, en sentido
extenso, como un medio comunicativo que afecta a las formas
de comunicacin, a la construccin del conocimiento y que
tiene efectos y consecuencias en las transformaciones
socioculturales. El inters estriba en comprender las relaciones
de poder que constituyen el inters de muchas reas de
investigacin educativa, mientras los discursos son el medio
primario mediante el cual las relaciones de poder son
entendidas, negociada y mediadas. De ah que el discurso,
gnero discursivo y el anlisis discursivo sean considerados
elementos claves en la investigacin postmoderna. La
concepcin poltica de los postmodernos concierne a cinco
temas: conocimiento, valores, sociedad, cultura e historia.
El vertiginoso avance de las innovaciones tecnolgicas
tiene un enorme impacto social en tanto redefinen la naturaleza
de las relaciones sociales, alteran los convencionales medios de
produccin y hacen completamente impredecible su evolucin
en una trayectoria futura. Esta nueva realidad hace que se
cuestionen los fundamentos del pensamiento moderno. Por
tanto se crea una nueva sociedad caracterizada por la
globalidad y la individualidad. Frente a la unidad se aboga por
la diversidad y de ah que se busque comprender las divisiones
que existen entre cultura tnica, clases sociales, comunidades
lingsticas e identidades basadas en gneros, originando la
prevalencia de estudios culturales, investigaciones feministas y
estudios sobre diferencias lingsticas, de ah el impacto del
postmodernismo en los estudios culturales. Lo que en suma
supone aceptar y reivindicar una poltica cultural de la
diferencia frente a la cultura de la homogeneidad (West, 1992:
65). Esta nueva poltica cultural de la diferencia, se hace
extensiva a colectivos marginados (gays y lesbianas)
desmovilizados, despolitizados y desorganizados. Esta
aproximacin a colectivos socialmente desfavorecidos se
entronca con la teora crtica, de ah que se pueda considerar
que los postmodernistas representan una rama importante de
las teoras de Adorno, Habermas y Marcuse. Por tanto, algunas


30
races del discurso postmodernista puede tambin encontrarse
en la tradicin de la teora crtica.
Junto con esta idea de heterogeneidad social frente a
unidad, tambin prevalece el cuestionamiento de la
racionalidad, al desestimar el sentido de una gran teora sobre
la base de estudios que avalan su certeza y que propician
prediccin de acontecimientos futuros. Frente a esto se aboga
por un conocimiento local. Se observa el mundo como un lugar
indeterminado en el que caben mltiples descripciones. El
postmodernismo rompe la idea cultural de la ciencia a la que
acompaan fundamentos axiomticos y postulados que la
guan.
La aportacin de Constans (1998a y 1998b) constituye un
intento de analizar y sistematizar las consecuencias tanto a
nivel terico como prctico que origina el maridaje de la
retrica del postmodernismo con la investigacin educativa. El
autor ofrece una breve panormica del postmodernismo y sus
aplicaciones a la investigacin educativa. Esboza algunas
implicaciones asociadas con el cambio del discurso en la
investigacin educativa (Constans, 1998a). Para este autor el
postmodernismo afecta a: patrones metodolgicos, contenidos de la
investigacin educativa y fundamentos disciplinarios. En un artculo
posterior (1998b), realiza un anlisis de las caractersticas
definitorias de la investigacin educativa postmodernista,
planteando su descripcin en base a sus fines polticos, sus
prcticas metodolgicas y su estilo de representacin. La
dimensin poltica aborda como una cuestin sustantiva los
rasgos de poder que se observan, tanto en lo que se considera
correcto como en el inevitable efecto de los procesos de
investigacin educativa. En la dimensin metodolgica analiza
las estrategias utilizadas para la recogida de datos (en el caso de
estudios empricos), y la construccin de argumentos (en el caso
de estudios tericos). En la dimensin representacional se
describen diferentes estilos de expresin y comunicacin que
pueden ser utilizados para la comunicacin cientfica.
La posicin epistemolgica del postmodernismo incide
en la legitimacin del conocimiento, el postmodernismo
abandona la ambicin de unidad, certeza y prediccin. Tiende a
cuestionar el valor de racionalidad, desestimar una gran teora
y ponerse a favor de un conocimiento local a travs de una
comprensin sistemtica, abstenerse de estudios a gran escala y


31
observar el mundo como un lugar indeterminado dentro de
coherentes descripciones. Se plantea el status cientfico
otorgado a diferentes formas de conocimiento, aceptndose un
conocimiento localizado, junto con otras variedades de
conocimiento.
Desde el punto de vista metodolgico el
postmodernismo adopta una metodologa narrativa. Su
aceptacin cientfica ha venido propiciada por la popularidad
alcanzada por la metodologa cualitativa. Tal como apuntan
Packwood y Sikes (1996) la metodologa narrativa responde a
las nociones o conceptos que se desarrollan desde el
postmodernismo. Pero el postmodernismo puede ir ms all en
cuestiones metodolgicas de lo que es la adscripcin de una
determinada metodologa a la investigacin educativa. Ofrece
un enfoque que concierne a la narratividad de la individualidad
y al conocimiento situado, y a la naturaleza parcial, cambiante y
contradictoria del conocimiento.
Los estudios culturales, como anteriormente hemos
referido, tienen elementos comunes con el planteamiento
postmodernista. De ah que entendamos que el pensamiento
postmodernista proyecte prcticas investigadoras que hoy en
da constituyen lneas de investigacin reconocidas y que a su
vez aporte un significado y racionalidad a prcticas cientficas
existentes.

Paradigma feminista

El paradigma feminista, as como el postmodernista,
representan perspectivas acordes con los cambios sociales a los
que estamos asistiendo y suponen reformulaciones en la
investigacin educativa. Griffiths (1995) hace un anlisis de su
valor para la investigacin educativa. El feminismo como
posicin terica aporta un marco conceptual que permite el
anlisis de la realidad educativa a distintos niveles. Las
prcticas educativas, tanto a nivel formal como no formal estn
impregnadas y daadas por el sexismo. Pero tambin afecta a
las prcticas cientficas educativas. La aspiracin del paradigma
feminista estriba en desarrollar y elaborar conocimientos no
sometidos a la distorsin sexista. En ello se incluye la


32
posibilidad de trabajar con metodologas no sexistas en cuanto
a la obtencin del conocimiento y a su uso.
La evolucin de los movimientos feministas a lo largo de
su existencia ha propiciado el crecimiento de ramas y
derivaciones. El texto de Alison Jaggar (1983) Feminist Politics
and Human Nature, incluye un minucioso anlisis de los
diferentes tipos de feminismo: liberal, marxista, radical y
socialista. El deseo de sistematizacin de sus manifestaciones,
que claramente se diversifican, lleva a Eisenstein (1984) a
plantear una divisin: feminismos que enfatizan la igualdad
con el hombre (en esta lnea se situara el feminismo liberal,
marxista y socialista) y feminismos que enfatizan la diferencia
con relacin a los hombres (feminismo radical). El feminismo
radical enfatiza que la dominacin de las mujeres por el hombre
tiene sus races en la irreductible diferencia entre machos y
hembras. Por tanto su anlisis se sita en una visin sexual
(natural o esencialista). En ambos planteamientos es fcil caer
en la valorizacin de la feminidad como la construyen los
hombres, basndose en la dicotomizacin del gnero. La
corriente francesa toma una direccin distinta a partir del uso
de las ideas de Derrida sobre la diferencia en la deconstruccin
del discurso.
La complejidad y variedad de posiciones que se incluyen
en la perspectiva feminista da pi a que tampoco resulte
homognea su posicin y planteamientos en relacin con el
desarrollo cientfico y por tanto que cada corriente adopte
posiciones diferenciadas. As por ejemplo Irigaray (1977, 1987),
representante del feminismo francs, provee una crtica al
imaginario masculino que genera una racionalidad que se
caracteriza por el principio de identidad, el principio de no-
contradiccin y el binarismo. Donna Haraway (1995), que se
sita en un punto de inflexin entre el post-estructuralismo y la
posicin feminista social, pone el acento en el conocimiento
situado. La nica forma de tener una visin amplia es situarse
en algn lugar particular. Sandra Harding (1995) aludiendo a la
fragmentacin del postmodernismo reivindica la subjetividad
del investigador en trminos de gnero, clase y raza como
elementos cruciales en el diseo de la investigacin y que deben
tenerse en cuenta cuando se habla de creencias falsas y menos
falsas. No se puede aceptar la transcendentalidad de las
creencias que mantiene la epistemologa tradicional. Por


33
tanto se revela una epistemologa basada en la democracia y
en las comunidades de resistencia a los discursos dominantes.

Epistemologa desde el punto de vista feminista.
A pesar de la diversificacin de estas corrientes, todas
ellas se mueven en una instancia poltica y en todas ellas
valores y poder con conceptos organizadores. Y as, poltica
y valores preceden a la epistemologa y los hechos no estn
libres de valores, de hecho no pueden darse separados de ellos.
Otro aspecto propio del paradigma feminista es la importancia
de s mismo o la subjetividad, que indican la conciencia
subjetiva de un individuo. En el mbito anglosajn se traduce
por experiencia y en el mbito continental como subjetividad o
posicionamiento para indicar tanto la opacidad de la
subjetividad como su provisionalidad. Ninguna de las ramas
feministas asume que la perspectiva del ser humano individual
puede ser suplantada por el punto de vista desde el no lugar o
por el ojo de Dios. Para la construccin del conocimiento se
prefieren los puntos de vista sometidos porque presentan unas
descripciones del mundo ms adecuadas, fundadas, objetivas y
transformadoras, segn Haraway. Las mujeres pueden conocer
el mundo de diversas formas vlidas, a los que sus opresores no
pueden acceder. Todas ellas asumen que la subjetividad es el
punto de arranque. Para la construccin del conocimiento se
prefieren los puntos de vista sometidos, porque presentan
descripciones del mundo ms adecuadas, fundadas, objetivas y
transformadoras, segn Haraway. Las mujeres pueden conocer
el mundo de diversas formas vlidas, a las que sus opresores no
pueden acceder, as lo plantea Harding.
Por tanto la posicin o conciencia en el discurso son slo
el primer paso en una empresa colectiva desde una perspectiva
feminista. Es necesario, segn Irigaray, fomentar una
comunidad femenina en la que descubrir una subjetividad
femenina diferente de la nica creada por los hombres,
metodolgicamente es necesario hacer explcito las situaciones
particulares y la de los propios sujetos.
Acker y Otros (1983) sintetizan en tres los principios que
se mantienen comnmente en las investigaciones feministas:


34
a) Contribuyen a la liberacin del sexo femenino por
hacer recomendaciones a las mujeres que les puede
afectar.
b) Preferencia de tcnicas de investigacin no jerrquicas.
c) Desarrollo de una perspectiva de auto-reflexin que es
crtica con los enfoques convencionales.
Las metas u objetivos cientficos quedan expresados en
la siguiente cita textual recogida del encuentro de 1973 de la
Organizacin de Mujeres Mozambiqueas.
El principal objetivo de la revolucin es destruir el sistema
de explotacin y construir una nueva sociedad que dignifique el
potencial del ser humano, reconcilindolo con su trabajo y su
naturaleza. Este es el contexto dentro del cual la cuestin de la
emancipacin de las mujeres surge y se produce.
La proyeccin feminista en la ciencia y la sociedad se
hace cada vez ms patente y recurrente en las polticas
internacionales y nacionales. As la UNESCO promueve la
ltima Conferencia Mundial de Naciones Unidas sobre la Mujer
celebrada en Pekn en 1995, foro en el que se discuten y
proponen polticas de igualdad. A nivel Nacional la Comisin
Interministerial de Ciencia y Tecnologa incorpora dentro del
III Plan Nacional de Investigacin Cientfica y Desarrollo
Tecnolgico un Programa Sectorial de Estudios de la Mujer y
del Gnero.

El paradigma feminista como anlisis crtico de la
ciencia.
Las prcticas cientficas convencionales contienen un
sesgo androcntrico evidente, tanto en los conceptos y las
categoras que utilizan en la indagacion cientfica, como en los
marcos tericos en los que se inscriben. El paradigma feminista
incorpora una nueva forma de ver la realidad social y educativa
en la que incluye como elemento indispensable las relaciones de
gnero, lo que propicia una eclosin heterognea de ideas,
debates y propuestas.
El paradigma feminista aporta una aproximacin
epistemolgica, lneas de investigacin, modelos tericos,


35
propuestas metodolgicas y temticas de investigacin desde
la consideracin del gnero.
Un eje que articula las crticas feministas a la ciencia
tradicional es el sesgo androcntrico de la investigacin, que
tiene una doble incidencia. Por un lado provoca discriminacin
en la mujer para el acceso a la ciencia, y por otro, es la causa de
la mala ciencia.
El sesgo androcntrico a nivel estructural se plasma en el
escaso acceso de la mujer a la produccin cientfica y en las
barreras que encuentran las mujeres para ocupar puestos
decisivos en las directrices de la ciencia y la tecnologa, y en la
elaboracin del discurso cientfico. Una representacin de la
mujer (cuantitativa y crtica) en la ciencia posibilita la
pluralidad de visiones o puntos de vista, as como la
incorporacin de sus necesidades en la eleccin de los
problemas de investigacin. La discriminacin de la mujer en
los circuitos cientficos impide que la ciencia considere
diferentes experiencias e intereses.
En Espaa, segn un estudio realizado por el Instituto
de la Mujer en 1993, se observa que las mujeres no estn
suficientemente representadas en los espacios donde se definen
los modos reconocidos de hacer ciencia, las lneas prioritarias
de investigacin y sus posteriores aplicaciones, tampoco en la
estructura y metodologa de las disciplinas, ni en los modelos
educativos.
Desde un punto de vista ms interno las crticas al
androcentrismo cientfico se concretan, segn Harding (1995:
73-97), en:
a) Que ciertos modelos convencionales, en la definicin
de campos cientficos, pasan por alto importantes reas de
investigacin social. Por ejemplo la funcin de la emocin en la
vida y estructura social tiende a hacerse invisible en los anlisis
que se centran exclusivamente en la racionalidad. Sin embargo
la conciencia del sentimiento o la emocin son elementos
importantes en las creencias y conductas personales y sociales.
b) La realidad social y educativa se observa a travs de
espacios y situaciones pblicas, institucionales y visibles. Otros
mbitos no oficiales, privados e invisibles pueden tener la


36
misma importancia en la explicacin de los fenmenos sociales
y educativos.
c) El olvido de los espacios privados, asignados a las
mujeres socialmente y culturalmente, hace que los logros de las
mujeres no se hagan visibles y que aparezcan los hombres
histricamente como los creadores de la vida comunitaria.
d) En la investigacin, con frecuencia, se asume la
existencia de una sociedad nica, en el sentido de hacerse
generalizaciones sobre todos los participantes, aunque, en
realidad, los hombres y mujeres habitan mundos sociales
diferentes, sin que se tenga en cuenta esta diferencia. As un
mismo matrimonio constituye dos realidades diferentes para el
esposo y la esposa; este hecho invalida las generalizaciones
sobre el matrimonio que no sealen ni expliquen la diferencia
de posicin e intereses. El concepto de sociedad nica, por
tanto, afecta a la definicin conceptual de los problemas de
investigacin. En numerosas lneas de trabajo cientfico
educativo no se tiene en cuenta el gnero como factor
explicativo de conductas, aunque es posible que sea una de las
variables ms importantes en la educacin.
e) Ciertas metodologas de investigacin (con
frecuencia cuantitativas) y situaciones de investigacin
(investigadores masculinos que estudien situaciones en las que
estn involucradas mujeres) pueden impedir sistemticamente
la manifestacin de determinados tipos de informaciones,
aunque esta informacin no desvelada sea la ms importante
para explicar el fenmeno de estudio. La preferencia por el
trabajo con variables, en vez de personas, se asocia a un estilo
masculino de control. Por tanto el gnero del investigador
condiciona los datos y los resultados que se obtienen, en tanto
se produce una comunicacin selectiva y deformada en la
expresin de creencias, deseos y conductas en funcin de la
combinatoria de gneros que interaccionen.
Estos sesgos androcntricos fundamentan el
cuestionamiento de las pretensiones de neutralidad de la
ciencia hecha por hombres.
Una tercera dimensin del anlisis feminista de la
ciencia discurre por derroteros marcados por la historia, la
sociologa y la psicologa de la ciencia. El anlisis de la ciencia
desde la perspectiva cultural plantea que el estereotipo cultural


37
de la ciencia dura, rigurosa, racional, impersonal, no
emocional y competitiva- est inextricablemente entrelazada a
cuestiones relativas a identidades de gnero de los hombres. Lo
cientfico y lo masculino son constructos culturales que se
refuerzan mutuamente. Este continuo y mutuo apoyo refuerza
su reafirmacin. La ciencia apoya y reafirma el androcentrismo
con prcticas en las que predomina lo masculino, y ste su
fundamento racional presuntamente cientfico y objetivo. Este
conjunto de asociaciones produce mala ciencia y conduce a
modelos falsos y demasiado simplificados de la naturaleza y de
la investigacin, ya que atribuyen relaciones de poder y
estructuras jerrquicas all donde no existen ni son necesarias.
Las cualidades y valores tipificados como femeninos son
catalogados sistemticamente como no cientficos.
Estas concepciones culturales producen
microdesigualdades. Anclan actitudes y comportamientos
visibles e invisibles que crean un clima hostil que anima a
desistir a las mujeres a incorporarse a los circuitos cientfico y
tcnicos.
Una de las ramas del paradigma feminista se sita en
una perspectiva cultural. Se entiende la ciencia y la tecnologa
dentro de una cultura, no aislada, y sin conexin con ella. Es
aqu donde el paradigma feminista entronca con el enfoque
sociocultural de la ciencia. Nos parece pertinente exponer este
planteamiento por un doble motivo. Es una perspectiva que
toma como punto de referencia bsico la creacin y uso de la
ciencia y de la tecnologa, y por otro entronca con la corriente
sociocultural que caracteriza los ltimos cambios
paradigmticos.
El paradigma feminista realiza un anlisis crtico de la
ciencia y la tecnologa predominante y plantea la necesidad de
estructurar representaciones alternativas de la relacin entre
naturaleza y cultura. A pesar de que el debate sobre ciencia y
tecnologa ha ocupado la atencin durante, al menos 20 aos,
representa una trayectoria relativamente nueva en el contexto
de los estudios culturales en los que se ha incorporado el clsico
debate sobre ciencia y tecnologa que comienza a iniciarse a
partir de los aos 80. Haraway (1995) ofrece una interpretacin
feminista postmoderna de la ciencia y de la tecnologa. Extiende
su anlisis mas all del gnero, abordando la raza y otros
aspectos de la identidad y de la diferencia. Esta autora emplea


38
un marco terico y poltico que est en consonancia con las
actuales tendencias culturales. Se aboga por la poltica de la
diferencia- racial, sexual, cultural -, en la que todas ellas puedan
combinarse y articularse en una gran pluralidad. Esta autora
plantea un anlisis feminista de la ciencia como fenmeno cultural.
Articula los anlisis feministas sobre la tecnologa y la
representacin con aquellos sobre la ciencia y la epistemologa.
El paradigma feminista plantea la relacin entre tecnologa,
representacin y produccin de conocimientos cientficos y
culturales. Este planteamiento supone un reconocimiento de
que la ciencia y la tecnologa no se dan separadas de la cultura
en la que actan. Por tanto se considera que estn involucradas
en las prcticas simblicas y materiales de una sociedad que
est estructurada por divisiones econmicas, de gnero,
raciales, etc. En todo ello late una crtica a la estructura de
poder y conocimiento en la tecnociencia. La transformacin de
dichas estructuras ofrece una visin futura diferente de la
cultura cientfica. Algunos de los planteamientos del paradigma
feminista desde el enfoque cultural se traduce en los siguientes
trminos (Kember, 1998):
A) El capitalismo y el patriarcado regulan la relacin de
la mujer con la ciencia y con las tecnologas, en el hogar, el
trabajo y en la educacin. Esta ideologa y lgica de justificacin
se expresa en un discurso que vincula las diferencias de gnero
a diferencias biolgicas o sexuales (esencialismo) y generan una
forma de interpretar el mundo de forma binaria y jerrquica.
B) Se reivindica una ciencia feminista alternativa en la
que se incorporen los valores del feminismo como alternativa a
la corriente dominante de la ciencia, que se considera no
adecuada, porque incorpora valores capitalistas y patriarcales.
Se aboga por valorar cualidades marginadas y excluidas de la
produccin predominante de la ciencia. Se pretende crear una
epistemologa en la que se revise el pensamiento y el
conocimiento desde esta perspectiva. En ello se considera
importante el reconocimiento de la diversidad femenina tanto
en formas de identidad como de experiencia. Se plantean
conocimientos personificados, es decir, se reconoce el papel de la
experiencia y de la identidad en la formacin del conocimiento
y no se esconde tras el velo de la universalidad y la neutralidad.
Este planteamiento supone una relativizacin de la verdad
cientfica y aporta un fundamento contextual. Tal y como


39
Haraway (1995) expresa, es preciso ver y conocer desde un
punto de vista que no sea el propio y esto exige un grado de
movilidad a travs de distintas posiciones como sujeto.
C) Las construcciones feministas de la ciencia se basan
en la crtica a la ciencia patriarcal dominante y a su cultura. El
cambio puede alcanzarse a travs de una intervencin directa
en la produccin de la ciencia y de la tecnologa, pero tambin
interviniendo en la creacin epistemolgica, ya que esta
tradicionalmente discrimina a las mujeres a travs de su
estructura jerrquica y sus premisas esencialistas.
D) El discurso epistemolgico gira en torno a la crtica
al esencialismo y la idea de personificacin. Como crtica al
esencialismo se denuncia la discriminacin de la mujer en la
estructura de la ciencia. Los hombres, que tienen acceso en
mayores porcentajes que las mujeres a la ciencia y a la
tecnologa, tienen el poder de definir, representar y controlar a
las mujeres a travs de los tipos de ciencia y tecnologa que
producen. Una de las conclusiones opuestas al esencialismo es
que los hombres tienden a la racionalidad y al control, no por
factores biolgicos, sino gracias a los dictados y convenciones
de la sociedad. Es por tanto el resultado de una construccin
cultural e histrica del gnero. Esta nueva visin posibilita
cambios, mientras la anterior la hace inamovible. Al ser una
construccin cultural es refutable (Wajcman, 1991: 137). La idea
de personificacin se traduce en que la ciencia ya no se percibe
como neutral y objetiva, sino marcada por su propia ideologa y
sistema de autojustificacin. La perspectiva feminista sigue
aceptando la existencia de una realidad verdadera y los
mtodos cientficos como medios para establecerla. Pero la
aceptacin de una pluralidad de perspectivas, implica aceptar
un cierto grado de escepticismo respecto a todas las
pretensiones universalizadoras, caracterstica propia del
postmodernismo. As se construye una epistemologa feminista
sobre la base de verdades relativistas en lugar de universalistas.
Tambin se incorpora la nocin de diferencia en relacin con la
experiencia y la identidad. Dona Haraway es una singular
defensora de la personificacin como postura epistemolgica y
para ella es la nica garanta de que pueda contarse con
cualquier tipo de objetividad. Reconocer la parcialidad y el
posicionamiento en la produccin de conocimiento es una
forma de asumir la responsabilidad del tipo de conocimiento


40
que se est produciendo. Es precisamente con esta posicin con
la que es posible el dilogo con los dems. Con los
conocimientos universalistas no hay espacio para el dilogo.

Derivaciones metodolgicas del paradigma feminista
Metodolgicamente el paradigma feminista se traduce
en la necesidad de estudiar los discursos y a travs de ellos
reconocer voces y hacer emerger voces distintas a la
hegemona masculina para conseguir que sean escuchadas y
tenidas en cuenta en las elaboraciones discursivas. Es un craso
error entender que el paradigma feminista significa realizar
investigacin sobre, por y para las mujeres. Se entiende en
trminos de antipositivismo, oposicin a los estereotipos, y
contra el enfoque preferente que gira en torno a la
subordinacin de la mujer.
La especificidad del gnero debe constituir el teln de
fondo de todas las teoras, metodologas y acciones. Su
incorporacin a los mtodos tradicionales es importante para
corregir el sesgo que produce la construccin hegemnica
masculina.
El paradigma feminista cuestiona tambin las tcnicas de
anlisis estadstico para poder comprender las diferencias de
gnero, plantea opciones metodolgicas ms especficas tales
como observaciones situadas, informes de descripciones
individuales y discusiones de grupo. Los aspticos mtodos de
recogida de datos y anlisis simplemente desorientan el proceso
de investigacin y llevan a resultados y a explicaciones falsas o
inadecuadas (Oakley, 1981). Ello se hace patente en las
orientaciones dadas para la realizacin de entrevistas desde los
mtodos tradicionales en los que se prima la informacin
asptica del entrevistado y la no implicacin emocional del
entrevistador. Frente a esta aspsia de los datos, se aboga por
una recepcin de los datos desde sujetos conscientes. En este punto
se manifiesta la tensin entre la lgica del poder y el concepto
de recogida de datos. Ello se resuelve mediante la
reconceptualizacin del trmino recepcin de datos.
Se rechaza el mito de la objetividad y se opta por la
intersubjetividad entre el investigador y los sujetos. Este
principio proviene del interaccionismo simblico y de la


41
fenomenologa. La contribucin propia del paradigma feminista
estriba en el requerimiento de la conciencia y en alertar sobre
la incidencia de la ausencia de conciencia de gnero que afecta a
los resultados de la investigacin social. Se acepta la visin de
los sujetos investigados como seres iguales, y no inferiores, a la
visin del investigador. Este principio puede ser adoptado por
todos los cientficos sociales. Cain (1987) plantea que un sujeto
investigado tiene el poder para participar en la formulacin del
problema, en la eleccin de tcnicas y en la construccin de
explicaciones. Desde la perspectiva feminista se aboga por la
flexibilidad.

COMUNIDAD CIENTFICO EDUCATIVA Y NUEVOS PARADIGMAS

La incorporacin de nuevos paradigmas al debate
cientfico en educacin plantea dos interrogantes cmo llega a
admitirse un nuevo paradigma?, cules son los motivos que
llevan a los cientficos a admitir como nueva base de su
investigacin una nueva visin de la educacin y de su
investigacin?. Las respuestas que se pueden dar son muy
distintas segn el punto de referencia que tomemos. As, tanto
en la filosofa positivista como popperiana, la respuesta se sita
en el mbito de los argumentos lgicos. Para los positivistas y
neopositivistas, las nuevas teoras se admiten porque son
verificadas (o al menos, confirmadas) por la experiencia. Segn
Popper, las nuevas teoras han de ser falsables y, si la
experiencia desmiente alguna de sus consecuencias, se
abandonan mientras que en caso contrario se mantienen
provisionalmente. En ambos casos, lo decisivo son las pruebas
lgicas: la admisin de nuevas teoras est en funcin de su
verificacin o falsacin a partir de la experiencia. La respuesta
de Kuhn es muy diferente. Un nuevo paradigma no se admite
nica o principalmente a partir de argumentos lgicos, ya que
lleva consigo una nueva visin de la naturaleza y por tanto no
puede compararse con el antiguo paradigma. Kuhn habla en
este sentido de la inconmensurabilidad de los paradigmas, o
sea, de la imposibilidad de compararlos mediante un criterio
comn. Las revoluciones cientficas representan un cambio en
el concepto del mundo y, en esas circunstancias, no puede
hablarse de una experiencia neutral que sirviera para comparar


42
las consecuencias del antiguo y nuevo paradigma, ya que cada
paradigma provoca un modo diferente de considerar la
naturaleza y de enfocar los problemas cientficos. En definitiva,
Kuhn afirma que la competencia entre paradigmas no es el tipo de
batalla que pueda resolverse por medio de pruebas (Kuhn, 1984). La
aceptacin de nuevos paradigmas no se realiza a partir de
argumentos nicos y forzosamente decisivos, sino que
frecuentemente opera en base a la conversin, es decir, no
porque se rinda el adversario sino porque los cientficos llegan
a admitirla. Arregui (1997), plantea en esta cuestin que la
inconmensurabilidad no niega la existencia de comunicacin
intercultural: la caracteriza. El desarrollo de la ciencia y el
progreso cientfico se atribuye a la actividad de la ciencia
normal centrada en paradigmas cuyo valor no se discute, y otra
parte del progreso se debe a la introduccin de nuevos
paradigmas sin que sea posible demostrar inequvocamente su
superioridad respecto de los antiguos. En la investigacin
educativa Arturo de la Orden y Mafokozi (1997), definen la
situacin paradigmtica como emergente y evolutiva en tanto
se da una mayor profundizacin epistemolgica y
metodolgica.
La Universidad como espacio privilegiado de
elaboracin y transmisin de conocimiento, debe incorporar el
anlisis crtico sobre el carcter androcntrico de la ciencia y los
modos de legitimacin, transmisin y difusin del
conocimiento.

PARADIGMA POSTMODERNISTA Y FEMINISTA EN LA RED
INTERNET

El uso de las nuevas tecnologas de la informacin y
comunicacin origina cambios importantes en las formas de
produccin y en la difusin del conocimiento cientfico. El
acceso a los conocimientos cientficos queda abierto a la
sociedad y trasvasa la difusin restrictiva nicamente entre
especialistas. Estas nuevas herramientas producen cambios en
las formas tradicionales de comunicacin cientfica, que a su
vez afectan al desarrollo de la misma. Estas nuevas tecnologas
provocan la expansin de la produccin cientfica, la
heterogeneidad del mismo y la permeabilidad entre el sistema


43
universitario, cientfico y social. La universidad y los expertos
se ven a su vez beneficiados por la riqueza comunicativa y el
intercambio cientfico. El debate cientfico, por tanto, acerca de
los paradigmas que fundamentan la investigacin en ciencias
sociales se abre a la red y posibilitan incorporar visiones
distintas en funcin de la adscripcin a una determinada
escuela cientfica, o contexto cultural y profesional.
El paradigma feminista, novedoso en cuanto su abordaje
desde la perspectiva de la investigacin educativa cuenta con
fuentes en la red. Desde una perspectiva epistemolgica
Internet nos ofrece una seleccin de lecturas recomendadas y
textos ntegros, as como un directorio de recomendaciones1.
Tambin podemos encontrar direcciones mucho ms
especializadas como es el caso de aquellas que recopilan la
produccin cientfica sobre el paradigma feminista como es el
caso de las direcciones de Wellesley2, especializada en
publicaciones de investigacin empirca sobre la temtica de la
mujer la de Haverford3 (Directorio sobre revistas cientficas
que trabajan en el paradigma feminista) la propuesta de
Yahoo4 (directorio de revistas sobre el paradigma feminista).
Otra fuente de informacin y de recursos lo constituyen
las Organizaciones y Centros Cientficos y Asociaciones dedicados
al desarrollo de lneas de investigacin. El pensamiento
postmodernista es el centro de inters de Canadian Society for
Hermeneutics and Postmodern Thought cuyas producciones
pueden consultarse en la direccin de Ucalgary5.
La participacin en foros de debate y listas de distribucin
es posible a travs de la conexin en red a los siguientes
lugares: Directorio de grupos de noticias (feminismo,
postmodernismo, etc.)6, directorio de foros de discusin sobre
el feminismo y estudios sobre la mujer1.

1 http://billyboy.ius.indiana.edu/WomeninPhilosophy/WomeninPhilo.html
2 http://www.wellesley.edu/WCW/CRW/WROB/welcome.html
3 http://www.haverford.edu/library/reference/mschaus/mfi/journals.html
4 http://dir.yahoo.com/Social_Science/Women_s_Studies/Journals/
5 http://www.ucalgary.ca/~jking/csh/CSH_Bulletin.html
6 http://www.epistemelinks.com/News/AlphNews.htm


44
Bibliografa

Acker, S; Barry, K. y Esseveld, J. (1983). Objectivity and thruth:
problems in doing feminist research. En Womens Studies
International Forum, 6, 4: 423-435.
Agozino, B. (1995). Methodological issues in feminist research.
En Quality and Quantity, 29:287-298
Arregui, J. (1997). Inconmesurabilidad y relativismo: el
reconocimiento de lo humano. En Contrastes. Revista
Interdisciplinar de Filosofa, II: 27-51.
Benhabib, S. (1992). Situating the Self: Gender, Community and
Postmodernism. Cambridge: Polity Press.
Cain, M. (1987). Realism, feminism, methodology and law. En
International Journal of the Sociology of Law, 14: 225-267.
Carr, W. y Kemmis, S. (1988). Teora crtica de la enseanza.
Barcelona: Martnez Roca.
Clair, R.( Ed) (1996). La formacin cientfica de las mujeres. Madrid:
UNESCO/ Los libros de la catarata.
Cols, P. y Buenda, L. (1998) (3 ed.). Investigacin Educativa.
Sevilla: Alfar.
Constans, M. (1998a). The changing nature of Educational
Research. En Educational Research, 27, 9: 36-42.
Constans, M. (1998b). Deciphening Postmodern Educational
Research. En Educational Research, 27, 9: 36-42.
Curran, J; Morley, D. y Walkerdine, V. (1998): Estudios
Culturales y Comunicacin. Barcelona: Paids.
Eisenstein, H. (1984). Contemporary Feminist Thoght. London:
Unwin.
Fourez, G. (1994). La construccin del conocimiento cientfico.
Madrid: Narcea.
Fraser, N. (1989). Unruly practises: Power, Discourse and Gender in
Contemporary Social Theory. Cambridge: Polity Press.

1 http://www.epistemelinks.com/List/FemiList.htm


45
Gervilla, E. (1993). Postmodernidad y Educacin. Madrid:
Dykinson
Griffiths, M. (1995). Making a Difeference: feminism,post-
modernism and methodology of educational research.
En British Educational Research Journal, 21, 2: 219-235.
Habermas, J. (1984). Theory and Practice. Londres: Heinemann.
Haraway, D. (1995). Ciencia, Cyborgs y Mujeres: La reinvencin de
la naturaleza. Madrid: Ctedra.
Harding, S. (1995). Strong Objectivity: A response to the New
Objetivity Question. En Synthese, 104, 3: 331-349.
Harding, S. (1995). Ciencia y feminismo. Madrid: Morata
Hebdige, D. (1988). Hiding in the Light. Londres: Comedia/
Routledge.
Irigaray, L. (1997). Ce sexe qui nen est pas un. Pars: Minuit.
Irigaray, L. (1987) Is the subject of science sexed. En Hypatia: A
Journal of Feminist Philosophy, 2:65-88.
Jaggar, A. (1983). Feminist Politics and Human Nature.Totowa
NY: Rowman and Allanheld.
Jameson (1984). Postmodernism, or the Cultural Logic of late
Capitalism. En New Left Review, 146.
Kember, S. (1998). Feminismo, tecnologa y representacin. En
Curran, J.; Morley, D. y Walkerdine, V.(1998) (Comp.).
Estudios culturales y comunicacin: anlisis, produccin y
consumo cultural de las polticas de identidad y el
posmodernismo. Barcelona: Paids.
Kincheloe, J. Y McLaren, P. ( 1994). Rethinking Critical. Theory
and Qualitative Research en en Denzin, N. Y Lincoln, Y .
( Ed.). Handbook of Qualitative Research. London:
Thausand Oaks.
Kuhn, T. (1984). Segundos pensamientos sobre paradigmas. Madrid:
Tecnos.
Lyotard, J. F. (1984). La condicin postmoderna. Informe sobre el
saber. Madrid: Ctedra.
Lipovetsky, G. (1990). La era del vaco. Ensayos sobre el
individualismo contemporneo. Barcelona: Anagrama.


46
Lozano, J.M. (1989). De la condicin urbana como condicin
postmoderna. Cuadernos de Orientacin Familiar, 114.
Muoz, J. (1986). Inventario provisional (modernos,
postmodernos y antimodernos). En Revista de Occidente,
66.
Morley, D, (1998). El postmodernismo: una gua bsica en
Curran, J., Morley, D. y Walkerdine, V. (Eds.). Estudios
culturales y comunicacin. Barcelona: Paids.
Oakley, A. (1981). Interviewing women: a contradiction in
terms. En Roberts, H. (ed.). Doing Feminist Research.
London: Routhledge and Kegan Paul.
Olesen, V (1994). Feminisms and Models of Qualitative
Research en Denzin, N. Y Lincoln, Y . ( Ed.). Handbook of
Qualitative Research. London: Thausand Oaks.
Orden Hoz, A. y Mafokozi, J. (1997). Implicaciones de algunos
planteamientos epistemolgicos post-positivistas en la
investigacin educativa. En Bordn, 49, 4: 347-359.
Packwood, A. y Sikes, P. (1996). Adopting a postmodern
approach to research. En International Journal of
Qualitative Studies in Education, 9, 3: 335-347.
Pic, J. (1988). Modernidad y Postmodernidad. Madrid: Alianza
Editorial.
Rorty, R. (1991). Habermas and Lyotard on Postmodernity. En
Hosterev, I. (1991) (Eds.). Zeitgeisr in Babel: The
Postmodernist Controversy Bloomington: Indiana
University Press.
Rubio Carracedo, J. (1984). Positivismo, hermenutica y teora
crtica en las ciencias sociales. Barcelona:
Humanitas.Wajcman, J. (1991). Feminism Confrots
Technology. Cambridge: Politics Press-
West, C. (1992): The New Cultural Politics of Diference. En
Seidman (Ed.): The Postmodern Turn: New Perspectives on
Social Theory. Cambridge, U.K: Cambridge University
Press, 65-81.


47
EVALUACIN, ACREDITACIN Y CERTIFICACIN DE LA
FORMACIN PROFESIONAL, OCUPACIONAL Y
CONTINUA: UNAS NOTAS PARA LA REFLEXIN
Jess JORNET, Mara Jess PERALES y Amparo PREZ1

INTRODUCCIN

La evolucin social experimentada en los pases
desarrollados y en especial en el contexto europeo, ha puesto de
manifiesto la necesidad de la Formacin Ocupacional y
Continua como un elemento clave de dinamizacin social.
En el plano personal y social su rol es evidente: se trata de
un factor central de adaptacin de las personas, de preparacin
al cambio. En este sentido, se puede entender como un factor de
atencin continuada para que las personas puedan mejorar su
adaptacin socio-laboral, considerando la rapidez de
adecuacin a las nuevas situaciones. Asimismo, constituye un
elemento preventivo de la exclusin socio-laboral, al atenuar los
componentes de riesgo debidos a los cambios que se producen
en las necesidades y los requerimientos que se plantean.

1 Profesores del Departamento de Mtodos de Investigacin y
Diagnstico en Educacin de la Universitat de Valncia. Av Blasco
Ibez, 30. 46010 Valencia. jornet@uv.es ; perales@uv.es ;
pereza@uv.es


48

En el plano econmico, la empresa como unidad de
organizacin de la actividad requiere de una mejora constante
en sus recursos, tanto materiales como humanos. Su capacidad
para competir requiere de una optimizacin constante de los
mismos. Se trata de ser eficaz, eficiente y funcional; y no hay
que olvidar que la clave de todo ello reside en el factor humano.
Para que una empresa est bien dotada de medios materiales
requiere de un equipo directivo capaz, que anticipe las
necesidades y organice de forma adecuada su forma de
produccin y de relacin con el exterior (proveedores y
clientes); paralelamente necesita que los equipos de trabajo
estn bien ajustados, adaptados a las necesidades internas e
integrados en el sistema organizacional de la empresa.
En este marco, la Formacin para el Empleo es el
instrumento fundamental que nos permite adecuar ambos
planos y, por ello, ha sido, es y con toda seguridad ser en los
aos siguientes- objeto de atencin prioritaria en las polticas de
empleo de la Comunidad Europea (Delors, 1996; Comisin
Europea, 1993, 1994, 1995, 1997, 2000a, b, c y d).
Sin embargo, la posicin social de la Formacin para el
Empleo es compleja, pues se sita de forma trasversal a travs
de los diversos subsistemas de la Educacin: Formal, No-
Formal e Informal. La diversidad que implica esta posicin,
siendo una de las claves de su funcionalidad y versatilidad,
hace especialmente compleja la posibilidad de reconocer la
formacin adquirida por las personas. A la base de ello se
sitan los sistemas de Acreditacin y Certificacin1. En este
contexto, la Evaluacin se est convirtiendo en el instrumento
central para este tipo de procesos.
En este artculo revisaremos algunas consideraciones en
torno a este fenmeno, as como intentaremos aportar

1 Acreditacin: proceso mediante el cual se determinan las garantas de
calidad de los Programas de Formacin o de las Instituciones que los
imparten.
Certificacin: proceso mediante el cual se determinan las competencias
adquiridas por una persona a travs de un Programas de Formacin especfico
y/o la experiencia laboral.


49
elementos de reflexin acerca de los mbitos en que pueden
situarse los problemas y las posibles soluciones a los mismos.

ACREDITAR Y CERTIFICAR LA FORMACIN

La oferta de formacin y los subsistemas de la Educacin

La formacin para el empleo se sita entre los tres
subsistemas en que se produce la Educacin.
En el sistema formal, representado por el Sistema
Educativo, se identifican los elementos bsicos de formacin
inicial, estando orientada la Formacin Profesional Inicial a
aportar las bases propias de capacitacin en diversas reas
profesionales.
Los componentes de valoracin social de cada uno de
los niveles y alternativas (desde la Secundaria a la Universidad)
han implicado que durante mucho tiempo la Formacin
Profesional Inicial haya sido una alternativa ciertamente
empobrecida, tanto en medios como en valoracin social. Los
esfuerzos polticos realizados en los ltimos aos, pese a haber
supuesto un avance importante, todava no han logrado
remontar totalmente su valoracin efectiva de cara a la sociedad
y a la empresa. nicamente algunas de sus especialidades,
consideradas de mayor vanguardia tecnolgica, encuentran un
buen grado de aceptacin1.
Este mbito, no obstante, es reconocible en cuanto a sus
grados y niveles, por lo que no constituye un elemento
problemtico en cuanto a la Acreditacin de la calidad de las
instituciones o la Certificacin de las competencias adquiridas
por las personas que en l se forman. La homogeneizacin de

1 As, en la Comunidad Valenciana, tan slo un 3,9% de los alumnos que
finalizan la Educacin Primaria aspiran a realizar estudios de Formacin
Profesional, siendo un 49,1% los que desean llegar a estudiar una carrera
universitaria (Jornet et al, 2001a). Entre los alumnos que acaban la
Secundaria Obligatoria un 6,9% tiene la expectativa de realizar un Ciclo
Medio y un 11,10% uno Superior, frente al 52% que desean desarrollar
estudios universitarios (Jornet et al., 2001b).


50
los diseos curriculares que aporta el Sistema Educativo, as
como el control que se ejerce en cuanto a las instituciones que
imparten sus programas y las caractersticas del profesorado,
son una garanta suficiente.
En segundo lugar, la Formacin Ocupacional y
Continua se da en el mbito No-Formal; en l, es inherente la
falta de articulacin en cuanto a planes de actuacin, elementos
de diseo curricular, componentes de acreditacin, etc... En este
caso, la oferta de formacin est determinada bsicamente por
los programas de actuacin socio-polticos, que adoptan el
papel regulador de este mbito. Ello ...imprime a la misma sus
caractersticas esenciales: temporalidad (los planes de formacin
basados en enfoques sociopolticos se realizan para un periodo
determinado) y diversidad (curricular, de colectivos a que se dirige, de
instituciones que desarrollan la formacin, de modalidades en que se
produce, de efectos esperados y unidades sobre las que se orientan-
...) (Jornet et al., 2001; Perales 2002).


51

La desregulacin pone de manifiesto la necesidad de
procesos de Acreditacin y/o Certificacin, tanto para las
personas a las que se dirige la formacin como de las
instituciones que la desarrollan.
En este contexto, la Evaluacin de Programas e
Instituciones se est convirtiendo en un instrumento esencial
para el acercamiento a la Acreditacin y Certificacin. La
homogeneidad de las competencias adquiridas por las personas
en este tipo de Programas de Formacin es difcil de garantizar,
dada la diversidad curricular existente (bajo un mismo ttulo de
programa pueden desarrollarse acciones formativas muy
diversas, en cuanto a la duracin, objetivos y nivel de logro
Informal
Social
Individual
No-Formal
Programas Socio-
educativos
Instituciones
Formal
Sistema Educativo
Instituciones
Aula
Acciones
Formativas
Cuadro 1.
Representacin de los Escenarios en que se identifica la Situacin
Educativa (Jornet, 2001:54).


52
esperado), y la variabilidad de la calidad de las instituciones
formativas, coexistiendo en el mercado de formacin empresas
que ofrecen una elevada garanta de calidad en el desarrollo de
su oferta, junto a otras menos exigentes.
Esta diversificacin pone de manifiesto la necesidad de
establecer Estndares de Evaluacin que estn al servicio de los
procesos de Acreditacin y Certificacin. Garantizar la
competencia adquirida por las personas requiere
necesariamente de un acercamiento que pasa por acreditar las
tipologas de Programas y la calidad de las Instituciones que los
imparten. As, y slo as, se puede ir centrando el problema. En
esta lnea hay que destacar las aportaciones de la Metodologa
de Evaluacin de Programas de Formacin, en su vertiente
instructiva (Perales, 2000; 2002).
En este caso, se trata de establecer estndares que nos
permitan identificar la competencia a que conduce un tipo de
Programa determinado. Probablemente, la solucin al problema
no est en regular a modo de un sistema educativo, sino en
determinar una serie de componentes bsicos de tipo
procedimental protocolos de programacin-, que permitan
explicitar claramente los componentes de formacin implicados
en un Programa. De manera adicional, el control mediante
procesos de evaluacin de los niveles de capacitacin
adquiridos por las personas, junto a la calidad con que se
desarrolla la formacin, pueden constituir garantas suficientes
para la Acreditacin y Certificacin.
El tercer mbito, el Informal, es el ms complejo de
abordar. En l se identifica la formacin que adquiere la persona a
travs de su experiencia laboral. En este contexto, los problemas
obviamente son ms graves y diversos, segn el nivel y mbito
profesional de los trabajadores, de modo que buena parte de los
esfuerzos que se estn desarrollando en este mbito se orientan
a reconocer este tipo de formacin (como por ejemplo, los
NVQs en Gran Bretaa, o los desarrollos de Cualificacin que
se vienen produciendo en diversos pases, como Espaa) para
facilitar la Certificacin.
El reconocimiento de las competencias adquiridas por
este medio es fundamental, pues constituye la garanta que
requieren las empresas para la captacin de sus recursos
humanos, as como el reflejo de la competencia real de las


53
personas, su medio para facilitar la movilidad y promocin
socio-laboral. As, la identificacin de estndares relativos a la
capacitacin de las personas se puede considerar desde dos
perspectivas: en s mismas (satisfaccin, capacitacin, mejora y
promocin personal...) y como recurso econmico (Capital Humano
dentro de una empresa, sector o sociedad). Optar por una u otra
perspectiva afecta a la seleccin de indicadores que se utilizan en la
evaluacin as como a los estndares que se utilizan como criterio.
(Jornet et al. 2001).

La Acreditacin y Certificacin en los tipos de planes de
Evaluacin

La mayor parte de los planes de evaluacin que se han
ido desarrollando en este mbito no han abordado de forma
decidida estos problemas (la Acreditacin y la Certificacin). En
el Cuadro 2 se resumen los tipos bsicos que hemos descrito en
trabajos anteriores, por lo que no entraremos en ellos aqu
(Perales, 2000; Jornet, Surez y Perales, 2001; Jornet et al., 2002).
La tipologa que se presenta toma como criterio, la Unidad sobre
la que se producen efectos de la formacin, con lo que
identificamos seis tipos de Planes de Evaluacin a travs de la
Formacin Ocupacional y Continua; as como un sptimo tipo
en el que no se analizan sus efectos, sino la propia institucin
que realiza la formacin.


54

Desde el problema que nos ocupa, la Acreditacin y
Certificacin, nicamente en el tipo II, en el que se aborda la
certificacin de las personas, o en el tipo VII, que se orienta en
la mayor parte de los casos a la acreditacin de las instituciones,
se han contemplado estos problemas. En el primer caso, la
Certificacin se produce a partir de la prueba de las
competencias adquiridas en un Programa, mientras que en el
segundo la Acreditacin es consecuencia de la evaluacin de la
institucin.

Caractersticas del Plan de Evaluacin
Tipo Unidad de
Anlisis
Objeto Fuentes
I Persona Satisfaccin Alumnos y
Profesores
II Persona Capacitacin Alumnos y
Profesores
III Persona Utilizacin en
el trabajo
Alumnos y
Empleadores
IV Empresa Cambios en la
Organizacin
Trabajadores
V Empresa Incremento de
la Eficacia
Datos Estadsticos
de la Empresa
VI
E
v
.

d
e

l
o
s

e
f
e
c
t
o
s

d
e

l
a

f
o
r
m
a
c
i
n

Sociedad Impacto
socioeconmico
Datos sociales
VII Institucin
Formativa
Calidad de su
gestin
Implicados en la
Organizacin y
Usuarios

Cuadro 2.
Tipologa de los Planes de Evaluacin
de la Formacin (Jornet et al, 2002).


55
ALGUNAS REFLEXIONES SOBRE PROBLEMAS METODOLGICOS

En buena parte de los planes de evaluacin
mencionados, la clave en que radica su utilidad se sita en la
adecuacin del plan global de evaluacin y la gestin de la
informacin elementos en que se sintetiza la garanta de
validez de la misma-. No obstante, es posible identificar
algunas cuestiones que resultan crticas en la mayora de
planes. Hemos agrupado estas cuestiones como problemas
metodolgicos, y las revisaremos brevemente a continuacin:

1. La seleccin del enfoque que subyace a la evaluacin

El enfoque de cada plan debe ajustarse en virtud del
compromiso que se establece entre las caractersticas del objeto a
evaluar y la finalidad de la evaluacin. Ello constituye la definicin
bsica que debe orientar la planificacin completa de la
evaluacin, desde la seleccin de indicadores, instrumentos,
fuentes de informacin, momentos en que se recoge, hasta el
uso de la misma. Es obvio que una evaluacin que se oriente a
valorar, por ejemplo, la eficacia de un programa con fines
sumativos, de rendicin de cuentas- requiere de un
planteamiento radicalmente diferente de otra que se dirija a
detectar los elementos de mejora (funcionalidad y eficiencia,
por ejemplo) del mismo. En la primera, la necesidad del control
externo de la evaluacin ser un elemento clave, mientras que
en la segunda la participacin de todos los estamentos y/o
personas implicadas constituir la clave de su utilidad.
De esta forma, el enfoque metodolgico deviene del
compromiso mencionado; en este mbito, la
complementariedad entre aproximaciones de corte cuantitativo
y cualitativo se graduar de forma necesaria para satisfacer las
necesidades ltimas de la evaluacin (Prez Carbonell, 1999).
En la evaluacin de la Formacin Ocupacional y
Continua, y atendiendo a los elementos comentados al
comienzo de este trabajo, los procesos de Acreditacin y
Certificacin, se sustentan sobre enfoques bien diferenciados.
As, como decamos, la Acreditacin hace referencia a la


56
comprobacin de la calidad de un Programa o una Institucin,
de forma que se garantice que stos guardan los requisitos
mnimos respecto al producto formativo que pueden ofrecer.
Por ello, los enfoques metodolgicos que permiten los procesos
de acreditacin se dirigen a analizar las condiciones de
desarrollo en que se produce la formacin. De este modo, si se
trata de acreditar un Programa determinado, el plan de
evaluacin se orientar hacia la comprobacin de las
condiciones (infraestructura, materiales, personal) en que se
desarrolla la formacin, as como hacia los componentes del
diseo curricular del mismo. Metodolgicamente este tipo de
planes se sustentan sobre protocolos de actuacin evaluativa
(listas de comprobacin, registros observacionales...) que guan
la actuacin de evaluadores externos. En su caso, requieren del
seguimiento del desarrollo del programa, de forma que
originan un proceso de revisin que desemboca en la
acreditacin temporal o definitiva del mismo. Por su parte, la
Acreditacin de Instituciones se est convirtiendo en la garanta
usual que utilizan las administraciones pblicas en este
contexto1. Son necesarios procesos continuados de revisin, de
forma que la Institucin se considera acreditada despus de
pasar un proceso de evaluacin que implica, en ocasiones, una
intervencin de mejora sobre la misma. Estas aproximaciones,
de carcter organizacional, se han ido extendiendo en la
Comunidad Europea vinculadas al desarrollo de polticas de
calidad (desde Modelos diversos como el EFQM, las normas
ISO 9000, o el Modelo Europeo de Gestin de Calidad...). Desde
el punto de vista metodolgico, los enfoques, necesariamente
complejos, se apoyan en la colaboracin entre los miembros de
la Institucin a Acreditar y evaluadores externos. En ellos se
conjugan aproximaciones cuantitativas y cualitativas e incluyen
la acreditacin de los Programas que imparte la Institucin.
En otro orden de cosas, los procesos de Certificacin,
como hemos sealado, se dirigen a las personas. Dado que se
trata de garantizar la competencia o habilidad adquirida, se

1 Por ejemplo, en la Comunidad Valenciana, la Consellera de Trabajo
y Asuntos Sociales, en 1996, comenz un proceso de Homologacin de
los centros que concurran a la solicitud de ayudas para impartir este
tipo de programas. Este proceso es conceptualmente cercano al aqu
descrito correspondiente a Acreditacin (Perales, 2000; 2002).


57
centra sobre los outputs de la Formacin. Por ello, se sustenta
sobre la prueba o examen de las competencias. Este tipo de
situacin es la ms clara desde el punto de vista metodolgico y
supone normalmente un enfoque cuantitativo/cualitativo
ajustado en funcin del tipo de contenido o habilidad a
evaluar1. El proceso, como sealamos anteriormente, se
complica en tanto en cuanto se trate de certificar la competencia a
partir de la experiencia profesional, dado que la integracin de
elementos de formacin que provienen del mbito Informal no
ha sido resuelta an satisfactoriamente. Las soluciones
metodolgicas giran en torno a protocolos de revisin del
currculo vitae; sin embargo, es claro que ello slo es vlido en
la medida en que los curricula personales reflejen de forma
adecuada la experiencia real desarrollada en el mbito laboral.
Las dificultades que en ocasiones encuentran trabajadores y
empresas para reflejar de forma veraz la actuacin laboral (vgr.
Adecuacin del tipo de contrato a la actividad real
desempeada en la Empresa) constituyen la piedra angular
para hacer posible este tipo de reconocimiento. Por ello, los
enfoques, en este mbito, necesitan tanto de polticas de
actuacin socioeconmica que faciliten la transparencia, como
del desarrollo de una cultura empresarial que desde el APT-
defina claramente el rol y tareas que cada trabajador haya
desempeado en la empresa; por lo que no son en si mismos
problemas relacionados con la formacin. La realidad de la
cualificacin adquirida a travs de la experiencia laboral se
sustentar pues sobre protocolos evaluativos de revisin del
currculum vitae, si bien ser su calidad y representatividad la
que constituir la clave de la validez de tales tipos de
aproximaciones.
De los dos mbitos la Acreditacin y la Certificacin-, si
bien son preocupacin actual ambos, es el de la Acreditacin el
que est produciendo planes de actuacin evaluativa mejor
ajustados, que satisfacen adecuadamente los polticas de control
social que las administraciones pblicas requieren en la gestin
de la Formacin. Por su parte, la Certificacin en especial
aquella que incluya la experiencia laboral- presenta mayores
dificultades, de forma que los enfoques evaluativos encuentran

1 En el caso de competencias adquiridas mediante un Programa ya
acreditado, se considera suficiente garanta dicha acreditacin.


58
sus limites en los usos frecuentes que se producen en el
mercado laboral; si se superaran este tipo de problemas, los
enfoques evaluativos aportaran garantas suficientes para el
propsito que se requiere de ellos.

2. La seleccin de Indicadores, Instrumentos y Fuentes

Vinculado con el problema anterior, y como una
concretizacin del mismo, la seleccin de indicadores,
instrumentos y fuentes de informacin, constituye otro de los
elementos clave en los planes de evaluacin. Por Indicador
entendemos ...un dato o resultado susceptible de una interpretacin
normalizada acerca de un fenmeno. Los instrumentos, por su
parte sern los medios a travs de los cules se recoge la
informacin (una prueba, cuestionario, observacin...); mientras
que las fuentes hacen referencia a quien aporta la informacin
(personas alumnos, profesores, empleadores- o bases de
datos).
Los escenarios en que se produce la Formacin, la
modalidades, etc...imponen en muchas ocasiones criterios de
seleccin en los que se prima la operatividad de la recogida de
informacin sobre la adecuacin de la calidad del indicador, el
instrumento y la fuente a que se dirige. No obstante, puede
aspirarse a la adecuacin de esta seleccin si se utiliza algn
sistema que permita identificar los diversos elementos aludidos,
asignndoles un rol dentro de la Evaluacin. As, un ejemplo,
puede ser el Modelo CIPP de Stufflebeam, en que se identifican
variables de Entrada, Proceso, Producto y Contexto. Cada uno
de los indicadores as seleccionados puede ser asumido dentro
del plan de evaluacin de acuerdo con el valor y garantas de la
informacin que aporta. Asimismo, la representacin de las
fuentes desde las que se obtiene la informacin permite valorar
de forma adecuada cul es la ms apropiada, y operativizar el
plan de evaluacin. De este modo, la seleccin de fuentes
mltiples puede constituir una garanta de validez para
aquellos elementos sobre los que en definitiva se van a
sustentar las decisiones acerca de la valoracin ver Cuadro 3-.


59
3. Estndares de Evaluacin
Por Estndares entendemos la organizacin de los criterios
que permiten la toma de decisiones a partir de la evaluacin. Por ello,
constituyen otro de los elementos clave de cualquier Plan de
Evaluacin. Como en los casos anteriores, la diversidad de
situaciones que se dan en el mbito de la Formacin
Ocupacional y Continua hace, si cabe, ms compleja la
determinacin de Estndares. Lo cierto es que una evaluacin
que se realice sin Estndares corre el riesgo de convertirse en
una pseudo-evaluacin, fenmeno que se ha extendido en
demasa en el panorama evaluativo.


60
FUENTE: PROFESOR

Caractersticas del grupo:
Nivel de integracin
Nivel de conocimientos
Docencia:
Coordinacin con otros profesores
Metodologa (actividades)
Atencin de alumnos
Evaluacin Nivel Inicial de conocimientos
Evaluacin terica final
Evaluacin prctica final
Equipamiento pedaggico
Ambiente en el aula / Grado de importancia:
Disciplina
Participacin
Reflexin
Sentido crtico
Memorizacin
Motivacin
Madurez personal del alumno
Competitividad
Esfuerzo

Indicadores proceso
Asistencia
Consecucin de los Objetivos:
Logro de objetivos pedaggicos
Expectativas del profesor

Indicadores
posteriores
Expectativas de los alumnos
FUENTE: EMPRESA
Proceso de seleccin de los alumnos:
Responsabilidad (empresa/personal/otros)
Criterios (acadmicos/profesionales/otros)
Caractersticas de los alumnos:
Nmero alumnos
Antigedad en la empresa
Cualificacin profesional
Trabajo que desempean

Indicadores proceso
Sueldo


61

Cuadro 3. Muestra de la seleccin de indicadores para la evaluacin
de un Programa de Formacin: Indicadores de proceso, fuentes
Empresa y Profesorado (Extrado de Jornet, Surez y Belloch, 1998).

Obviamente los Estndares variarn segn el objeto y
finalidad de la Evaluacin, segn se trate, por ejemplo, de
Acreditar Programas o Instituciones- o Certificar la
competencia de una persona adquirida en un programa o a
travs de la experiencia laboral-. Sin embargo, las soluciones
cada vez ms aceptadas giran en torno al establecimiento de
estndares como expresin del consenso intersubjetivo que
representa la idea de calidad de aquello que se evala. Los
procesos, en estos casos, se sustentan sobre comits de expertos
en el problema evaluado en los que pueden participar personas
o representantes de las instituciones o programas a evaluar, en
la medida en que los procesos de evaluacin impliquen una
orientacin hacia la mejora. Del mismo modo, cuando se trate
de Certificar el grado de conocimiento de una persona
adquirido en un programa, y se utilice una prueba
estandarizada para evaluarlo, el criterio de interpretacin es
absoluto, por lo que debe ser determinado de forma
intersubjetiva (Jornet y Surez, 1996).
Por ello, es necesario abordar de forma decidida
procedimientos de anlisis de juicio que permitan ofrecer
soluciones metodolgicas adecuadas a los diversos problemas
que suelen darse en los planes de evaluacin. Probablemente,
los desarrollos aportados desde mbitos como la Evaluacin
Criterial y la Metodologa de la Evaluacin de Programas en
Educacin constituyen un conjunto metodolgico que puede
proveer de soluciones efectivas para otros mbitos.

4. Gestin y Uso de la Informacin


62
La calidad global del Plan de Evaluacin depende, en
cuanto a su Validez, de la gestin y uso de la informacin.
Desde qu informacin se recoge cmo y cuando-, hasta cmo
se utiliza quien tiene acceso a ella, en qu momento, de qu
forma, qu informes se realizan-, constituye el eje central que va
a dar credibilidad y utilidad a la evaluacin. En este sentido, la
adecuacin del enfoque de la evaluacin al problema que se
evala debe contemplar todos estos elementos, dado que no
pueden ser tratados de forma mimtica con otros planes de
evaluacin. Deben ajustarse de forma muy especfica para cada
plan de evaluacin.

A MODO DE SNTESIS...

Teniendo en cuenta, por tanto, la complejidad y
heterogeneidad del rea de la Formacin Ocupacional y
Continua, as como los problemas mencionados, las lneas de
solucin a la necesidad de certificacin / acreditacin podran
sintetizarse en las siguientes consideraciones:
En cuanto a la coherencia y continuidad de la oferta de
formacin, es necesario actuar de forma coordinada, de
manera que se establezca una relacin precisa entre la
planificacin de los subsistemas formal y no-formal.
La adecuacin de la oferta debe estar sustentada sobre
estudios de evaluacin de necesidades, en los que no
slo se adapte la oferta variable (la correspondiente al
subsistema no-formal), sino tambin se identifiquen de
forma precisa los componentes bsicos de formacin
inicial.
La programacin coordinada mejora la calidad global de
la oferta formativa; adems, el aprovechamiento de
recursos desde ambos subsistemas puede optimizar la
eficacia y eficiencia de los procesos formativos. En este
sentido es interesante por ejemplo la experiencia de las
DAFCO francesas, que, a travs de los Groupement
dtablissements GRETA- gestionan la Formacin
Continua, dentro y fuera del sistema formal. (Perales,
1998).


63
La utilizacin de procesos de Evaluacin de Programas
e Instituciones puede constituir un elemento de
transversalizacin del anlisis de la oferta entre ambos
subsistemas, de forma que compartan estndares y
metodologas de anlisis. Ello redunda en una mejor
asimilacin de la valoracin de los productos que ofrece
cada uno de los programas, con lo que la acreditacin y
la certificacin de las competencias de las personas
puede incrementar su coherencia y representatividad de
la realidad.
Finalmente, la identificacin de las competencias
adquiridas a travs de la experiencia laboral puede
protocolizarse, adecuarse metodolgicamente, a travs
de procesos de evaluacin que garanticen la
representatividad del currculo vitae. Este aspecto tiene
consecuencias positivas no slo para las personas, en
tanto en cuanto les sirve de reconocimiento, sino
tambin para las empresas, al poder confiar en el
curriculum vitae.
En definitiva, se trata de abordar la acreditacin y
certificacin de la formacin desde su perspectiva ms
esencial: su carcter multidimensional. Se trata de acotar
los espacios de difcil certificacin, asegurando la
acreditacin de todos los elementos presentes en los
subsistemas que sean accesibles por los procesos
metodolgicos actuales. En ello, hay que remarcar el
papel central de los elementos pedaggicos. No se trata
de abordar la evaluacin de los Programas, Instituciones
o Personas desde una vertiente estrictamente
socioeconmica la cual tiene sin duda su rol-, sino de
reconocer el carcter central del problema: acreditar o
certificar la formacin es un problema educativo y,
sobre l deben identificarse los procesos que aseguren
soluciones de calidad.
Para concluir, hay que sealar que las soluciones que a
nivel evaluativo se vayan aportando para estas peculiaridades
de la Formacin Profesional Ocupacional y Continua sern
fundamentales tambin en el desarrollo de adecuados procesos
de certificacin /acreditacin, tanto de las personas, como de
los programas o las instituciones de formacin, consiguiendo
una mayor transparencia, movilidad y versatilidad.


64
Bibliogrfa

Belloch, C. (2000). Proyecto Docente y de Investigacin:
Tratamiento de la informacin educativa. Aplicaciones
informticas en Educacin. Universitat de Valncia. Indito.
Carballo, R y Biecinto Ch. (2001). Modelos de evaluacin de la
formacin dentro de un contexto de calidad. Ponencia
presentada en el Seminario Metodologas y Herramientas para
la evaluacin de la Formacin Continua. Comisin Europea,
Madrid, 30 de marzo de 2001.
Comisin Europea. (1993). 700 final (05.12.1993). Crecimiento,
competitividad, empleo: retos y pistas para entrar en el siglo
XXI. Luxemburgo: Oficina de Publicaciones Oficiales de
las Comunidades Europeas. (En internet
http://europa.eu.int)
Comisin Europea. (1994). La formacin profesional en la
Comunidad Europea: desafos y perspectivas. Seguimiento
del memorandum de la Comisin sobre la formacin
profesional en la Comunidad Europea para los aos 90. Serie
estudios, n 3. Luxemburgo: Oficina de Publicaciones
Oficiales de las Comunidades Europeas.
Comisin Europea. (1995). 590 final (29.11.1995). Libro Blanco
sobre la educacin y la formacin. Ensear y aprender: hacia la
sociedad del conocimiento. Luxemburgo: Oficina de
Publicaciones Oficiales de las Comunidades Europeas.
Comisin Europea. (1997). 180 final (30.04.1997). Informe de la
Comisin: sobre el acceso a la formacin continua en la Unin
(Recomendacin del Consejo de 30 de Junio de 1993).
Luxemburgo: Oficina de Publicaciones Oficiales de las
Comunidades Europeas.
Comisin Europea. (2000a). Estrategia Europea del Empleo.
Invertir en las personas, invertir en ms y mejores trabajos.
Internet: http://Europa.eu.int
Comisin Europea. (2000b). Comunicacin de la Comisin.
Polticas comunitarias de apoyo al empleo Bruselas 1.3.2000
COM (2000) 78 final. En Internet: http://Europa.eu.int


65
Comisin Europea. (2000c). El Empleo. Situacin actual y
perspectivas. En Internet: http://Europa.eu.int
Comisin Europea. (2000d). Memorandum sobre el aprendizaje
permanente. Documento de trabajo de la Comisin de las
Comunidades Europeas. En Internet: http://Europa.eu.int
Delors, J. (1996). Lducation. Un trsor est cach dedans. Pars:
UNESCO
Gairn J. (1999). La evaluacin de instituciones de educacin no
formal. En: Jimnez B. (ed.): La evaluacin de programas,
centros y profesores. Madrid: Sntesis.
Jornet J. (2001). Proyecto Docente y de Investigacin: Diagnstico en
Educacin. Universitat de Valncia. Indito.
Jornet, J. y Surez, J. (1996). Pruebas estandarizadas y
evaluacin del rendimiento: usos y caractersticas mtricas.
En Revista de Investigacin Educativa, vol. 14: 2.
Jornet, J. y Surez, J. (Coords.) (1997) Evaluacin de la
Formacin Profesional Ocupacional y Continua en la
Comunidad Valenciana. Symposium presentado en el VIII
Congreso Nacional de Modelos de Investigacin Educativa.
Sevilla: AIDIPE.
Jornet, J; Surez, J y Belloch, C. (1998). Metodologa de Evaluacin
de Programas de Formacin Profesional, Ocupacional y Continua.
Valencia: Adeit.
Jornet, J; Surez, J. y Perales, M.J. (2001) Evaluacin de la
Formacin Ocupacional y Continua. En Revista de
Investigacin Educativa, vol. 19: 2.
Jornet, J; Gonzlez, J; Prez Carbonell, A; Snchez, P; Chiva, I;
Ramos, I; Perales, M.J. y Gastaldo, I. (2001a) Anlisis de
resultados de la Evaluacin de la Educacin Primaria en la
Comunidad Valenciana. Indito, presentado ante el Instituto
Valenciano de Evaluacin de la Calidad Educativa.
Jornet, J; Perales, M.J; Gonzlez, J; Prez Carbonell, A; Snchez,
P; Chiva, I; Ramos, I y Gastaldo, I. (2001b) Anlisis de
resultados de la Evaluacin de la Educacin Secundaria en la
Comunidad Valenciana. Indito, presentado ante el Instituto
Valenciano de Evaluacin de la Calidad Educativa.


66
Jornet, J; Perales, M.J; Surez, J; Prez Carbonell, A; Chiva, I;
Ramos, G; Gonzlez, J; Villanueva, P y Snchez, P. (2002).
La evaluacin de programas de formacin: tipos de planes y
algunas cuestiones metodolgicas. En Revista de
Investigacin Educativa, vol. 20: 1.
Mar, R; Perales, M. J. y Villanueva P. (1999). Funciones de la
Orientacin Ocupacional en la Formacin Profesional
Ocupacional. Una propuesta. En AIDIPE (comp.) Nuevas
realidades educativas. Nuevas necesidades metodolgicas.
Mlaga: CEDMA.
Perales, M.J. (1998). Documentacin sobre la Formacin Profesional
Ocupacional en Francia, y su evaluacin. Informe interno
presentado ante el Depto MIDE y el Vicerrectorado de
Investigacin de la Universitat de Valncia.
Perales, M.J. (2000). Enfoques de Evaluacin de la Formacin
Profesional Ocupacional y Continua. Estudio de validacin de un
modelo. Tesis Doctoral en prensa (en microficha). Universitat
de Valncia.
Perales, M.J. (2002). Enfoque de Evaluacin de la Formacin
Profesional Ocupacional y Continua. Estudio de validacin de un
Modelo. Valencia: Conselleria dEconomia, Hisenda i
Ocupaci. Generalitat Valenciana (en prensa).
Prez Carbonell A. (1999). Metodologa de la Evaluacin de
Programas: Evaluacin de Programas de Postgrado en la
Universitat de Valencia. En CIDE: Premios Nacionales de
Investigacin Educativa, 1998. Madrid: MEC.
Sez, A. (2000). Creacin de un espacio virtual para la teleformacin.
Servicios de formacin estructurada. Tesis Doctoral en prensa
(en microficha). Universitat de Valncia.
Torres, J.M. (1997). La Formacin Ocupacional. Herramientas, 49,
10-14.
Villanueva P. y Catal J.J. (1997). Formacin Ocupacional.
Aspectos diferenciales y politicas de empleo. En AIDIPE
(comp.): Actas del VIII Congreso Nacional de Modelos de
Investigacin Educativa. Sevilla: AIDIPE.


67

EVALUACIN DE PROGRAMAS EDUCATIVOS
Ramn Prez Juste
UNED

INTRODUCCIN

La evaluacin de programas educativos tal vez sea, o
deba serlo, una de las modalidades de investigacin pedaggica
ms utilizadas y, desde luego, con mayores posibilidades y
aplicaciones.
No debe extraarnos que as sea si tenemos en cuenta
que la educacin, por su propia naturaleza, es una actuacin
organizada y sistemtica al servicio de la mejora o
perfeccionamiento del ser humano, concepcin totalmente
compatible con la de programa, que no es sino un plan
sistemtico de actuacin al servicio de metas pedaggicamente
valiosas. Podramos afirmar que los educadores encarnan sus
planteamientos educativos en programas de mayor o menor
amplitud, complejidad y duracin. Otra cosa ser si los
programas de los educadores responden a las caractersticas
tcnicas que les son exigibles.
La complejidad de la educacin en general, y de los
programas concretos en particular, aconseja abordar su
evaluacin con diversos fines, entre los que destacan los de
conocer sus resultados, potenciar sus efectos, rentabilizar los


68
recursos y corregir los fallos, disfunciones y actuaciones
inadecuadas, insuficientes, insatisfactorias o ineficaces.
En esa lnea van los movimientos de calidad, con sus
diversos modelos ms o menos elaborados e implantados, al
reconocer en la evaluacin la principal estrategia o herramienta
al servicio de uno de sus principios fundamentales: el de la
mejora continua. Parece necesario y conveniente, por tanto, que
un rea como la de Mtodos de Investigacin y Diagnstico en
Educacin dedique una parte importante de sus esfuerzos a
tema de tanta relevancia y trascendencia.
Ahora bien, elaborar una ponencia sobre evaluacin de
programas es una ardua tarea dada la amplitud de los aspectos
que pueden ser objeto de consideracin. Lo sensato, por tanto,
ser seleccionar algunos aspectos y concentrar en ellos la
atencin. Tras una consideracin de los temas y enfoques
posibles, nuestra opcin se concreta en el anlisis de cuatro
grandes aspectos, en concreto de los siguientes:
El hecho educativo como objeto de la evaluacin.
Las principales variables a tomar en consideracin a la hora
de configurar una metodologa evaluativa.
Los elementos o componentes bsicos de un modelo o
propuesta evaluativa de programas educativos.
Los estndares de calidad de la evaluacin de programas.
Vale la pena, no obstante, dejar previamente constancia,
para que sirva de referencia al discutir sobre los contenidos de
la ponencia, del concepto de evaluacin que mantenemos, que
se concreta en las siguientes lneas:
La evaluacin pedaggica consiste en la valoracin, a partir
de criterios y referencias pre-especificados, de la informacin
tcnicamente diseada y sistemticamente recogida y organizada,
sobre cuantos factores relevantes integran los procesos educativos para
facilitar la toma de decisiones de mejora.
En este marco, entendemos la evaluacin de programas
como un proceso sistemtico, diseado intencional y tcnicamente,
de recogida de informacin rigurosa valiosa, vlida y fiable- orientado
a valorar la calidad y los logros de un programa, como base para la
posterior toma de decisiones de mejora, tanto del programa como del


69
personal implicado y, de modo indirecto, del cuerpo social en que se
encuentra inmerso1.

EL HECHO EDUCATIVO

Con la palabra Programa evocamos un concepto de muy
amplio espectro; en el campo educativo, el trmino programa se
concreta en un plan de accin, por tanto en una actuacin
planificada, organizada y sistemtica, al servicio de metas
educativas.
De tal consideracin sobre el Programa se desprenden
algunos importantes hechos; en concreto, todo programa:
a) Debe contar con unas metas y objetivos que,
obviamente, han de ser educativos. Tales metas y objetivos
deben establecerse en funcin de una informacin relevante
sobre las necesidades, carencias, demandas o expectativas de
los destinatarios (o de los grupos encargados de su custodia y
formacin). Esa informacin puede ser genrica estudios
psicolgicos, pedaggicos, sociolgicos, mdicos... sobre la
etapa educativa de que se trate- o especfica, a travs de
estudios empricos (anlisis y evaluacin de necesidades).
En los supuestos de que las necesidades, demandas,
carencias o expectativas sean muy amplias y complejas, y no se
disponga de posibilidades de abordar todas ellas, las metas y
objetivos del programa representan las prioridades establecidas
por los responsables del programa, previa la aplicacin a las
mismas de criterios como los de relevancia o gravedad,
rentabilidad, inmediatez, eficacia presumible o responsabilidad
de quienes han de tomar las decisiones.
Metas y objetivos se establecen como logros que, de
alcanzarse, supondran una respuesta satisfactoria a las
necesidades, carencias, demandas o expectativas de los
destinatarios del programa. O lo que es lo mismo: cuando los

1 Vid. al respecto PREZ JUSTE, R. (1995): Evaluacin de programas
educativos, en A.MEDINA RIVILLA y L.M. VILLAR ANGULO
(Edits): Evaluacin de Programas Educativos, Centros y Profesores,
Madrid: Univrsitas, 73-106.


70
responsables del programa fijan sus metas y objetivos, estn
anticipando lo que debera ocurrir para dar la debida respuesta
al elemento desencadenante del programa, para solucionar el
problema que plantea la existencia de las necesidades y
carencias de los destinatarios del programa.
b) Metas y objetivos deben estar acomodados a las
caractersticas de los destinatarios en su contexto de referencia
y ser asumidos como propios por los agentes del programa.
c) En cuanto variable tratamiento o independiente, el
programa ha de estar claramente especificado y detallado en
todos sus elementos fundamentales: destinatarios, agentes,
actividades, decisiones, estrategias, procesos, funciones y
responsabilidades del personal, tiempos, manifestaciones
esperables, niveles de logro considerados a priori como
satisfactorios ...
d) Ha de incorporar un conjunto de medios y recursos
que, adems de ser educativos, deben ser suficientes, adecuados y
eficaces para el logro de metas y objetivos.
e) Necesita de un sistema capaz de apreciar tanto si
metas y objetivos se logran como de dar cuenta, en casos de que
as no sea, o de que lo sea a niveles insuficientes o
insatisfactorios, de dnde se producen las disfunciones y
carencias y, a ser posible, de las causas de las mismas (objetivos
muy elevados, aplicacin inadecuada de los medios, tiempos
insuficientes, momentos inadecuados, efectos no planeados...).

El sentido de la evaluacin en y del programa
Este ltimo aspecto es una de las manifestaciones de la
realidad que nos congrega: la evaluacin. Y decimos una de las
manifestaciones porque la otra se encuentra incorporada al
punto d), dado que la evaluacin es un medio ms, junto al
resto, al servicio de metas y objetivos.
Conviene sealar que la evaluacin puede presentar
otras manifestaciones nos referimos a las funciones1- como

1 Vid. al respecto la aportacin de D. Nevo: The conceptualization of
Educational Evaluation, en E.R. HOUSE (1986): New Directions in
Educational Evaluatin: Falmer Press


71
pueden ser las de control, la sociopoltica o la administrativa1; sin
embargo, en tales casos, aunque los programas sean educativos,
su evaluacin se sale del mbito de lo educativo para entrar en
el correspondiente al control social o poltico, a la rendicin de
cuentas...
La evaluacin es una importante herramienta al servicio
de la educacin, tanto en el primero de los sentidos evaluacin
sumativa- como en el segundo, esto es, en funciones formativas.
Como herramienta que es, su vala depende en gran medida de
la forma en que se configure su metodologa.
Dado que toda evaluacin necesita de criterios y de
referencias para valorar la calidad y los resultados o logros de un
programa, un elemento fundamental a tomar en consideracin
es el contexto en el que se aplica. En tal sentido, el Proyecto
educativo y el centro educativo, cuando de programas ordinarios
se trate, son dos elementos bsicos que deben tenerse en cuenta
para la valoracin del programa que, obviamente, debe ser
coherente y encontrarse en sintona, en armona, con ambos
contextos. La definicin y la delimitacin de tales contextos, por
otro lado, resultan bsicas a la hora de establecer tanto los
niveles de generalizacin o, si se prefiere, de aplicacin de los
resultados a situaciones, mbitos o contextos diferentes de
aquellos en que se aplic el programa como de valorar su
propia eficacia2. Por idnticas razones, en el caso de programas
nuevos, diferentes de los ordinarios, ser necesario a tales
efectos, definir con claridad el contexto de que se trate, sea el
familiar, el amical, el social o el colegial.

El hecho educativo y su evaluacin

Comenzar con una cuestin con el carcter de principio:
en la medida en que lo educativo sea el elemento rector y
directriz, es preciso un enfoque integral de la evaluacin, lo que

1 Otros autores presentan funciones diferentes. Vid. FERNNDEZ-
BALLESTEROS, R. (1996): Evaluacin de Programas. Una gua prctica en
mbitos sociales, educativos y de salud, Madrid: Sntesis, pgs. 30-32.
2 En ocasiones, un buen programa puede no funcionar
adecuadamente por falta de adecuacin al contexto de referencia.


72
requiere la coherencia y la armona de todo el planteamiento
evaluativo. La evaluacin del aprendizaje alcanzado por los
destinatarios de los programas no puede concebirse al margen
de la evaluacin de la enseanza diseada y llevada a cabo por
los agentes (generalmente, profesores), ni siquiera de la
evaluacin de los centros educativos y de los contextos en que
los programas se llevan a cabo. Otra cuestin ser que se
realicen evaluaciones integrales; pero, desde luego, el
planteamiento debe serlo y, por tanto, cada una de ellas,
cuando se realiza por separado de las dems, al menos ha de
tomarlas como referencia.
Ahora bien, no siempre hemos hecho de lo educativo,
que es lo que nos distingue y la realidad a la que servimos, el
elemento central a la hora de configurar metodologas. Uno de
los casos ms evidentes lo encontramos en el poco y tardo
desarrollo de la evaluacin criterial frente a la normativa; otro,
en la facilidad con que se traspasan modelos procedentes de
campos muy diferentes al mbito educativo (caso del modelo
de calidad de la EFQM) o de pases con tradiciones muy
distintas de la nuestra (normas del Joint Committee).
En tal sentido, entre los elementos que deberan ser
objeto de consideracin al plantear una metodologa especfica
para la evaluacin de programas educativos, proponemos los
siguientes:

a) La naturaleza de programa
Sus objetivos han de ser educativos en modo alguno
manipuladores- y adecuados a las caractersticas de sus
destinatarios y de los mbitos o contextos en que se llevar a
cabo.
En relacin con este punto, es preciso dejar constancia de
la diferencia entre objetivos del mbito cognoscitivo / cognitivo
y los propios del denominado dominio afectivo, donde los
valores slo pueden florecer en marcos educativos respetuosos
con la autonoma personal y la libertad, tanto de iniciativa
como de opcin.
Por otra parte, el programa, entendido como variable
independiente o tratamiento, debe estar claramente especificado,


73
adecuadamente justificado y slidamente fundamentado en
alguna concepcin terica.

b) Las posibles interacciones del programa a evaluar
con los programas ordinarios.
En muchas ocasiones, los programas objeto de
evaluacin se desarrollan en contextos educativos y en
simultneo con otros programas. La modalidad en que aquellos
se desarrollen, sea como nuevas formas de abordar el logro de
metas, sea como programas integrados con los ordinarios, sea
como elementos aadidos a la actividad ordinaria, puede
condicionar fuertemente su desarrollo y, desde luego, puede
tener repercusiones para su evaluacin.

c) La naturaleza de las actuaciones en que toma cuerpo
el programa.
Las actividades han de ser, adems de adecuadas,
motivadoras y eficaces para el logro de los objetivos, educativas y
respetuosas con la autonoma de los educandos.

d) La importancia del factor humano para la eficacia de
los programas
Este aspecto toma cuerpo, entre otros, en los siguientes
aspectos:
El papel especial que juegan los destinatarios de los
programas, a la vez agentes ms o menos activos de
su propia formacin y condicionantes de la formacin
de los dems.
La influencia de la implicacin y el compromiso de los
agentes naturales del programa, lo que representa la
necesidad de crear actitudes favorables y expectativas
razonables sobre su bondad, adecuacin y utilidad.
Junto a ello, su capacitacin para una aplicacin
eficiente del programa.
La importancia de las relaciones humanas para el xito
de los programas por configurar un clima


74
favorecedor, neutral u obstaculizador para su
desarrollo.
El papel condicionante del contexto, por lo general
orientado por valores? contrarios o no compatibles
con los propios de los programas educativos. Entre
tales contextos es preciso sealar desde el propio del
mbito del programa hasta el amical y el familiar, al
que hoy en da hay que aadir el configurado por los
medios de comunicacin e informacin (contexto
virtual).

e) El papel de la evaluacin.
Es un importante medio para el logro de las metas
educativas, por lo que es preciso que todos los implicados se
comprometan cada uno en su mbito de responsabilidades- en
su realizacin, difusin y uso.
La evaluacin, que puede ser, y debe serlo, un medio
eficaz para el logro de objetivos y metas, puede llegar a
convertirse en un elemento distorsionador del programa y, en
particular, de sus metas y objetivos.

VARIABLES A CONSIDERAR

El trmino Programa, sealbamos ms arriba, evoca un
concepto de muy amplio espectro; ante tal realidad, es preciso
tomar en consideracin una serie de factores o variables a la
hora de configurar una propuesta evaluativa. Veamos las
principales:

Tamao o amplitud del programa

Un concepto de esta naturaleza permite encontrarnos
ante programas muy concretos, reducidos en sus metas y de
corta duracin, y ante otros de gran amplitud, complejidad,
profundidad y permanencia. Los extremos del continuo
podran ir desde el programa de un curso intensivo de fin de


75
semana, centrado en conocimientos o habilidades muy
especficas, destinado a un alumnado reducido, hasta el caso de
todo un sistema educativo una vez implantado en su totalidad,
como puede ser el nacido de la reforma educativa de 1.990.
Esta doble dimensin de tamao y duracin, no slo es
una cuestin de cantidad sino que, incluso, da lugar a ciertas
exigencias cualitativas a la hora de evaluarlo: por ejemplo, en el
primer caso, no parece tener sentido una seleccin de
informantes; por el contrario, en el segundo, el muestreo es
una cuestin esencial en el mbito de la metodologa, al igual
que resulta imprescindible contar con un amplio equipo de
profesionales de diversos campos y, probablemente, con
colaboradores debidamente adiestrados en la recogida de
informacin.
Otro hecho importante es el relacionado con los aspectos
o contenidos a evaluar: mientras en programas limitados en
amplitud y duracin es admisible pensar que el desarrollo del
programa se acomodar en gran medida a lo previsto o
planificado, en los de larga duracin es imprescindible estar
abiertos a efectos colaterales o no planeados, tanto positivos
como negativos, cuya importancia no radica nicamente en lo
que cada uno de ellos pueda representar sino en sus posibles
influencias e interacciones con el propio programa (de ah las
referencias clsicas a los efectos no planeados -Sawin1 o las ms
recientes a modelos como los de evaluacin iluminativa, de
Parlett y Hamilton, por ejemplo).
Del mismo modo, la evaluacin de la eficacia de un
programa exige planteamientos sistemticos de seleccin de
contenidos, representativos y con la debida ponderacin, en el
caso de programas de gran amplitud, mientras puede abarcar la
realidad toda en el extremo contrario.

Complejidad del programa

1 Ya hace mucho tiempo se haca mencin de este tipo de efectos. Vid.
SAWIN, E.I. (1969): Tcnicas bsicas de evaluacin, Madrid: Magisterio
Espaol, cap. 2.


76
Un programa educativo puede centrarse en el logro de
metas ligadas a una nica dimensin o variable independiente
o tratamiento; sin embargo, es muy frecuente que, dada la
complejidad misma de la educacin, se diseen programas que
pretenden cambios de muy diversa naturaleza.
Un ejemplo lo tenemos en los programas educativos
sean de aula, de ciclo, de etapa, de centro- ligados al sistema
educativo actual derivado de la reforma de 1.990, con
contenidos conceptuales, procedimentales y actitudinales.
Con independencia de las implicaciones que cada uno de
ellos por separado tenga para el programa, es preciso hacer
notar las posibles relaciones e interacciones entre uno y otro
tipo de actuaciones. En particular, conviene dejar constancia de
lo que representa el doble papel de juez y parte que juegan los
agentes del programa, en especial los profesores, en todo lo que
tiene que ver con las actitudes y con los valores.

Estatus del evaluador

Dos son las situaciones bsicas, cada una con sus
matices, en las que se puede encontrar el evaluador:
a) La de ser simultneamente responsable o agente del
programa y de su evaluacin. Estamos ante una
evaluacin interna, esencialmente orientada como
formativa o para la mejora; habitualmente, este tipo de
evaluaciones se da en programas ya establecidos
cuyos elementos esenciales no se cuestionan; las
evaluaciones presentan una cierta continuidad, se
realizan de modo poco formalizado y permiten la
toma de decisiones sobre la marcha. Sin embargo, cabe
realizar una evaluacin desde dentro de carcter no
continuo (evaluaciones finales formativas).
b) La de ser slo evaluador, sea por propia iniciativa, sea
por encargo o tras cierto proceso abierto de seleccin.
Generalmente nos encontramos ante evaluaciones
externas, de expertos, por una sola vez, de carcter
sumativo, que concluyen en un informe entregado
previa discusin o no- a los responsables del


77
programa para la toma de las decisiones
correspondientes sobre la continuidad o no del
programa, tal como est o previa la introduccin de
los cambios convenientes. Resultan adecuadas, y esa
es la situacin habitual, en la aplicacin primera de un
programa de cierta magnitud, y en contextos polticos,
sociales o acadmicos.

Junto a tales situaciones bsicas, cabe resear la del
evaluador externo, en funciones de asesor, que acompaa al
desarrollo del programa, proporciona informacin, la discute,
ofrece perspectivas para la interpretacin...
Como puede apreciarse, tambin aqu nos movemos en
un continuo que va del evaluador responsable del programa,
que realiza una autoevaluacin interna y formativa ms o
menos continuada, destinada a su mejora profesional y al
perfeccionamiento del propio programa, al evaluador
profesional, experto, externo al programa, que realiza una
evaluacin final y proporciona una informe para que los
responsables del programa hagan lo que consideren oportuno.
Si la primera situacin se presta ms a lo que podramos
denominar programas educativos ordinarios, la segunda se da
generalmente con programas de intervencin novedosos, que
responden a necesidades identificadas o demandadas, y en los
que es preciso disponer de informacin para decidir (por lo
general, a partir de valoraciones derivadas de la aplicacin de a
una serie de criterios y, en ocasiones, de referencias).
En la medida en que uno y otro tipo de evaluaciones
puedan tener una dimensin de control social, parece necesario
hacer compatibles ambas opciones: la segunda, para ganar en
credibilidad, la primera porque permite una mayor relevancia
de los datos, adems, y sobre todo, de hacer posible un mayor
grado de implicacin y compromiso con las decisiones de
mejora.
Un problema especialmente grave es el relativo a la
independencia del evaluador externo con relacin a los
responsables del programa; en ocasiones, tales responsables
pueden desear el control de la propia evaluacin y del informe,
lo que puede alterar el propio proceso evaluativo y, lo que es
ms grave, atentar contra los derechos de los interesados en el


78
programa y de sus resultados. Este es uno de los puntos
cruciales a tener en cuenta en una deontologa profesional.

Unidades de anlisis

Los programas educativos tienen su destinatario natural
en las personas de los educandos. Sin embargo, en ocasiones es
necesario, bien sea intrnsecamente bien por inters de los
responsables del programa o de su evaluacin, tomar en
consideracin otro tipo de unidades.
El primer caso se puede ilustrar en las ocasiones en que
el programa puede verse favorecido o perjudicado- en su
desarrollo y efectividad por las condiciones del contexto en que
se aplica. No tomarlas en consideracin puede conducir a
atribuir los resultados negativos a la baja calidad del programa
en lugar de a las condiciones adversas (oposicin de personas
relevantes, estructuras inadecuadas, pasividad de ciertos
responsables, filosofa general incoherente...) en que se aplica.
El segundo caso se da en aquellas ocasiones en que es
importante el contexto o marco en el que se aplica el programa
a los efectos de posibles comparaciones -el aula, el centro, el
barrio, la ciudad, la comarca, la comunidad autnoma, el pas,
la etnia, el gnero, los niveles educativos...- y de establecer el
grado de generalizacin de los resultados.

La relacin entre el programa y su evaluacin

La evaluacin forma parte natural de cualquier
programa entendido en forma integral1, al menos en su funcin
formativa, ya que es consustancial a la idea de mejora inherente a

1 De todos es conocida la ya aeja cita de P. de Lafourcade (Evaluacin
de los aprendizajes, Buenos Aires: Kapelusz, 1969, p. 16): sin indicacin
de objetivos, el proceso sera un barco a la deriva; sin un buen complejo
metodolgico, una accin insegura y azarosa; sin aprendizaje, un esfuerzo
intil; sin evaluacin, una empresa de la cual se desconocera su eficiencia,
pese a que la tuviera; y sin reajuste, una tarea a medias.


79
todo programa educativo; por otra parte, hasta la propia
evaluacin en funciones sumativas debera ser exigible, dado
que no tiene demasiado sentido desarrollar una serie de
actuaciones que representan esfuerzo, medios y recursos- si de
ellas no se siguen niveles de logro razonables.
Sin embargo, nada ms lejos de la realidad. La cultura
evaluativa no est todava en vigor y, con demasiada
frecuencia, se suceden ediciones y ediciones de un programa
sobre todo de los que hemos denominado ordinarios- sin una
mnima reflexin sobre su calidad, su eficiencia o su eficacia.
Por eso no cabe extraarse de que en programas que
hemos denominado novedosos, o, mejor, nuevos, no siempre la
evaluacin tenga la presencia y entidad esperables. As, nos
encontramos con situaciones en que los programas se disean
sin un estudio previo de su necesidad o de las demandas; en que
la evaluacin se sube al carro una vez puesto en marcha
durante bastante tiempo, e, incluso, que se realice una vez el
programa ha concluido en su implantacin.
El hecho de que la evaluacin est o no integrada en el
programa condiciona notablemente la metodologa, limitando
su alcance y reduciendo sus posibilidades en caso negativo. Sin
embargo, hay que sealar que una evaluacin integrada no
tiene por qu afectar al carcter de interna / externa ni al
estatus del evaluador, aspectos ambos que admiten las diversas
opciones existentes.

La informacin

Dada la complejidad de los fenmenos educativos, una
de las tareas ms delicadas consiste en la construccin de lo que
se considera dato a los efectos de evaluacin del programa. La
misma elaboracin de indicadores a los efectos de comparaciones
entre diversos pases se ve afectada por limitaciones tales que
los llevan a centrarse en aspectos que no captan la riqueza y
profundidad de las metas educativas de mayor calidad.
Con mucha frecuencia, por motivos fcilmente
explicables, los programas se formulan en trminos tales que no
resulta fcil encontrar evidencias sobre su eficacia o efectividad;


80
los planteamientos sugieren la necesidad de datos duros y finales
pero, con frecuencia, los recogidos son de opinin e
intermedios.
En cualquier caso, y siempre que nos encontremos ante
una evaluacin externa, el evaluador deber afrontar aqu una
tarea tan tcnica como de especial importancia y dificultad: de
importancia, porque es a partir de los datos recogidos que se
decide sobre los resultados del programa y, si fueran
inadecuados, del grado y naturaleza de las carencias e, incluso,
de las posibles causas; dificultad, porque aqu se encuentra
implicada toda la problemtica de traducir constructos
inobservables a manifestaciones ms o menos directamente
accesibles y apresables por parte del observador. A ello es
preciso aadir el problema que puede originarse cuando estas
tareas no fueron planteadas por los responsables del programa
o que, sindolo, se den discrepancias entre ellos y el evaluador.
Vale la pena exigir una plena coherencia entre los
objetivos del programa, los de su evaluacin, y los datos o la
informacin recogida para decidir sobre l; esto, obviamente,
no implica desprecio hacia el otro tipo de datos, pero nunca
stos pueden sustituir a aqullos, sino complementarlos. Y es
que, a pesar de la importancia que concedemos a los datos
duros, dado que la educacin se concreta en resultados
acadmicos y, sobre todo, en determinados comportamientos,
no se debe olvidar que las percepciones de agentes y
destinatarios son importantes en la medida en que pueden
condicionar la realidad misma del programa. De ah el valor de
formas de triangulacin en el anlisis de datos.
Con todo, no son pocas las ocasiones en que los efectos
fundamentales del programa son diferidos, por lo que caben
evidencias intermedias, aunque sean recogidas una vez
finalizada la aplicacin del programa, que pueden tomarse
como predictoras de efectos posteriores esperables. Valdra la
pena, no obstante, dejar clara constancia de ello y no abandonar
su constatacin posterior, con frecuencia olvidada porque ya no
se rentabilizara poltica o socialmente el esfuerzo.


81
COMPONENTES BSICOS DE UN MODELO EVALUATIVO DE
PROGRAMAS EDUCATIVOS

Dada la entidad del concepto modelo, tal vez sea
preferible acudir a uno menos fuerte, como puede ser el de
propuesta. En cualquier caso, resulta imprescindible considerar
diversos componentes, a algunos de los cuales nos vamos a
referir enseguida.

Componentes

Abordaremos este aspecto desde dos enfoques
diferentes, pero complementarios: el correspondiente al
programa y a su evaluacin.
A) En relacin con el objeto: el programa:
El programa en cuanto tal y, por tanto, con todos sus
elementos componentes: sus objetivos y metas con sus
correspondientes contenidos; sus medios y recursos y
su evaluacin.
El programa en su proceso de implantacin y
desarrollo.
El programa como realidad llevada a cabo, se piense o
no en una nueva aplicacin.
El programa como una realidad dinmica: la
evaluacin debe dar lugar a consecuencias, que pueden
ser tericas, prcticas, metodolgicas y, sobre todo,
educativas, tanto sobre los contenidos educativos
como sobre el propio programa.

B) En relacin con la evaluacin del programa:
La funcin o funciones a las que sirve, en cuanto
condicionantes del resto de decisiones.
La metodologa a utilizar, concepto amplio en el que
caben, fundamentalmente, los siguientes aspectos:


82
- La calidad tcnica del propio diseo de
evaluacin del programa.
- El diseo o plan general de la evaluacin:
preguntas a las que responder, objetivos a
lograr, niveles a alcanzar (significacin
estadstica, significacin pedaggica).
- Los mtodos. Dadas las consideraciones
anteriores, optamos por el principio de
complementariedad metodolgica, bien en forma
simultnea bien de modo sucesivo. A ttulo
de ejemplo, puede plantearse una
investigacin cuantitativo / cualitativa a la
hora de evaluar el programa en cuanto tal, la
observacin participante o no- del proceso
de aplicacin del programa, y la utilizacin
de algn diseo experimental o
cuasiexperimental para valorar la eficacia del
mismo.
- La informacin que debe ser recogida en torno
al contexto, al programa, a su implantacin, a
su aplicacin, a sus resultados y a sus
consecuencias.
- Los momentos en que habr de ser recogida.
- Las tcnicas e instrumentos que habrn de
utilizarse, aplicando el mismo principio de
complementariedad metodolgica.
- El sistema de registro y los procedimientos de
anlisis.
- Los criterios para valorar cada una de las
dimensiones del programa, y las referencias
que permiten una apreciacin global del
mismo.
El tipo de decisiones previsibles, los procedimientos
para su toma, concrecin, seguimiento y evaluacin.
El informe: su formato, elaboracin, debate, difusin.


83
La concrecin bsica de todo lo anterior puede tomar la
forma siguiente:

Lneas generales de la propuesta evaluativo

La siguiente propuesta se estructura en torno a cuatro
momentos o etapas, siendo las tres primeras fundamentales e
imprescindibles en una primera evaluacin de un programa
educativo. La cuarta representa una situacin deseable, segn la
cual la evaluacin se institucionaliza y se integra en sucesivas
aplicaciones del programa.

Primer momento: evaluacin del programa en cuanto tal.
Se trata de la actividad evaluativa ms importante tanto
por ser la primera y base de todas las dems como por su
contenido abarca la realidad toda del programa- y sobre todo,
por sus grandes aportaciones a la mejora y optimizacin del
programa.
Finalidad:
Establecer la calidad tcnica del programa, su viabilidad
prctica y su evaluabilidad.
Poner en marcha el programa en condiciones ptimas.
Funcin: Formativa: tomar por anticipado las decisiones de
mejora que puedan elevar las potencialidades del
programa.En ocasiones puede ser sumativa, sea sobre el
programa sea sobre su evaluacin.
Metodologa:
Anlisis de contenido de documentos
Estudios prospectivos
Tcnica Delphi
Juicio de expertos multidisciplinares: cientficos, tcnicos,
pedaggicos, metodolgicos...
Registros:
Pruebas diversas de evaluacin inicial (prerrequisitos)


84
Informacin a recoger:
Sobre el programa: su fundamentacin, su formulacin y
su relacin con las necesidades, carencias, demandas y
expectativas de los destinatarios.
Criterios:
Calidad, pertinencia1 y realismo de objetivos y metas
y adecuacin a los destinatarios y al contexto.
Suficiencia de los apoyos, medios y recursos para
conseguir los objetivos, en particular sobre la
formacin, implicacin y compromiso de los agentes y
dems implicados.
Calidad tcnica de los planteamientos de evaluacin.
Calidad tcnica del programa: coherencia con las bases
tericas y con las necesidades a las que trata de
responder; congruencia interna entre sus
componentes.
Viabilidad del programa
Evaluabilidad: relevancia, suficiencia, claridad y
accesibilidad de la informacin disponible sobre el
programa y de la necesaria en los diversos momentos o
etapas de su aplicacin y evaluacin. Anlisis de las
dificultades detectadas y previsibles para evaluar el
programa
Decisiones:
Generalmente formativas (de mejora previa).
En casos graves, sumativas (retirada del programa, no
realizacin de la evaluacin encargada o asumida).

1 La pertinencia social es un criterio de calidad recogido en la
Conferencia Mundial sobre Educacin Superior (Pars, octubre de
1998) en el documento La Educacin Superior en el Siglo XXI. Visin y
Accin (pg. 25). All se puede leer: La calidad es inseparable de la
pertinencia social, desarrollndose esta idea como una bsqueda de
soluciones a las necesidades y problemas de la sociedad y ms especialmente a
los relacionados con la construccin de una cultura de paz y un desarrollo
sostenible.


85
Segundo momento: evaluacin del proceso de implantacin del
programa

Finalidad:
Facilitar la toma a tiempo de decisiones de mejora.
Acumular informacin para introducir mejoras en
futuras ediciones del programa.
Funcin:
Formativa
En casos extremos, sumativa.
Metodologa:
Recogida de informacin: observacin, dilogos,
entrevistas, anlisis de tareas, pruebas formativas
intermedias...
Anlisis de la informacin: sesiones de grupo, debates...
Sobre el desarrollo del programa
Sobre resultados intermedios
Sobre efectos no planeados
Criterios:
Cumplimiento: desfases, desajustes, flexibilidad
Coherencia institucional
Eficacia parcial
Satisfaccin de los implicados: agentes, colaboradores,
destinatarios
Decisiones:
Ajustes parciales.
En casos extremos, suspensin de la aplicacin del
programa.

Tercer momento: evaluacin de los resultados de la aplicacin
del programa


86
Finalidad:
Comprobar la eficacia del programa
Funcin:
Fundamentalmente sumativa.
Cuando sea posible, sumativa formativizada.
Resultados en relacin con los objetivos.
Efectos, positivos o negativos, no planeados.
Criterios:
Eficacia: grado de logro de los objetivos propuestos.
Eficiencia: resultados en su relacin con los medios
disponibles y las circunstancias en que el programa se
aplica.
Efectividad: efectos beneficiosos no previstos.
Satisfaccin de destinatarios, agentes y otro personal
interesado / afectado.
Impacto del programa en el contexto en que se aplica.
Referencias:
Situacin de partida: el programa frente a si mismo
progreso.
Niveles preespecificados (evaluacin criterial) logro
del dominio.
Niveles de otros programassuperioridad
Decisiones:
Sumativas: mantener o suprimir el programa.
Formativizadas: mejorar el programa para una nueva
edicin.

Cuarto momento: institucionalizacin de la evaluacin del
programa.


87
Ciclos sucesivos de evaluacin mejora - evaluacin
mejora. En este momento se logra la plena integracin del
programa y de su evaluacin, lo que viene a redundar en
la mejora tanto del programa como de la propia
metodologa de la evaluacin.

REFLEXIONES SOBRE LOS ESTNDARES DE CALIDAD DE LA
EVALUACIN DE PROGRAMAS

De lo hasta aqu dicho, parece desprenderse de alguna
manera, la existencia de dos situaciones claramente
diferenciadas, pero ambas de gran importancia para la calidad de
la educacin, en lo relativo a la evaluacin de programas educativos:
a) La evaluacin interna de programas educativos
ordinarios autoevaluacin- llevada a cabo por los
responsables de los mismos (frecuentemente
profesores), sea uno o un equipo, como una actividad
ms (generalmente docente) al servicio de la mejora de
los destinatarios y de la propia actuacin profesional.
b) La evaluacin externa de programas educativos
heteroevaluacin- realizada por profesionales
competentes expertos, bien desde la vida acadmica
universitaria bien desde la actividad evaluativa
profesionalizada. En este caso, la vinculacin
contractual con los responsables de los programas
introduce elementos peculiares de notable
complejidad que deben ser objeto de anlisis.

El caso de los programas ordinarios

Probablemente nos encontremos ante uno de los
aspectos con mayores potencialidades de mejora de la
educacin que se da en nuestro sistema educativo y al que
menos atencin se dedique y hasta en menos estima se tenga. Y
es que, en efecto, un planteamiento sistemtico de la evaluacin
de programas ordinarios puede dar lugar a un conocimiento
tcnico de gran relieve y utilidad tanto para la mejora de la


88
actividad educativa como de la metodologa de la evaluacin de
los programas educativos.
Para la evaluacin de los programas ordinarios es
preciso elaborar planteamientos metodolgicos sencillos que
puedan ser asumidos por los profesores; de otra manera, no
incorporarn la evaluacin a sus comportamientos ordinarios
perdindose de este modo el potencial de mejora que acompaa
a la evaluacin.
Probablemente, la propuesta ms sencilla consista en lo
siguiente:
a) Elaboracin de una pauta.
La pauta, con el carcter de inventario o de cuestionario,
debera poder ser autoaplicada con cierto detalle en la
primera ocasin, abarcando los tres momentos: inicial
(previo a la aplicacin del programa), procesual y
final.
En el rea podra procederse a realizar esta tarea con
todo el rigor metodolgico, contando con la
colaboracin de profesionales de los diversos mbitos
disciplinares e incorporando las matizaciones propias
de los diferentes niveles educativos.
b) Aplicacin de la pauta en los tres momentos.
En la medida en que los centros educativos estn
organizados en departamentos o seminarios, al menos
las partes correspondientes al momento inicial y final
sera conveniente que fueran cumplimentadas y
analizadas por el conjunto de los profesores del
mismo, de forma que se contara con ms elementos de
juicio, adems de hacer posible la coherencia de
planteamientos de curso a curso, ciclo a ciclo y etapa a
etapa.
c) Toma de decisiones sobre el programa para su
segunda edicin.
d) Institucionalizacin del proceso.

En cursos sucesivos, la evaluacin se centrara, en
especial, en los puntos referentes a las decisiones de mejora


89
tomadas. Metodolgicamente, la evaluacin podra tomar como
momentos clave los relativos a las pruebas formativas y
sumativas- de carcter parcial, la aparicin de hechos
llamativos, positivos y negativos, que aconsejen una reflexin y,
por supuesto, la conclusin del programa con su evaluacin
final.
En un esquema de tal naturaleza, no parece necesario
acudir a otros estndares que los de carcter tcnico ltimo
apartado de los estndares de calidad- y, en concreto, a los
relativos a la calidad de los datos:
Fiabilidad
Validez
Vala
Contraste

No obstante, parece conveniente tomar en consideracin,
adems, los siguientes:
Claridad del informe (U5). En determinados casos,
puede resultar interesante y til la discusin de la
evaluacin con los propios alumnos y, desde luego,
con colegas del Departamento o Seminario.
Orientacin al servicio (P1)
Evaluacin completa y adecuada (P5)
Anlisis del contexto (A2).

Obviamente, la situacin es muy diferente en
evaluaciones de programas que puedan ser clasificados y
calificados como investigacin evaluativa. Es en este marco en el
que debemos someter a anlisis la propuesta del Joint
Committee sobre el grado en que sea de aplicacin a nuestro
pas:

Anlisis global de los estndares

Dos hechos llaman la atencin de inmediato: a) la
concentracin de los estndares en la evaluacin, sin referencias
normativas a los programas, y b) su justificacin en un contexto


90
diferente, el americano, lo que lleva a que algunos de los
estndares sean de difcil aplicacin en la situacin ordinaria de
nuestro pas. Junto a ello, sealar lo que considero ausencias y
har mencin de ciertas discrepancias en cuanto a la
organizacin de algunos estndares. Veamos.

a) Separacin entre programa y su evaluacin

Es comprensible que se planteen unos estndares sobre
evaluacin y no sobre los programas objeto de atencin, por
varias razones: estamos ante una actividad tcnica, en la que
puede darse ms fcilmente el acuerdo; la evaluacin es
concebida como una actividad profesional y, por tanto, ajena a
las personas responsables de los programas. Pero no es menos
cierto que eso tiene dos importantes consecuencias: un cierto
formalismo en las propuestas, por un lado, y posibles
disfunciones por otro1.
Entiendo que debera plantearse un bloque de
estndares sobre programas y, en nuestro caso, sobre programas
educativos. A modo de propuesta, podran ser, al menos, los
siguientes:
Calidad intrnseca del programa:
El documento en que tome cuerpo el programa debe
concretar sus metas y objetivos, dando cuenta o razones
de su eleccin en funcin de la relevancia y pertinencia de
las mismas; en la medida de lo posible, ofrecer
informacin sobre la base terica que lo sustenta.
Calidad tcnica del programa:

1 Un caso patente es el relativo a la evaluacin de la calidad de las
universidades sin previamente plantear algn tipo de orientacin,
pauta o propuesta sobre lo que es calidad, que queda al arbitrio de la
autonoma universitaria. Una de dos, o ambos conceptos van unidos o
no ser posible establecer pautas comunes comparables... a no ser que
consideramos que la calidad se encuentra subsumida de modo ms o
menos subrepticio en los instrumentos elaborados para la evaluacin.


91
El programa debe reunir las condiciones tcnicas para ser
considerado tal. Entre ellas, la de especificar los objetivos;
concretar la naturaleza de la intervencin, debidamente
fundamentada; plantear los medios y recursos e incluir un
sistema de comprobacin y mejora de sus resultados.
Calidad metodolgica del programa:
El programa debe formularse de forma que contenga
informacin relevante para resultar evaluable y,
consecuentemente, mejorable.

b) Definicin de estndares en un contexto diferente

Algunos de los estndares en concreto F3, P2, P6, P8-
estn pensados especialmente para evaluadores profesionales,
contratados como expertos, situacin poco comn en nuestro
pas, donde la mayora de las evaluaciones es cubierta por
profesores universitarios con formacin metodolgica.

c) Ausencias y propuesta de modificaciones

Algn estndar puede considerarse innecesario si se
aceptan los planteamientos sobre la conveniencia, y hasta la
exigencia, de complementariedad metodolgica; en concreto, los
denominados A8 Anlisis de la informacin cuantitativa- y A9
Anlisis de la informacin cualitativa- bien podran quedar
refundidos en uno, con la denominacin o rtulo de Anlisis de
la informacin, sin adjetivaciones.
El ltimo de los estndares, el A12. Metaevaluacin, no
parecera ser propio de cualquier evaluacin de programas,
sino una exigencia tcnica para la organizacin, sistematizacin
y mejora de nuevas evaluaciones y de los propios programas
educativos. La metaevaluacin podra ser entendida como una
exigencia tcnica que permite a los diseadores de programas y
a los evaluadores, realizar mejor sus tareas de diseo y de
planificacin de la evaluacin.


92
Por otra parte, se echa de menos una referencia genrica
a la metodologa ya que los estndares que aparecen sobre este
mbito se limitan a los procedimientos -A3- o se centran en
exclusiva sobre la informacin (A: Fuentes; A5, 6 y 7:
informacin vlida, fiable y sistemtica; A8 y A9, como ya se ha
sealado, sobre su anlisis).
El estndar sobre metodologa, a mi juicio, debera
referirse a la necesidad de que fuera respetuosa con el principio
de complementariedad, al que hemos aludido reiteradamente,
siempre que se trate de evaluaciones integrales.

CONCLUYENDO

Dos son las caractersticas que nos unen a los aqu
reunidos: ser profesionales de la Pedagoga y, por tanto, estar
preocupados por la Educacin, y estar ubicados en el rea de
MIDE, siendo la dimensin metodolgica, a pesar de la
heterogeneidad de la misma, un componente fundamental.
Desde el primero de los puntos de vista, es preciso que
en ste, como en otros mbitos de actuacin, sepamos centrar
nuestro enfoque en lo educativo; muchas veces nos salimos de
l como si estuviera agotado cuando, a mi juicio, queda casi
todo por hacer.
Desde el segundo, hemos de maximizar la dimensin
especfica de la metodologa, evitando todo papanatismo por
planteamientos propios de otros mbitos no siempre
trasladables al saber sobre Educacin.
Por otro lado, y uniendo ambos puntos, un campo de
actuacin preferente debera ser el de construir esa pauta,
sencilla, de aplicacin breve y de mxima utilidad hasta hacer de
la evaluacin del propio programa una costumbre de la
mayora de los profesores. Por extensin, y en la medida en que
un centro educativo puede considerarse una especie de
macroprograma, deberamos plantearnos algo similar para la
evaluacin de centros educativos. El potencial de mejora de la
educacin, reglada y no reglada, a partir de este tipo de
actuaciones es enorme, y deberamos afrontarlo y liderarlo.


93
En el mbito de la investigacin evaluativa las cosas
deberan ir hacia el equilibrio metodolgico. Creo que hoy es
posible afirmar que en evaluacin pasa algo similar a lo que
ocurre en el campo de la Salud, donde la situacin de la Ciruga
es mucho ms avanzada que la de la Medicina. En nuestro caso,
la cuestin referente al anlisis y tratamiento de datos va muy por
delante del planteamiento y de la discusin metodolgica, lo que
origina anlisis excesivos y a veces hasta innecesarios, a la vez
que quedan sin abordar problemas de especial trascendencia,
como pueden ser los relativos a la integracin de datos e
informaciones complementarias y de criterios diversos en un
nico juicio global sobre la calidad y los resultados del
programa, un desafo especialmente relevante en el mbito de
la Educacin y de la Pedagoga.


94

UN MODELO DE EVALUACIN DEL PROFESORADO
UNIVERSITARIO
F.J. Tejedor Tejedor

ALGUNAS CUESTIONES PREVIAS EN TORNO A LA EVALUACIN

Es patente la importancia y la necesidad de entender los
procesos de evaluacin como medio de reflexin y
perfeccionamiento de toda actividad humana que se realice, sea
a nivel personal o profesional.
Las instituciones de enseanza, en el momento histrico
actual, llevan a cabo autoevaluaciones sobre su calidad,
intentando responder tanto a las demandas de la sociedad
como a las de la propia institucin universitaria. Buena muestra
de ello es el hecho de que desde hace unos aos se viene
creando una infraestructura institucional para la evaluacin del
sistema educativo, en todos sus niveles y con distintos
referentes (Institucional, Docencia, Profesorado). Centraremos
nuestros comentarios, bsicamente, en el nivel universitario.
Las pautas metodolgicas de la evaluacin, actualmente,
pueden establecerse a partir de tres coordenadas bsicas:
- negociacin (mediacin entre los diversos elementos
participantes en el proceso)


95
- flexibilidad (autonoma de los distintos estamentos)
- construccin colectiva (buscando formas de
participacin como un proceso contino y
permanente).
El papel que puede jugar la evaluacin en el quehacer
universitario es, de hecho, doble:
- Como instrumento tcnico de control interno, de
responsabilidad y de imputabilidad: la universidad es
una realidad que implica una relacin entre personas,
una estructura, tareas y presupuestos, as como una
obligacin contractual de ofrecer un servicio de
calidad a la clientela.
- Como un instrumento de formacin de intelectuales, de
profesionales, en respeto a su misin de sociedad, que
es un proyecto intelectual integrado que hace que la
universidad sea ms que la aglomeracin de personas
y de campos especficos, que es su realidad emprica
aparente (Ziga, 1997).
El punto de partida inicial requiere, pues, distinguir la
evaluacin del control de gestin. Se habla de distinguir, no de
oponer. Y es necesario intentar distinguirlas ya que, creemos,
existe una importante confusin entre las nociones de control y
evaluacin:
- El control es unirreferencial y su objetivo es lograr un
comportamiento determinado, que se encuentre
dentro de los parmetros previamente establecidos en
el modelo. El control, en el plano epistemolgico, se
refiere a una posicin esencialista, ya que depende del
modelo a partir del cul se establece ese control.
- La evaluacin no es esencialista, ya que se refiere al
valor o valoracin de un proceso o un acto, de acuerdo
con el sentido y significado que se le otorgue; estos
significados responden a un sistema referencial que se
elabora a travs del intercambio de opiniones y de
significados multirreferenciales; por eso, su carcter es
antiesencialista.
As pues, el juicio sobre una accin o proceso evaluativo
puede ser:


96
- impuesto (control)
- propuesto
- acordado (el acuerdo lleva al compromiso e implica
autocontrol)
Creemos que el fin de toda evaluacin debe ser el de
ayudar al xito de la accin. La evaluacin debe convertirse en
la conciencia -activa y crtica- de los propios actores: conciencia
de metas, de objetivos, de procesos y de resultados. Todo ello
en el marco de un proceso de evaluacin que debe ser:
- til para todos los implicados
- viable/operativo en el tiempo, en el espacio y a partir
de las condiciones fsicas, administrativas, acadmicas,
- exacto, en trminos de utilizar fuentes de informacin
e instrumentos precisos
- objetivo, descriptivo y, potencialmente, transformador
- tico, siendo transparente y respetuoso con los
valores.

LA CALIDAD COMO REFERENTE INEXCUSABLE

Algunas reflexiones en torno a la calidad de los procesos
educativos

La preocupacin por la calidad no puede decirse que sea
un tema nuevo en el mbito de ninguno de los niveles
educativos, y desde luego no lo es en el mbito de la educacin
superior (Subirats, 1989; Fernndez Snchez, 1991; Moreno,
1992; Wilson, 1992;Roberts, 1995; Casassus y otros, 1996;
Mobilia y Garca-Valcrcel, 1997; MEC, 1999).
En un contexto institucional, pueden establecerse cinco
delimitaciones, ya tradicionales, del concepto de calidad en el
mbito universitario:
1) La calidad como excepcin (diferencia, excelencia,
satisfaccin de estndares mnimos)


97
2) La calidad como perfeccin (calidad igual cero
defectos)
3) La calidad como el logro de un propsito (valora la
forma en que un cierto producto o servicio se ajusta a
un propsito)
4) La calidad entendida como valor por dinero (exigencia
de eficiencia y efectividad como respuesta a la
inversin)
5) La calidad como transformacin (calidad basada en la
nocin de cambio cualitativo; la transformacin no se
refiere slo a cambios fsicos sino que implica
trascendencia cognitiva). Es esta ltima acepcin la
que entronca con la evaluacin entendida como
proceso innovador, de origen y proyeccin
necesariamente endgenos.
El concepto de calidad en las organizaciones
universitarias, debe superar la concepcin normativa o
prescriptiva de los estndares; el movimiento de la calidad,
pone el nfasis en la mejora (control interno) ms que en el
control externo.
Para que las organizaciones universitarias alcancen sus
fines y estn liberadas de la presin externa (control como
concepcin de inspeccin), deben desarrollar genuinos procesos
de evaluacin interna y demostrar fehacientemente que son
capaces de autocontrol y autoregulacin suficiente.
La explicitacin y la transparencia en los mtodos
evaluativos y en la exposicin de los informes de resultados,
delimita los cuestionamientos sobre la propia capacidad de las
instituciones para regularse. Las evaluaciones internas deben
estar incorporadas tanto a la planificacin estratgica de la
organizacin como a la vida cotidiana de la misma.
La evaluacin debe ser ms que una exigencia externa o
interna que imponen las autoridades, una manera habitual de
organizarse, que ha de incluirse en la prctica cotidiana del
quehacer universitario (Bords y Borrell, 1998).
En un contexto ms especficamente docente, nos
encontramos igualmente distintos enfoques de la calidad
(Toranzos, 1996):


98
1) La calidad como eficacia: una educacin de calidad es
aquella que logra que los alumnos aprendan lo que
realmente deben aprender.
2)La calidad como aprendizaje relevante, complementaria
del anterior: Cuando la educacin responde
adecuadamente a lo que el individuo necesita para
desarrollarse como persona intelectual, afectiva, moral y
fsicamente.
3) La calidad de los procesos y medios que el sistema
brinda a los alumnos: cuando se ofrece un adecuado
contexto fsico para el aprendizaje, un cuerpo docente
preparado, buenos materiales,... Se destaca la importancia
de los medios empleados en la accin educativa y, entre
ellos, la evaluacin como recurso.

Nos detenemos, brevemente, para destacar la
importancia de la metodologa didctica como mbito
fundamental para la mejora de la calidad. Aunque una
institucin educativa puede y debe marcar pautas
metodolgicas para el conjunto de los componentes de la
institucin, es el aula o grupo de clase donde va a ser
concretada por el profesor y los alumnos en un proceso de
negociacin conjunta, cuyos requerimientos bsicos son
destacados por Gento Palacios (1996):
1) Prevencin de las intervenciones didcticas,
considerando que la eficacia de las intervenciones
didcticas est, en buena parte, en funcin de la
preparacin de las mismas.
2) Acomodacin al nivel de desarrollo de los alumnos,
haciendo comprensible y asimilable el acervo cultural
y cientfico segn las posibilidades de aprendizaje de
los estudiantes.
3) Adaptacin al contexto, atendiendo las peculiaridades
de carcter social y cultural de los alumnos.
4) Mantenimiento de un clima positivamente interactivo.
La preocupacin hoy ya no es cuntos alumnos reciben
educacin y en qu proporcin, sino quienes aprenden, qu
aprenden y en qu condiciones aprenden. La valoracin de la


99
calidad de los aprendizajes requiere la consideracin de
aspectos tales como:
- niveles de logro estudiantiles
- condiciones de trabajo educativo
- apreciaciones de los docentes acerca de las
condiciones de entrada de los estudiantes
- percepciones de los directivos sociales acerca de las
titulaciones.
Cabe concebir al alumno bien como coproductor del
aprendizaje (responsable del aprendizaje, trabajo en equipo,
orgullo por el trabajo realizado) o bien como cliente
(satisfaccin por el servicio recibido, cumplimiento de las
necesidades, anticipando expectativas).
Entre el paradigma de la enseanza (alumno pasivo,
alumno cliente) y el paradigma del aprendizaje (alumno activo,
alumno coproductor) cabe hoy hablar del paradigma del
profesor mediador, que propugna un papel activo del alumno
para adquirir su propio aprendizaje, a travs de la colaboracin
y trabajando en equipo; el profesor sera un facilitador que crea
un ambiente de aprendizaje en el aula y fuera del aula.

EL PAPEL DE LOS INDICADORES EN LA EVALUACIN EDUCATIVA

Los identificadores de calidad de una actividad son
aquellos componentes que conectados al producto conseguido
y con la apreciacin del proceso de funcionamiento, permite
valorar la medida en que la actividad alcanza niveles de calidad
en sus resultados (Gento Palacios, 1996, p.65).
La calidad del quehacer docente no puede ser objeto de
una medicin precisa sino de una valoracin a partir de
indicadores, a travs de los cuales se est perfilando el concepto
implcito de calidad que se posee (Osoro, 1995).
Los indicadores son instrumentos de medicin de la
situacin de un proceso en un momento determinado, que
ofrecen un panorama de su estado y representan una forma
clave de retroalimentacin de las medidas y expectativas de los


100
alumnos. Son instrumentos que nos permiten conocer en qu
medida debemos operar para lograr una educacin eficaz y en
consecuencia dar un servicio educativo de calidad; suministran
un conocimiento y un camino de cmo alcanzar lo que la
sociedad est exigiendo a los centros, a los docentes,...
Tambin se pueden entender los indicadores como datos
estadsticos de inters que facilitan la formulacin de juicios
concisos, comprensivos y equilibrados sobre la situacin de
algunos mbitos sociales de inters. Como una serie de datos
que aportan respuestas a las cuestiones especficas, su
estructura interna, sus relaciones con el mundo exterior y su
medida... Las estadsticas son el material de base (los tomos) a
partir de los cuales los indicadores (las molculas) se
construyen. Las cuestiones a las que los indicadores deben
responder conciernen a aspectos de problemas ms generales
de los que pueden ser examinados por medio de tcnicas
cuantitativas.
Un indicador no es ms que una seal que permite
captar y representar aspectos de una realidad que no son
directamente accesibles al observador. Es un artificio que
proporciona informacin relevante de algn aspecto
significativo de la realidad educativa. Su xito se asocia a su
carcter sinttico y a su capacidad para orientar la toma de
decisiones. La seleccin adecuada de un conjunto limitado pero
relevante de indicadores permite hacerse una idea sinttica del
funcionamiento de una determinada realidad. Su contribucin
consiste en iluminar dicha realidad y en aportar elementos de
juicio para su interpretacin.
Un indicador es una medida y una medida siempre se
tiene que aplicar sobre algo. Dan a entender o significan una
cosa con indicios (seales que dan a conocer lo oculto) y seales
(marcas para conocer y distinguir las cosas). Es una alarma, una
llamada de atencin. Es un signo (variable, atributo) mediante
el cual nos aproximamos al conocimiento de cierta propiedad
de un objeto que conceptualmente no podemos medir
directamente.
Vemos que tienen el carcter de gua: incluyen
recomendaciones y, por tanto, tienen carcter preventivo,
aspirando a ser normativos: los indicadores son elementos de
diagnstico que pueden sugerir las acciones a emprender.


101
Los indicadores nicamente deberan hacer referencia a
las salidas, puesto que son las autnticas seales que nos
permiten inferir si la educacin ha sido o no de calidad (se
plantea aqu si los datos de entrada deben o no ser
considerados como indicadores). Los indicadores seran las
variables dependientes, determinados por los predictores, que
sern los agentes de la calidad.
Considerando que los criterios de evaluacin expresan
las caractersticas que se esperan de un producto, de un
servicio, de un proceso (cualidades ms o menos explcitas),
entonces los indicadores seran las medidas necesarias para
verificar la existencia y el grado de presencia de los criterios de
calidad. Suministran una informacin significativa, una prueba,
una seal del criterio evaluado. El indicador de calidad tiene
que ser representativo de ese criterio de calidad, objetivo y
observable.
El modelo implcito sobre el que ellos se fundamentan
debe ser explicado y reconocido.
Los indicadores seleccionados deben derivarse de los
objetivos marcados con anterioridad y han de dar informacin
que contenga aspectos relevantes que sirvan para una nueva
programacin, para la toma de decisiones y para la realizacin
de proyectos de mejora y cambio.
Los criterios que determinan la eleccin de indicadores
deben ser precisos y claros y corresponderse con el modelo.
Cada indicador debe ser cientficamente fundado, fiable y til.
Los diversos usuarios de los indicadores deben poder
aprender a utilizarlos, servirse de ellos. Gmez Ocaa (1994)
dice que el indicador slo mostrar su bondad predictiva si:
- es diseado especficamente para un mbito de trabajo
concreto (validez del indicador)
- son previamente conocidas las variables con los que
est relacionado
- se especifican los criterios a partir de los cuales han
sido elaborados
- se garantiza un nivel suficiente de fiabilidad.


102
La mayora de los indicadores que se utilizan para
evaluar al profesorado estn relacionados con la productividad
investigadora y muy pocos estn referidos a la calidad de la
docencia, como consecuencia lgica de la mayor dificultad que
tiene evaluar el proceso de enseanza que la productividad
investigadora.
Independientemente de los procedimientos, los juicios
acerca de la calidad estn ya contenidos en los estndares,
generalmente de logro. La calidad no es algo diferente a lo que
se establece en los estndares de calidad.
Debemos, sobre todo, plantearnos cuales son las
condiciones que inciden directamente en la mejora de los
procesos de enseanza y aprendizaje, en la creacin de ms y
mejor conocimiento, en la distribucin ms precisa y equitativa
del mismo y en la generacin de una conciencia pblica tal que
se sepa valorar precisamente este tipo de conocimiento (Beltran,
p. 158).
Categorizacin de los posibles mbitos de los que
derivar criterios para la evaluacin de la calidad:
1) El nivel al que se refiera el anlisis de la calidad:
sistema universitario, unidad acadmica, actores
individuales (gestores, profesores, alumnos,...)
2) Formato de la informacin que se va a procesar
cualitativa o cuantitativa-.
3) Criterios confeccionados a partir de peculiaridades o
limitados a los elementos comunes.
4) Puede tener carcter slo descriptivo o carcter
normativo.
5) Puede plantearse obtener datos puntuales o datos de
corte longitudinal.
Los criterios de calidad se definen siempre desde un
modelo predefinido obedeciendo a pretensiones de ajuste al
mismo. La calidad es una atribucin y no un dato de hecho
incorporado al objeto.
El valor de la evaluacin est contenido en los criterios
utilizados para discriminar la informacin que se considera
relevante. Los estndares no son sino lo que se toma como


103
unidad para, comparndolos con ellos, medir los criterios e
indicadores que han permitido la emisin del juicio.
La ventaja principal de los indicadores es que permiten
establecer comparaciones; su principal inconveniente, su
tendencia a medir slo lo medible o reducir lo no medible a
algo que si puede serlo
El
reto actual consiste en la creacin de sistemas de indicadores de
calidad, vlidos y fiables, con capacidad de generalizacin, para
poder estructurar el concepto de calidad desde distintas
dimensiones conceptuales (metodologa didctica, resultados
de enseanza, recursos, gestin,...). Estos sistemas de
indicadores pueden suponer un elemento relevante para
disear, junto a otros referentes, un buen sistema de evaluacin
de la calidad universitaria (Chacn y otros, 1999).

A LA CALIDAD POR LA EVALUACIN (INSTITUCIONAL Y
PERSONAL)

La evaluacin institucional

No es nuestra intencin analizar los presupuestos
metodolgicos de la Evaluacin Institucional que viene
desarrollndose desde hace unos aos en la universidades
espaolas (Consejo de Universidades, 1996; Salvador, 1997;
Tejedor, 1997). Unicamente destacamos ahora que la prctica de
la evaluacin institucional como instrumento estratgico para la
mejora de la gestin y de la calidad de la educacin pone
claramente de manifiesto que:
1) Existen dificultades para valoraciones especficamente
adaptadas al contexto y a la vez homologadas por la
comunidad acadmica y social.
2) La implantacin de las prcticas evaluativas exige una
correcta realizacin.
3) El rol estratgico de un sistema de evaluacin, supone
que:


104
- los datos obtenidos permiten disear polticas de
cambio y mejora
- el conocimiento del rendimiento de los alumnos
fortalece la responsabilidad institucional por los
resultados de las unidades escolares
- se favorece la gestin profesional responsable
- la informacin a la sociedad potencia las
exigencias de calidad
- las prcticas evaluativas centran la atencin de los
poderes polticos y sociales en la actividad
educativa

Algunas dificultades que estn apareciendo en el
desarrollo del Programa Institucional (Grad y Hernndez,
1997):
- excesiva ambicin
- escasez de evaluadores experimentados
- enfoque tecnocrtico, a la postre improductivo
- limitaciones en los sistemas de informacin
- inercia institucional
- amenazas a corto plazo: exceso de planteamiento
exgeno e incertidumbre presupuestaria

Y todo ello debido a que no podemos olvidar:
a) El carcter exgeno de la iniciativa, ya que procede de
iniciativas gubernamentales. Se auspicia un Estado
evaluador de rendimientos, que reconoce la
autonoma universitaria, pero que asigna
presupuestos y que controla el sistema a distancia a
travs de la evaluacin
b) Estos afanes por implantar este tipo de sistemas de
evaluacin (externos, nacionales,...) han dado lugar a
polmicas y resistencias en sectores amplios de la
comunidad universitaria.


105
En cualquier caso, en la comunidad universitaria hoy se
admite que la evaluacin supone, en primer lugar, un
diagnstico, una descripcin, pero adems un anlisis que
prevea ciertas hiptesis explicativas, que van a posibilitar la
toma de decisiones y la solucin de los problemas. Pero es
claro que es insuficiente contar con meros datos descriptivos:
slo la comprensin de las condiciones de produccin de los
fenmenos descritos har factible el diseo de polticas que
apunten al cambio. Los juicios de valor que comporta la
evaluacin suponen la comparacin entre lo existente y lo
deseable, por lo que la evaluacin supone un deber ser, es decir,
una invitacin al perfeccionamiento.
Un asunto esencial en todo proceso de evaluacin es
cmo se determina y quin fija ese deber ser: por el hecho de
mostrar preocupacin por la imposicin de estndares (debido
al origen exgeno del proceso evaluativo) es por lo que urge la
necesidad de proyeccin endgena, que debe proyectarse no
slo en el aspecto metodolgico sino el resto de sus
componentes: slo as puede conllevar el necesario potencial
transformador.
A pesar de estas polmicas, parece cada da ms clara la
idea de que la evaluacin puede ser una herramienta til, un
instrumento poderoso, aunque, hoy por hoy, a nivel
institucional no eficazmente empleado. Para conseguir esa
utilidad es necesario que pasen a darse dos condiciones
generales:
- que predomine el componente endgeno (y no slo en
el aspecto metodolgico)
- no sea concebida como un fin en s misma sino como
un mecanismo de innovacin; la evaluacin no se
limitar al papel de un mecanismo de optimizacin de
recursos, lo cul es importante pero insuficiente, sino
que ha de convertirse en un dispositivo de innovacin,
apuntando no slo al anlisis de fortalezas y
debilidades (internas y externas) sino tambin a la
reflexin sobre los objetivos y a la manera de lograrlos;
la evaluacin debe ser vista como una oportunidad
para el debate del deber ser, para cuestionar los
propsitos del quehacer universitario, sus modelos de
actuacin y su papel en el mundo actual.


106
Este carcter endgeno, de alguna forma contrapuesto a
las prcticas habituales de evaluacin institucional, resalta la no
existencia de una estrategia nica de evaluacin, una estrategia
de aplicacin universal. La evaluacin debe ser una empresa
creativa que ha de adecuarse a la singularidad de cada
situacin.
Cuando se acepta que el propsito general de la
evaluacin es avanzar progresivamente en la mejora
(innovacin), la evaluacin entonces se configura como un
proceso orientado a la accin, a la toma de decisiones, con dos
consecuencias:
- la evaluacin ha de ser parte integral del
planteamiento innovador (no un dispositivo
subordinado), lo que exige la participacin de las
partes implicadas en todas las fases del proceso
- debe desligarse de cualquier intento de fiscalizacin y
penalizacin, intentando valorar los diversos
elementos del proceso educativo con el principal
objetivo de informar al propio proceso de las
condiciones para su transformacin y mejora.
Creemos que la evaluacin del profesorado, por sus
mayores dosis de componentes endgenos en la totalidad de su
planificacin y conformacin y por la mayor carga de
implicacin personal que supone, puede responder mucho ms
eficazmente a los planteamientos tericos de evaluacin
formativa, de evaluacin transformadora.

Evaluacin del profesorado

Ya hemos comentado en alguna ocasin, que por
paradjico que pueda parecer todava no existe acuerdo
respecto a lo que es un "buen profesor". Y esta afirmacin
siendo cierta para cualquier nivel educativo, todava lo es
mucho ms al referirnos a la educacin superior ya que ni
siquiera existe acuerdo unnime sobre las finalidades de la
enseanza universitaria. No es de extraar, por tanto, que la
evaluacin del profesorado sea todava un problema con
importantes limitaciones, tanto tericas (diversidad de


107
finalidades y carencia de un modelo de profesor ideal) como
prcticas, ya que es difcil elegir la estrategia evaluativa
adecuada puesto que su validez ha de establecerse
indirectamente (por la mencionada carencia de un modelo
terico).
Lo que s vamos teniendo cada da ms claro respecto a
la evaluacin es que:
1) Se trata de un proceso que debe orientarse a la
estimacin del nivel de calidad de la enseanza
2) Se trata de conseguir una utilidad efectiva del
conjunto del proceso como recurso de
perfeccionamiento docente
3) Se pretende informar al profesor para ayudarle a
cambiar
4) La evaluacin permite investigar sobre el proceso de
enseanza-aprendizaje
5) Aunque no hay recetas universales, se sabe que hay
comportamientos docentes que ayudan mejor que
otros a conseguir los objetivos propuestos
La evaluacin del profesorado universitario es un
fenmeno complejo, que requiere estrategias diversas,
integrantes de un programa de evaluacin amplio que incluya
necesariamente referencias a diversos elementos de la
institucin universitaria: programas docentes, recursos,
capacitacin de los estudiantes, potencial investigador, etc.
Consideramos que el modelo global de evaluacin del
subsistema profesorado tendr que estar, cuando menos,
relacionado con los aspectos y fuentes de recogida de
informacin que indicamos a continuacin:
a) Evaluacin de la actividad instructiva (aula y
tutoras):
- opinin de los alumnos
- opinin de las autoridades del centro
- autoinforme del profesor
b) Evaluacin de la actividad investigadora, a partir de
indicadores relacionados con la calidad, la cantidad y la


108
utilidad social y acadmica (incorporacin de los resultados de
investigacin y de las aportaciones metodolgicas a la actividad
instructiva)
c) Evaluacin de la actividad departamental
d) Evaluacin, con carcter complementario, de la
actividad relacionada con la prestacin de servicios a la
comunidad (universitaria, profesional, social,...).
e) Evaluacin de las condiciones de trabajo del profesor.
Es importante este ltimo punto ya que si queremos obtener
una valoracin realista, insesgada, habrn de tenerse en cuenta
las condiciones acadmicas, personales e institucionales en las
que se desarrolla el trabajo del profesor evaluado: status
profesional, organizacin acadmica, disponibilidad de
recursos, programas de formacin docente de la institucin,
caractersticas de los alumnos,...
En adelante nos limitaremos a la evaluacin de la
actividad estrictamente docente, al considerar que el modelo de
evaluacin de la investigacin est consolidado y que escapa a
las posibilidades de intervencin a nivel universitario local.
La evaluacin formativa se orienta claramente al
desarrollo personal, mientras que la evaluacin de tipo
sumativo se orienta al desarrollo institucional y/o a la toma de
decisiones.
El grado de aceptacin e implicacin del profesorado en
cada una de las modalidades evaluativas mencionadas es muy
diferente. Cuando la evaluacin es sumativa el profesor, en la
mayora de los casos, se inhibe del proceso aunque la actitud
ms generalizada es el rechazo rotundo a esas prcticas por
sentirse "perseguido y acosado". Se siente discriminado frente a
otros mbitos profesionales en los que en modo alguno tienen
lugar prcticas evaluadoras de la actividad llevada a cabo.
La evaluacin formativa es aceptada por la mayora del
profesorado, aunque en algn caso se ponga en duda su eficacia
y la "cientificidad" de los procedimientos seguidos usualmente;
el profesorado se implica mucho ms en el debate sobre las
estrategias a utilizar (personalmente o a travs de sus
representantes reglamentarios). La razn por la que los
profesores aceptan este tipo de evaluacin es porque reciben
informacin sobre los resultados, porque se les evala sobre


109
comportamientos especficamente docentes y porque cada da
en mayor medida el profesorado se interesa por todo aquello
que puede hacerle sentir mejor profesionalmente. Est fuera de
toda duda que esta implicacin del profesorado es una
condicin necesaria para el xito del proceso de evaluacin,
sobre todo porque esta mayor implicacin supone incrementar
las posibilidades de "aprovechamiento de resultados".
No vamos a entrar ahora a tratar temas ya abordados en
anteriores ocasiones, relacionados con los distintos aspectos a
considerar en la evaluacin de profesores: qu evaluar, cmo
evaluar, qu informes deben elaborarse y qu difusin han de
tener, cmo y para qu debe utilizarse la informacin
obtenida,...Al lector interesado le remitimos a escritos
anteriores (Aparicio, Sanmartn y Tejedor, 1982; Tejedor, 1985;
Tejedor, 1990; Tejedor, 1991; Grupo Helmntica, 1995; Grupo
Helmntica, 1996; Tejedor, 1995; Tejedor, 1997).
Considero que el proceso tcnico (cuestionario, trabajo de
campo, elaboracin de informes,...) lo hemos ido mejorando
gracias a las aportaciones, crticas y sugerencias de muchos de los
implicados y que, actualmente, puede considerarse un proceso en
el que se han logrado niveles de calidad en ningn modo
inferiores a los usuales en otros contextos de investigacin social.
En conjunto, yo creo que el procedimiento seguido, fijadas las
coordenadas, cubre las condiciones mnimas exigibles a este tipo
de estudios; a saber:
- tiene una utilidad, en parte inmediata
- escapa a posibles contradicciones tericas
- algunos objetivos pueden ir consiguindose en etapas
sucesivas.
Preocupacin diferente es valorar la utilidad del
procedimiento en relacin con el objetivo bsico y fundamental
del proceso: la mejora de la calidad de la enseanza y no, al
menos de forma exclusiva, su utilizacin como dato base para la
"aprobacin" de los tramos docentes o para el establecimiento de
sistemas de retribucin salarial (Cabrera y Bez, 1999). Bajo esta
perspectiva, la valoracin del procedimiento no puede ser, salvo
honrosas excepciones, positiva. Efectivamente, la eficacia de este
tipo de informes se cuestiona porque el usuario no percibe los
cambios prometidos en la justificacin de su puesta en marcha.


110
Debemos seguir insistiendo en que todo proceso de
evaluacin formativa debe desencadenar un conjunto de
actuaciones destinadas a atender aquellos aspectos que se han
observado susceptible de mejora. Requerimos por tanto, una
planificacin de la formacin del profesorado universitario,
consecuente con los resultados de la evaluacin realizada,
especialmente adaptada a las necesidades especificadas.
Posteriormente volveremos sobre nuestras propuestas de
aprovechamiento formativo de los resultados de la evaluacin.

MODELO DE EVALUACION DEL PROFESORADO

Pautas tcnicas para un sistema de evaluacin de profesores

La puesta en marcha de un sistema de evaluacin del
profesorado no debe suponer la aplicacin de una serie de
pruebas llevadas a cabo puntualmente, sino de un proceso
continuo y sistemtico encaminado a ayudar a cada uno de los
profesores en su desarrollo profesional y en la planificacin de
su carrera y a contribuir a que la formacin en ejercicio se ajuste
a las necesidades reales de los profesores (Jornet y otros, 1988).
La
puesta en marcha de un sistema de evaluacin requiere, desde
nuestro punto de vista, reflexiones en torno a los considerandos
que a continuacin citamos:
1) Determinar el modelo de profesor que se quiere,
estableciendo los comportamientos que se consideran
deseables para despus analizar en qu medida la
conducta del profesor satisface el referente de calidad
establecido
2) Cmo puede lograrse que se ajuste a la prctica
educativa?
3) Criterios bsicos que deben orientar el proceso
evaluativo:
- Cumplimiento de obligaciones
- capacidad para impartir eficazmente el conocimiento


111
- capacidad para mejorar el orden acadmico
necesario para el aprendizaje
- capacidad para establecer las relaciones adecuadas
- capacidad para satisfacer las expectativas de los
alumnos
4) Qu datos deben recogerse? A partir de qu fuentes
de informacin?
5) Cmo ser los indicadores?:
a) Exhaustivos, relevantes, vlidos y comparables
b) Cuantitativos: referencia a productos
(conocimientos, hbitos, actitudes,...) y a efectos
externos Cualitativos: relacionados con factores
influyentes en la calidad, precisos en su
terminologa y que permitan obtener
informacin adecuada: satisfaccin, clima
adecuado, participacin del alumno, apertura
del profesor a las innovaciones, liderazgo
docente,
c) Directos: consecucin de objetivos pedaggicos
fijados en trminos operativos. Indirectos:
comunicacin, organizacin,...
6) Quin ha de obtener los datos?
7) Qu recursos se necesitan?
8) Cmo sern empleados los datos?

El desarrollo del punto 4, qu datos deben recogerse?,
supone de hecho optar por un determinado modelo de
enseanza aprendizaje. Aunque ya hemos sealado que es un
tema a debate, nosotros consideramos que, para optimizar el
nivel de calidad deseable, el proceso de enseanza-aprendizaje
universitario, bajo la aplicacin de altos estndares, debe tender
a conseguir:
1) Un ptimo desarrollo de las capacidades, habilidades
y actitudes necesarias para acceder, explorar, construir
y reconstruir el conocimiento en las diversas reas del
saber y de la cultura.


112
2) El compromiso de los protagonistas involucrados en el
proceso para cumplir adecuadamente sus funciones.
3) Un producto que no slo satisface las expectativas
personales y sociales sino que las supera favoreciendo
un desarrollo integral armnico.
Dichos estndares deben prestar atencin no slo a los
resultados sino a los procesos mismos, deben implicar metas y
procedimientos, deben especificar las condiciones y requisitos
para su cumplimiento y deben estar provistos de sistemas de
autoregulacin. (Kells, 1993).
Un proceso de enseanza-aprendizaje como el que aqu
hemos planeado, en tanto que encuentro entre un profesor y
unos alumnos, conlleva exigencias para ambos:
- trabajo y dedicacin
- motivacin y compromiso
- diversidad en la produccin acadmica
- autodesarrollo
- utilizacin variada de recursos
- actualizacin e investigacin
- colaboracin con compaeros y colegas
- reflexin y rigor cientfico
- relacionar teora y prctica

Exigencias exclusivas para el profesor seran:
- su condicin de experto no slo en la disciplina sino
tambin en docencia
- utilizacin de metodologa variada
- sensibilidad para captar y responder a los problemas
del alumno.
- congruencia con su actuacin (da lo que exige)
- presta atencin a lo que aprende mientras ensea
Aunque el problema de la eficacia docente no es unvoco
sino multidimensional, actualmente se entiende que para ser
eficaces los profesores debern enfrentarse a los problemas
concretos aplicando principios generales y conocimientos
derivados de la investigacin, adaptndolos a su tarea
especfica y al tipo de alumnos con los que trabaje. Su xito
depender de su habilidad para enfrentarse con la clase y para


113
resolver los problemas inherentes a ese enfrentamiento. No
pueden darse "recetas" de valor universal. Lo que si puede
afirmarse es que determinados comportamientos docentes
pueden asociarse claramente con la consecucin de objetivos
deseables: motivacin y satisfaccin de los alumnos,
aprendizajes adecuados y socialmente tiles,...
Subyace en estos planteamientos la consideracin de
vincular la eficacia docente al rendimiento de los estudiantes, lo
que supone una importante limitacin. Desde nuestro punto de
vista, la evaluacin del profesorado ser deficiente si se usa
como nico criterio de referencia el rendimiento de los
estudiantes. En todo caso, la influencia del comportamiento
docente en el rendimiento de los alumnos es un tema que ha
sido objeto reiterado de estudio bajo la ptica de los distintos
paradigmas de investigacin didctica y las diferentes
conceptualizaciones de la eficacia docente. Como botn de
muestra de estas investigaciones sintetizamos los resultados
encontrados por Garca-Valcrcel (1991, 1992), obtenidos a
partir de la opinin de los alumnos en la Universidad de
Cantabria.
Los datos obtenidos ponen de manifiesto que existe
relacin entre el rendimiento de los alumnos y algunas
conductas docentes, tales como la presentacin explcita de los
objetivos de la asignatura, la planificacin de objetivos y
actividades con los alumnos, la orientacin y accesibilidad hacia
stos, la relacin de los conocimientos, la adaptacin al nivel de
los alumnos, el entusiasmo en la presentacin de los temas, la
flexibilidad para adaptarse a las circunstancias del momento y
la consideracin de los intereses y necesidades de los alumnos,
as como el hecho de establecer cauces de participacin.
Respecto a la motivacin de los estudiantes, los datos
reflejan que los alumnos se sienten ms interesados por
asignaturas en las cuales los profesores relacionan los
conocimientos entre los distintos temas de la asignatura y
diversas reas, hacen referencia a problemas significativos para
los estudiantes, se adaptan al nivel de los alumnos, exponen
con entusiasmo, son objetivos en la presentacin de los
contenidos, permiten la participacin de los alumnos, crean un
clima agradable y consideran las caractersticas de los alumnos.


114
La satisfaccin de los alumnos con una determinada
asignatura est relacionada prcticamente con las mismas
conductas docentes anteriormente mencionadas, si bien las
correlaciones son ligeramente superiores.
A la vista de los resultados obtenidos, estamos en
condiciones de informar al profesor de que los alumnos asocian
con una enseanza de ms calidad los comportamientos
docentes que siguen las siguientes pautas:
- Presentacin de los objetivos de la asignatura, lo que
significa orientar a los alumnos sobre lo que se les va a
exigir a lo largo del curso, las normas de participacin
deseadas, los procedimientos de evaluacin,...
- La planificacin de objetivos y actividades con los
alumnos aumentar su motivacin, posibilitando la
expresin de sus intereses y necesidades personales,
de modo que el profesor pueda dar una respuesta a
los mismos.
- Asimismo debe considerarse qu capacidades
cognitivas se estn desarrollando en los alumnos
(memorizacin, comprensin, aplicacin de los
conocimientos a situaciones nuevas, anlisis crtico de
los hechos, sntesis creativas) y su importancia en el
contexto social en que nos encontramos.
- La motivacin de los alumnos y su rendimiento sern
mayores si el profesor:
se muestra cercano a los alumnos, es accesible
les orienta y asesora cuando se lo piden
se adapta a su nivel de conocimientos
intenta ser objetivo exponiendo distintos puntos
de vista sobre un tema,mostrndose tolerante
relaciona los contenidos de la asignatura con
problemas significativos para los estudiantes
expone los temas con entusiasmo

- El grado de interaccin entre el profesor y los alumnos
tambin es importante para aumentar la motivacin,
rendimiento y satisfaccin de los alumnos. El profesor


115
deber facilitar la participacin de los alumnos
estimulando la expresin libre de sus ideas.
- En cuanto al desarrollo del programa, si bien es
importante tener fijados unos puntos mnimos,
conviene ser flexible para adaptarse a las
circunstancias, as como tener en cuenta los intereses,
necesidades y experiencias de los alumnos.
- El tipo de actividades que se lleven a cabo debern
estar en funcin de los objetivos que se pretendan,
considerando las posibilidades de los distintos tipos
de agrupamiento para responder a las necesidades de
los alumnos: el trabajo individual permite al alumno
trabajar a su propio ritmo; el trabajo en pequeos
grupos fomenta la cooperacin de todos los miembros;
las discusiones grupales a nivel de clase potencian la
cohesin del grupo y favorecen el cambio de actitudes;
la leccin magistral permite introducir un tema, dar
instrucciones, resumir, etc.. La variedad en el tipo de
actividades que se proponen ser la clave para una
enseanza eficaz.
- Por otra parte, es importante no caer en una enseanza
"libresca" al margen de la realidad. La conexin entre
la enseanza y la realidad cotidiana es una condicin
bsica para lograr el inters y satisfaccin de los
alumnos.
- Por ltimo, ser fundamental ampliar el concepto de
evaluacin, muchas veces identificado con la
calificacin, y utilizar la evaluacin tanto como
instrumento de control del proceso de enseanza
como mecanismo de informacin al propio alumno, de
modo que se revisen todos los elementos del proceso
(objetivos, contenidos, actividades, recursos) y se
introduzcan los cambios pertinentes para su
perfeccionamiento. Por otra parte, se aconseja la
correccin rpida y el comentario de los exmenes con
los alumnos (Tejedor y Garca Valcrcel, 1996; Tejedor,
1998).


116
Modelo de evaluacin del profesorado universitario propuesto
A partir de los presupuestos anteriores, la propuesta que
sugerimos para llevar a cabo la evaluacin del profesorado
universitario, siempre con carcter abierto y como punto de
partida para iniciar el debate que se pueda desarrollar en cada
universidad, quedara establecida en los siguientes trminos:


117
CUADRO 1: MODELO DE EVALUACION DE LA ACTIVIDAD DOCENTE DEL PROFESORADO
UNIVERSITARIO
REFERENTE DIMENSIN INDICADORES FUENTE
Actividad
previa de
planificacin
1. Preparacin adecuada del
programa de la asignatura
Formulacin de objetivos
Seleccin actualizada de contenidos
Secuenciacin adecuada de contenidos
Diseo de actividades
Departamento/
Profesor
2. Coordinacin de programas
Conexin del programa de la asignatura con los de otras asignaturas
del mismo curso (conexin horizontal)
Conexin del programa con el de otras asignaturas de otros cursos
(conexin vertical)
Departamento/
Profesor
3. Previsin de evaluacin
Establecimiento de criterios de evaluacin
Preparacin de pruebas
Discusin sobre niveles de exigencia
Departamento/
Profesor

4. Previsin de espacios,
recursos y materiales
Disponibilidad de la bibliografa requerida
Disponibilidad real de los espacios, recursos y materiales
requeridos por la docencia
Departamento/
Profesor
Obligaciones
formales
5. Cumplimiento de
obligaciones
Asistencia regular a clase
Puntualidad en la entrada y en la salida de clase
Cumplimiento del horario de tutoras
Centro


118

Actividad
instructiva (de
aula y tutora)
6. Desarrollo del programa
Percepcin del alumno de que el profesor prepara las clases
Exposicin de objetivos
Relevancia de los contenidos
Claridad expositiva
Presentacin atractiva
Respuestas exactas y precisas a las preguntas
El programa cubre los aspectos ms importantes de la asignatura
Desarrollo de todo el programa previsto
Actualizacin de contenidos y renovacin metodolgica
Flexibilidad para adaptarse a las circunstancias del momento
Consideracin de las capacidades cognitivas que est desarrollando
en los alumnos
Alumnos
7. Motivacin positiva
Mantenimiento de un clima interactivo
El alumno percibe la utilidad del tema
Diversificar los procedimientos o formas de enseanza
Conocer y adaptarse a los intereses y necesidades de los alumnos
Entusiasmo
Formulacin de preguntas
Intentar que el alumno participe (frecuente actividad delalumno)
Solicitar opiniones de los alumnos y respetarlas (fomenta la crtica)
Dialoga con sus alumnos sobre la marcha de clase
Tiene en cuenta la opinin del alumno a la hora de tomar decisiones
relacionadas con la asignatura
Orienta y asesora a los alumnos (en clase y en las tutoras)
Es tolerante
Alumnos


119

8.Recursos didcticos
Diversifica los recursos a utilizar
Utiliza materiales de calidad
Integra adecuadamente los recursos que utiliza en el proceso de
enseanza-aprendizaje
Potencia en el alumno la utilizacin de diversos recursos para su
propio aprendizaje
Alumnos
9. Actividades prcticas
Realiza actividades diversas de apoyo a la clase (seminarios,
debates, charlas,...)
Realiza diversos tipos de prcticas a lo largo del curso: de pizarra,
de laboratorio, de campo,... (siempre que sean adecuadas, claro)
Las actividades prcticas se integran adecuadamente en el proceso
de enseanza- aprendizaje (completan la formacin terica)
Las actividades prcticas se ajustan a las exigencias del proceso de
enseanza-aprendizaje de la asignatura
Estimula la realizacin de trabajos prcticos:
- justificados
- ajustados a la tarea
- creativos y variados
- evaluados rpidamente
Ayuda a los alumnos en su prctica individual
Alumnos
10. Evaluacin
Los exmenes de ajustan a los enseado (congruencia evaluacin-
objetivos)
Las calificaciones se ajustan a los conocimientos
Facilita a los alumnos la consulta sobre la nota y el examen
Alumnos


120

11. Accin tutorial
Orientacin personal y acadmica
Seguimiento de trabajos
Facilitar acceso a recursos
Revisin de evaluaciones
Alumnos
Accin
formativa
12. Valoracin global
Satisfaccin del alumno por la asistencia a clase:
- trato afectuoso
- contenido del programa
- material de apoyo
- sistema de evaluacin
- accin tutorial
Satisfaccin por el progreso personal
- conocimientos adquiridos
- calificaciones obtenidas
- dominio de tcnicas de estudio y trabajo intelectual
- actitudes desarrolladas
- desarrollo personal: libertad, autonoma, creatividad,...
Alumnos
Actividades de
Extensin
universitaria
13. Prestacin de servicios a
la comunidad
Actividades de formacin del profesor
Cargos acadmicos
Participacin en comisiones
Trabajos de carcter profesional
Actividades de difusin del conocimiento (conferencias, cursos,...)
Profesor


121

Contextualizaci
n de la
actividad
evaluativa
14. Condiciones de trabajo del
profesor
Carga lectiva (nmero de horas y de asignaturas)
Situacin administrativa
Disponibilidad de recursos para la docencia
Circunstancias peculiares relacionadas con las actividad evaluada
Circunstancias personales
Profesor
Consecuencias
de la evaluacin
15. Retribucin econmica
Concesin o no del tramo quinquenal docente Comisin de
evaluacin
Profesor: Escrito
de alegaciones (si
lo estima
pertinente)
16. Profesionalizacin
Ayuda a la formacin
Estmulo para la mejora
Incentivacin de la innovacin
Dotacin de recursos
Rectorado/
Centro/
/Departamento/
Profesor


122
El modelo se completa, siguiendo las recomendaciones
del Consejo de Universidades, con una propuesta de
ponderacin de las diferentes actividades evaluadas y con la
publicidad de los sistemas de ponderacin utilizados (Cuadro
2).
CUADRO 2: Ponderacin de criterios (dimensiones) en la
evaluacin docente del profesorado

Criterios Dimensiones Fuente Ponderacin
(sobre 100)
1. Actividades
previas al
encuentro docente
1. Preparacin del
programa de la
asignatura
2.Coordinacin de
programas
3.Previsin
evaluacin
4.Previsin de
espacios,
recursos y
materiales
Departamento
Profesor

10
2. Cumplimiento
de obligaciones
5.Cumplimiento de
obligaciones
Centro 10
3. Actividades de
aula

6.Desarrollo del
programa
7.Motivacin positiva
8.Recursos
9.Prcticas
10.Evaluacin

Alumnos 50
4. Accin tutorial 11. Tutora Alumnos 10
5. Accin
formativa global
12. Valoracin global

Alumnos 10
6. Actividades en
la comunidad
13. Prestacin de
servicios a
la comunidad

Profesor 10

La valoracin, por parte de la Comisin de Evaluacin,
deber ser realizada teniendo en cuenta:


123
a) En trminos de referencias globales:
- Las condiciones de trabajo del profesor
- Las condiciones de imparticin de la docencia en el
contexto universitario local
- Los recursos disponibles en el centro
b) En trminos de coeficientes de ponderacin puntuales:
- La tipologa de la asignatura en la que es evaluado el
profesor (coeficiente multiplicador sugerido para las
asignaturas troncales 1,15).
- El tamao del grupo en el que se imparte la
asignatura en la que es evaluado el profesor
(coeficiente multiplicador sugerido para grupos de
75 o ms alumnos 1,15).

En relacin con los instrumentos de evaluacin, nuestra
propuesta se recoge en el cuadro 3.

CUADRO 3: Instrumentos para la evaluacin del profesorado
Criterios Dimensiones Instrumentos Tipos de
escala
1 1,2,3,4 Informe del Departamento
Autoinforme del profesor
2 5 Informe del Centro
3 6,7,8,9,10 Cuestionario de alumnos
Entrevistas grupales
4 11 Cuestionario de alumnos
Entrevistas grupales
5 12 Cuestionario de alumnos

Un tem (al
menos) por
dimensin en
una escala de
valoracin de o
a 4 puntos
6 13 Autoinforme del profesor Texto libre

Respecto a los informes de evaluacin a elaborar y los
respectivos de los mismos, nuestras propuestas se recogen en el
cuadro 4.


124
CUADRO 4: Informes de evaluacin y receptores

Informes Receptores
Individual de cada
profesor/asignatura/grupo
Comisin de Evaluacin de la
Universidad
Direccin (Consejo) del Departamento
Decano/Director del Centro
El propio profesor
Representantes de alumnos
Globales de la Universidad
Globales del Departamento
Globales del centro
Globales de la Titulacin
Comisin de Evaluacin de la
Universidad
Direccin (Consejo) del Departamento
Decano/Director del Centro
Representantes de alumnos
Sugerimos la preparacin de un programa informtico
que responda a todos los presupuestos comentados y a todos
aquellos que puedan establecerse a nivel local. Nosotros
venimos trabajando en un programa que hemos probado a lo
largo de estos ltimos aos. Nos falta incorporar algunos
criterios de ponderacin para hacerlo, creo, plenamente
operativo.

EFECTOS DESEABLES DEL PROCESO DE EVALUACIN

Tradicionalmente, la Universidad ha preparado a sus
profesores para la funcin cientfico-investigadora,
descuidando la formacin para el desarrollo de la funcin
docente. Perry (1992) lo atribuye a dos razones:
- la consideracin de que la enseanza es un arte,
estando prederteminadas las cualidades que
posibilitan la competencia profesional (por tanto, valor
escaso o nulo de los programas formativos)
- la creencia de que la habilidad para ensear va
asociada al dominio de la materia.
Hoy, cada da, parece ms evidente la necesidad de
reconsiderar los trminos que deberan orientar el necesario
proceso de profesionalizacin-formacin del docente
universitario. Y cada da parece ms evidente que las


125
estrategias que hayan de ponerse en marcha en lo referente a
dicho proceso deben basarse en la informacin acumulada a
partir de las experiencias de las prcticas evaluativas que
actualmente se estn llevando a cabo en la Universidad, tanto
en aquellas del entorno de la Evaluacin Institucional como,
sobre todo, en aquellas en los que se considera la dimensin
personal-individual del profesor. Plantear el tema en estos
trminos no significa otra cosa que reivindicar el carcter
formativo de la evaluacin del profesorado y su concepcin
como estrategia de ayuda para el desarrollo profesional del
docente, para su profesionalizacin, ya que cualquier anlisis
sobre la calidad de la educacin destaca al profesor como factor
condicionante de aquella. Y debemos tener presente que las
condiciones poco adecuadas para una enseanza de calidad no
auspician que los profesores encuentren satisfacciones
inherentes a la docencia, predisponiendo a que se proyecten
con ms agrado en la investigacin o en actividades de
extensin fuera de los muros acadmicos... Las malas
circunstancias de la enseanza son tambin, obviamente, malas
condiciones de aprendizaje para los estudiantes, lo que da lugar
a la insatisfaccin, al fracaso escolar, a la conflictividad
potencial entre profesores y alumnos, a un clima enrarecido en
las relaciones educativas que si no desemboca en un conflicto se
debe a la anomia estudiantil reinante y a la conciencia de que es
un servicio barato al que no se le puede reclamar mucho ms
(Gimeno, 1996, p. 64)
Si queremos cumplir con el propsito formativo de la
evaluacin, si queremos que la evaluacin pueda cumplir la
funcin para la que fue pensada, si se prefiere, para que la
evaluacin sea til, consideramos necesaria la adopcin de
medidas de apoyo al profesorado en la realizacin de su tarea;
medidas relacionadas con la planificacin de actividades
formativas para el profesorado que han de venir
necesariamente orientadas por criterios de practicidad,
flexibilidad, adaptabilidad a las necesidades detectadas y que
deben suponer, en la medida de lo posible, incentivos
importantes para su profesionalizacin. Debe exigirse a las
autoridades acadmicas que el programa de evaluacin se
enmarque en un programa evaluativo ms amplio, claramente
orientado a la profesionalizacin, lo que implica preocuparse
por la incentivacin al profesorado en el desempeo de la
funcin docente (reduccin del nmero de alumnos en los


126
grupos de clases, programacin razonable de las clases
prcticas, consideracin plena de las clases de tercer ciclo en el
cmputo de la dedicacin anual, estimulacin de la realizacin
de actividades formativas,...).
Cmo puede producirse la integracin de las estrategias
formativas del profesorado en el marco del proceso evaluativo
que las Universidades estn llevando a cabo?. No parece un
proceso sencillo pero, desde nuestro punto de vista, todo
esfuerzo por su consecucin es una forma clara y decidida de
apostar por la consecucin de un objetivo prioritario: la
profesionalizacin del docente universitario. Analicemos
algunos de los presupuestos bsicos que pueden ayudarnos a
establecer las caractersticas de ese proceso.

El proceso de evaluacin de la docencia y del profesorado
universitario como gua de las estrategias para su formacin
(profesionalizacin)

Ya sealamos anteriormente que la evaluacin del
profesorado es un proceso que debe orientarse
fundamentalmente a la estimacin del nivel de calidad de la
enseanza a fin de contribuir progresivamente a su mejora.
El proceso de evaluacin debe concebirse igualmente
como estrategia adecuada para fundamentar la investigacin
sobre el proceso de enseanza-aprendizaje en el mbito
universitario, en cuyos resultados deberan basarse las pautas
sugeridas para la necesaria innovacin metodolgica.
A menudo, la eficacia de este tipo de actividades
evaluativas se cuestiona porque el "usuario" no percibe los
cambios prometidos en la planificacin. Indudablemente, la
puesta en marcha por parte de las autoridades acadmicas de
un proceso de evaluacin implica, si queremos obtener el
mximo provecho de la inversin realizada, el anlisis de los
datos obtenidos y la adopcin de las medidas pertinentes. La
dimensin formativa es la que, creemos, puede satisfacer en
mayor medida al profesorado y, sobre todo, a los alumnos
puesto que ven en ello actitudes encaminadas a la mejora de la
enseanza.


127
En la actualidad, una vez asumido por la comunidad
universitaria la realizacin de los procesos de evaluacin y
perfilado con claridad el proceso tcnico a seguir, la
preocupacin fundamental es llegar a conseguir un
aprovechamiento ptimo de los resultados para hacer rentable
la inversin realizada y, sobre todo, para conseguir mostrar
ante alumnos y profesores la utilidad del procedimiento.
Estamos convencidos de que el reto actual en la dinmica
evaluativa es conseguir que los miembros de la comunidad
universitaria (profesores y alumnos) perciban la utilidad del
trabajo desarrollado.
Por estas razones, estamos de acuerdo con Martn
Moreno (1991, p.120) cuando afirma que puesto que el objetivo
de la evaluacin del profesor es la mejora de la enseanza, todo
programa debe enmarcarse dentro de un sistema completo de
desarrollo profesional del profesor. La Universidad donde el
profesor trabaja debe implicarse en el crecimiento profesional
del docente por medio de un programa sistemtico de apoyo a
su tarea. Los registros bsicos de un modelo eficaz de desarrollo
seran tres:
- que se lleve a cabo in situ
- que sea sistemtico
- que implique un continuo crecimiento profesional del
docente, lo que se ver favorecido mejorando las
condiciones de trabajo del profesorado.
As pues, en sntesis, podemos establecer que la
consecucin del objetivo bsico del proceso de evaluacin del
profesorado (estimacin del nivel de calidad de la enseanza a
fin de contribuir progresivamente a su mejora), implica en
realidad un doble reto:
1) En primer lugar, obtener informacin objetiva, fiable y
vlida, del quehacer docente del profesor por lo cual
nos preocupamos de disear adecuadamente
instrumentos, ampliar las fuentes informativas,
contextualizar los resultados en relacin con variables
intervinientes,...
2) En segundo lugar, utilizar dichos resultados para el
diseo de estrategias de formacin del profesorado.


128
Bases para el desarrollo profesional: Evaluacin formativa,
innovacin metodolgica e investigacin sobre la prctica

Las propuestas formativas que se formulen deben surgir
del hecho de considerar como finalidades inseparables del
proceso de evaluacin del profesorado los siguientes:
- la mejora de la calidad de la enseanza y del
aprendizaje
- la revisin de la actuacin del profesor para detectar
habilidades y deficiencias que nos ayuden a
planificar actividades formativas
- el desarrollo profesional del docente, posibilitndole
capacidad de respuesta a las demandas cambiantes.
Entendemos por desarrollo profesional, de acuerdo con
Benedito (1991), cualquier intento sistemtico de mejorar la
vida profesional, la prctica, las creencias y conocimientos
profesionales del profesor universitario, con el propsito de
aumentar la calidad docente e investigadora. Este concepto
incluye el diagnstico de las necesidades actuales y futuras de
una organizacin y sus miembros (desarrollo institucional) y el
desarrollo de programas y actividades para satisfacerlas.
El concepto de desarrollo profesional va ms all de la
formacin inicial y permanente y debe entenderse como un
proceso planificado en el que deberan considerarse varias
actividades de desarrollo adems de actividades de formacin y
evaluacin, y en que no slo se pretende mejorar conocimientos
y destrezas sino tambin generar actitudes positivas hacia la
actividad profesional. El desarrollo profesional y personal
significa crecimiento, desarrollo, cambio, mejora, adecuacin al
trabajo, a la institucin, buscando la sinergia entre las
necesidades de desarrollo profesional del personal y las
necesidades de desarrollo organizativo e institucional (Bolam,
1988; Fernandez Prez, 1988; Vilar Angulo, 1990, 1991;
Gonzlez Sanmamed, 1995; Grupo Helmntica, 1998, 1999).
El desarrollo profesional es un proceso complejo que
debe enfocarse hacia distintos referentes,que pueden
sintetizarse en dos: cambios actitudinales y cambios a nivel de
prctica docente. Para que cualquier actividad de formacin


129
permanente facilite el desarrollo profesional de los docentes
debe atender a distintos aspectos, entre los que destacamos:
- clarificacin del perfil del docente que se desea
conformar
- compromiso, individual y colectivo, con la actividad
- combinacin de los referentes tericos y prcticos
(reflexin sobre la prctica)
- programacin concebida como actividad continuada
(no puntual)
- dinmica colaborativa entre los implicados en el
proceso formativo
- el profesor implicado exige que se le aporten ideas
tiles para implicarse en procesos de innovacin e
investigacin sobre su quehacer docente.
Desde una concepcin del profesor como profesional
que comprende, investiga y toma decisiones sobre su actividad,
las iniciativas que surgen del profesorado son las que pueden
mejorarse ms fcilmente. Por eso, la estrategia ms adecuada
es la de promocionar, favorecer, estimular, apoyar y difundir
las iniciativas particulares que surgen de los propios profesores,
de grupos de trabajo y de los departamentos. Crear el clima y
las condiciones para que emerjan y se desarrollen esas
iniciativas ser la primera tarea a afrontar, con la seguridad de
que va a ser mucho ms fructfera que cualquier iniciativa
surgida "desde arriba"y con visos de normatividad.
El tipo de profesionalizacin docente que hoy se perfila,
en el marco de la comunidad postmoderna, es la sntesis de
varios elementos, entre los que destacamos:
a) Anlisis sistemtico de la propia prctica (reflexin
sobre la accin desarrollada en el aula)
b) Actitud de perfeccionamiento permanente
c) Dominio de un conjunto de competencias docentes
d) Capacidad para tomar decisiones adecuadas
Y todo ello porque consideramos que hoy debe
revalorizarse el papel de los profesores: se ponga el nfasis en
sus comportamientos instructivos o en la indagacin de los
procesos cognitivos que median su comportamiento, lo que
interesa es conocer mejor lo que pasa en el aula y cmo la
opinin de los alumnos y de los profesores es tenida en cuenta


130
para el diseo de modelos de formacin y desarrollo
profesional.
Importante parece destacar el hecho de que los
programas de perfeccionamiento (profesionalizacin docente)
estarn condenados al fracaso y la esterilidad si antes los
docentes no han percibido que su tarea de enseanza es:
- tcnicamente compleja
- de alto nivel cientfico, susceptible por tanto de ser
investigada
- socialmente importante
La probabilidad de xito de un programa dirigido a la
profesionalizacin docente estar determinado por la asuncin
de algunos principios orientadores, que reformulo parcialmente
en relacin con los expuestos por Fernndez Prez (1989, p.175):
- el desafo de la indeterminacin tcnico-pedaggica
(lo que ya supone reconocer el carcter tcnico de la
formacin pedaggica del profesorado universitario)
- la hiptesis de la masa crtica (nmero de profesores
dispuestos a colaborar en proyectos de renovacin)
- "el prestigio" de los implicados en los proyectos de
innovacin/ perfeccionamiento/ profesionalizacin
- la necesidad de que los implicados en el proceso de
innovacin sientan la necesidad de autorrealizacin
personal en la propia funcin de ensear.
En el marco de las propuestas que aqu van a
contemplarse, entendemos, de acuerdo con Popkewitz (1990),
que la profesionalizacin de la docencia brindara a los
enseantes universitarios un status ms elevado, mayores
niveles retributivos y mejores condiciones de trabajo, a
semejanza de lo acontecido con otros profesionales. No
olvidemos que el trmino "profesionales" se utiliza para
referirse a un colectivo con un alto nivel de formacin,
competente, especializado y consagrado a su labor, que
responde a la confianza pblica.
El proceso de profesionalizacin docente, as entendido,
puede favorecerse si se estimulan las actitudes de mejora en el
quehacer docente, a partir de dos considerandos bsicos: 1)
Estimulacin de los procesos de innovacin metodolgica como


131
mecanismo de perfeccionamiento del profesorado y 2) Pautas
para el anlisis de la propia prctica (investigacin sobre los
procesos de enseanza-aprendizaje) (Tjar y Manchado,1998).
He aqu, precisamente, dos de las principales
consecuencias que en la actividad docente de la Universidad
puede tener llevar a cabo un proceso de evaluacin como el que
aqu se ha sugerido:
a) La evaluacin como estmulo de los necesarios
procesos de innovacin metodolgica en las
prcticas docentes universitarias. Siempre que por
innovacin se entiendan modificaciones a pequea
escala, cambios cualitativos en las prcticas
educativas, procesos de mejoramiento mensurable,
deliberado, duradero. Estas, pensamos, seran las
tres notas bsicas para identificar la innovacin:
proceso observable, opcin deliberada, constancia en
el tiempo.
As pues por que la innovacin se relaciona con el
cambio, hace referencia a un proceso, intenta
mejorar la prctica, exige componentes integrados
de pensamiento y accin (si se prefiere, de
investigacin y accin), es por lo que pensamos que
est muy vinculada a los procesos de evaluacin
formativa.
b) La evaluacin como anlisis de la prctica y su
potencial como estrategia de investigacin educativa
til. Podemos pensar que la investigacin sobre la
enseanza universitaria es til. La respuesta, como
no, es compleja. En numerosas ocasiones se han
puesto de manifiesto las limitaciones que concurren
en la investigacin educativa para proyectar los
resultados a la prctica cotidiana.


132
Bibliografa

Aparicio, J.J., Sanmartn R. y Tejedor, F.J. (1982): La enseanza
universitaria vista por los alumnos: Un estudio para la
evaluacin de los profesores en la enseanza superior.
Madrid, Cuadernos de Capacitacin Docente, O.E.I.
Apodaca, P. y Lobato, C. (1997): Calidad en la Universidad.
Orientacin y evaluacin. Barcelona, Laertes.
Beltran, F. (1996): La calidad, ms all de criterios y
estndares en G. Quints Reforma y evaluacin en la
Universidad. Valencia, Universitat de Valencia.
Benedito, A. (Coord.) (1991): La formacin permanente del
profesorado universitario. Reflexiones y propuestas. III
Jornadas de Didctica Universitaria. Las Palmas.
Bolam,R. (1988): "Evaluacin de profesores para su formacin
profesional" en A.Villa (coord) Perspectivas y problemas de
la funcin docente. II Congreso Mundial Vasco. Madrid,
Narcea.
Bords, I. y Borrell, N. (1998): Calidad y Universidad. Docencia,
recursos y motivacin factores de calidad. Revista de
Enseanza Universitaria, n extraordinario, ICE de
Sevilla, p. 297.
Cabrera, B. y Bez, B. (1999): Complementos retributivos,
evaluacin del profesorado y calidad de la enseanza
en La calidad de la docencia en la Universidad, I Simposium
Iberoamericano sobre Didctica, Santiago de
Compostela.
Cano Garca, E. (1998): Evaluacin de la calidad educativa. Madrid,
La Muralla.
Consejo de Universidades (1996): Plan Nacional de Evaluacin de
la calidad de las Universidades. Secretara General,
Consejo de Universidades.
Casassus, J. Arancibia, V y Froemel, J.E. (1996): Laboratorio
latinoamericano de evaluacin de la calidad de la
educacin. Revista Iberoamericana de Educacin, n 10, p.
247.


133
Chacn, S., Prez Gil, J.A. y Holgado, F.P. (1999): Evaluacin e
indicadores de la calidad universitaria: su validacin de
contenido en
Fernndez Prez, M. (1988): La profesionalizacin del docente.
Madrid, Escuela Espaola.
Fernndez Prez, M. (1989): As ensea nuestra universidad.
Madrid, Universidad Complutense.
Fernndez Snchez, J. (1991): "La evaluacin de la calidad
docente" en A. Medina Teora y mtodos de evaluacin.
Madrid, Cincel.
Garca Valcrcel, A. (1991): "El comportamiento de los
profesores universitarios en el aula". Studia Pedaggica,
vol. 23, pp. 135-153.
Garca-Valcrcel, A. (1992): "Caractersticas del buen profesor
universitario segn estudiantes y profesores". Revista de
Investigacin Educativa, vol. 19, pp. 31-50.
Gento Palacios, S. (1996): Instituciones educativas para la Calidad
Total. Madrid, La Muralla.
Gimeno Sacristn, J. (1996): La profesionalidad escindida de los
profesores en la Universidad en G.Quints Reforma y
evaluacin en la Universidad. Valencia, Servei de
Publicacions, Universidad de Valencia.
Gmez Ocaa, C. (1994): Los indicadores del sistema
educativo: Conceptalizacin y funcionamiento en La
calidad de los centros educativos. Alicante, 120-121.
Gonzlez Sanmamed, M. (1995): Formacin docente: Perspectivas
desde el desarrollo del conocimiento y la socializacin
profesional. Barcelona, P.P.U.
Grad, H. y Hernndez, J.M. (1997): Perspectivas de la
Evaluacin Institucional y de los Planes de Calidad en
Apodaca, P. y Lobato, C. Calidad en la Universidad:
Orientacin y Evaluacin. Barcelona, Laertes
Grupo Helmntica (1995): Evaluacin de las condiciones personales,
materiales y funcionales en las que se desarrolla la docencia en
la Universidad de Salamanca. Informe de investigacin.
Madrid, CIDE.


134
Grupo Helmntica (1996): Evaluacin de los espacios y recursos
de los centros docentes de la Universidad de Salamanca
en F.J.Tejedor y J.L. Rodrguez Diguez (Eds) Evaluacin
Educativa. II. Evaluacin institucional. Salamanca, IUCE,
Universidad de Salamanca.
Grupo Helmntica (1998): Las estrategias utilizadas por los
profesores universitarios para la evaluacin del aprendizaje de
los alumnos. Informe de investigacin. Madrid, CIDE.
Grupo Helmntica (1999): Caractersticas profesionales de los
docentes universitarios de Castilla y Len. Informe de
investigacin. Junta de Castilla y Len. Valladolid.
Joint Committe on Standars for Educational Evaluation (1988):
The personnel evaluation standars. Newbury Park, L.A.,
Sage.
Jornet,J. y otros (1988): "Proyecto de implantacin de un sistema
de evaluacin del profesorado en la Universidad de
Valencia" en Consideraciones metodolgicas sobre la
evaluacin y mejora de la docencia universitaria. Informes
de Investigacin Evaluativa, n 1. Valencia, Universidad
de Valencia.
Kells, H. R. (1993): Autoregulacion en la Educacion Superior
chilena. Consejo Superior de Educacion, Chile.
Lpez Mojarro, M. (1999): A la calidad por la evaluacin. Madrid,
Escuela Espaola.
Martn Moreno, Q. (1991): "Estrategias para la evaluacin del
profesorado universitario en la Ensaanza a Distancia"
en A. Medina (Coord.) Teora y mtodos de evaluacin,
Madrid,Cincel.
MEC (1999): Evaluacin de la calidad en la enseanza escolar.
Proyecto Piloto Europeo. Madrid, MEC, p. 17.
Mobilia, H. y Garca-Valcrcel, A. (1997): Reflexiones sobre la
calidad en la enseanza superior. Revista Espaola de
Pedagoga, n 208, p.509-524.
Mora, J.G. (1991): Calidad y rendimiento en las instituciones
universitarias. Madrid, Secretara General de
Universidades.


135
Moreno, L. (1992): Evaluacin y optimizacin de polticas pblicas:
el caso de la formacin del profesorado. Madrid, CSIC.
Osoro, J.M. (1995): Los indicadores de rendimiento en la evaluacin
institucional universitaria. Informes, n 43. Zaragoza,
ICE, Universidad de Zaragoza.
Perry, R.P. (1992): Teaching in higher education. Teaching and
Teacher Education, 8,(3), 311-317.
Popkewitz, T.S. (1990): "Profesionalizacin y formacin del
profesorado". Cuadernos de Pedagoga, 184, 105-110.
Roberts, H. V. (Ed.) (1995): Academic iniciatives in total quality for
higher education. Portland, Oregon, ASQC Quality Press,
Book News .
Salvador, L. (1997): Evaluacin institucional universitaria en
Europa y Amrica Latina. Revista Espaola de Pedagoga,
208, p. 429-444.
Subirats, J. (1989): Anlisis de polticas pblicas y eficacia de la
Adminstracin. Madrid M.A.P.
Tejedor,F.J. (1985): "Problemtica de la enseanza
universitaria". Revista de Investigacin Educativa, 6, pp.
322-337.
Tejedor,F.J. (1990): "Evaluacin del profesorado universitario
por los alumnos en la Universidad de Santiago". Revista
espaola de Pedagoga, 86, pp. 337-362.
Tejedor, F.J. (1991): Experiencias espaolas de evaluacin de la
enseanza universitaria y nuevas perspectivas. III Jornadas
Nacionales de Didctica universitaria, ICE de la
Universidad de Las Palmas de Gran Canaria.
Tejedor, F.J. (1995): La evaluacin de la docencia en el marco de la
evaluacin institucional. Congreso sobre Evaluacin
Educativa (abril). La Corua.
Tejedor, F.J. (1997): La evaluacin institucional en el mbito
universitario. Revista Espaola de Pedagoga, n 208, 413-
428.
Tejedor, F.J. (1998) (Coord.): Los alumnos de la Universidad de
Salamanca. Salamanca, Ediciones Universidad de
Salamanca.


136
Tejedor, F.J. y otros (1991): Evaluacin de las condiciones
personales, materiales y funcionales en las que se desarrolla la
docencia en la Universidad de Salamnca. Informe de
Investigacin. Madrid, CIDE.
Tejedor, F.J. y Garca-Valcrcel, A. (1996): La evaluacin de la
calidad de la docencia universitaria (en el marco de la
evaluacin institucional) desde la perspectiva del
alumno en F.J.Tejedor y J.L. Rodrguez Diguez (Eds)
Evaluacin Educativa. II. Evaluacin institucional.
Salamanca, IUCE, Universidad de Salamanca.
Tjar, J.C. y Manchado, R. (1998): Innovacin educativa y
calidad de la enseanza en J.C.
Tjar y otros. Promover la calidad de la Enseanza Universitaria.
Mlaga. ICE.
Toranzos, L. (1996): Evaluacin y calidad. Revista Iberoamericana
de Educacin, n 10, p. 64.
Wilson, J.D. (1992): Cmo valorar la calidad de la enseanza.
Madrid, MEC.
Villa, A. y Villardon, L. (1998): La evaluacin docente a travs
de los alumnos como evaluacin formativa. Revista de
Enseanza Universitaria, n extraordinario, ICE de Sevilla,
p. 391.
Villar Angulo, L.M. (1990): El profesor como profesional: formacin
y desarrollo personal. Granada, Publicaciones de la
Universidad de Granada.
Villar Angulo, L.M. (1991): Modelos de desarrollo profesional del
profesorado universitario. III Jornadas Nacionales de
Didctica universitaria. Las Palmas de Gran Canaria,
ICE.
Ziga, R. (1997): La evaluacin en la accin docente en
Apodaca, P. y Lobato, C. Calidad en la Universidad:
Orientacin y Evaluacin. Barcelona, Laertes.


137

INSTITUCIONES DE EVALUACIN EN ESPAA
Julio Puente Azcuita
Instituto Nacional de Calidad y Evaluacin (INCE)

LA EVALUACIN DEL SISTEMA EDUCATIVO ESPAOL EN LA
LOGSE

La Ley Orgnica de Ordenacin General del Sistema
Educativo (LOGSE) de 1990 incluye la evaluacin del sistema
como uno de los factores de carcter eminentemente educativo
que contribuyen a una mejora de la calidad de la enseanza. A
partir de la promulgacin de esta Ley Orgnica, la evaluacin
del sistema educativo espaol deviene una tarea intencional y
sistemtica de las autoridades educativas.
No obstante, no deben olvidarse los estudios e informes
anteriores a 1990 que contienen elementos de diagnstico y
evaluacin del sistema educativo espaol. Muchos de ellos se
llevaron a cabo por iniciativa de los administradores pblicos
de la educacin, como el Libro Blanco cuyo ttulo era La
educacin en Espaa: Bases de una poltica educativa (1969), que
precedi a la Ley General de Educacin de 1970, el informe
Examen de la poltica educativa espaola, llevado a cabo por la
OCDE en 1986 y promovido por las autoridades polticas, y el
Libro Blanco para la Reforma del Sistema Educativo, publicado por


138
el Ministerio de Educacin y Ciencia en 1989. Una fuente
privilegiada para conocer la realidad del sistema educativo es el
conjunto de Informes Anuales del Consejo Escolar del Estado
desde mediados de los aos ochenta. Tambin los informes de
la Inspeccin de Educacin han constituido una fuente
imprescindible para conocer la realidad educacional del
sistema; las Memorias Anuales de la Inspeccin de Educacin
General Bsica y las Memorias Anuales de la Inspeccin de
Bachillerato, publicadas hasta 1984, contenan informacin
relevante sobre amplios aspectos del sistema educativo, al igual
que los informes anuales sobre evaluacin del alumnado
publicados desde 1986. Por ltimo, las investigaciones llevadas
a cabo por distintas instituciones en el campo de la educacin
constituyen asimismo una va destacada para el diagnstico y la
evaluacin de diversos componentes del sistema educativo;
entre estas instituciones se encuentran el Centro Nacional para
la Investigacin y el Desarrollo Educativo (CENIDE) y sus
sucesoras, el Instituto Nacional de Ciencias de la Educacin
(INCIE) y el Centro de Investigacin y Documentacin
Educativa (CIDE), el desaparecido Instituto de Pedagoga del
Consejo Superior de Investigaciones Cientficas y las Facultades
de Ciencias de la Educacin de diversas universidades.
Actualmente, las lneas generales de la evaluacin del
sistema educativo espaol son las establecidas por la Ley
Orgnica de Ordenacin General del Sistema Educativo
(LOGSE) y la Ley Orgnica de la Participacin, la Evaluacin y
el Gobierno de los Centros Docentes (LOPEG). La primera de
ellas atribuye una singular importancia a la evaluacin general
del sistema educativo. La ley seala en su prembulo que la
actividad evaluadora es fundamental para analizar en qu
medida los distintos elementos del sistema estn contribuyendo
a la consecucin de los objetivos establecidos. La promulgacin
de la LOPEG en 1995 complet algunos aspectos sobre la
actividad evaluadora que slo haban sido esbozados en la
LOGSE. Ambas leyes delimitan el marco normativo en el que se
inscribe en la actualidad la teora y la prctica de la evaluacin
del sistema educativo espaol.
Las finalidades de la evaluacin del sistema que se
establecen en estas leyes son bsicamente tres:
1. La mejora de la calidad de la educacin. La LOGSE
considera que la evaluacin del sistema educativo es un factor


139
que favorece la mejora y la calidad de la enseanza (art. 55). En
consecuencia, la evaluacin se orientar a la adecuacin
permanente del sistema a las demandas sociales y a las
necesidades educativas (LOGSE, art. 62 y LOPEG, art. 27), y
tiene como objetivo la mejora permanente del sistema y la
consecucin de una enseanza de mayor calidad. Para ello se
busca conocer la calidad del servicio educativo, indagando el
papel que juegan los distintos componentes del sistema: la
propia administracin educativa, la gestin y la organizacin de
los centros, los profesores, los alumnos, los planes de estudio,
las metodologas didcticas, etc.
2. La utilidad para la toma de decisiones. La LOGSE en su
exposicin de motivos considera que la evaluacin del sistema
educativo debe proporcionar informacin relevante a todas y
cada una de las instancias para el mejor ejercicio de sus
funciones. Como se indica en el prembulo del Real Decreto por
el que se regula el INCE, la mejora cualitativa de la enseanza
exige que las Administraciones educativas dispongan de
mecanismos de obtencin y anlisis de datos, con vistas a
apoyar su toma de decisiones y a rendir cuentas de su
actuacin. Bajo este enfoque utilitario o instrumental, la
evaluacin proporciona a los administradores de la educacin
la informacin necesaria para apoyar la toma de decisiones y
conducir el sistema educativo.
3. La contribucin al debate social sobre educacin. Como
indica la LOGSE en su exposicin de motivos, ningn proceso
de mejora del sistema es posible sin la activa participacin
social. La sociedad, en su conjunto, tiene derecho a conocer el
estado general del sistema educativo y de sus componentes
porque una sociedad bien informada es un motor decisivo para
la mejora de la calidad de la enseanza. En la lnea que algunos
autores denominan enfoque iluminativo, la evaluacin del
sistema debe proporcionar a toda la sociedad y a los agentes
implicados en la educacin informacin sobre el estado del
sistema con objeto de facilitar el debate sobre los grandes temas
educativos en una sociedad democrtica; al tiempo, debe
facilitar el control social de los grandes gastos en educacin, es
decir, el seguimiento de la eficiencia del sistema. Por todo ello,
la LOPEG considera que la mejora de la calidad de la
enseanza exige ampliar la informacin de los resultados de la


140
evaluacin y prescribe la difusin peridica de las conclusiones
de inters de la evaluacin general del sistema educativo.
En ambas leyes orgnicas se encuentra una ampliacin
explcita del objeto de la evaluacin, lo que supone superar la
concepcin que identifica la evaluacin de los sistemas
educativos exclusivamente con la medicin del rendimiento de
los alumnos. La LOGSE establece que la evaluacin del sistema
educativo se aplicar sobre los alumnos, pero tambin sobre el
profesorado, las instituciones escolares, los procesos educativos
y sobre la propia Administracin educativa (art. 62). La LOPEG
reitera esta ampliacin del objeto de la evaluacin (art. 27). La
evaluacin del sistema educativo integra, por tanto, un
conjunto muy diverso de evaluaciones sobre distintos
componentes del mismo llevados a cabo por diversos agentes
evaluadores.
Estas leyes orgnicas delimitan claramente los mbitos
de competencias en la evaluacin del sistema educativo
teniendo en cuenta la distribucin territorial del Estado
Espaol. La evaluacin en el mbito del conjunto del Estado se
realiza por el Instituto Nacional de Calidad y Evaluacin
(INCE), creado por la LOGSE para este fin (art. 62). La
evaluacin del sistema de cada Comunidad Autnoma
corresponde en el mbito de sus competencias a la respectiva
Administracin educativa. La ley distingue, en consecuencia,
claramente entre la evaluacin general del sistema educativo
espaol, que debe realizar el INCE, y la evaluacin de los
sistemas educativos de las distintas Comunidades Autnomas.

EL INSTITUTO NACIONAL DE CALIDAD Y EVALUACIN (INCE)

Creacin, naturaleza y mbito de actuacin

En el artculo 62 de la LOGSE se aborda directamente la
evaluacin general del sistema educativo, que se confa al
Instituto Nacional de Calidad y Evaluacin (INCE), al que se
atribuyen tareas encaminadas a la mejora cualitativa de la
enseanza en tres mbitos principales:


141
a) Elaborar sistemas de evaluacin para las diferentes
enseanzas reguladas en la LOGSE y sus
correspondientes centros.
b) Realizar investigaciones, estudios y evaluaciones del
sistema educativo.
c) Proponer a las Administraciones educativas cuantas
iniciativas y sugerencias puedan contribuir a
favorecer la calidad y la mejora de la enseanza.
Hasta 1993 no se aprob el Real Decreto 928/1993, por el
que se regula el INCE, y en el cual se especifican sus funciones,
los principios bsicos de su organizacin y las atribuciones de
sus rganos de gobierno. El INCE es, por tanto, una institucin
relativamente joven que an est en los primeros pasos de su
andadura.
El INCE aborda la evaluacin del sistema educativo
desde una perspectiva macroeducativa y lleva a cabo la
evaluacin general del sistema educativo para obtener
indicadores del funcionamiento del mismo considerado
globalmente. En consecuencia, no se dedica a la evaluacin de
los aprendizajes de los alumnos con fines de promocin o
certificacin, ni evala el trabajo docente de los profesores para
tomar decisiones sobre su carrera profesional, ni la
organizacin y el funcionamiento de los centros escolares
individualmente considerados. El INCE centra su actuacin en
la evaluacin del conjunto del sistema, en lo que se refiere al
logro de los fines de la educacin establecidos en el marco legal,
al estado general del sistema educativo y a los resultados
alcanzados por sus componentes, en una concepcin amplia de
los mismos. Dicha tarea requiere conocer informacin
procedente de alumnos, familias, profesores o centros escolares,
aun cuando no se pretenda su evaluacin de modo singular.
Esta perspectiva implica una diferencia fundamental con la
actuacin de otros agentes evaluadores, como los profesores o
los inspectores.
La evaluacin del sistema educativo realizada por el
INCE pretende cubrir las tres grandes finalidades sealadas
anteriormente:
1. Descubrir qu factores contribuyen a lograr una
mejora de la calidad de la enseanza y sobre cules se puede


142
incidir para tal fin. Para ello es necesario establecer
procedimientos que permitan conocer el estado y la evolucin
del sistema educativo espaol, as como detectar sus logros y
deficiencias.
2. Proporcionar informacin a las Administraciones
educativas sobre la situacin y la evolucin del sistema
educativo, en el mbito de sus competencias, para que puedan
adoptar las medidas necesarias para el desarrollo y mejora del
mismo.
3. Difundir los resultados de las evaluaciones realizadas
para que todos los actores del proceso educativo (familias,
alumnado, profesores y otras entidades) y los ciudadanos en
general puedan conocer y, por tanto, valorar los diferentes
aspectos del sistema.
La LOGSE distingue dos mbitos en la evaluacin del
sistema educativo: el que corresponde al Estado y el propio de
las Administraciones educativas de las Comunidades
Autnomas. El INCE se sita en el primero de ellos y su campo
de actuacin es:
La evaluacin de los aspectos bsicos del currculo,
que constituyen las enseanzas mnimas
establecidas por la LOGSE.
La elaboracin de sistemas de evaluacin.
La realizacin de investigaciones, estudios y
evaluaciones del sistema educativo.
La formulacin de iniciativas y sugerencias a las
Administraciones educativas para contribuir a la
mejora de la calidad de la enseanza.
De acuerdo con lo establecido en la LOGSE, las
Administraciones educativas participan en el gobierno y en el
funcionamiento del INCE. El Instituto se configura como un
organismo basado en la colaboracin entre todas las
Administraciones educativas y respetuoso con las competencias
de cada una de ellas.


143
Funciones del INCE

Las funciones del INCE estn detalladas en el Real
Decreto precitado. Algunas de ellas estn directamente
relacionadas con la evaluacin del sistema educativo concebida
como un mecanismo permanente de autorregulacin del
mismo:
Elaborar un sistema estatal de indicadores de la
educacin que permita evaluar el grado de eficacia y
eficiencia del sistema educativo.
Elaborar sistemas de evaluacin para las diferentes
enseanzas reguladas en la LOGSE y sus
correspondientes centros.
Evaluar la estructura, el alcance y los resultados de las
innovaciones de carcter general introducidas en el
sistema educativo.
Otras funciones encomendadas al INCE responden al
carcter utilitario de la evaluacin del sistema:
Colaborar y cooperar con las Administraciones
educativas en materia de evaluacin educativa.
Proporcionar e intercambiar informacin a las
Administraciones educativas para la toma de
decisiones.
Otro grupo de funciones se relaciona con el carcter
social de la evaluacin y la necesidad de difundir sus
resultados:
Proporcionar informacin al Consejo Escolar del
Estado.
Informar a los distintos sectores de la sociedad acerca
del funcionamiento y de los resultados obtenidos por
el sistema educativo.
Publicar los resultados de sus evaluaciones e
investigaciones.
Tambin se ha atribuido al INCE la coordinacin de los
estudios internacionales sobre evaluacin educativa en los que
Espaa participa; el INCE es el encargado de armonizar estos


144
trabajos, aunque en ellos participen tambin las
Administraciones educativas de las Comunidades Autnomas:
Coordinar a nivel estatal la participacin espaola en
los estudios internacionales de evaluacin.

Organizacin y estructura

La organizacin bsica del INCE est constituida por un
Consejo Rector de carcter decisorio, un Director y un Comit
Cientfico de carcter consultivo. Dispone adems del personal
necesario para el desarrollo de sus funciones. Sus actuaciones se
enmarcan en planes de actuacin plurianuales.

El Consejo Rector del INCE
El Consejo Rector es el rgano superior de gobierno de
INCE, dependiente de la Conferencia Sectorial de Educacin.
Est presidido por el Secretario de Estado de Educacin,
Universidades, Investigacin y Desarrollo. Forman parte de
Consejo el Director General de Centros Educativos, el Director
General de Coordinacin y de la Alta Inspeccin, el Director
General de Formacin Profesional y Promocin Educativa del
Ministerio de Educacin y Cultura, y un representante de cada
una de las Comunidades Autnomas con competencias plenas
en materia de educacin con rango de Director General, adems
del propio Director del Instituto.
La composicin del Consejo Rector garantiza el
cumplimiento de lo prescrito por la LOGSE respecto a
participacin de las Administraciones educativas en el
gobierno y funcionamiento del INCE (art. 62). Se asegura
tambin el contexto de colaboracin y de coordinacin entre las
diversas Administraciones para la evaluacin del sistema
educativo.
El Consejo Rector tiene atribuidas importantes
funciones de direccin y control del Instituto: adoptar las
decisiones necesarias para la elaboracin de los planes de
actuacin siguiendo los criterios y prioridades que determine la
Conferencia sectorial de educacin; informar los planes de


145
actuacin que deben ser sometidos a la aprobacin de dicha
Conferencia, as como elevar a la misma los informes del
Instituto; informar e incluir en los planes de actuacin las
propuestas de evaluacin del sistema educativo que le remita el
Consejo Escolar del Estado; informar los convenios que deban
suscribirse con otros organismos e instituciones en el mbito de
actuacin del Instituto, y adoptar criterios para la asistencia y
participacin en estudios y reuniones internacionales en los que
participa Espaa.

El Comit Cientfico
Los trabajos del Instituto deben reunir los requisitos
cientficos y tcnicos exigibles a las actividades encomendadas.
Para ello existe un Comit Cientfico de carcter consultivo
formado por profesionales e investigadores de reconocido
prestigio cientfico y profesional en el mbito de la evaluacin e
investigacin educativas.
Este Comit est constituido por un Presidente y seis
miembros. Sus funciones son las de asistir y asesorar al Consejo
Rector y al Director del INCE en la elaboracin, desarrollo y
evaluacin de los planes de actuacin del Instituto.

El Director
Al frente del INCE hay un Director nombrado por el
Ministerio de Educacin y Cultura, oda la Conferencia sectorial
de educacin. Ostenta la representacin del Instituto, asegura
su funcionamiento cotidiano y se responsabiliza del desarrollo
de sus planes de actuacin

Los Planes de Actuacin
Los planes de actuacin son el instrumento bsico para
la articulacin de las actividades del INCE. Propuestos por el
Director al Consejo Rector del Instituto, son informados por
este rgano y aprobados por la Conferencia sectorial de
educacin. Los planes tienen carcter plurianual, lo que permite
una programacin estable a medio y a largo plazo de las
actuaciones del Instituto, y se elaboran con criterios de


146
factibilidad, que asegura que los objetivos de los planes de
actuacin son realistas y alcanzables con los recursos
disponibles, y flexibilidad, que permite su eventual
reorientacin si el desarrollo de los mismos as lo aconseja.
Los planes de actuacin contienen las actuaciones del
Instituto previstas para el perodo fijado en el plan, y los
objetivos y la metodologa de cada una de ellas.

Las comisiones coordinadoras
Las comisiones coordinadoras no estn previstas en la
normativa que regula el INCE. Sin embargo, se han consolidado
en la prctica como rganos decisivos en el diseo y en el
desarrollo de los estudios de evaluacin del Instituto.
Se constituye una comisin coordinadora para cada uno
de los estudios de evaluacin previstos en los planes de
actuacin. Suelen estar constituidas por tcnicos del INCE y por
un representante de cada una de las comunidades autnomas.
Planifican, dirigen y supervisan el desarrollo de los estudios
desde sus primeras fases hasta la publicacin del informe final
correspondiente, con lo que se garantiza la participacin de las
Administraciones educativas en el funcionamiento del Instituto,
tal como dispone la LOGSE en su artculo 62, y se armonizan
los estudios para la evaluacin general del sistema educativo
con los intereses de las comunidades autnomas respecto a la
evaluacin de sus respectivos sistemas autonmicos.
Las comisiones coordinadoras cuentan con el apoyo de
grupos de expertos que se encargan, bajo la direccin de la
comisin, de determinadas tareas en el desarrollo de los
estudios de evaluacin, como la elaboracin de tems de
pruebas de rendimiento, la elaboracin de cuestionarios de
opinin o el anlisis de los resultados.

Tareas desarrolladas por el INCE

Desde el inicio de su actividad el INCE ha desarrollado
diversas tareas en el mbito de las funciones que le han sido
encomendadas. Estas tareas se pueden agrupar en cuatro


147
grandes apartados: evaluacin permanente del sistema
educativo, acciones de carcter continuo, proyectos especficos
y participacin en estudios internacionales de evaluacin.

Evaluacin permanente del sistema educativo

Una serie de tareas desarrolladas por el INCE estn
directamente vinculadas con la evaluacin permanente del
sistema educativo.

Elaboracin de un sistema estatal de indicadores de
la educacin. El objetivo fundamental de esta actuacin es
construir un sistema de indicadores capaz de proporcionar
informacin sobre el estado de la educacin en el mbito
estatal; se trata de construir un conjunto de ndices estadsticos
significativos que arrojen luz sobre el estado y la calidad del
sistema educativo y de sus diversos componentes. Dichos
indicadores se refieren tanto a los factores contextuales del
sistema como a los costes, el funcionamiento y los resultados
del mismo. Es una actuacin permanente en la lnea de los
modelos internacionales que se estn elaborando y susceptible
tambin de ser aplicado por las Administraciones educativas de
la Comunidades Autnomas.

Evaluacin de la educacin primaria. Los objetivos de
los estudios de evaluacin de la educacin primaria son conocer
lo que saben los alumnos al final de esta etapa educativa,
relacionar el rendimiento de los alumnos con factores
contextuales y con procesos educativos y comparar los
resultados en distintos aos para seguir la evolucin del
sistema educativo. Se ha llevado a cabo la evaluacin de la
educacin primaria en 1995 y en 1999 mediante la aplicacin de
pruebas de rendimiento a una muestra representativa de
alumnos y de cuestionarios de opinin a estos alumnos, sus
familias, sus profesores y los equipos directivos de sus centros.


148
Evaluacin de la educacin secundaria obligatoria. Al
igual que en la actuacin anterior, el objetivo fundamental es
conocer y valorar los resultados al final de la educacin
secundaria obligatoria; dichos resultados habrn de ser
relacionados tambin con los factores contextuales y con los
procesos educativos desarrollados en las instituciones escolares,
con el propsito de lograr una explicacin lo ms completa y
coherente posible de aquellos. Se ha llevado a cabo la
evaluacin de la educacin secundaria obligatoria en 1997 y en
2000, con unas finalidades, un enfoque general y una
metodologa semejantes a los expuestos para el caso de la
educacin primaria.

Acciones de carcter continuo

Construccin de un banco de tems y pruebas de
rendimiento. El establecimiento de un banco de tems facilita la
construccin de pruebas y cuestionarios para la realizacin de
estudios en un momento especfico. El banco incluye, adems
de la formulacin de cada uno de los tems que lo integran, los
datos psicomtricos relevantes, las poblaciones en las que se ha
utilizado y los descriptores de nivel educativo y de materia a
los que son aplicables.

Diseo y desarrollo de programas de formacin en
especialistas en evaluacin. El INCE no puede dejar de
colaborar en la formacin de aquellas personas pertenecientes a
las distintas Administraciones educativas y a la propia
institucin que han de participar en los programas de actuacin
del Instituto. Hasta el momento se han desarrollado cursos
sobre diversos temas relacionados con la evaluacin educativa:
las instituciones para la evaluacin del sistema educativo, la
teora de la respuesta al tem, la utilizacin de programas
estadsticos avanzados y el modelo europeo de gestin de
calidad adaptado a la educacin.

Edicin de la Revista de Educacin.


149
Proyectos especficos

Estudio sobre la enseanza y el aprendizaje de las
lenguas extranjeras en Espaa. En su primera fase el estudio se
centra en la lengua inglesa e incluye la aplicacin de pruebas a
alumnos al final de la educacin primaria y de la educacin
secundaria obligatoria. Su objeto es conocer la competencia
lingstica del alumnado en materia de comprensin oral,
comprensin escrita y expresin escrita. El estudio se completa
con una investigacin paralela sobre metodologa adecuada
para evaluar la expresin oral.

Diagnstico de la funcin directiva en los centros
docentes. El objetivo principal de este proyecto es conocer y
valorar el ejercicio de la direccin escolar por los directores de
los centros docentes, as como su relacin con los procesos
educativos y con factores contextuales, de modo que se puedan
obtener conclusiones en cuanto a las relaciones entre ellos y el
ejercicio de la funcin directiva.

Participacin en estudios internacionales de evaluacin.

Actualmente se ha producido una expansin de los
estudios internacionales de evaluacin como consecuencia del
inters de la mayora de los pases por conocer y comparar los
resultados obtenidos por unos y otros. La participacin en
estudios internacionales ofrece un gran inters para la
evaluacin del sistema educativo porque permite comparar la
situacin y los resultados del propio sistema con el de otros
pases que puedan servir de referencia. Entre los numerosos
estudios internacionales de evaluacin en los que participa o ha
participado el INCE se pueden citar los siguientes:
Tercer estudio internacional de matemticas y ciencias
(TIMSS).
Proyecto Piloto de Evaluacin de la Calidad Escolar de
la Unin Europea.


150
Programa de evaluacin de la calidad de la educacin
de la Cumbre Iberoamericana, en el seno de la OEI.
Proyecto Internacional de Indicadores de los sistemas
educativos (INES) de la OCDE.
Proyecto Internacional para la produccin de
indicadores de resultados educativos de los alumnos
(PISA) de la OCDE.

Difusin de los resultados de las evaluaciones

De acuerdo con las finalidades de la evaluacin general
del sistema educativo, los destinatarios de los trabajos del INCE
son fundamentalmente las Administraciones educativas y los
actores sociales.
Los estudios de evaluacin del INCE concluyen con la
elaboracin del correspondiente informe y su publicacin. De
algunos estudios se elabora un doble informe: un avance de
informe de carcter divulgativo destinado a todos los
ciudadanos y un informe tcnico destinado a expertos y a toda
persona interesada en materia de evaluacin educativa.

LA EVALUACIN DEL SISTEMA EDUCATIVO EN EL MBITO DE LAS
COMUNIDADES AUTNOMAS

Las Comunidades Autnomas del Estado Espaol han
adoptado diferentes modelos para la evaluacin del sistema
educativo en el mbito de sus competencias. En un intento de
simplificacin estos modelos se pueden reducir a tres: la
creacin de instituciones de evaluacin especficas, la atribucin
de las tareas evaluadoras a un organismo de la Administracin
educativa y la asignacin de las funciones evaluadoras a
entidades no dedicadas en exclusiva a la evaluacin del
sistema.


151

Las instituciones de evaluacin

Las Comunidades Autnomas que han adoptado este
modelo han pretendido prioritariamente un alto grado de
autonoma de las instituciones encargadas de la evaluacin del
sistema respecto de la Administracin educativa. El propio
INCE responde a este modelo.
Como ejemplos se pueden citar el Instituto Canario de
Evaluacin y Calidad Educativa (ICEC) de la Comunidad
Autnoma de Canarias, el Consell Superior dAvaluci del
Sistema Educatiu de la Comunidad Autnoma de Catalua y el
Instituto Valenciano de Evaluacin y Calidad Educativa
(IVECE) de la Comunidad Autnoma Valenciana.
La organizacin bsica de estas instituciones responde al
siguiente esquema:
Un rgano de gobierno, de carcter decisorio,
responsable de establecer los planes de actuacin de
la institucin y del seguimiento y control de las
funciones que sta tiene asignadas (Consejo Rector
del ICEC, Comisin Rectora del IVECE).
Un director, encargado del funcionamiento
cotidiano de la institucin y responsable del
desarrollo de los planes de actuacin.
Un rgano tcnico de carcter consultivo, formado
por expertos de reconocido prestigio en el campo de
la evaluacin educativa, con la misin de asesorar al
rgano decisorio y al director de la institucin.
Garantiza la correccin cientfica y tcnica de los
estudios realizados (Comit Cientfico del ICEC,
Consejo Asesor del IVECE, Grupo de Vocales
expertos en educacin del Consell).
Estas instituciones tienen funciones relacionadas con la
evaluacin del sistema educativo desde una perspectiva
macroeducativa: elaborar un sistema autonmico de
indicadores de la educacin, informar a los distintos sectores de
la sociedad del funcionamiento y de los resultados del sistema
educativo de la Comunidad Autnoma, evaluar el grado de


152
adquisicin de las enseanzas establecidas en los currculos
aplicables en la Comunidad, etc.

Los rganos evaluadores integrados en la Administracin
educativa

En algunas Comunidades Autnomas se ha optado por
confiar las tareas de evaluacin del sistema educativo a un
organismo que forma parte del organigrama de la
Administracin educativa, la cual asume directamente la
evaluacin del sistema.
Es el caso de la Comunidad Autnoma de Andaluca, en
donde la Direccin General de Evaluacin y Formacin del
Profesorado, dependiente de la Consejera de educacin de la
Junta de Andaluca, asume las funciones de evaluacin del
sistema educativo andaluz. Sus funciones en materia de
evaluacin educativa son las de definir criterios de evaluacin
de los rendimientos escolares y del sistema educativo, analizar
los rendimientos escolares, analizar el rendimiento del sistema
educativo y proponer las medidas correctoras oportunas. Para
orientar el desarrollo de estas funciones se cuenta como rgano
consultivo con la Comisin Asesora para la Evaluacin del
Sistema Educativo. La gestin del diseo y aplicacin de los
programas y planes de evaluacin corresponde al Servicio de
Evaluacin dependiente de la Direccin General.

Los rganos sin funciones exclusivas de evaluacin

Finalmente, algunas Comunidades Autnomas han
atribuido las funciones de evaluacin del sistema a organismos
integrados en la Administracin educativa que desarrollan,
adems, otro tipo de tareas no vinculadas directamente con la
evaluacin del sistema. Por ejemplo, en la Comunidad Foral de
Navarra las funciones evaluadoras del sistema las asume la
Direccin General de Educacin, dependiente del
Departamento de Educacin y Cultura, y en la Comunidad
Autnoma del Pas Vasco, la Direccin de Innovacin


153
Educativa, dependiente del Departamento de Educacin,
Universidades e Investigacin del Gobierno Vasco.

Panorama actual

Varias Comunidades Autnomas han recibido las
competencias plenas en materia de educacin a lo largo del ao
1999 y a comienzos del 2000. Las medidas adoptadas respecto a
la evaluacin de los respectivos sistemas educativos
autonmicos son an tentativas y provisionales, por lo que ser
preciso esperar algn tiempo antes de que se estabilicen los
modelos de evaluacin del sistema que se adopten.
En el
conjunto de la Comunidades, puede detectarse una cierta
preferencia por la adopcin de modelos institucionales y por la
creacin de instituciones de evaluacin especficamente
encargadas de la evaluacin del sistema educativo autonmico.
Incluso Comunidades Autnomas que llevan un perodo
relativamente largo en el uso de sus competencias educativas
plenas, estn pasando de modelos no institucionales a modelos
institucionales, como la Comunidad Valenciana, que ha creado
el IVECE en el ao 2000.
En la
actualidad la colaboracin entre el INCE y las entidades
evaluadoras de las distintas Comunidades Autnomas es muy
estrecha. stas entidades colaboran en los estudios de
evaluacin general del sistema educativo espaol mediante la
presencia de miembros de las mismas en las distintas
comisiones coordinadores de estos estudios. Por otra parte,
algunas entidades evaluadoras llevan a cabo, en el mbito de
sus competencias, la evaluacin del sistema educativo
autonmico en paralelo con los estudios de evaluacin general
del sistema educativo, utilizando los mismos instrumentos y los
mismos criterios de aplicacin y anlisis de resultados.


154
La inspeccin educativa

Para identificar el modo de participacin de la
inspeccin educativa en la evaluacin del sistema, conviene
distinguir los distintos procesos de evaluacin que se llevan a
cabo en el sistema educativo desde una triple perspectiva:
a) La perspectiva microeducativa o individual, desde la
que se aborda la evaluacin de los elementos del
sistema educativo con una finalidad eminentemente
individual y con efectos singulares, como la
evaluacin de los aprendizajes de los alumnos para
su promocin o certificacin, la evaluacin de los
docentes con incidencia en su carrera profesional y
la evaluacin de la funcin directiva.
b) La perspectiva mesoeducativa o institucional, desde
la que se evalan componentes intermedios del
sistema, como sucede en la evaluacin de los centros
educativos para mejorar su organizacin y
funcionamiento y en la evaluacin de los programas
educativos para su mejora, orientacin o supresin.
c) La perspectiva macroeducativa o sistmica, desde la
que se evala el sistema educativo en su conjunto
como si se tratara de una unidad. La evaluacin
general del sistema educativo tiene un carcter
global y su objetivo no es evaluar los logros de cada
alumno, profesor o centro, sino obtener indicadores
del sistema educativo en su conjunto. Tiene
bsicamente una finalidad diagnstica, a partir de la
cual se puede fundamentar y orientar la toma de
decisiones encaminadas a la mejora de la calidad de
la enseanza.
La LOGSE encomienda a la inspeccin de educacin la
funcin de participar en la evaluacin del sistema educativo
(art. 61). La LOPEG concreta que entre las funciones de la
inspeccin est la de participar en la evaluacin del sistema
educativo, especialmente en la que corresponde a los centros
escolares, a la funcin directiva y a la funcin docente, a travs
del anlisis de la organizacin, del funcionamiento y de los
resultados de los mismos (art. 36), as como informar los


155
programas y las actividades de carcter educativo promovidos
o autorizados por las administraciones educativas competentes.
Corresponde, pues, a la inspeccin de educacin la evaluacin
del sistema educativo desde una perspectiva mesoeducativa o
institucional.
En el marco de una evaluacin integral del sistema
educativo, la evaluacin de los centros docentes es un
componente fundamental para conocer el estado del mismo, ya
que, desde una perspectiva mesoeducativa, la evaluacin del
rendimiento educativo del sistema se lleva a cabo mediante el
anlisis del rendimiento educativo de las instituciones
escolares. La valoracin del funcionamiento de los centros
permite obtener conclusiones que relacionen la normativa, el
apoyo a los centros por la Administracin educativa y los
resultados alcanzados en l. La evaluacin de los centros
docentes contribuye, adems, a la mejora de la calidad del
sistema educativo: si mediante los procesos de evaluacin se
mejora la organizacin, el funcionamiento y los resultados de
cada centro considerado en s mismo, se est logrando una
mejora de la calidad del sistema considerado en su conjunto.
La actividad evaluadora de la inspeccin educativa tiene
su lugar natural en los centros docentes; la LOPEG determina
que las Administraciones educativas elaborarn y pondrn en
marcha planes de evaluacin que sern aplicados
peridicamente a los centros docentes sostenidos con fondos
pblicos, cuya aplicacin corresponde principalmente a la
inspeccin educativa (art.29). La inspeccin tiene atribuido,
pues, un papel destacado en la evaluacin del sistema
educativo y ms concretamente en la evaluacin de los centros
docentes. Su participacin contribuye, por tanto, a una
evaluacin sistemtica y efectiva del sistema educativo dada su
doble funcin como agente orientador, impulsor y dinamizador
de los procesos de evaluacin interna en los centros escolares y
como agente habitual de la evaluacin externa.
Tampoco se pueden ignorar las aportaciones de la
inspeccin educativa a la evaluacin de determinados aspectos
del sistema, que han dado lugar a la elaboracin de informes
que contienen datos relevantes para la evaluacin del sistema
educativo espaol.


156
Las actividades de evaluacin de la inspeccin educativa
abarcan cuatro grandes mbitos:
Evaluacin de los centros escolares. La inspeccin ha
desarrollado planes generales de evaluacin de
centros docentes que han dado lugar a informes
generales sobre el funcionamiento de las instituciones
escolares que constituyen una radiografa de aspectos
fundamentales del sistema educativo. Adems, ha
llevado a cabo evaluaciones sobre aspectos concretos
de la organizacin y funcionamiento de los centros:
actividades complementarias y extraescolares en
centros privados, funcionamiento de los consejos
escolares, etc.
Evaluacin de programas: seguimiento y anlisis de
los programas de reforma educativa, valoracin de la
puesta en prctica de programas de formacin
profesional en empresas, etc.
Rendimiento del alumnado: resultados de la
evaluacin de los alumnos en los niveles no
universitarios y estudios sobre temas especficos,
como el abandono escolar, los resultados en las
pruebas de aptitud para el acceso a la universidad, etc.
Evaluaciones relativas a la organizacin general de la
Administracin educativa: estudios sobre el
funcionamiento de la propia inspeccin, informes
sobre la aplicacin y cumplimiento de la normativa
vigente, etc.

Legislacin bsica

Ley Orgnica 1/1990, de 3 de octubre, de
Ordenacin General del Sistema Educativo.
Ley Orgnica 9/1995, de 20 de noviembre, de la
Participacin, la Evaluacin y el Gobierno de los
Centros Docentes.
Real Decreto 928, de 18 de junio, por el que se regula
el Instituto Nacional de Calidad y Evaluacin.


157
Orden de marzo de 1995 por la que se constituye el
Comit cientfico del Instituto Nacional de Calidad y
Evaluacin y se nombra al Presidente y miembros
del mismo.


158
Bibliografa
INCE: Evaluacin de la educacin primaria: lo que aprenden los
alumnos de 12 aos: datos bsicos 1995. Madrid, Centro de
Publicaciones del Ministerio de Educacin y Cultura,
1997.
INCE: Evaluacin de la educacin primaria: informe. Madrid,
Centro de Publicaciones del Ministerio de Educacin y
Cultura, 1997.
INCE: Diagnstico del Sistema Educativo. La escuela secundaria
obligatoria. 1997. Tomo 1 Elementos para un diagnstico
del Sistema Educativo Espaol. Informe Global. Madrid,
Centro de Publicaciones del Ministerio de Educacin y
Cultura, 1998.
INCE: Evaluacin de la calidad en la enseanza escolar. Proyecto
piloto Europeo. Madrid, Centro de Publicaciones del
Ministerio de Educacin y Cultura, 1999.
INCE: Instituciones para la evaluacin del sistema educativo:
Jornadas. Madrid, Centro de Publicaciones del Ministerio
de Educacin y Cultura, 1999.
INCE: Evaluacin de la educacin primaria: datos bsicos 1999.
Madrid, Centro de Publicaciones del Ministerio de
Educacin y Cultura, 2000.
INCE: Evaluacin de la enseanza y el aprendizaje de la lengua
inglesa. Educacin primaria 1999. Avance de resultados.
Madrid, Centro de Publicaciones del Ministerio de
Educacin y Cultura, 2000.


159

LA EVALUACIN DE CENTROS
Joan Mateo Andrs
Universidad de Barcelona

EL CENTRO COMO UNIDAD CLAVE DE LA NUEVA ARQUITECTURA
ORGANIZATIVA DE LA EDUCACIN

Como resultado de las profundas mutaciones que se
producen en las sociedades industrializadas y en sus
economas, en los pases europeos y de forma ms general los
del mundo industrializado, los sistemas educativos estn
realizando un verdadero cambio de paradigma organizativo.
Este cambio comporta una extensin importante de los
mecanismos de evaluacin a todos los niveles de enseanza y
entre ellos ocupa un lugar preeminente la escuela. Sin lugar a
duda, la escuela es la unidad funcional bsica del sistema y
mejorarla supone la mayor aportacin que se puede hacer a la
mejora global del mismo.
Los centros representan una pieza clave en la nueva
arquitectura organizativa. Su estatus en la gestin de la calidad
se valora gracias a su constitucin en comunidades educativas
autnomas y responsables, encargadas de realizar a nivel local
el proyecto educativo global fijado por el conjunto del sistema,
pero con una capacidad de autonoma y una responsabilidad
amplias en cuanto a las modalidades de actuacin que le


160
permitan profundizar y generar un producto educativo propio
que resalte su propia identidad.
En el nuevo paradigma organizativo, cada escuela se
convierte en un centro de reflexin y de innovacin
pedaggicas. La reflexin ser inducida desde la
autoevaluacin y la evaluacin externa y est exclusivamente al
servicio de la calidad educativa.
Por otro lado se exige cada vez ms insistentemente que
la escuela de cuentas a la sociedad de su eficacia y efectividad.
El problema est en que la institucin escolar tradicional aporta
pocas respuestas slidas, razonadas o razonables a estas
cuestiones que afecten a sus resultados, a sus procesos y a sus
efectos.
Con la evaluacin de centros se persigue modificar las
actitudes del contexto escolar y generar una actitud reflexiva
que tambin de confianza en la capacidad de realizar progresos.
En este marco y tal como seala Hutmacher (1999), los
instrumentos de desarrollo y de evaluacin se han de construir
casi en su totalidad tanto desde las perspectivas educativa,
social y cultural. La evaluacin se realiza bajo la necesidad de
atender dos perspectivas bsicas:
- Una descripcin evaluadora de la situacin y de los
resultados actuales, dentro de la tensin entre los
objetivos y las condiciones y circunstancias locales.
- Una apreciacin de los procesos y de la dinmica del
desarrollo en la cual se inscribe el centro, teniendo en
cuenta los objetivos que tiene asignados.

Y desde dos procesos fundamentales:
- Los procesos de evaluacin internos, donde la
dinmica de activacin procede sustancialmente del
propio centro.
- Los procesos externos, que vienen caracterizados por
ser inducidos externamente.


161

LOS CENTROS EDUCATIVOS. NATURALEZA

Las instituciones educativas constituyen en la
actualidad organizaciones muy complejas que pueden ser
analizadas desde diferentes puntos de vista.
As y desde una perspectiva muy descriptiva un centro
educativo podra considerarse como una realidad dinmica en
la que confluyen un conjunto de actores: profesorado, personal
no docente, alumnos, padres etc. con el objetivo de alcanzar
unos objetivos de aprendizaje desde unas prcticas pedaggicas
concretas.
Dentro de la propia descripcin podemos concebirlas
como organizaciones formales que pueden ser evaluadas
tomando como criterios de referencia principios de eficacia.
Desde esta perspectiva es habitual analizar bsicamente los
nombrados factores de produccin que acostumbran a
aglutinarse entorno a cuatro grandes bloques, segn hagan
referencia al contexto, a las variables de entrada, al proceso o al
producto (context, input, process, product).
Otra manera de concebirlas es como comunidades
educativas, es decir, como espacios de relacin interpersonal,
mbitos donde conviven un conjunto de personas, dentro de
ciertas reglas y en relacin con unos fines.
La aproximacin evaluativa estar orientada
fundamentalmente por la necesidad de comprender en
profundidad los hechos que tienen lugar en el marco de la
institucin, a fin de lograr que los miembros perciban sus
problemas y contradicciones y focalicen sus potencialidades a
fin de conseguir el cambio.
Finalmente, una tercera va es la de postular enfoques en
los cuales los centros son considerados como organizaciones en
continuo proceso de desarrollo y que mantienen una estrecha
relacin de interdependencia con el medio en el que estn
situados. Caracteriza estas instituciones la bsqueda
continuada de un mayor ajuste entre el centro y el contexto
social, mediante un proceso continuo de aprendizaje y de
desarrollo interno.


162
El diseo especfico de un modelo evaluativo por un
centro estar condicionado: por el concepto que tengamos
respecto de l, por el carcter que asignemos al termino calidad
educativa y por la manera en que ambos extremos estn
interrelacionados. El conjunto orientar definitivamente el
enfoque evaluativo que se adoptar.

LA CALIDAD EDUCATIVA

La calidad educativa es posiblemente uno de los temas
ms empleados en cualquier discurso pedaggico y a la vez
resulta uno de los ms difciles de definir o concretar. En la
actualidad constituye un axioma casi obsesivo el que la
evaluacin ha de estar orientada hacia la consecucin y mejora
de esta calidad educativa, pero parece evidente que deberamos
previamente debatir, aunque sea brevemente, su naturaleza y
su sentido. Lo que si que parece aceptado de manera general, es
que la qumica bsica de la calidad se produce en el contexto
del centro, de aqu que reflexionemos sobre ella, justamente en
este apartado.
Tomando como referencias las distintas aproximaciones
y perspectivas que aparecen en la literatura (Garvin, 1988;
Harvey y Green, 1993; Rodrguez, 1995) y con De Miguel (1995),
nos podemos aproximar la comprensin del trmino cualidad
partiendo de los criterios expresados con mayor frecuencia. As
tenemos:
a) La calidad entendida como excelencia.
Desde este punto de vista se entiende por calidad el
prestigio o la reputacin acadmica y social que tienen
determinadas instituciones acreditadas. La determinacin del
mismo se entiende y asume que no se realiza por
procedimientos objetivos, sino mediante el juicio de expertos en
el rea.
b) La calidad en funcin de los recursos.
Desde esta perspectiva se establece el criterio
entendiendo que aquellos centros dotados con ms y mejores
recursos (humanos, materiales, econmicos, etc.) han de ser a la
fuerza los de ms calidad.


163
c) La calidad en funcin de los resultados.
Se parte del supuesto que una institucin tiene calidad
en la medida que contribuye al xito de sus alumnos.
Consecuentemente, son sus resultados los que determinan la
valoracin de la institucin.
d) La calidad como valor aadido.
Desde esta perspectiva se entiende que la calidad de una
institucin se valora en funcin de su mayor incidencia en el
cambio generado en sus propios alumnos. Supone definir la
calidad en trminos de valor aadido (McLain y otros, 1989)
e) La calidad entendida como adecuacin a los propsitos.
Bajo esta perspectiva se entiende que la calidad de una
institucin debera estar referida a los fines educativos
sealados en el marco legal, los objetivos que se proponen
llevar a cabo la misma institucin y a la satisfaccin de los
alumnos considerados como usuarios de sta.
f) La calidad como perfeccionamiento.
Aqu se mantiene un concepto de calidad que consiste en
llevar a cabo las tareas con la mejor perfeccin posible y no slo
como respuesta a requisitos legales o a controles tcnicos.
Apostamos por una cultura de la calidad basada en una mejora
continuada.
g) La calidad como resultado de un proceso
En este modelo de calidad se plantea la substitucin del
control de la calidad sobre el producto para la comprobacin de
que este producto ha estado elaborado mediante un proceso
controlado y bien estructurado.
Esta perspectiva implica considerar que un centro ser
mejor valorado en la medida que se preocupa ms por el
establecimiento de sistemas de control interno que permitan
asegurar que los procesos se realizan adecuadamente.
Las distintas aproximaciones que hemos presentado no
agotan ni de largo las posibilidades conceptuales del trmino
calidad educativa. Podramos deducir otros desde otros
enfoques tericos: nos hemos limitado a presentar las ms
habituales.


164

FACTORES ASOCIADOS A LA CALIDAD

Conjuntamente con el concepto que adoptamos de
calidad, cualquier modelo evaluativo deber de determinar,
previamente, aquellos elementos o factores mediante los cuales
incidimos en su mejora y que generalmente son la base para
establecer los indicadores o referentes que nos permitan
objetivar los anlisis evaluadores.
En la dcada de los 70, el movimiento de escuelas
eficaces, Weber (1971), Edmonds (1979) intent adivinar qu
elementos inciden en la calidad de los centros educativos. Los
estudios realizados en esta etapa indicaban la relevancia que en
la calidad de la accin educativa aportaban los factores
siguientes:
- El liderazgo activo del director
- Las expectativas positivas hacia el alumnado
- El ambiente de trabajo y el orden
- La insistencia en las habilidades bsicas
- El control del aprendizaje del alumnado

A los cuales posteriormente se aadieron:
- La planificacin de objetivos y actuaciones
- La participacin de la comunidad escolar en la
gestin
- El compromiso de la comunidad escolar en la accin
educativa

De la misma poca, la Ley general de educacin del 1970
(artculo 11.5) propugnaba los elementos siguientes como
factores de calidad:
- El rendimiento del alumnado en su vida acadmica
y profesional
- La titulacin acadmica del profesorado
- La relacin numrica profesor-alumnado
- La disponibilidad y utilizacin de medios y mtodos
modernos de enseanza.


165
- Las instalaciones y actividades docentes, culturales y
deportivas
- La cantidad y la importancia de las materias
facultativas
- Los servicios de orientacin pedaggica y
profesional
- La formacin y la experiencia del equipo directivo
del centro
- Las relaciones del centro con la comunidad

La OCDE (Pars, 1992-93-94) vincula la calidad educativa
a:
- La preparacin de ciudadanos para la vida adulta
- La eficacia y preparacin profesional de los
enseantes
- La organizacin del currculum y los mtodos de
evaluacin
- El liderazgo directivo
- Los programas para alumnos desfavorecidos o
minusvlidos

J.Rul (1992) indica los siguientes:
- Trabajo en equipo
- Adecuacin al contexto sociocultural
- Estrategias de gestin
- Proyectos comunes
- Profesionalidad docente
- Programas de mejora
- Productos de calidad
- Interaccin con la realidad
- Operatividad de la estructura organizativa
- Vinculacin con las expectativas y los valores
sociales
- Percepciones positivas del alumnado, del
profesorado y de la escuela
- Estatus social del profesorado


166
La Ley 1/1990, de 3 de octubre, por la cual se regula la
ordenacin general del sistema educativo, define como factores
de calidad y mejora de la enseanza:
- La cualificacin y formacin del profesorado
- La programacin de la actividad docente
- Los recursos educativos
- La funcin directiva
- La innovacin educativa y profesional
- La evaluacin

Es muy interesante la aportacin de De Miguel (1995)
cuando presenta estos factores agrupados desde la perspectiva
de la eficacia y desde la perspectiva de la mejora. As sita en el
primer mbito las siguientes:
- La estructura de la organizacin
- La calidad del currculum
- La calidad de la enseanza
Y ligados a la mejora:
- La resolucin de conflictos relacionada con la
autoridad y el poder
- La organizacin del trabajo del profesorado y del
alumnado
- La cultura institucional
- Las polticas de igualdad, desarrollo y soporte social.

INDICADORES Y EVALUACIN DE LA CALIDAD EDUCATIVA

Evaluar en qu medida se dan los factores asociados a la
calidad exige previamente un cierto nivel de operativizacin de
los factores reseados. Uno de los procedimientos
recomendados para hacerlo es mediante el sistema de
indicadores.
Los indicadores son datos (cuantitativos o cualitativos),
recogidos de manera sistemtica, que informan respecto de los
recursos impartidos, los procesos realizados o las metas
conseguidas, en relacin con los objetivos de calidad que se


167
haba propuesto una organizacin, en este caso un centro
educativo.
Los primeros sistemas de indicadores surgieron en el
mbito econmico con el objetivo de facilitar a los especialistas
y al pblico en general la comprensin de la realidad a partir
del anlisis de un nmero reducido de datos significativos.
Tal como seala Coromines (1997, p.12) el xito de las
primeras experiencias del uso de indicadores en el anlisis de
los fenmenos econmicos y la facilidad para su comprensin
por parte del pblico favoreci que, rpidamente, la propuesta
fuera aceptada por los especialistas y que algunos cientficos
intentaran aplicar el modelo de indicadores en el anlisis de
otros mbitos sociales, incluido el mbito educativo.
El movimiento de indicadores sociales de evolucin
socioeconmica Social indicators (Bauer 1966) motiv a la
OCDE a buscar indicadores de calidad internacional que
permitieran comparar la calidad de los sistemas educativos y
medir los efectos de la educacin sobre la sociedad. Durante los
80, el Centre for Educational Research and Innovation (CERI)
dependiente de la OCDE, elabor a partir de los datos Eurostat,
un conjunto de indicadores internacionales de educacin que
han permitido analizar los sistemas educativos de los pases de
la comunidad europea y comparar las polticas educativas de
los diferentes estados (Coromines, 1997).
A pesar de ello, no podemos ocultar la existencia de una
cierta polmica respecto del uso de los indicadores, dado el
necesario reduccionismo que implican, especialmente cuando
se opera sobre algo tan cercano como es la realidad de un centro
educativo. Pero independientemente de la problemtica que
suscitan es totalmente aceptado que su utilizacin puede
orientarse tanto para valorar y mejorar los procesos internos de
una institucin como para establecer comparaciones con otras
instituciones o sistemas (Oakes 1989, Porter 1991 y Linke 1992).
Su uso combinado con otras aproximaciones, donde aporta
elementos complementarios y conociendo sus verdaderos
lmites y posibilidades, no acostumbra a generar excesivas
reticencias.


168
ENFOQUES EVALUATIVOS

Los prcticos de la evaluacin tratan de trasladar sus
concepciones tericas respecto al modelo de centro y de la
calidad educativa a modelos que les permitan hacerlas
operativas. En las ltimas dcadas se han utilizado bsicamente
dos enfoques evaluativos en relacin con los centros educativos:
los enfoques orientados a constatar la eficacia, la excelencia y a
la calidad entendida como un concepto absoluto, y los que
colocan el nfasis en la mejora o el perfeccionamiento de la
institucin, en la calidad entendida como un factor de consenso
y basada en principios de equidad.
Se configuran por tanto, dos puntos de vista
contrapuestos: los que plantean la calidad en trminos de
produccin y apoyan la mejora a partir de los procesos de
control y de cambio mediante el recambio, y los que consideran
que el eje vertebrador de la mejora se sita en la comprensin
de los hechos y en el cambio por la transformacin.
En el primer caso, la estrategia evaluativa se articula y se
dirige desde la accin externa, y en el segundo, desde la
reflexin autoevaluativa de carcter interno. Sin embargo y tal
como seala de Miguel (1997), ltimamente estn apareciendo
enfoques que pretenden conjugar las dos perspectivas.
Tal como podremos comprobar ms adelante, es
evidente la similitud entre esta propuesta y la mayora de los
planteamientos duales que se estn materializando en gran
parte de los pases de nuestro entorno. Sin embargo nosotros
propugnaremos la bsqueda de planteamientos integrados.

ORIENTACIONES EN LA EVALUACIN DE CENTROS

Juntamente con los enfoques a que hemos hecho
referencia anteriormente otro aspecto es el de la orientacin
general que adopta el proceso evaluativo. Hacemos referencia
con ello a la intencionalidad bsica que se persigue al iniciar el
proceso y que es la que va a determinar las estrategias
organizativas y metodolgicas bsicas a utilizar. Desde esta
perspectiva podemos contemplar los siguientes procesos:


169

Procesos de acreditacin

La acreditacin hace referencia al proceso de
reconocimiento a que se somete un centro por tal de obtener
algn tipo de certificacin que bien le habilite a su
funcionamiento administrativo (homologacin legal de los
centros por parte de las administraciones) o a algn tipo de
valoracin con proyeccin hacia la comunidad educativa o el
entorno social o profesional (generalmente llevada a trmino
por alguna agencia u organismo evaluador de reconocido
prestigio).
Esta segunda acepcin del trmino acreditacin nace con
fuerza en los Estados Unidos como respuesta a un sistema
educativo poco regulado, de estructura federal y con un potente
sector de instituciones privadas. Todo ello ha dado lugar a la
aparicin y consolidacin de un importante conjunto de
agencias evaluadoras que han demostrado su funcionalidad en
ese entorno.
En Europa, en la regulacin de las enseanzas, siempre
han estado presentes los estados, que han planteado el conjunto
del sistema como un servicio pblico, ello ha conducido a que
el enfoque habitual fuera el de la primera acepcin y que los
otros procesos sean minoritarios y extraos a nuestra cultura.
Sin embargo en el marco de la construccin europea donde las
responsabilidades sobrepasan los contextos de los estados, es
posible que en el futuro sea preciso recurrir a la acreditacin
por tal de proceder a la homologacin de titulaciones y facilitar
con ello la movilidad de los estudiantes entre distintas
comunidades de la Unin Europea.

La autogestin evaluativa: Los autoestudios

Mientras que en los procesos de acreditacin la
responsabilidad evaluativa es externa, existen orientaciones que
entienden que un proceso evaluativo ha de ser
fundamentalmente un proceso gestionado internamente, como
es el caso de los denominados autoestudios.


170
Un autoestudio constituye un proceso de autorreflexin
colectiva dentro de una institucin con el fin de mejorar la
calidad de su funcionamiento. La gestin de ese proceso tanto
en lo que hace referencia a la fijacin de sus objetivos, eleccin
de las metodologas y determinacin del alcance de sus tomas
de decisiones dependen absolutamente de sus propios
miembros.
Metodolgicamente se concibe como un proceso de
revisin interna que llevan a cabo los miembros de un centro o
unidad sobre la calidad de los procesos y resultados obtenidos
con el fin de detectar sus fortalezas y debilidades y efectuar
propuestas de mejora que incidan sobre la efectividad de la
institucin (De Miguel, 1997).
Si algo caracteriza este proceso son los trminos
participacin, responsabilidad y compromiso. Participacin
desde el principio de todos o la mayor parte de sus miembros,
responsabilidad en las actuaciones y compromiso con la mejora
continuada de la institucin.
Posiblemente el modelo autogestionario de mayor
proyeccin es el conocido como GRIDS (Guidelines for Review
and Internal Development in Schools, 1988) que constituye
fundamentalmente un proceso guiado, bajo unos esquemas
muy simples, y que dejan en manos de los miembros de la
institucin a evaluar, la mayora de las decisiones.
Parte del principio que las instituciones deben proceder
a efectuar sus cambios desde dentro y para ello es
imprescindible que estos entren en procesos de aprendizaje
colectivo utilizando como metodologa fundamental la
investigacin-accin.

La evaluacin institucional

La evaluacin institucional propone como modelo
general de evaluacin para un centro, diseos y estrategias que
implican algn grado de integracin de las dos perspectivas
mencionadas.
La evaluacin interna constituye una estrategia de
autorregulacin absolutamente necesaria para la generacin de


171
compromiso entre el centro y su propia bsqueda de calidad y
es un elemento clave de desarrollo institucional, sin embargo
precisa del enfoque externo, no tan solo porque le confiere
credibilidad al someter a contraste el interno, sino tambin
porque lo retroalimenta con nueva informacin evaluativa
obtenida por otros medios, le somete a un anlisis ms diverso
y plural y le evita en definitiva la perdida de referentes que lo
conduzcan a una exagerada subjetividad.
Por su parte la evaluacin externa necesita ser
substanciada desde la interna, sta le aporta significado a sus
procesos y evita su desarraigo. La evaluacin institucional trata
de conjugar ambas perspectivas y aunarlas en un objetivo
comn: la gestin eficaz y eficiente de la calidad educativa en el
marco globalizador e integrador de la institucin.
La realidad actual es que los procesos de acreditacin
externa y de autogestin interna estn siendo superados por la
evaluacin institucional, promovida externamente por las
administraciones educativas pero asumidas internamente por
las comunidades educativas.
Resulta utpico pensar que una actividad compleja y
cara como es la evaluacin, pueda ser resuelta sin el empuje y el
apoyo logstico de la administracin. Sin embargo esto no debe
condicionar la libertad de los centros en sus enfoques internos,
ni tampoco pervertir las finalidades de los externos, slo
enriquecer las propuestas y aportar elementos de apoyo y
recursos de todo tipo que las hagan viable.
La evaluacin institucional constituye en definitiva un
espacio interrelacional nuevo, donde se produce la fusin de
ambas percepciones, hecho que se traduce en una importante
aportacin de valor aadido en trminos de comprensin de la
realidad educativa evaluada y es favorecedora de los procesos
de desarrollo institucional y de mejora de la gestin de la
calidad.
Por otro lado, la evaluacin institucional debera
alimentar parte de los procesos de evaluacin del sistema
educativo a fin de contribuir a la generacin de una verdadera
concepcin holstica, integrada e integradora de la evaluacin.


172
MODELOS EVALUATIVOS INSTITUCIONALIZADOS

Vamos a intentar presentar a continuacin los procesos
de evaluacin que denominamos institucionalizados, no porque
respondan al pensamiento expresado en torno a la evaluacin
institucional, sino porque estn asentados en la realidad de
nuestro estado y que a su vez responden a dos concepciones
diferenciadas de la evaluacin.

MODELOS BASADOS EN LA GESTIN DE LA CALIDAD TOTAL

Entre los diversos modelos evaluativos propuestos cabe
destacar por su difusin y popularidad el TQM (Total Quality
Management) y el protocolo europeo para la gestin de la
calidad total, promocionado por la European Foundation for
Quality Management (EFQM).
Inspirado en este ltimo surge el modelo puesto en
marcha por el Ministerio de Educacin y Cultura de Espaa en
la zona que est bajo su administracin mediante el programa
Calidad Total para las Escuelas (MEC, 1999).
El origen de estos movimientos se fundamenta en las
teoras organizativas (Deming, 1993) que consideran como
condicin indispensable para producir un producto de calidad
el que los procesos que los causan se gestionen a su vez con
calidad.
Consecuencia casi inmediata de estos planteamientos fue
la creacin de sistemas de normativizacin para el desarrollo de
los procesos de calidad de una organizacin , con la finalidad
de obtener marcos referenciales respecto de los que se pudiesen
homologar estos procedimiento y acreditar externamente la
calidad de una organizacin (Son las conocidas normas ISO
9000, 9002).
El modelo EFQM estructura el anlisis de las
instituciones a partir de nuevos elementos: los cuatro primeros.
Considerados como agentes de calidad; los cuatro ltimos,
como distintas modalidades de resultados y en el punto


173
intermedio, los procesos, ya que constituyen el elemento
nuclear que vincula los agentes con los resultados.
Estructura del modelo EFQM:
Se puede hacer una lectura del mismo interpretando que
a partir del impulso del liderazgo, se pretende mejorar los
procesos a travs de incidir en las mejoras en las polticas y
estrategas adoptadas, en la gestin del personal, y en la
aplicacin de los recursos. Se persigue optimizar los resultados
expresados no tan slo en trminos absolutos, sino tambin en
satisfaccin del personal, del cliente y de la produccin de un
impacto social positivo.
Las crticas ms consistentes a este modelo se basan en
no considerar oportuno el traslado y homologacin de los
planteamientos empresariales a las organizaciones educativas,
fundamentalmente por las siguientes razones:
- Porque los componentes del modelo no tienen el
mismo significado en el contexto empresarial que en el
escolar (pensemos por ejemplo en el liderazgo,
realmente se puede sostener que su naturaleza es
homologable? Existe algn paralelismo entre lo que
ste representa en las organizaciones empresariales y
en las escolares? O por poner otro caso: Quin es el
cliente en las organizaciones educativas? Podemos
hablar del alumno como cliente?).
Resultados
(15%)
Estructura del modelo EFQM
Procesos
(14%)
Satisfaccin del cliente
(9%)
Satisfaccin del personal
(29%)
Impacto social
(6%)
Liderazgo
(10%)
Poltica y estrategia
(8%)
Gestin del personal
(9%)
Recursos
(9%)


174
- Porque los procesos educativos no son
normativizables sino contextualizables, ya que la
realidad donde se desenvuelven en los centros
educativos es sustancialmente singular y difcilmente
generalizable.
- Porque la calidad de los productos no puede, ni debe
entenderse en trminos absolutos, sino rodeada de
mltiples y sutiles matices En la escuela, la eficiencia
en el logro se plantea bajo prismas muy diversos entre
los que destaca por su importancia el de la equidad.
As la escuela no puede ser reproductora o generadora
de ms y ms profundas desigualdades, ello obliga a que la
discriminacin positiva constituya un elemento clave en la
gestin de la calidad y orienta en muchas ocasiones la propia
toma de decisiones de mejora, desde planteamientos ms
amplios que los basados pura, dura y exclusivamente en la
eficiencia.
Podramos concretar con Escudero (1999, p.80), los
elementos crticos frente a este modelo en los siguientes:
Adopcin de un modelo empresarial forneo al mundo y a la
cultura de la educacin, primaca del concepto cliente como
componente central del esquema, afn de asentar sus bases de
legitimidad sobre el declive de la mentalidad burocrtica y el
amplio reconocimiento que ha tenido en las ltimas dcadas la
gestin horizontal, participativa, vertebrada en torno a la
lealtad, el compromiso y la apropiacin de los objetivos de las
organizaciones por parte de sus empleados (Klein, 1995), la
reclamacin de un nuevo liderazgo del director como si este
poseyera todas las claves para la mejora y la renovacin de los
procesos de gestin para el logro de los objetivos de mejora que
han de ser realistas, concretos, evaluables y alcanzables lo que
empobrece notablemente su concepto (PAMs, BOE de 13 de
Junio de 1998).
Frente a estas crticas cabe sealar con lvarez (1999,
p.86), que el modelo ha sido corregido para adecuarlo a la
cultura, sensibilidad y reticencias del mundo peculiar de la
educacin y tratar de superar algunas de las crticas
mencionadas que segn los autores defensores del mismo no
comprometen en absoluto su validez.


175
Concretamente indica que, en la adaptacin, el criterio
satisfaccin del cliente se traduce, siguiendo a Drummond
(1995), por interface, entendido como satisfaccin de las
expectativas del usuario en su relacin de implicacin con los
educadores; el criterio impacto en la sociedad se debe
interpretar como la interaccin centro-entorno y, finalmente el
criterio resultados se despliega en los tres mbitos que define
Mortimore (1991): el mbito cognitivo en relacin con el
desarrollo de las capacidades intelectuales, el mbito de la
socializacin con respecto a la interaccin social (valores,
actitudes, emociones), y el mbito de la orientacin en relacin
a la preparacin para la vida activa.
Por nuestra parte aadiremos que se ha hecho un
enorme esfuerzo en el despliegue del modelo y bueno ser
aprovecharlo como elemento de reflexin respecto de su
bondad. An sin creer en l a priori a estas alturas considero
prudente esperar a que las iniciativas puestas en marcha en esta
lnea de actuacin, cubran la mayor parte de su recorrido, para
que a la luz de la propia experiencia podamos analizar en
mayor profundidad sus resultados y establecer un juicio
valorativo ms ajustado y matizado sobre l y sobre todo,
basado en las evidencias.

El modelo dual aplicado en Catalua

a) El corpus legislativo

La Ley orgnica 1/1990 (LOGSE) establece la evaluacin
como un elemento para la adecuacin permanente del sistema
educativo a las demandas sociales y a las necesidades
educativas.
Posteriormente, la Ley orgnica 9/1995 (LOPEGCD) en
el artculo 29, seala que las administraciones educativas han
de poner en funcionamiento planes de evaluacin de aplicacin
peridica a los centros docentes sostenidos por fondos pblicos.
Finalmente en Catalua el Diario Oficial de la
Generalidad (DOGC) publica, el 11 de noviembre de 1997 la


176
Orden por el cual se regulaba la evaluacin de los centros
docentes sostenidos con fondos pblicos.
La citada orden establece dos tipos de evaluacin: la
interna, que han de llevar a cabo los mismo centros con la
participacin de los rganos de gobierno y de coordinacin y
los diferentes sectores de la comunidad educativa; y la externa,
que ha de llevar a cabo la Inspeccin de Enseanza.

b) Planificacin y contenidos de evaluacin

La evaluacin se ha de llevar a cabo mediante planes de
evaluacin de tres aos de duracin, en los cuales se han de
tener en cuenta, como mnimo, los mbitos y los indicadores
siguientes:
1.- Gestin organizativa:
- Planificacin de la accin educativa: proyectos de
centro (grado de elaboracin, de implantacin y de
funcionalidad de los documentos de gestin),
indicadores y mecanismos de seguimiento y
evaluacin.
- Estructura funcional: rganos de gobierno y de
coordinacin, mecanismos de comunicacin y de toma
de decisiones, participacin de la comunidad escolar
en la dinmica educativa y clima de relaciones y
colaboracin.
- Gestin de los recursos: recursos humanos, recursos
temporales (tiempo docente y tiempo curricular),
recursos econmicos, recursos didcticos (espacios y
equipamientos) y actividades de formacin.
- Atencin y seguimiento del alumnado: agrupacin del
alumnado y estrategias para la atencin a la
diversidad, orientacin al alumnado (accin tutorial y
criterios de evaluacin) y atencin al alumnado con
necesidades educativas especiales.

2.-Enseanza y aprendizaje:


177
- Gestin del currculum: seleccin y ordenacin de
contenidos, estrategias didcticas y opciones
metodolgicas, criterios de seguimiento y evaluacin,
mecanismos de coordinacin entre el profesorado que
imparte en la misma rea, coordinacin con otras
reas.
- Resultados de aprendizaje: consecucin de los
objetivos por parte del alumnado, desarrollo de las
capacidades individuales, evolucin de los
aprendizajes y del rendimiento del alumnado en los
ltimos cursos escolares.
La evaluacin de los apartados indicados en el mbito
de la gestin organizativa se llevar a cabo a lo largo
de los tres cursos escolares del plan. La evaluacin del
proceso de enseanza y aprendizaje se har en cada
uno de estos cursos escolares, como mnimo en una de
las reas del currculum.

c) Caractersticas bsicas

En definitiva y resumiendo, la evaluacin de centros en
nuestro contexto tendr las caractersticas siguientes:
- Ser una evaluacin bimodal, y entendemos que
complementaria e interactiva de tipo externo e interno
(el orden slo indica que la evaluacin interna y la
evaluacin externa estarn coordinadas a efectos de
mbitos e indicadores de evaluacin).
- Tendr carcter pblico, entendiendo que los criterios
y procedimientos evaluativos sern pblicos y que se
informar a las comunidades educativas de las
conclusiones que se obtengan en general y
particularmente, de las de su centro, a cada consejo
escolar.
- La evaluacin de cada centro tendr en cuenta su
contexto socioeconmico y los recursos de los cuales
dispone, y se efectuar sobre los procesos y sobre los
resultados tanto por la organizacin, la gestin y el


178
funcionamiento como por el conjunto de las
actividades de enseanza y aprendizaje.
- Los agentes de la modalidad externa sern la
Inspeccin, con la colaboracin de los rganos de
gobierno (colegiados y unipersonales) y otros sectores
de la comunidad educativa.
- La evaluacin interna ser realizada por los mismos
centros docentes, con la participacin de los rganos
de gobierno y de la coordinacin del centro y de los
diferentes sectores de la comunidad escolar.

ALGUNOS ELEMENTOS PARA LA REFLEXIN Y EL DEBATE

Finalizamos nuestro trabajo con la exposicin de algunas
aportaciones, que consideramos interesante introducir en el
debate sobre la evaluacin de los centros escolares.

La Educacin y el culto a la eficiencia

Este es el ttulo de la obra de Raymond Callahan (1962),
en la que el autor analizaba a principios de los sesenta, la
penetracin que se estaba produciendo en las opiniones de las
comunidades educativas y del pblico en general de la potente
ideologa empresarial americana. Penetracin que se tradujo, en
duros enjuiciamientos respecto del funcionamiento de la
escuela, con el resultado de un enorme debilitamiento de la
institucin escolar.
El autor relata como el intenso criticismo del pblico
frente al sistema escolar, espoleado en gran parte por cierto tipo
de periodismo y tambin desde ciertas ideologas, haba
generado la sensacin de que la educacin se mova en medio
de estndares de calidad bajsimos, que producan un impacto
en la economa absolutamente irrelevante y por encima de todo
con un enorme grado de ineficiencia.
Si juntamente con la crtica nos situamos en la realidad
del contexto americano, donde las escuelas son soportadas


179
econmicamente y controladas por los entes locales, se entiende
la enorme vulnerabilidad a la que se vieron abocadas las
direcciones escolares ante la presin de la opinin pblica.
Todas estas condiciones generaron la sensacin ms absoluta de
la necesidad de proceder a realizar reformas en profundidad
del sistema y de la escuela y a incorporar en la gestin de los
centros, las emergentes tecnologas de la evaluacin y de la
gestin basada en criterios cientficos (Norris 1990).
Si nos situramos en los 80, observaramos, que los
elementos de debate propios de esta poca recuerdan en gran
manera a los identificados 20 aos antes por Callahan: Crtica
pblica de la efectividad de la escuela, cuestionamiento de su
relevancia econmica, descubrimiento de la importancia de las
competencias bsicas, de la peticin de responsabilidades, de la
evaluacin del profesorado, de la promocin de la excelencia,
de la evaluacin y la monitorizacin y de la eficiencia en el uso
de los recursos.
Los trabajos de Callahan no hacen sino sealar como una
desmedida presin social por la eficiencia, condujo a
comportamientos basados en una visin mecanicista de la
educacin. La escuela fue tratada bajo los principios de
produccin industrial y se aplicaron los mismos valores y
procesos de valoracin que se aplican en el mundo empresarial.
Aparecen con ellos trminos que despus se han diseminado
con gran facilidad y que han hecho larga carrera como son, por
poner algn ejemplo, los de anlisis de costos y accountability,
entre otros.
Todo ello ha conducido en la actualidad a una situacin
en que junto a elementos conceptuales altamente positivos
procedentes de la poca y que se han ido integrando al discurso
evaluativo, perdura la preocupacin por que juntamente con
ellos, se mantengan visiones de la realidad educativa
simplistas, totalmente postizas y ajenas a nuestra cultura y que
condicionan ms de lo que creemos nuestras formas de
actuacin al desarrollar las prcticas evaluativas.
Kushner y MacDonald (1987), observan como los
evaluadores que han buscado desarrollar su tarea desde una
perspectiva ms crtica, democrtica y cultural, han encontrado
grandes dificultades al chocar con actitudes de
administraciones y administradores que impregnados de los


180
modos a que hemos hecho referencia, actan desde visiones en
las que creen que los outputs son el resultado simple y directo
de gestionar eficientemente los inputs.
De aqu nos surgen los mayores interrogantes, cuando
vemos que en los modelos basados en la gestin de la calidad
total hay una cierta msica que nos recuerda algunos de los
principios comentados. Y tambin notamos como se
reproducen ciertos comportamientos de presin social sobre la
escuela y el sistema educativo, generando desconfianza antes
de que llegue a estar implantado y creando la urgente
necesidad de proceder a introducir cambios y como finalmente
se vuelven los ojos al mundo empresarial para encontrar en l
las claves milagrosas de la eficiencia.
Hacer vulnerable al sistema y a la escuela no nos parece
la mejor antesala para proponer formas democrticas de
cambio. Ms bien inducen a pensar que forma parte de otro tipo
de estrategias que en todo caso el tipo de innovacin que
facilitan es el propiciado por decreto-ley.

Evaluacin externa vs evaluacin interna

A estas alturas parece evidente que nuestra apuesta
personal va ms en la lnea del modelo que hemos denominado
de evaluacin institucional (no confundir con la
institucionalizada) y no vamos a repetir la argumentacin
hecha en el apartado correspondiente, y tratar de justificar
nuestra decisin nuevamente.
Sin embargo y tal como ya sealbamos, si que debemos
volver sobre algunos de los peligros que creemos podemos
incurrir al aplicar este tipo de modelo. En primer lugar
podemos pensar que se tratan de dos evaluaciones separadas e
independientes y sinceramente consideramos esta afirmacin
como un grave error. La evaluacin institucional es nica y
alcanza su verdadero potencial cuando sabemos establecer el
oportuno sistema relacional entre sus dos grandes dimensiones.
Ambas, tienen como prioridad el desarrollo de la calidad
de la escuela, sin embargo la forma de hacerlo es
sustancialmente distinta. La evaluacin interna debe trabajar la


181
calidad desde el desarrollo de la diferencia, facilitando los
procesos de desarrollo de la propia identidad de la escuela,
aquella que le confiere carcter propio y la distingue de las
otras. La evaluacin externa trabaja los procesos de
homologacin entre escuelas, garantiza a la comunidad que la
escuela cumple con lo que es necesario para que participe de la
cultura comn a todo el sistema escolar.
La tensin entre ambas posiciones es posiblemente el
elemento que dinamiza los procesos de calidad. La progresiva
diferenciacin estimula la bsqueda de nuevos espacios de
calidad, que posteriormente servirn de estmulo y objetivo a
otros centros. La homologacin evita que algn centro quede
descolgado de la gran corriente y su incomunicacin y
aislamiento la deslice hacia algn tipo de degradacin o, en el
mejor de los casos, le impida sumarse a iniciativas potentes y
comunes de mejora.
Por todo ello, establecer el sistema relacional entre
ambas variantes, constituye una tarea absolutamente
prioritaria. Desde nuestro personal punto de vista, entendemos
que la clave est en tres puntos de inflexin bsicos. Primero, la
evaluacin externa debe partir de la documentacin generada
por la interna; en la interna debe participar algn agente
externo y en la externa alguno interno; finalmente los dos
informes externo e interno deben fusionarse en uno final
aceptado por las partes y en las propuestas de mejora deben
participar en igualdad de condiciones los agentes externos e
internos.

La autonoma de los centros y la gestin de la diferencia

Uno de los tpicos ms debatidos en los ltimos aos es
el que gira en torno a la necesidad de descentralizar al mximo
los sistemas educativos basndose generalmente en tres
patrones argumentales (Weiler, 1990):
a) La descentralizacin como necesidad de redistribuir la
autoridad. En las sociedades modernas los sistemas de gestin
tienden a ser matriciales en lugar de piramidales. La
flexibilidad y la funcionalidad que aportan estos modelos
diseados en red conducen a un funcionamiento tan superior al


182
producido por el resto de sistemas, que se han impuesto en
todos los mbitos post-industriales. Exige sin embargo un alto
grado de preparacin y madurez por parte de los sujetos y de
las organizaciones, as como el desarrollo de lo que podramos
denominar como la cultura del compromiso, la
responsabilizacin y la autorregulacin.
Sin embargo es evidente que los aparatos burocrticos
de los estados altamente centralistas, les cuesta entrar en la
mentalidad descentralizadora, entre otras cosas por que
despus de tantos aos de ejercer el poder no tienen claro su
relacin con la autoridad. Para muchos la autoridad proviene
del poder y se ejerce de forma arbitraria desde ste.
Entendemos que justamente los procesos de descentralizacin
se basan en lo contrario. Es el poder el que surge de la
aplicacin correcta de la autoridad. Redistribuir la autoridad es
una manera de facilitar su mejor uso y ello incrementa el sano
ejercicio del poder compartido y participado.
b) Descentralizacin y eficiencia. El segundo argumento
utilizado es que la descentralizacin aporta un plus
considerable de eficiencia en la gestin de los sistemas
educativos (Banco Mundial, 1988, pp.10-11). Pero no debemos
aplicar el argumento pensando nicamente en trminos
econmicos, la eficiencia se incrementa en todas sus
manifestaciones.
c) Descentralizacin y las culturas de aprendizaje. Esta lnea
de razonamiento argumenta que la descentralizacin provee
una mayor sensibilidad a las variaciones locales y adapta ms
eficientemente los esfuerzos educativos a las condiciones
locales de todo tipo, incrementando con ello la calidad
educativa. (Bray, 1984).
Los mismos principios de devolucin que son vlidos
para justificar la descentralizacin de los sistemas, son lo que
apoyan la necesidad de incrementar la autonoma de los
centros. Los centros como unidades funcionales bsicas, deben
gozar de un alto grado de autonoma si pretendemos alcanzar
modelos sostenibles y autorregulados de gestin de la calidad
para el conjunto del sistema.
La calidad no es cuestin de estado sino de grado, y la
homogeneizacin de los centros bajo patrones de actuaciones y
prcticas educativas idnticas, slo permite garantizar el


183
alcanzar la base inferior de esa calidad. La exploracin de
nuevos espacios de calidad slo se puede lograr desde la
gestin de la diferencia y esa es la razn de ser de la defensa del
status autonmico para los centros.
Cada centro debe constituirse en un contexto de
investigacin y de bsqueda de nuevas formas educativas que
garanticen una mejor asistencia a sus alumnos, a sus profesores
y al conjunto de su comunidad. Cada proyecto educativo es
nico y debe adoptar formas especficas que acrediten las
identidades diferenciales de los centros. Identidades
reconocibles y donde la mayora puedan reconocerse. Expresar
la calidad desde soluciones distintas es la garanta de que se
pueda dinamizar la innovacin y el cambio para el conjunto del
sistema y que se puedan atender desde principios de equidad a
los contextos sociales menos favorecidos. Sin embargo,
autonoma no debe ser sinnimo de alienacin. La gestin de la
diferencia tiene como lmite el respeto a la base comn, la que
permite mantener abierta la comunicacin y el intercambio de
todo tipo entre los centros (alumnos, profesores, experiencias,
etc.). No se pueden apoyar iniciativas basadas en principios de
insostenibilidad o de extraamiento.Obviamente el ejercicio de
la descentralizacin y la autonoma es el que pone en primer
plano la evaluacin institucional. A mayor autonoma mayor
cuota de responsabilizacin del centro y por tanto de necesidad
de acudir a la evaluacin como frmula de reflexin sistemtica
sobre los procesos de desarrollo que se estn llevando a trmino
y de racionalizacin de las explicaciones sobre los mismos que
hay que dar, en un contexto democrtico, a la sociedad.


184
Bibliografa

lvarez, M. (1999), El modelo empresarial, en la cultura de la
educacin, en Cuadernos de Pedagoga, 285, pp. 86-89.
Banco Mundial (1988), Education in Sub-Saharan Africa:
Policies for Adjustment, Revitalization and Expansion.
Washington D.C.: The world Bank.
B.O.E. (1988), Planes anuales de mejora, n 141, 13 de junio de
1988.
Bray, M. (1984), Educational Planning in a Decentralised
System: The Papua New Guinean Experience. Sidney:
Sidney University Press.
Callahan, R.E. (1962), Education and the Cult of Efficiency.
Chicago: University of Chicago Press.
Coromines, J. (1997), Indicadors de qualitat per a lavaluaci
dun centre educatiu. Tesis de maestra indita.
Barcelona: UAB Departament dEnsenyament.
Deming, W.W. (1993), The new economics. Bilbao: Deusto.
Derquet, J.L. y Duterco, Y. (1997), Letablessiment scolaire,
autonomie locale et service public. Paris: ESF-INRP.
Drummond, H. (1995), Qu es hoy la calidad total: el
movimiento de la calidad. Bilbao: Deusto.
Edmonds, R. (1979), Effective schools for the urban poor, en
Educational Leadership, 37, pp.15-24.
Escudero, J.M. (1999), De la calidad total y otras calidades en
Cuadernos de Pedagogia, 285, pp. 77-84.
Garvin, D. (1988), Managing quality : the strategic and
competitive edge. Londres: Coller, MacMillan.
GRIDS (1988), Secondary school handbook. London: SCDC
Publications.
Harvey, L. Y Green, D. (1993), Defining quality, Assessment
and Evaluation in Higher Education, 18, (1), pp.9-34.
Hutmacher, W. (1999), LAvaluaci en la transformaci de les
modalitats de govern dels sistemes educatius.


185
Tendncies europees, en Avaluaci i Educaci, pp.15-34.
Barcelona: Generlitat de Catalunya. Consell Escolar de
Catalunya.
Kushner, S. Y MacDonald, B. (1987), The limitations of
programs evaluation, en R. Murphy y H. Torrance
(eds), Evaluating Education: Issues and Methods.
Chicago: Harper and Row.
Linke, R. (1992), Comparative application of performance
indicators in different education system, en T. Wyatt y
A. Ruby, Indicators in Education, pp.136-162. Sydney:
ACDGE.
MEC (1994), Centros Educativos y Calidad de la Enseanza.
Madrid: MEC.
MEC (1997), Modelo Europeo de Gestin de la Calidad.
Madrid: MEC.
De Miguel, M. (1995), La calidad de la educacin y las
variables de proceso y de producto, en Cuadernos de
Seccin de Educacin, 8, pp. 29-51.
De Miguel, M. (1996), La Evaluacin de los Centros
Educativos, en R.I.E., 11, pp. 54-72.
De Miguel, M. (1997), La Evaluacin de los Centros
Educativos, en H. Salmern (ed.), Evaluacin educativa,
pp. 151-174.
Mortimer, P. (1991), The use of performance indicators. Paris:
OCDE.
Norris, N. (1990), Understanding Educational Evaluation.
London: Kogan Page.
Oakes, J. (1986), Educational indicators. A guide for
policymakers. New Brunswick: Rutgers University.
OCDE (1992-93), Education at a glance. Indicateurs de
qualit. Paris: OCDE.
Porter, A. (1991), Creating a system of school process
indicators, en Educational Evaluation and Policy
Analysis, 13, (1), pp.13-29.
Rodriguez, S. (1995), La evaluacin en la enseanza
universitaria, en E. Oroval (ed), Planificacin y


186
Financiacin de los Sistemas Educativos. Barcelona:
Civitas.
Rul, J. (1992), La qualitat educativa a la crulla de la gesti i la
cultura. Barcelona: Generalitat de Catalunya.
Departament dEnsenyament.
Scheerens, J. (1989), Process indicators of school functioning: a
selection on the research literature on school
effectiveness. Paris: OCDE/CERI.
Weiler, H.N. (1990), Decentralisation in educational
governance: an exercise in contradiction, en Granheim,
M. et al (eds.), Evaluation as Policymaking: Introducing
Evaluation into a Natinal Decentralised Educational
System, pp. 42-66. London: Jessica Kingsley Publishers.
Weis, C. (1977) Research for policy sake. Policy Analysis, 3,
pp. 531-45.


187

LA EVALUACIN DE ESTUDIANTES
Fuensanta Hernndez Pina
Universidad de Murcia

INTRODUCCIN

Segn se desprende de los motivos y objetivos de este
encuentro, los organizadores esperan de los participantes una
reflexin conjunta en torno a aquellos aspectos relacionados con
el Sistema Educativo en todos sus niveles, lo que supone
efectuar un anlisis del papel que desempean las instituciones
y sus mximos actores: profesorado y estudiantes.
La ponencia que aqu presentamos se va a centrar
precisamente en la evaluacin de los estudiantes para lo cual
tratar de dilucidar qu papel ejercen, tanto la institucin como
el profesorado en la evaluacin y, por consiguiente, en la
calidad del aprendizaje de los alumnos.
Deca Elton y Laurillard ya en 1979 que
El modo ms rpido de cambiar la forma en que aprenden los
estudiantes es cambiando los mtodos de evaluacin que practicamos
los profesores.
Esta frase, resaltada por diversos autores, nos da una
idea de la importancia que la evaluacin de los aprendizajes de
los alumnos tiene en la calidad del aprendizaje, en la calidad


188
educativa de una institucin y en la calidad del Sistema
Educativo en su conjunto.
Afortunadamente, a lo largo de esta ltima dcada se
est viviendo con inters creciente todo lo relacionado con la
evaluacin en su sentido ms amplio, evaluacin que no se
circunscribe solamente al estudiante, sino que abarca tambin al
profesorado y a la institucin, en su conjunto. De hecho, el
inters en la evaluacin del alumnado rebasa al propio
estudiante e incluye en su anlisis y responsabilidad a todo el
contexto educativo. Hablar de evaluacin, nos obligar, por
consiguiente, a hablar de la enseanza y del aprendizaje en
dicho contexto. De ah que lo que se diga sobre este tema
englobe de por fuerza estos dos mbitos: la enseanza y el
aprendizaje.
La evaluacin de los aprendizajes no es un punto final
en el binomio enseanza-aprendizaje, sino ms bien un
vehculo para ayudar a los estudiantes a aprender. Gibbs (1992)
y Ann Latham (1997) ven a la evaluacin como el factor ms
influyente en el aprendizaje de los alumnos. Los procesos de
evaluacin, al determinar cmo organiza el alumno su
aprendizaje, se convierten ineludiblemente en una parte
integral del proceso de aprendizaje y en el mejor vehculo para
ayudar a los estudiantes a aprender.
La implementacin de un buen modelo de evaluacin
tiene su efecto no solo en el modo como aprende el estudiante,
sino tambin en la calidad de los resultados de su aprendizaje.
En la exposicin que sigue, vamos a abordar varios
aspectos que consideramos de inters en la evaluacin. Las
referencias sern mayormente al nivel universitario, nivel que
hemos estudiado con mayor profundidad, pero las
conclusiones que alcancemos entiendo que son fcilmente
extrapolables a otros niveles educativos.


189
LA EVALUACIN DE LOS ESTUDIANTES EN EL CONTEXTO
INSTITUCIONAL. EL PLAN NACIONAL DE LA EVALUACIN DE LA
CALIDAD DE LAS UNIVERSIDADES

Para comprender un poco mejor algunos de los aspectos
que vamos a tratar, nos parece oportuno presentar, siquiera
brevemente, los dos modelos tericos evaluativos sobre la
calidad de las instituciones que se han venido aplicando (De
Miguel, 1995). Encontramos, por un lado, un modelo de
evaluacin racional-burocrtico que percibe a la institucin
educativa como una organizacin formal con una serie de
caractersticas susceptibles de anlisis y evaluacin
sistemticos. Un segundo modelo de evaluacin que percibe
esta realidad desde una ptica contextual en la que la
institucin educativa se contempla como un ecosistema en el
que se dan diversas interacciones dentro de su organizacin.
La evaluacin de los estudiantes, vista desde la
perspectiva del modelo racional-burocrtico, apunta a que sta
adquiere su valor al final del proceso de enseanza-aprendizaje,
puesto que su mxima aspiracin consiste en evaluar
productos. Mide el aprendizaje, por tanto, de un modo
cuantitativo. La perspectiva ecolgica, en cambio, asigna a la
evaluacin del estudiante un papel mucho ms amplio: la
evaluacin se contempla como una parte integrante del proceso
de enseanza-aprendizaje. As pues, la calidad educativa se ve
mediatizada por el tipo de relaciones que se establecen dentro
de cada institucin y en el que la evaluacin no es elemento
precisamente ajeno. Como seala De Miguel (1995: 38), la
calidad educativa de una institucin supone analizar cmo se
desarrolla la vida diaria dentro de la organizacin, as como el
significado que tiene desde el punto de vista social para cada
uno de los miembros que la integran. A lo que cabra aadir
que no solo el significado, sino tambin las concepciones que
tanto profesores como alumnado tienen sobre la enseanza, el
aprendizaje y la evaluacin. La calidad educativa se consigue
gracias a los procesos mediacionales y contextuales.
Hablar de la evaluacin de los estudiantes desde uno u
otro de los modelos mencionados, supone variar el papel que
dicha evaluacin desempea en el logro de la calidad del
aprendizaje. Si abordamos la evaluacin como una variable


190
dentro del esquema proceso-producto situndola al final del
proceso (evaluacin del producto), la evaluacin se convierte en
un fin en s misma centrndose en la eficacia de los mtodos de
evaluacin. Tal actitud ha sido muy socorrida en un pasado no
tan lejano.
En cambio, desde una perspectiva contextual, la
evaluacin se convierte en un factor clave de la calidad final del
aprendizaje. Este enfoque pone el nfasis en cmo mejorar los
procesos interactivos internos (aqu deberamos decir los
procesos evaluativos del alumno) en una institucin para
mejorar su calidad. La evaluacin se convierte en un medio
orientado a la mejora con vistas al futuro. En palabras de Elton
y Laurillard El modo ms rpido de cambiar la forma en que
los estudiantes aprenden (es decir, de mejorar la calidad del
aprendizaje) es cambiando los sistemas de evaluacin.
Biggs (1996), es uno de los autores que ms convencido
est de que el aprendizaje es impulsado por la evaluacin.
Tanto el aprendizaje como la evaluacin forman parte de un
sistema, pero no cualquier sistema, sino un sistema ecolgico
como es la clase en la que convergen el profesorado (con sus
mtodos de enseanza), los estudiantes, el currculum y los
mtodos de evaluacin. La forma en que todos estos elementos
interaccionen entre s afectar decisivamente a los resultados
del aprendizaje. Pero la clase, a su vez, es parte de un sistema
ms amplio como es la institucin. Todo el sistema se ver
afectado de uno u otro modo en la medida en que la institucin
tolere o no determinadas actuaciones.
Reid, en un artculo publicado en la Educational
Researcher (1987) planteaba que en un sistema educativo
coinciden tres componentes: el retrico, que hace referencia a los
objetivos oficiales de la institucin en lo que a enseanza se
refiere: el tecnolgico, que hace posible la realizacin de tales
objetivos; y el social que determina qu es posible dentro de la
institucin. A su vez, este nivel comprende dos aspectos: los
requisitos informales establecidos sobre una base colegial y los
requisitos formales requeridos por la burocracia.


191

Biggs ilustra en el grfico que sigue dicha situacin en
trminos evaluativos. Lo probable (resultados) implica un
compromiso estable entre los objetivos (lo que queremos), cmo
podemos lograr tales objetivos ( qu es posible) y qu nos
permiten la administracin y los colegas ( lo permisible). El
autor sita los objetivos, la tecnologa y la institucin en una
relacin mutua en la que se pueden cambiar los objetivos a la
luz de lo posible o permisible; el sistema social podra impedir
lo que tcnicamente es posible; podra suceder incluso que el
peso de lo deseable y de lo posible altere lo que es permisible.
De todos estos elementos, lo ms difcil de cambiar resulta ser el
sistema social. Segn Biggs, cambiar el sistema de evaluacin -
tal vez con la introduccin de una nueva tecnologa- significa
establecer un nuevo equilibrio, lo que comporta, a su vez,
establecer un nuevo sistema de relaciones dentro de la
institucin (Biggs 1996:12-13).

OBJETIVOS
Lo que pretendemos
RESULTADOS
Lo probable
INSTITUCIN
Lo permitido:
a) Por la Administracin
b) Por los colegas
TECNOLOGA
Lo posible


192
Como podemos apreciar en el grfico, la evaluacin
ocupa un lugar clave en la consecucin de aprendizajes de
calidad. Ahora bien, las prcticas evaluativas no son algo
aislado del contexto educativo, ni son responsabilidad exclusiva
del profesor. Entendemos con Biggs (1996) que una institucin
educativa es un sistema holstico que para su propia
organizacin cuenta con procedimientos que tienen su propia
dinmica, procedimientos que determinan los modelos de
enseanza y de evaluacin incidiendo a su vez en la percepcin
que los alumnos tienen de lo que deben aprender y cmo lo
deben aprender. No es suficiente dejar a criterio del
profesorado la solucin de las demandas conflictivas a nivel
burocrtico y en lo que a calidad del aprendizaje se refiere.
Cada institucin debera fijar una poltica clara sobre la
evaluacin, de tal modo que se ofrezcan principios y
procedimientos evaluativos en lnea con los propsitos y
objetivos de la institucin, los objetivos de cada titulacin y los
programas pblicos que subyacen a los objetivos
institucionales.
Refirindonos a nuestro entorno, en el Plan Nacional de
Evaluacin de la Calidad de las Universidades se contempla la
evaluacin de los estudiantes. Este Plan, entendemos que puede
suministrar el marco adecuado en el que poner en equilibrio lo
deseable, lo posible y lo permitido. De hecho, ya pone en
relacin todos los elementos de la enseanza marcados en la
Gua: el contexto, los objetivos de la evaluacin, el programa de
formacin, el desarrollo de la enseanza y los resultados de la
enseanza.
Dicha Gua de Evaluacin, elaborada por el Comit
Tcnico del Consejo de Universidades, aborda como mbitos de
evaluacin institucional la enseanza, la investigacin y los
servicios a partir de la titulacin como unidad evaluativa. As,
leemos en la pg. 21 que La titulacin, entendida como
referente de formacin del alumno, constituye la unidad
significativa en la que poder analizar el conjunto de inputs, y
procesos que deben desembocar en la obtencin de graduados
universitarios. El diseo del programa, la organizacin de la
enseanza, su desarrollo y los resultados obtenidos constituyen
la base del contenido a evaluar.
En la autoevaluacin de la enseanza queremos resaltar,
por su inters al respecto, los apartados 1.4 y 1.5 que hacen


193
referencia al Desarrollo de la enseanza y Los resultados de la
enseanza, respectivamente. En el primero, destacan los
subapartados relacionados con la atencin a la tutora, la
metodologa docente, el trabajo de los alumnos y la evaluacin de los
aprendizajes.
Del subapartado Evaluacin de los aprendizajes, la Gua
seala como informacin relevante para la autoevaluacin, la
publicidad de la convocatoria de los exmenes, las prcticas que
los profesores siguen en cuanto a mecanismos de correccin de
los exmenes, su contenido, los criterios de evaluacin, la
periodicidad, el tiempo que se tarda en informar a los alumnos,
si existe o no por aparte de la institucin normativa especfica
para la revisin de exmenes, etc.
Pero todos estos aspectos, an siendo relevantes, nos
parecen insuficientes para determinar si se estn llevando
adecuadamente los procesos de evaluacin y si sta est
cumpliendo los objetivos para los que ha sido creada. Nos
referimos en concreto a cmo cumple la evaluacin sus
funciones (para qu sirve), si la institucin est evaluando
exactamente lo que ensea (el qu), y si los procedimientos
son los ms adecuados ( el cmo).
Para dar una respuesta ponderada al respecto, conviene
que hagamos una reflexin sobre la importancia, efectos y tipos
de evaluacin. Ms concretamente, sobre:
a. La importancia de la evaluacin vista desde los
resultados de la investigacin.
b. Las concepciones de la enseanza y sus efectos en la
evaluacin de los aprendizajes.
c. La evaluacin y enfoques de aprendizaje.
d. Importancia de la evaluacin. Algunas
investigaciones.
La influencia que la evaluacin tiene en la calidad del
aprendizaje de los estudiantes ha sido puesta de manifiesto en
numerosas investigaciones, entre las que cabe citar las de
Ramsden y Entwistle (1981), Crooks (1988), Frederiksen y Collis
(1989), Gibbs (1992), Driessen (1995), Biggs (1996) y Latham
(1997) entre otras.


194
Terence Crooks, de la Universidad de Otawa, public en
la Review of Educational Research (1988) una sntesis de los
catorce mbitos que ms luz arrojan sobre la relacin entre las
prcticas evaluativas de los profesores y los resultados
alcanzados por los estudiantes en su aprendizaje. Su conclusin
es que estas prcticas tienen una repercusin positiva o
negativa, directa o indirecta en los estudiantes segn sean
dichas prcticas. Para ver la importancia de dicha conclusin,
veamos algunas aportaciones que la avalan.

SOBRE LA NATURALEZA, PAPEL E IMPACTO DE LA EVALUACIN
(INTERS Y FORMACIN)

Es un hecho emprico que los estudiantes emplean una
parte importante de su tiempo en preparar exmenes. Por otra
parte, muchos profesores entienden que las actividades
evaluativas son un aspecto muy importante en el proceso de
enseanza y deaprendizaje. Un alto porcentaje de profesores
reconoce tener poca o insuficiente formacin en tcnicas
evaluativas.
En un trabajo realizado en 1994 por la autora y la
profesora Soriano en la Universidad de Almera sobre La
carencias formativas del profesorado en cuestiones de evaluacin, se
observ que el 71.9% del profesorado reconoca no saber
elaborar instrumentos de evaluacin y utilizarlos para analizar
el proceso de enseanza-aprendizaje y el proyecto curricular. El
38.1% de los profesores crea necesario que se les faciliten los
instrumentos para evaluar al alumnado, el proceso de
enseanza-aprendizaje, su autoevaluacin y el proyecto
curricular. En total, un 50% confesaba tener dificultades a la
hora de evaluar los contenidos procedimentales y actitudinales
de sus alumnos.
En un estudio llevado a cabo en la Universidad de
Murcia, en 1995, por la Comisin del Claustro de Calidad de la
Docencia y la Investigacin, de la que yo misma era Presidenta,
se encuest a 560 profesores sobre formacin e innovacin
docentes. Cuando se les pregunt sobre sus necesidades
formativas en la Elaboracin de tcnicas de evaluacin de los
aprendizajes de los estudiantes, el 59.28% manifest bastante o


195
mximo inters en recibir este tipo de formacin, frente a un
13.93% que expres poco o ningn inters.
En cuanto al Diseo del programa de la disciplina y
recursos para la docencia, el 49.83% mostr bastante o mximo
inters, frente al 19.10% que mostr ninguno o poco inters.
A la pregunta sobre Aspectos fundamentales en los
procesos de enseanza-aprendizaje (cmo ensear y cmo
aprenden los alumnos), el 46.60% de los profesores manifest
su preocupacin al respecto, frente a un 19.82% que lo
consideran de escaso o nulo inters.

QU EVALAN LOS PROFESORES ( QU- CONTENIDOS)

Desde Bloom (1956) ha habido numerosas propuestas
sobre qu deben evaluar los profesores en el rendimiento de los
alumnos. Es evidente que estos contenidos de evaluacin deben
ser coherentes con los objetivos de aprendizaje previamente
definidos en cualquier programa de una titulacin, curso,
disciplina y asignatura.
Aunque la clasificacin de dominios a ensear y a
evaluar ha variado de unos autores a otros, existe coincidencia
en tres grandes reas: la cognitiva, la afectiva y la psicomotora.
Algunos, como Gagne, Briggs y Wager (1988) hablan de cinco
categoras en el aprendizaje que corresponderan a habilidades
intelectuales, estrategias cognitivas, informacin verbal,
actitudes y habilidades motoras.
Las investigaciones sobre qu ensean los profesores y
qu evalan, han mostrado la gran dificultad que existe para
establecer una relacin lineal entre los contenidos que
programan en su enseanza y los contenidos que evalan. Los
profesores, efectivamente, pueden programar los tres grandes
dominios arriba mencionados, pero lo que ya encuentran ms
difcil de realizar es programar su evaluacin, reducindolos a
dos o tres componentes, como son conocimientos, comprensin
y algn grado de aplicacin y transferencia de conocimientos.
Crooks (1988) aporta algunas referencias sobre investigaciones
en este terreno al que remitimos al lector. Merece destacar, no
obstante, el estudio llevado a cabo por Fleming y Chambers


196
(1983) (citado por Crooks, 1988) en el que de las 880 preguntas
analizadas, el 80% pertenecan al mbito de los conocimientos.
Haertel (1986) por su aparte encontr que de los exmenes que
analiz, muy pocos reflejaban los objetivos instruccionales,
reducindose casi todas las preguntas a demandar una mera
repeticin de los materiales presentados en clase o a dar
respuesta a problemas que eran una mera repeticin de los
expuestos en el aula.
En los anlisis de programas por nosotros efectuados,
hemos podido comprobar que las evaluaciones propuestas por
los profesores presentan la misma tendencia que seala Crooks.
En los 50 programas que revisamos, la informacin que se da a
los estudiantes solo hace referencia al tipo de examen que se
realizar: bien, una prueba tipo ensayo (algunos con
especificacin del nmero de preguntas) bien, una prueba
objetiva. En la mayora de los casos de forma sumativa. Slo
ocasionalmente se hace mencin a que se har un seguimiento
en lo que a lecturas obligatorias y trabajos o sesiones de
seminario se refiere.
En algunos programas (especialmente en ciencias) se
efecta una diferenciacin entre la evaluacin de la parte
terica y la parte prctica, asignando incluso un peso especifico
a cada una de ellas en la evaluacin final. Algunos incluyen
trminos como conocimientos adquiridos, la comprensin de la
materia, etc., pero prcticamente ningn programa establece
una relacin entre los objetivos de la asignatura y la evaluacin.
Hemos podido constatar en un estudio monogrfico sobre una
titulacin de Letras que los profesores apenas si dan
informacin mnima sobre los objetivos que persiguen (qu se
pretende con la asignatura o materia y las orientaciones
metodolgicas pertinentes). En cambio, los contenidos y la
bibliografa parecen ser las partes preferidas del profesorado a
la hora de elaborar el programa docente.
Para Crooks (1988) estos hallazgos no son ninguna
sorpresa. Los profesores por motivos diversos (la falta de
formacin en la elaboracin de pruebas de evaluacin es una
causa, sin duda) tienden a poner mayor nfasis en evaluar los
niveles cognitivos ms bajos. Lo que parece deducirse de esta
prctica es que muchas pruebas elaboradas por los profesores
podran carecer de validez y fomentar aprendizajes basados en


197
la memorizacin, lo cual propicia un aprendizaje de baja
calidad.

Qu efecto se supone tiene la evaluacin en los estudiantes?

La evaluacin, sin duda, afecta a los estudiantes de
forma inmediata, as como a medio y a largo plazo. Estos
efectos han sido sintetizados por Gagne (1977) y Crooks (1988)
en un experimento en el que se le pidi a un grupo de alumnos
que estudiase un tema o realizasen un trabajo.
Como efecto inmediato se observ que la evaluacin:
- Sirve para consolidar conocimientos o habilidades
previas a la introduccin de nuevos conocimientos;
- Estimula el uso de estrategias de aprendizaje activas;
- Propicia que los estudiantes consoliden conocimientos
y practiquen habilidades;
- Tiene un efecto retroactivo;
- Gua el aprendizaje, etc.

Como efectos a medio plazo (efectos en el curso) se
detectaron los siguientes:
- La evaluacin influye en la motivacin y ayuda al
estudiante a comprobar su dominio de la materia;
- Ayuda al estudiante a elegir estrategias adecuadas a la
materia;
- Sirve para describir o certificar la actuacin del
estudiante en una determinada asignatura.

Finalmente, como efectos a largo plazo (a lo largo de la
carrera), la evaluacin:
- Posibilita la aplicacin que el estudiante puede hacer
de lo aprendido en una variedad de contextos;
- Desarrolla enfoques de aprendizaje determinados;
- Potencia la motivacin del alumno en los aspectos
profesionales;


198
- E influye en la percepcin que el estudiante desarrolla
sobre su contexto de aprendizaje.

A lo largo de las pginas que siguen, desarrollaremos
algunos de los efectos apuntados.
Preguntmonos, finalmente, cmo afecta la evaluacin al
proceso y a los resultados del aprendizaje.
Ya hemos sealado que los mtodos de evaluacin son
grandes impulsores del aprendizaje. El modo en que los
profesores evalan a sus estudiantes es el factor que ms afecta
a la forma en que dichos estudiantes asimilan contenidos y la
calidad de lo que aprenden. Esta influencia parece ser mayor
incluso que el propio curriculum y los mtodos de enseanza.
Si esto es cierto, cabe entonces preguntarnos por qu
resulta la evaluacin de tan poco inters, tanto para el
profesorado como para las instituciones educativas. Si las
investigaciones han demostrado la estrecha relacin que existe
entre ambos factores por qu los profesores siguen evaluando
como lo vienen haciendo y la institucin no se implica ms en
ello?. Nos atrevemos a afirmar que, tal vez, por
desconocimiento: porque los resultados de las investigaciones
que se han realizado al respecto no se han transformado en
aplicaciones prcticas, no se han sabido transmitir al
profesorado. Biggs aduce, adems, razones de mera costumbre:
es muy difcil alterar las prcticas evaluativas de los profesores
que durante mucho tiempo han evaluado en la forma en que lo
han hecho, mxime cuando no ven razones para cambiar. A
esto tendramos que aadir el concepto que tanto el
profesorado como la institucin tienen sobre la evaluacin, bien
como acreditacin o bien como gestin del aprendizaje. Las
concepciones que los profesores tienen sobre el aprendizaje y la
enseanza se proyectan en la forma en que evalan, aspecto al
que vamos a referirnos a continuacin.


199

CONCEPCIONES DE LA ENSEANZA Y SU EFECTO EN LA
EVALUACIN DE LOS APRENDIZAJES

Deca Cole en un artculo publicado en 1990 que la
cuestin ms importante en educacin es saber qu queremos
que los estudiantes aprendan. Si todos los nios en la escuela
deben desarrollar capacidades intelectuales superiores, es obvio
que debemos actuar para lograr tales resultados, puesto que las
concepciones que se desarrollen sobre el aprendizaje escolar
afectarn a lo que los profesores ensean y a cmo lo ensean; del
mismo modo que afectarn a lo que los investigadores
investiguen y al modo como lo hacen. Ms aun, segn Cole, tales
concepciones influyen en la naturaleza de la comunicacin entre
investigadores y prcticos.
Las ideas que el profesorado tiene en lo que respecta al
aprendizaje escolar ejercen, por consiguiente, un impacto muy
importante en el quehacer docente. Tales ideas influyen a su vez
en cmo los educadores explican a la sociedad lo que hacen. Las
concepciones sobre el aprendizaje escolar tienen, sin duda, un
efecto importante en la escolarizacin, la prctica educativa y la
percepcin que la sociedad se forma sobre la naturaleza de la
escolarizacin. Dichas concepciones se caracterizan, segn Cole,
por tener una visin del aprendizaje bien como
a. la adquisicin de hechos y de habilidades bsicas, o
como
b. la adquisicin de conocimientos avanzados y de
habilidades superiores.
Ambas son igualmente vlidas, y no deben interpretarse
como que una es mejor y la otra peor. El problema, tal vez, estriba
en el predominio que ha podido ejercer una sobre la otra y las
tensiones que ello ha producido en los diferentes modelos de
escolarizacin a que han dado lugar. La primera, con una
concepcin conductista del aprendizaje, ha predominado hasta
finales de los aos sesenta; la segunda, ms influida por la
psicologa cognitiva ha irrumpido a principio de los aos 70 en
parte tambin como reaccin a la primera.


200
Para Cole ninguna de estas dos concepciones es suficiente
por separado. Por el contrario, entiende que debemos progresar
tratando de comprender los logros educativos de modo que
reconozcamos todas las partes intervinientes tales como
habilidades bsicas, hechos, habilidades de ndole superior y
conocimiento avanzado (p. 5). Esta nueva concepcin tiene que
venir acompaada de una clarificacin de qu se entiende por
rendimiento escolar y un conocimiento de qu objetivos
educativos y qu implicaciones tiene esta nueva concepcin para
la enseanza.
Siguiendo de nuevo a Biggs, al igual que existen tres
concepciones sobre el aprendizaje (que luego veremos), a las que
se sienten atrados tanto alumnos como profesores, tambin
existen bsicamente tres concepciones de la enseanza dentro de
las cuales cabe interpretar el quehacer docente: la cuantitativa, la
estratgica y la cualitativa.

TRANSMISIN ORQUESTACIN
DE
HABILIDADES
FACILITADOR
Concepcin de
la enseanza
Concepcin
cuantitativa del
prendizaje.
El alumno aprende
cantidades de
informacin.
El profesor se
prepara para ensear.
Prepara
didcticamente los
contenidos. Se
prepara para ser
evaluado como
profesor.
Se basa en una
concepcin
institucional del
aprendizaje.
El profesor se prepara para
que el alumno se implique en
el aprendizaje de forma
activa.
CUANTITATIVO INSTITUCIONAL CUALITATIVO
Concepcin del
aprendizaje
El aprendizaje es
cuestin de cantidad.
El conocimiento est
fuera y hay que
descubrirlo.
Pasividad del
alumno!
El aprendizaje
necesita ser validado
a travs de la
enseanza y de la
evaluacin.
Pasividad del alumno
El aprendizaje es
comprensin, significado y un
modo de interpretar el mundo.
El conocimiento es
construido.
El proceso de desarrollo
cognitivo consiste en la
construccin de un marco
conceptual que permita al
alumno interpretar de forma
significativa el mundo que le
rodea


201
La tradicin cuantitativa

Esta tradicin concibe el aprendizaje como la suma de
contenidos que los profesores deben ensear mediante la simple
transmisin de conocimientos que emanan de fuentes externas.
Los conocimientos objeto de aprendizaje se reducen a los niveles
declarativos o procedimentales, a saber: hechos, habilidades,
competencias, etc. El proceso de aprendizaje en esta tradicin se
reduce a una acumulacin de conocimientos, ordenados de tal
forma que estn disponibles en el momento oportuno, como es el
caso de los exmenes. Un buen profesor, dentro de esta
concepcin tpicamente cuantitativa lo ser en la medida en que
tenga un buen conocimiento de su materia y sepa comunicar
dichos conocimientos de forma fluida. Por as decirlo, ha de saber
transmitir contenidos de una cabeza a otra. La ausencia de
aprendizaje de los alumnos ser responsabilidad no del profesor,
sino del estudiante que no sabe abordar la tarea de aprendizaje de
un modo eficaz.
La implicacin de este enfoque en la evaluacin es clara.
La respuesta que se espera de los alumnos en situacin de
examen es puramente reproductiva: el alumno ha de saber
reproducir lo ms rpida y exactamente posible los contenidos
aprendidos por procedimientos muchas veces mecnicos. Como
seala Biggs (1996) los contenidos son aprendidos en unidades
binarias, que pueden ser etiquetadas de correctas o incorrectas.
Las primeras, mediante su transformacin en puntuaciones, se
consideran aditivamente, dando por resultado una puntuacin
final que ser el ndice de la competencia que el estudiante tiene
de la asignatura. Todas las puntuaciones correctas tienen el
mismo valor, independientemente del contenido a que se
refieran. Las pruebas objetivas son el mayor exponente de esta
forma de evaluar, o mejor dicho de examinar, bajo esta
perspectiva. En una prueba objetiva, todas las preguntas valen lo
mismo, siendo la nota final la suma de los aciertos. En el caso de
las pruebas tipo ensayo o preguntas abiertas, su valoracin puede
adoptar tambin una estrategia cuantitativa en cuanto a que la
puntuacin final es la suma de las puntuaciones parciales, sin
establecer ms diferenciacin que el peso que el profesor otorgue
a cada pregunta. En cualquiera de estos dos tipos de examen, se
prima la cantidad de datos aducidos.


202
Este modelo cuantitativo de evaluacin es coherente con
un modelo conductual de aprendizaje y de enseanza que se aleja
bastante de lo que se entiende en la actualidad por aprendizaje.

La concepcin estratgica

En la concepcin estratgica u orquestacin eficiente de las
habilidades de enseanza, el profesor adapta sus tcnicas de
enseanza a la clase, mostrndose sensible a las diferentes
necesidades de aprendizaje que el alumnado plantea. En este
contexto, ser buen profesor aqul que domina no slo distintos
recursos docentes, sino que sabe adaptarlos a sus estudiantes. La
enseanza y el aprendizaje sern buenos en la medida en que
sean bien gestionados. Esta concepcin ha sido etiquetada de
institucional debido al carcter que la evaluacin de la enseanza
tiene para mejorar tanto los procesos de enseanza como del
aprendizaje.
La evaluacin en esta concepcin es una prolongacin de
la tradicin cuantitativa. Tal vez, lo que aade es que el
profesor ha de cumplir al pie de la letra las normas internas de
la institucin o del departamento, pero el alumno sigue
adoptando una actitud pasiva y reproductora del aprendizaje.

La concepcin cualitativa

En esta concepcin el estudiante aprende acumulando
conocimientos, pero al mismo tiempo interpreta los contenidos y
los incorpora relacionndolos con lo que ya sabe. Su comprensin
avanza conforme va aprendiendo. Los contenidos que aprende se
relacionan verticalmente en la materia de arriba abajo, pero al
mismo tiempo tambin horizontalmente en el curriculum
tratando de relacionar las materias del curso y la carrera entre s.
En cuanto a la enseanza, el profesor no solo transmite
contenidos sino que se convierte en el facilitador que ayuda al
estudiante a construir activamente significados para una mejor
comprensin del mundo que le rodea. Los mtodos que utilicen
sern aquellos que transmitan conocimientos, que motiven, que


203
faciliten la interaccin profesor-alumno, que posibiliten la
aplicacin de los conocimientos y que desarrollen actitudes y
valores. El profesor ha de saber cmo hacer que los estudiantes se
impliquen en ese aprendizaje personal, puesto que lo importante
no es lo que haga el profesor, sino el alumno (Shuell, 1986). En
una palabra, el profesor ha de favorecer la reflexin y el
pensamiento crtico, la gestin del trabajo personal, el trabajo en
equipo, etc.

Incidencia de las concepciones de enseanza y aprendizaje

Esta forma de ensear, evidentemente, tiene unas
repercusiones en la forma de evaluar. La evaluacin en estas
situaciones puede ser o bien evolutiva (Biggs, 1996), puesto que
ayuda a descubrir en qu medida los estudiantes han logrado o
desarrollado los niveles de comprensin o competencia de
conceptos o habilidades, o bien ecolgica, ya que sirve para
comprobar en qu grado aplica el estudiante los conocimientos
adquiridos en situaciones reales (es decir, que tengan validez
ecolgica). As, frente a la cuantitativa, vlida para evaluar
conocimientos declarativos, la cualitativa es ideal para los
contenidos procedimentales.
En el modelo de evaluacin evolutivo, es necesario
establecer un mapa evolutivo de conceptos o principios, de tal
forma que en cada etapa del desarrollo se defina qu contenidos
deben impartirse y cules no. Esta secuenciacin de contenidos
debe hacerse no slo dentro de cada materia sino entre materias y
CONCEPCIONES
DEL
APRENDIZAJE
RESULTADOS
DEL
APRENDIZAJE
CONCEPCIN
DE LA
ENSEANZA
ENFOQUES DE
APRENDIZAJE


204
de curso a curso. Marton (1988) y Ramsden (1988) han
demostrado que la introduccin de unos determinados
contenidos requiere la presencia de unos conocimientos previos si
no se quiere imposibilitar la comprensin por parte del
estudiante. La jerarquizacin de contenidos es lo que va a facilitar
la evaluacin posterior del alumno. Biggs y Collins (1982,1989)
han desarrollado una taxonoma conocida como SOLO (Structure
of the Observed Learning Outcomes) en la que contemplan la
existencia de una secuencia jerrquica de conceptos y habilidades,
fuera de la cual se hace difcil la comprensin por parte del
alumno. Idntica secuencia puede ser utilizada por el profesor en
su evaluacin.
El enfoque ecolgico aplicado a la evaluacin cualitativa lo
que hace simplemente es situar una prueba de evaluacin en su
contexto; es decir, hace de la evaluacin una comprobacin de lo
que el estudiante ha adquirido como si fuese la vida real.
Ambos modelos de evaluacin, el evolutivo y el ecolgico
(Biggs (1996), tienen funciones distintas aunque complementarias.
Mientras que el evolutivo es apropiado para la evaluacin de los
conocimientos declarativos, el ecolgico lo es para el
procedimental. El primero trata de ver en qu medida el
estudiante comprende el mundo y el segundo en que medida
sabe operar sobre l.
La visin cualitativa del aprendizaje tiene las siguientes
implicaciones en la evaluacin:
Conforme el aprendizaje va sucediendo, el alumno va
construyendo sobre los conocimientos previos y su
estructura se va haciendo cada vez ms compleja. La
tarea evaluadora lo que debe hacer es reflejar dicha
complejidad y constatar cmo se van logrando los
objetivos educativos, sin que ello suponga tener que
cotejar la actuacin del estudiante con la del resto de
sus compaeros.
El resultado del aprendizaje debe evaluarse
holsticamente y no analticamente. Si lo que hace el
alumno es formar estructuras, dichas estructuras
deben evaluarse globalmente, no por partes.
Lo importante en la evaluacin desde una perspectiva
cualitativa no es conocer cul es la nota final en


205
trminos de nmero, sino si el estado final que logra el
estudiante se ajusta a los objetivos propuestos por la
institucin, la titulacin, el curso o la materia. Este
planteamiento exige establecer una jerarqua de
objetivos y comprobar por medio de la evaluacin
hasta dnde ha llegado el estudiante individualmente.
Estrechamente relacionado con la evaluacin cualitativa y
cuantitativa ha surgido en la literatura sobre el tema una nueva
denominacin: la denominada evaluacin autntica o de
actuacin. Este nuevo planteamiento seala que el contexto de la
evaluacin debe reflejar los objetivos del aprendizaje. Si a los
estudiante se les ensea a pensar, decidir y actuar, la evaluacin
debe mostrar de forma activa tales conocimientos.

LA EVALUACIN Y LOS ENFOQUES DE APRENDIZAJE

En otro lugar (Hernndez Pina, 1993) ya hemos explicado
las distintas propuestas para abordar el estudio del aprendizaje
de los estudiantes universitarios. Hablamos en dicho trabajo de
dos tipos bsicos de orientacin:
Por un lado tenemos la Orientacin cuantitativa en la que
cabe distinguir dos lneas de investigacin: la conductista y la
cognitivista. La lnea conductista ha dado lugar durante dcadas
a un corpus terico de conocimientos de innegable valor al
abordar temas como la generalizacin, la retencin, la
transferencia, los conceptos de aprendizaje, etc., siendo el hilo
conductor de anlisis las relaciones entre estmulo y respuesta.
La lnea cognitivista, de ms reciente implantacin, ha
desarrollado una teora del aprendizaje basada en el anlisis
detallado de la adquisicin de estructuras del conocimiento,
planteando nuevas hiptesis acerca de los procesos cognitivos y
estructuras intervinientes tanto en la solucin de problemas como
en la comprensin del lenguaje. Su aportacin ms importante ha
sido, sin lugar a dudas, la teora del procesamiento de la
informacin y el estudio de las estrategias de aprendizaje.
La orientacin cualitativa, en cambio, analiza los procesos
del estudio de forma holstica sin olvidar identificar conceptos y
categoras para poder trasmitir mejor los resultados de la


206
investigacin. El corpus de conocimientos desarrollado se basa en
la experiencia directa de los propios estudiantes va entrevista.
Dentro de esta perspectiva cualitativa se han desarrollado
tambin dos lneas de investigacin claramente diferenciadas en
sus planteamientos. La que se centra en los estilos de aprendizaje
y la que se interesa por los enfoques de aprendizaje.
Los enfoques de aprendizaje se sitan dentro del
paradigma del procesamiento de la informacin aunque con un
planteamiento fenomenolgico diferente. Marton, Slj y
Svensson, los iniciadores de esta lnea de investigacin, sealan
que el aprendizaje se compone de tres elementos inseparables:
a. el contenido de las materias de estudio,
b. las demandas del contexto y
c. la conciencia que el estudiante tiene del aprendizaje.

a. El contenido del aprendizaje lleva al estudiante a
adoptar estrategias distintas segn dicho contenido. Marton y
Slj observaron que los estudiantes recurran bien a estrategias
atomistas (que suponen un procesamiento superficial del
aprendizaje) bien a estrategias holsticas (necesarias para un
procesamiento profundo del aprendizaje).
b. Las demandas del contexto engloban el contexto
educativo, en el cual cabe diferenciar la evaluacin, los mtodos
de enseanza, el clima educativo, el ambiente de clase, las metas
y objetivos, el curriculum, etc. Marton y Slj fueron tambin los
primeros en analizar la influencia de los factores contextuales en
el aprendizaje de los estudiantes.
c. La conciencia del acto de aprendizaje es tambin un
elemento bsico en esta lnea de investigacin. Slj(1975) observ
que la diferencia entre los estudiantes con xito y los que no lo
tenan estribaba en que los primeros podan aducir razones de
por qu tomaban apuntes o hacan lo que hacan para aprender.
De ah que para este autor no quepa hablar de mtodos de
aprendizaje buenos o malos, sino ms bien de la conciencia que el
estudiante tiene de lo que hace.
En esta lnea de enfoques de aprendizaje han surgido tres
grupos de investigacin que han llegado a conclusiones muy
similares y que estn creando un corpus de conocimientos


207
tericos y metodolgicos muy slido con aplicaciones prcticas
que revisten gran inters.
Por un lado, tenemos el grupo de Gotemburgo, pionero
en estos trabajos. La aportacin de Marton y Slj de 1976 es una
de las ms citadas en la literatura sobre el tema de acuerdo con el
Social Science Citation Index. En este estudio los autores
establecieron la primera diferenciacin entre enfoque profundo
de aprendizaje y enfoque superficial para referirse a dos formas
opuestas de enfrentarse al estudio como veremos ms adelante.
Un segundo grupo lo constituye el denominado grupo de
Edimburgo con Entwistle y Ramsden como mximos exponentes.
Sus conclusiones son muy similares a las que ha llegado el grupo
de Gotemburgo. Estos autores, en cambio, aaden un enfoque
ms a los dos anteriores: el enfoque estratgico. Consideran que
dentro de cada uno de los enfoques existe una coherencia que
predispone al sujeto a actuar de acuerdo con su motivacin, sus
intenciones, el proceso y los resultados
El grupo australiano est liderado por Biggs. Este autor y
sus colaboradores han desarrollado tambin una lnea de trabajo
que les ha llevado a conclusiones muy similares a la de los
autores anteriores. Biggs, al igual que Entwistle, parti de un
concepto cuantitativo del aprendizaje, pero progresivamente ha
ido adoptando una perspectiva cualitativa. A lo largo de las
ltimas dcadas, Biggs ha venido desarrollando un modelo de
aprendizaje en el que ha integrado metodologas nomotticas e
idiogrficas al que ha denominado modelo nomogrfico. Lo
esencial de su propuesta paradigmtica es la idea de que tan
improbable es que nada se aplique a un individuo como que se le
aplique todo. En el modelo que aqu presentamos (Modelo 3P),
Biggs (1989) ha incorporado motivos y estrategias como
elementos esenciales de la fase de proceso en su modelo. Este
modelo contempla las caractersticas del estudiante y el contexto
de enseanza en la fase de PRESAGIO; los enfoques de
aprendizaje en la de PROCESO, y la naturaleza del rendimiento
en la de PRODUCTO. Todo ello en un sistema en estado de
equilibrio tal y como podemos apreciar en el grfico.


208

ESTUDIANTE.
* Conocimiento previo
* Habilidades
* Modos preferentes de aprender
* Valores, expectativas
CONTEXTO DOCENTE.
* Currculum
* Mtodos de enseanza
* Ambiente de clase
* Evaluacin
PRESAGIO
PROCESAMIENTO
DE LA TAREA
NATURALEZA DEL
RENDIMIENTO
Estructura
Detalle
PRODUCTO PROCESO
Percepciones
del estudiante
Percepciones
del profesor
Meta-aprendizaje
Meta-enseanza
Efecto directo
(e.g. habilidad)
Efecto directo
(e.g. tiempo)
Feed-back
Feed-back
Feed-back
Feed-back


209
Esta propuesta de motivos y estrategias le ha llevado a
hacer las siguientes puntualizaciones sobre los enfoques de
aprendizaje como elementos del proceso en el modelo.
a) Cualquier situacin formal de aprendizaje genera en
los alumnos tres tipos de expectativas que modelan los motivos
que les mueven a realizar una determinada tarea: obtener una
calificacin con el mnimo esfuerzo, actualizar los propios
intereses, o manifestar las propias excelencias obteniendo unas
puntuaciones lo ms altas posible. A cada una de estas tres
motivaciones asocia Biggs un tipo de estrategias: 'reproducir' lo
que perciben como datos esenciales, 'comprender' el significado
de la tarea, u 'organizar' el tiempo disponible con el fin de
optimizarlo al realizar la tarea. Motivos y estrategias actuando de
forma conjunta determinaran los enfoques de aprendizaje
superficial, profundo y de alto rendimiento.
b) Los enfoques de aprendizaje se han utilizado tambin
para hacer referencia tanto a las caractersticas personales como a
las reacciones del sujeto al contexto. Cada individuo tiene una
predisposicin, debido a sus caractersticas personales, a adoptar
un enfoque frente a otro, enfoque que en ciertas situaciones
contextuales puede estimular o inhibir. Esta interaccin rasgo-
condicin (ambiente) es uno de los aspectos centrales de la teora
de enfoques.
c) Cada uno de estos tres enfoques de aprendizaje refleja
unas calidades distintas de aprendizaje: el superficial produce
retencin de hechos; el profundo, comprensin y estructuracin
de la informacin; y el de alto rendimiento, propicia altas
calificaciones.
d) Los resultados ms ptimos se obtienen cuando
existe una congruencia entre los motivos y sus estrategias.
El trabajo publicado por Biggs en 1993 ('What do
inventories of students' learning processes really measure?. A
theoretical review and clarification') mantiene los tres factores de
presagio-proceso-producto, si bien con una relacin recproca
entre todos sus componentes, con lo que resulta ser un sistema
ms interactivo y complejo. Este nuevo modelo causal necesita de
un anlisis profundo desde los planteamientos de los modelos
estructurales-causales con el fin de poder determinar de una
forma clara cul es realmente la estructura de la relaciones de los


210
elementos que progresivamente se han ido integrando en dicho
modelo.
En l, los factores de presagio siguen incluyendo por un
lado variables relacionadas con el alumno como son los
conocimientos previos, las habilidades, el modo de aprendizaje
preferido, los valores y las expectativas.
Las variables referidas al contexto de la enseanza
incluyen toda una serie de superestructuras relacionadas con la
institucin y el profesor: la estructura del curso, el contenido
curricular, los mtodos de enseanza, el clima de la clase y la
evaluacin. Estos dos bloques de variables se relacionan
directamente con la naturaleza del resultado del aprendizaje y a
travs de las variables de proceso.
El modelo 3P (1993) se hace eco de distintos sistemas
anidados que son relevantes en el aprendizaje de los estudiantes.
Biggs menciona los cuatro siguientes:
a) El sistema del estudiante, que comprende una
relacin equilibrada entre factores cognitivos y afectivos y un
espacio fenomenolgico percibido.
b) El sistema de la clase, que abarca a los estudiantes, a
los profesores y al marco docente.
c) El sistema institucional, que contiene a su vez
subsistemas como son los Departamentos y las Facultades, cada
uno con su propio potencial para realizar o impedir una prctica
informada.
d) El sistema comunitario, que puede poner limitaciones
en los distintos tramos del desarrollo educativo.
Cada uno de estos sistemas intenta mantener un estado de
equilibrio no solo entre sus propios componentes, sino tambin
con un modelo ms general, lo cual es fundamental para saber si
una determinada intervencin es probable que produzca un
cambio bien sea a nivel del estudiante, a nivel del docente o
incluso a nivel de la propia institucin.
La idea de una situacin o estado estable es tambin de
una gran ayuda para comprender cmo se han de usar los
cuestionarios que Biggs ha diseado sobre los procesos de
aprendizaje/estudio (CPA/CPE) para medir la calidad del
aprendizaje que tiene lugar en el aula tanto a nivel individual


211
como de grupo (Biggs, 1987). La predisposicin que el sujeto
tenga hacia un determinado enfoque de aprendizaje ser el modo
de que el estudiante logre el equilibrio en el sistema educativo tal
como lo percibe. Es decir, dadas unas metas que el alumno ha de
alcanzar, la autopercepcin de su habilidad, el modo de
enseanza y la evaluacin, los resultados obtenidos, etc., le
servirn para que, tras un perodo de exposicin a un marco de
enseanza/aprendizaje concreto, desarrolle un determinado
enfoque (superficial, profundo, etc.) que le permita llevar a cabo
sus tareas acadmicas lo ms cmodamente posible. De ah que
las respuestas al CPE, conceptualizadas como variables de
presagio o independientes, puedan servir para evaluar el marco
de enseanza como una variable dependiente.
En sntesis, el modelo general propuesto por Biggs con el
que se relaciona su actual Cuestionario de Procesos de Estudio
(en fase de revisin, comunicacin personal del autor) como
instrumento para operativizar los enfoques de aprendizaje de los
estudiantes universitarios contempla, como ya apuntramos, tres
factores: de presagio, de proceso y de producto.

A) Factores de presagio

Estas variables existen antes de que el sujeto entre en
contacto con las situaciones de aprendizaje. Como factores, Biggs
incluye todas las variables personales que concreta en las
habilidades del sujeto, su CI, su ambiente familiar, sus
caractersticas personales, la percepcin de los estudiante sobre
los requisitos de la institucin, etc. Cada una de estas variables
tiene su efecto inmediato y directo sobre la actuacin o
rendimiento del estudiante, pero tambin sobre los motivos y las
estrategias que adoptar.
Los factores situacionales incluyen la naturaleza de la
tarea, la institucin, la instruccin, los procedimientos de
evaluacin, etc. Todos afectan de forma directa a la actuacin y
tambin a los motivos y a la percepcin de la tarea as como el
modo en que la realizan.
En su leccin inaugural (1989) en la Universidad de Hong
Kong Biggs propona un modelo de enseanza coherente con el
modelo de aprendizaje 3P en el que se resaltan los factores


212
contextuales en la determinacin de la calidad de los aprendizajes
de los estudiantes. Seala nuestro autor que, igual que el alumno
necesita del meta-aprendizaje y ha de reflexionar sobre sus
actividades de aprendizaje para mejorarlo, del mismo modo los
profesores necesitan realizar actividades de meta-enseanza, y
derivar formas o enfoques de enseanza que a su vez repercutan
en los enfoques de aprendizaje de los estudiantes tal y como
podemos apreciar en el modelo de la figura 2.


213

CARACTERSTICAS
DEL PROFESOR
* Concepcin de la enseanza
* Habilidades de enseanza
CONTEXTO INSTITUCIONAL
* Objetivos
* Sistema social
PRESAGIO
PRODUCTO PROCESO
ENFOQUES DE ENSEANZA
* Actividades
de metaenseanza
del profesor
* Prctica
Enfoques de
enseanza
de la materia
ESTUDIANTE
ENFOQUES
DE
APRENDIZAJE
Presage, Process and Product Applied to Teaching. (Biggs, 1989)
ESTUDIANTE
RESULTADO
DEL
APRENDIZAJE


214

Modelo de Enseanza de Biggs

En qu medida estos factores afectan al proceso del
aprendizaje y a los resultados? Las investigaciones parecen
apuntar a que son las caractersticas de la evaluacin y el contexto
en que se realiza dicha evaluacin las que ofrecen el dato ms
objetivo de dicho efecto. Es decir, ante la situacin de examen se
produce en el estudiante una doble situacin. Por un lado, la
percepcin que desarrolla ante el examen en s, y por otro, la
demanda que producen los exmenes. Sin embargo, la percepcin
que el estudiante desarrolla y las intenciones de los profesores
parecen ir a veces por rutas bien distintas.
Cuando un estudiante prepara un examen, intenta
comprender la materia de estudio en consonancia con la
percepcin que ha desarrollado sobre cmo se llevar a cabo
dicho examen. Su preparacin y comprensin de la materia van a
depender de cmo perciba la forma en que va a ser examinado.
As, la comprensin que pueda desarrollar ante una leccin
magistral va a ser distinta si sabe que va a ser evaluado mediante
una prueba objetiva o con una prueba de desarrollo, o por medio
de una actividad en trabajo cooperativo.
El modelo de examen que el alumno espera se le aplique
es el que crear, sin lugar a dudas, el marco de aprendizaje, el
modo de comprender la materia y la reconstruccin del contenido
objeto de evaluacin. Este es el punto en el que se ve que la
evaluacin se convierte en el motor que dirige el aprendizaje del
estudiante. Es el modelo de evaluacin que el estudiante espera
se le va a aplicar el que determina en ltima instancia la
naturaleza de su aprendizaje. (Biggs, 1996). Entwistle y Entwistle
(1992) han descrito cinco tipos de comprensin que el estudiante
desarrolla y jerarquiza del modo siguiente. El alumno puede
1. Reproducir los contenidos de una clase sin ninguna
estructura clara.
2. Reproducir los contenidos sin la estructura utilizada
por el profesor
3. Desarrollar una estructura propia con vistas a las
posibles respuestas en el examen.


215
4. Ajustar la estructura en la que incluye lecturas que
representen una compresin personal de los
contenidos, pero que al mismo tiempo respondan a
los posibles requisitos del examen.
5. Desarrollar una concepcin individual de la materia
en la que incluye lecturas complementarias y
reflexiones personales.
Las cuatro primeras parecen responder a la preparacin y
comprensin que el estudiante desarrolla de la asignatura con
miras siempre en el examen; la ltima concepcin, en cambio, se
orienta a la comprensin de la disciplina sin pensar en el examen.
Es obvio, pues, que si la percepcin que el estudiante desarrolla
se ubica en una de las cuarto primeras categoras, nos est
revelando que aunque la preparacin en la universidad debera
tener como uno de sus objetivos importantes lo profesional, en
realidad el estudiante se prepara para salir de los exmenes lo
ms airosamente posible. Lo cual es un claro indicador de que los
sistemas de evaluacin estn vacos de una valoracin sobre la
competencia profesional que el estudiante va adquiriendo a lo
largo de su carrera.

B) Factores de proceso

El proceso de aprendizaje ha sido considerado por Biggs
como el resultado de la comprensin que el estudiante
desarrolla, la percepcin que tiene del contexto de aprendizaje y
de las demanda evaluativa tal y como hemos resaltado hace un
momento. Se trata de una relacin causa-efecto ya puesta de
manifiesto por Marton y Slj (1976) en On qualitative
differences in learning, contribucin de un gran impacto en la
literatura al respecto a la que se sumaran otros trabajos que
marcaran el comienzo de una tipologa en la forma de perfilar
cmo los estudiantes se acercan al estudio y al aprendizaje. En
estudios posteriores, estos autores llevaron a cabo anlisis
cualitativos en marcos naturalistas en los que se peda a los
estudiantes que leyeran un artculo y respondieran
posteriormente a una serie de cuestiones. En las entrevistas que
realizaron a los estudiantes, encontraron que estos diferan
notablemente en su nivel de comprensin e intenciones de lo


216
que haban ledo. Fue entonces cuando los autores acuaron la
denominacin de enfoques de aprendizaje. Observaron que
los alumnos adoptaban bsicamente dos enfoques, uno que
denominaron profundo y otro superficial.
En el enfoque profundo, las intenciones del estudiante se
centran en comprender lo que estudia. Para ello, busca el
significado de lo que lee, se fija en las idea principales, etc. Su
orientacin tiene un carcter educativo intrnseco. Los estudiantes
que adoptan este enfoque interaccionan crticamente con el
contenido, lo relacionan con sus conocimientos previos y evalan
los pasos lgicos que llevan a una determinados conclusin.
Este enfoque parece depender de la intencin que el
sujeto muestra por alcanzar una comprensin personal y
sofisticada de los materiales de estudio desde una motivacin
intrnseca. Dicha comprensin es el resultado de una
interaccin crtica con los contenidos de estudio, y la bsqueda
de relaciones con los conocimientos previos tratando de extraer
conclusiones pertinentes.
En el enfoque superficial, en cambio, la intencin es
satisfacer las tareas o los requisitos del curso que ven como
imposiciones externas distintas de sus intereses personales. Para
ello buscan memorizar los detalles centrndose en palabras y
frases que puedan ser susceptibles de memorizacin.
Este enfoque deriva de una motivacin extrnseca y una
concepcin simplista del aprendizaje con un uso prioritario de
la memorizacin. La intencin parece responder a cumplir los
requisitos del curso o la materia de estudio, vistas como una
imposicin externa y distante de los intereses personales. Aqu
el estudiante trata de salir del paso con el menor esfuerzo
posible.
A estos dos enfoques, otros autores han aadido un
tercero, denominado de alto rendimiento que se basa en la
motivacin extrnseca como es el auto-realce que resulta de un
logro visible, concretamente a travs de un alto rendimiento.
Las estrategias relacionadas con este enfoque se refieren a la
organizacin del tiempo, la organizacin del espacio y el
dominio de las materias del modo ms eficiente posible. Los
estudiantes que adoptan este enfoque tienden a ver en las
buenas calificaciones el objetivo ms importante, cumplen todas
las demandas acadmicas que se le hacen (presentacin de


217
trabajos, plazos, etc.), son autodisciplinados y sistemticos y se
centran en lo que realmente les importa.
Afirman tanto Entwistle como Biggs que ciertas formas
de comprensin que engendran algunos vienen motivadas por
los modos en que se evala a los estudiantes. Esta relacin
causal debera ser conocida por todo profesor, ya que si
queremos cambiar la forma en que nuestros alumnos aprenden
es preciso cambiar previamente nuestro modo de evaluarlos.
Muchos de nosotros simplemente ignoramos los efectos que
una determinada forma de evaluacin provoca en el modo en
que el estudiante se plantea su aprendizaje. Hasta tal punto que
cuanto ms tiempo permanece el estudiante en la institucin
ms superficial parece se va volviendo su enfoque como lo
demuestran las muchas investigaciones hechas a lo largo de la
ltima dcada. Veamos algunas de ellas:
Watkins y Hattie (1985) llevaron a cabo un estudio con
540 estudiantes universitarios. Los resultados no les
permitieron concluir de forma clara que la permanencia en la
institucin volviese a los estudiantes ms profundos en su
aprendizaje. A la pregunta de qu factores influan ms en su
forma de aprender, los estudiantes respondieron que su nivel
de inters por la materia, el tipo de clases que imparte el
profesor (las magistrales las consideran aburridas); los
requisitos de la evaluacin y la falta de tiempo. Si la presin de
los exmenes vena acompaada de la falta de tiempo, los
alumnos no dudaban en utilizar un enfoque superficial de
aprendizaje.
Estos hallazgos concuerdan con los alcanzados por
Ramsden y Entwistle (1981). El enfoque de aprendizaje que los
estudiantes adopten parece estar relacionado con los mtodos
de enseanza que utilizan los profesores, los mtodos de
evaluacin y el curriculum. De ah la importancia y la
responsabilidad que los departamentos tienen en la modulacin
de los enfoques de aprendizaje de sus estudiantes.
Biggs (1987) lleg a resultados similares. Observ que en
los estudiantes de ciencias el enfoque profundo decreca
conforme avanzaban en su carrera; en cambio, en los
estudiantes de letras se produca un proceso inverso,
aumentando el enfoque profundo del primero al ltimo ao de


218
carrera. Esto le hizo pensar que la evolucin no estaba muy
clara.
Gow y Kember (1990) observaron que los estudiantes
pasaban de un enfoque superficial a uno profundo a medida
que avanzaba en edad. Curiosamente, la permanencia en la
institucin universitaria los volva ms superficiales, de ah que
concluyeran que la institucin universitaria no promueve el
estudio independiente. Las variables contextuales son, sin
duda, las que parecen estar provocando esta indeseable
evolucin. Estos autores categorizan las causas en las
siguientes:
Motivacin. El enfoque profundo se relaciona con la
motivacin intrnseca. Esto ya ha quedado demostrado en los
distintos anlisis factoriales que se han llevado acabo, tanto con
el cuestionario de Entwistle como con el de Biggs. En la
relacin entre motivo y estrategia, en cada uno de los tres
enfoques de aprendizaje, se ha comprobado la intensa relacin
(coherencia) entre las dos subescalas, siendo especialmente alta
en el caso del enfoque profundo. Fransson (1977) lleg a los
mismos resultados. En un experimento en el que un grupo de
estudiante deba leer un artculo de investigacin, observ que
aquellos que mostraban ms inters en el artculo se
caracterizaban por un enfoque profundo: en cambio los que
mostraron menor inters presentaban un enfoque superficial.
Evaluacin. Cuando en un examen se pide a los alumnos
respuestas basadas en hechos y datos, como es el caso de las
prueba objetivas, automticamente adoptan un enfoque
superficial en su preparacin, Thomas y Bain (1984). Entwistle y
Ramsden (1983) tambin han demostrado que la naturaleza de
la evaluacin influye de forma inequvoca en el modo en que
los alumnos se preparan para ello.
Cada tipo de examen produce un efecto diferente en el
aprendizaje. As, las pruebas objetivas y preguntas de respuesta
corta demandan estrategias reproductoras, mientras que
preguntas abiertas requieren estrategias ms profundas
(Thomas y Bain, 1984).
Crooks (1988) tambin aporta datos que apuntan a que las
prcticas evaluativas actan en detrimento de la calidad del
aprendizaje debido a que los estudiantes, en su afn de responder
a las demandas de determinados exmenes, se ven forzados a


219
ajustar su aprendizaje a dicha demanda y se olvidan de realizar
un aprendizaje ms globalizador.
Estilo de enseanza. Esta variable contextual tambin se
ha demostrado que influye en el enfoque de aprendizaje de los
estudiantes Biggs, 1988). Ramsden y Entwistle (1981) aportan
algunas de las razones que los estudiantes adujeron en las
entrevistas que llevaron a cabo:
Copio porque no entiendo cules son los puntos
principales...Los otros compaeros tambin lo hacen porque el profesor
explica muy rpido. No hay tiempo para pensar. Si ests escuchado,
entonces no hay tiempo para tomar apuntes y si tomas apuntes
entonces no tienes tiempo para escuchar .
La clase me parece muy superficial y breve. Es como si te
estuviesen golpeando en la cabeza todo el tiempo.
Como contrapunto, permtanme que cite la investigacin
que con subvencin de la Secretara de Estado de
Universidades, he llevado a cabo en la Universidad de Murcia
con 3.860 estudiantes, repartidos en 19 titulaciones. En ella
hemos podido comprobar que, a nivel general, se produce una
evolucin en el uso del enfoque superficial hacia el profundo de
primero a ltimo ao de carrera, pasando del 40% al 48%. El
enfoque superficial experimenta una ligera baja -de 46% a 43%.
En cambio el enfoque de alto rendimiento que debera subir,
baja de 14% a 9%.
Cierto que esta evolucin no es idntica en todas las
titulaciones. De las 19 titulaciones analizadas, diez
evolucionaron hacia un enfoque profundo (Biolgicas,
Pedagoga, Filosofa, Filologa, Medicina, Psicologa,
Veterinaria, Enfermera, Trabajo Social y Fisioterapia). Ocho a
enfoque superficial (Econmicas, Derecho, Matemticas,
Qumica, Biblioteconoma, E. U. De Empresariales y Graduado
Social). Y una que tiene idnticos porcentajes en enfoque
superficial y: Informtica. Estos datos contradicen los
resultados que acabamos de ver en otras investigaciones. En el
caso de la edad, la evolucin de un enfoque superficial a otro
ms profundo aparece ntida. As, vemos que el 37% de los
estudiantes de primero utilizan enfoque profundo, los de
edades comprendidas entre 19-20 aos suben al 43%, los de 21-
23 al 46%, los de 24-26 al 57% y los de ms de 27 suben hasta el
62%. Estos datos, evidentemente, necesitan un mayor anlisis


220
para determinar cunto se debe realmente a la edad y cunto a
los aos de permanencia en la universidad.

ENFOQUE MOTIVO ESTRATEGIA
ES:
Superficial

El motivo superficial
(MS) sirve para cubrir
los requisitos mnimos.
Es un acto equilibrado
entre el fracaso y
trabajar ms de lo
necesario.
La estrategia superficial (ES)
sirve para limitar el objetivo
a lo bsico, reproducindolo
mediante aprendizaje
mecnico.

EP:
Profundo

El motivo profundo
(MP) supone un inters
intrnseco en lo que se
est aprendiendo. Sirve
para desarrollar
competencia en
materias concretas.
La estrategia profunda (EP)
sirve para descubrir
significados mediante una
lectura amplia
interrelacionndolos con
conocimientos relevantes
previos.

AR:
Alto
Rendimiento

El motivo de alto
rendimiento (MAR)
sirve para intensificar el
ego y el autoconcepto a
travs de la
competitividad para as
obtener buenas
calificaciones sea o no
interesante el material.
La estrategia de alto
rendimiento (EAR) sirve
para organizarse tanto el
tiempo como el espacio de
trabajo, as como para ver
todas las lecturas sugeridas,
el plan de trabajo a seguir y
para tener un
comportamiento modlico
como estudiante.


221

DIMENSION MOTIVO
ESTRATEGIA

D1:
UTILIZACIN
M1: Instrumental. El
objetivo es conseguir
una calificacin con la
nica aspiracin del
aprobado. Miedo al
suspenso.

S1: Reproduccin. Se
limita a lo esencial y a
reproducir a travs de
un aprendizaje
memorstico.

D2:
INTERNALIZACIN
M2: Intrnseco. Estudia
para actualizar los
propios intereses y
lograr competencia en
materias acadmicas.

S2: Significativo. Lee
mucho, interrelaciona
con los conocimientos
previos. Discute los
temas acadmicos para
lograr la mxima
comprensin.
D3:
ALTO RENDIMIENTO
M3: Alto rendimiento.
Obtener las notas ms
altas, tanto si el material
es o no interesante. El
inters est en competir
y ganar.

S3: Organizacin. Lee
todas las lecturas
sugeridas, organiza su
tiempo. Su
comportamiento es el
propio del 'estudiante
modelo'

C) Factores de producto

Decamos al comienzo que, segn Biggs, existen dos
niveles en la evaluacin, el cualitativo y el cuantitativo, lo que le
ha llevado a sugerir dos parmetros de actuacin: la razn
estructura-hecho y el compromiso afectivo.
En la razn estructura-hecho, todas las actuaciones
acadmicas se pueden describir considerando por un lado hasta
qu punto es importante el aprendizaje y la reproduccin correcta
de detalles, y por otro hasta qu punto lo es la comprensin de las
estructuras en las que se encuentran imbricados dichos detalles.
De hecho, existen distintas tareas en las que es importante la
reproduccin de detalles como sucede con las relacionadas con la


222
ortografa, el vocabulario, frmulas parcialmente entendidas, etc.
La actuacin puede tambin valorarse en funcin del grado de
comprensin de la estructura en la que se encuentra el detalle.
Conforme avanza el aprendizaje, las interpelaciones estructurales
inherentes a los componentes de la tarea se hacen ms
importantes a nivel educativo.
El resultado afectivo del aprendizaje (compromiso
afectivo) es para Biggs la segunda gran dimensin en la
actuacin, que puede ir desde un nivel altamente positivo, como
sucede cuando la motivacin es intrnseca o el estudiante
experimenta satisfaccin por la tarea, a otro totalmente aversivo.
Este ltimo tendra lugar en los casos en que la tarea resulta tan
compleja para el alumno que se siente incapaz de manejarla de
forma apropiada, dando como resultado un aprendizaje pobre y
mal estructurado.
Aunque estos dos factores del producto son
conceptualmente distintos, en la prctica pueden variar. Cuando
en el alumno se produce una relacin altamente positiva entre
estructura y hecho, su implicacin afectiva suele ser tambin muy
alta y positiva. Conforme se va invirtiendo la relacin estructura-
hecho, la implicacin afectiva tambin va decayendo,
aumentando al mismo tiempo el estado de aversin hacia el
aprendizaje. Indudablemente en esta relacin que el autor plantea
entre estructura-hecho e implicacin personal juegan un papel
importante tanto el tipo de tarea como las diferencias
individuales. En el modelo elaborado Biggs seala los mrgenes
que cada enfoque produce a nivel de resultados.
En cuanto al meta-aprendizaje, este va siendo menor
conforme se desciende de un enfoque profundo a un enfoque
superficial. A nivel de tcticas especficas para tareas, no se da
ningn grado de meta-aprendizaje: los alumnos en este nivel no
necesitan (o no quieren) ser conscientes de su propias
percepciones de los motivos, las estrategias y la estructura de la
tarea. El enfoque superficial es tambin a menudo reacio a la
tarea, y lo mismo cabe decir del enfoque de alto rendimiento. En
cambio al enfoque profundo es difcil imaginarlo operando
eficazmente sin recurso a la conciencia meta-cognitiva.
Por ltimo, a nivel de actuacin, la relacin estructura-
hecho e implicacin personal es mayor en la parte superior del
modelo prxima al enfoque profundo, conforme bajamos hacia


223
un nivel ms superficial esta relacin e implicacin va
disminuyendo progresivamente.
Para terminar, me gustara resaltar algunas de las ideas
que se han ido exponiendo. En primer lugar, los estudiantes
estudian en trminos generales de acuerdo a dos modelos de
aprendizaje que han sido definidos como enfoque profundo y
enfoque superficial. Estos modelos de aprendizaje vienen
determinados por el contexto educativo. De todos los factores
analizados del contexto de educativo, parece que la evaluacin es
el que ms influencia ejerce en la forma en que los alumnos
aprenden y la calidad de dicho aprendizaje. Se hace necesario,
por consiguiente, orientar a los estudiantes hacia enfoques de
aprendizaje que mejoren su calidad. Tanto la institucin como el
profesorado tenemos la mxima responsabilidad en la
consecucin de aprendizajes de calidad.


224
Bibliografa

Biggs, J. B. (1987) Student Approaches to Leraning and Studying.
Hawthom, Vict. Australian Cluncil for Educational
Research.
Biggs, J. B. (1989) Approaches to the enhancement of tertiary
teaching. Higher education research and development, 8, pp 7-
25.
Biggs, J.B. (1996) Assessing Learning Quality: reconciling
institutional, staff and educational demands. Assessment
and Evaluation in Higher Education, 12 (1), pp 5-15.
Biggs, J. B. y Collins, K. F. (1982) Towards a model of school-
based curriculum develoment and assessment: using the
SOLO Taxonomy. Australina Journal of Education, 33, pp
149-161.
Biggs, J.B. y Collins, K. F. (1989) Evaluation the Quality of Learning:
the SOLO Taxonomy. New York: Academic Press.
Bloom, B. S. (1956) A taxonomy of educational objetives: Handbook I,
the cognitive domain. N. Y.: Longman.
Cole, N. S. (1990) Conceptions of educational achievement.
Educational Researcher, 19 (3),pp. 2-7.
Crooks, T.J. (1988) The impact of classroom evaluation practices
on students. Review of Educational Research, 58, pp 438-481.
De Miguel, M. (1995) La calidad de la educacin y las variables de
proceso y de producto. Donostia, Cuadernos de Educacin,
8, pp. 29-51.
Driessen, E. (1995) Teaching, testing and assessment of instruction
quality. Comunicacin presentada a EDINEB, In search
for quality, celebrado en Uppsala, Suecia, 1995.
Elton, L. y Laurillard, L. Y Laurillard, D. (1979) Trends in students
learning. Studies in Higher Education, 4, pp. 87-102.
Entwistle, N. J. y Ramsden, P. (1983) Understanding student
learning. London: Croom Helm.
Fleming, M. y Chambers, B. (1983) Teacher-made tests: Windows
on the classroom. En W. E. Hathaway (ed.(, New directions


225
for testing and measurement. Vol. 19. Testing in the schools. S.
Francisco: Jossey-Bass.
Frederiksen, J.R. y Collins, A. (1989) A systems approach to
educational testing. Educational Researcher, 18 (9), pp 27-
32.
Gibbs, G. (1992) Improving the Quality of Students Learning. Bristol:
Technical and Educational Services.
Gagne, R. M., Briggs, L. J. y Wager, W. W. (1988) Principles of
instructional design. N. Y. : Holt, Rinehart and Winston.
Gow, L. y Kember, D. (1990) Does higher education promote
indepedent learning?. Higher Education, 19,pp. 307-322.
Consejo de Universidades (1998) Plan Nacional de Evaluacin de la
Calidad de las Universidades. Gua de Evaluacin. Madrid:
MEC.
Haertel, E.(1986) Choosing and using classrom tests: Teachers
perspectives on assessment. Paper presented at the annual
meeting of the American Educational Research Association,
San Francisco.
Hernndez Pina, F. (1993) Concepciones en el estudio del
aprendizaje de los estudiantes universitarios. Revista de
Investigacin Educativa, 22, pp. 117-150.
Hernndez Pina, F. (1999) Los enfoques de aprendizaje en el contexto
de la evaluacin de la calidad de las universidades. Informe de
la investigacin subvencionada por Direccin General de
Enseanza Superior, Ministerio de Educacin y Cultura.
Referencia del Proyecto de Investigacin PB 95-1002.
Hernndez Pina, F. y Soriano Ayala, E. (1999) Las carencias
formativas del profesorado en cuestiones de evaluacin.
Bordn, 51 (1), pp. 31-38.
Latham, A. (1997) Assessment: A vehicle for learning. Congreso
electrnico de EARLI sobre Evaaluacin y Diagnstico.
Recibido a travs del Foro sobre Investigacin Educativa
de AIDIPE.
Marton, F. y Slj, R. (1976) On qualitative differences in
learning, I: Outcome and process.British Journal of
Educational Psychology, 46,4-11.


226
Marton, F. (1988) Describing and improving leraning. En
Schmeck, R. R. (ed) Learning Strategies and Learning Styles.
N. Y. : Plenum.
Ramsden, P. y Entwistle, N. J. (1981) Effects of acadenmic
department on studentsapproaches to studying. British
Journal of Educational Psychology, 51, pp. 368-383.
Ramsden, P. (1988) Studying learning: Improving teaching. In P.
Ramsden (ed) Improving Learning. New perspectives.
London: Kogan Page.
Reid, W. A. (1987) Institutions and practices: profesional
education reports and the languege of reform. Educational
Researcher, 16 (8), pp. 10-15.
Thomas, P. y Bain, J. (1984) Contextual dependence of learning
approaches: the effects of assessment. Human Learning, 3,
pp.227-240.
Watkins, D. A. y Hattie, J. (1985) A longitudinal study of the
approaches to learning of Australian tertiary students.
Human Leraning, 42 (2), pp. 127-142.


227

REFLEXIONES EN TORNO A LA EVALUACIN DE
LOS SISTEMAS EDUCATIVOS: UN CONCEPTO
DINMICO DE EFICACIA
Jos Luis Gaviria y Javier Tourn
Universidad Complutense y Universidad de Navarra

INTRODUCCIN

En el volumen 2 del informe que recoge el diagnstico
del sistema educativo espaol para los alumnos de 14 y 16 aos,
publicado por el INCE en 1998, en su introduccin se seala
que los sistemas educativos representan en la actualidad, junto
a los sistemas de salud, las mayores empresas de intervencin
social. Su actividad y sus resultados afectan directa o
indirectamente a todos los miembros de la comunidad. La
idoneidad de su funcionamiento es, pues, un asunto de capital
importancia y de inters general. Esto, quiz, explique el alto
nivel de acuerdo acerca de la necesidad de un diagnstico
permanente del sistema educativo espaol. As se expresa en la
LOGSE que, en su artculo 55, identifica la evaluacin del
sistema como uno de los factores clave de la calidad de la
educacin, en la medida en que permite un conocimiento ms
riguroso y objetivo del mismo y facilita la toma de decisiones
tendentes a su optimizacin. Esta cita resume admirablemente
nuestro modo de entender el papel de la evaluacin de los


228
sistemas educativos modernos, ya sean no universitarios o
universitarios. Pero profundicemos un poco ms en el sentido
mismo de este proceso antes de abordar el concepto de eficacia
que proponemos a partir de un modelo sistmico de la
evaluacin.
Los especialistas suelen consideran que el sistema
educativo es el nico capaz de transformar recursos tangibles
en productos intangibles. Pues bien, el papel de la evaluacin
consiste, precisamente, en hacer visibles, observables y
mensurables, dichos productos. Entendemos aqu producto en
un sentido genrico con un mximo grado de generalidad y
abstraccin, es decir, producto seala cualquier resultado de
inters educativo en el sistema en consideracin.
La evaluacin de un sistema educativo, en el nivel de
generalidad que quiera considerarse, debe entenderse como el
proceso que permita obtener una informacin fiable y vlida
que ayude a fundamentar un juicio de valor sobre el mismo y
que sirva para apoyar una eventual toma de decisiones que
promuevan su mejora.
Esto es particularmente cierto cuando la instancia desde
la que han de tomarse decisiones es, por ejemplo, la
administracin educativa, pues es sta la que determina en
primer trmino cmo han de asignarse los recursos
disponibles al sistema. Y no es menos cierto que son las
administraciones educativas las que han de procurar que los
medios pblicos invertidos en la educacin rindan los
resultados esperados.
Adems, el nico modo de conocer cul es el nivel
instructivo de un determinado sistema es a travs de la
evaluacin peridica de los productos, de los resultados del
mismo. Este es el paso previo para poder establecer cules son
los niveles de logro de la poblacin que se considere y, por
tanto, el camino para configurar objetivos (estndares de
rendimiento los llamaramos si nos refirisemos a los resultados
acadmicos) que permitan conocer si los resultados que se
logran coinciden con los que se desean. Como veremos en un
apartado posterior, el tener unas metas definidas es ms que
conveniente para poder valorar la situacin en la que el sistema
progresa y la distancia a la que se encuentra del punto ideal
deseado.


229
Por otra parte, no es posible tomar decisiones acertadas
sin contar con la informacin pertinente. En este sentido, la
evaluacin lejos de ser considerada por error o parcialidad
como un mecanismo de control o fiscalizacin (aunque tambin
lo sea en cierto modo), cobra su pleno sentido cuando permite
aportar al sistema las ayudas necesarias en aquellos puntos en
los que son ms convenientes. Y esto slo es posible hacerlo de
un modo cabal cuando se dispone de la informacin adecuada.
En este sentido, la evaluacin es considerada como un
proceso de carcter instrumental; esto es, se evala para algo. De
modo global podramos sealar que se evala para mejorar la
enseanza y el aprendizaje. "Se evala para tomar decisiones
respecto al proceso o producto evaluado".
As pues, la evaluacin debe entenderse, como un
mecanismo de mejora de la calidad del sistema, que tiene como
finalidad ayudar a la toma de decisiones sobre el mismo a los
responsables.
Todo proceso de evaluacin debe ser un proceso de ayuda y no
debe verse como una amenaza potencial. Lo que a todas luces s
constituye una verdadera amenaza es no afrontar de modo
sistemtico la evaluacin de las instituciones, de los sistemas
educativos.

EL PUNTO DE PARTIDA: UN MODELO SISTMICO DE EVALUACIN

Despues de analizar los distintos enfoques evaluativos,
De la Orden (1993, 1995) propone un modelo sistmico de
evaluacin. Aqu adoptaremos dicho enfoque con alguna
pequea variacin a su formulacin inicial.
Las dificultades de adoptar un modelo nico del proceso
evaluativo estriban en que es necesario tener una
representacin terica, una hiptesis, bien desarrollada acerca
del objeto que se desea evaluar. En este sentido la accin
evaluativa descansa sobre dos hiptesis distintas. La primera, a
la que nos acabamos de referir, en la que se establecen las
relaciones funcionales entre los distintos elementos del sistema.
La segunda, que pone en relacin ciertas caractersticas del


230
sistema con los criterios de valoracin empleados de forma que
de esa relacin nace el juicio evaluador.
Para De la Orden la accin evaluadora, que terminar en
un enunciado de juicio acerca de la vala del sistema evaluado,
debe estar basado en tales caractersticas que la funcin
evaluadora sea igualmente vlida independientemente del
objeto de estudio. De otra forma, cambiar de ente u objeto de
estudio dentro de un mismo grupo (p.e. entre universidades)
no debe suponer el cambio de referencias, y por ende, de
modelo evaluador.
La accin evaluadora debe situar por tanto las
referencias en tal nivel de abstraccin que aplicando dicho
esquema de valoracin sea posible asignar la etiqueta de
calidad a dos objetos que siendo distintos, considerados en su
contexto cumplan ciertas condiciones comunes.
Ese nivel de abstraccin se da si consideramos la calidad
de los sistemas como un conjunto de relaciones de coherencia
entre los componentes del sistema.
En este sentido, cualquier sistema educativo trata de
responder a ciertas expectativas y necesidades sociales,
planificando para ello el logro de ciertas metas y objetivos a
lograr por medio del funcionamiento ordinario del sistema, y
obteniendo como resultado de ese funcionamiento unos
productos o resultados educativos.
Una primera dimensin del juicio evaluador se referir
por tanto a la funcionalidad, siendo sta el grado de coherencia
entre las expectativas y necesidades sociales y los inputs,
procesos, productos y metas del sistema.
Una segunda dimensin viene dada por la coherencia
del producto con las metas y objetivos expresos del sistema. Esa
dimensin define la eficacia o efectividad.
Por ltimo la coherencia de los inputs y procesos con los
productos determina la dimensin de la eficiencia.
Este modelo queda reflejado en el grfico 1.
La evaluacin de cualquier sistema educativo recoger y
valorar informacin en estas tres dimensiones, que servirn de
gua para definir indicadores del sistema.


231
La funcionalidad se ver reflejada en variables que
expresan relaciones ms o menos directas de los componentes
del sistema con las metas y expectativas sociales.
De este modo los indicadores ms directos e
inmediatos son aquellos que ponen en relacin las metas
explcitas e implcitas del sistema con las necesidades sociales,
sirviendo estas ltimas como criterio para valorar la bondad de
aquellas.
Otros indicadores no tan inmediatos son aquellos que
ponen de manifiesto las relaciones entre las entradas al sistema
y los valores sociales: seleccin de alumnos y reclutamiento de
profesores, equidad de acceso, mtodos de seleccin, equidad
en la asignacin de recursos humanos, materiales y econmicos,
etc.
Otro grupo de indicadores establecen las relaciones
existentes entre la estructura, los procesos directivos, y de
funcionamiento ordinario, como los procesos instructivos, la
planificacin docente e instructiva, la participacin de los
distintos agentes sociales en los procesos educativos, la
evaluacin de alumnos, la promocin de profesorado, la
ordenacin acadmica en general, todo ello con los valores y
expectativas sociales.
Por ltimo los indicadores que expresan relaciones
entre los resultados de la accin educativa y las necesidades y
las expectativas sociales. Estos indicadores no se refieren tanto
al nivel de los logros, sino ms bien a la relevancia de los logros
efectivamente conseguidos, independientemente de su
congruencia con los objetivos y metas del sistema.
La eficacia tiene que venir necesariamente expresada en
indicadores que reflejen la relacin entre los logros o resultados
del sistema y las metas y objetivos planeados para el mismo.
Aunque los logros referidos a rendimiento acadmico son los
que ms fcilmente pueden medirse, no deben circunscribirse
estos a aquellas dimensiones ms inmediatas y ms fciles de
obtener. No se olvide que algunos de los resultados ms
valiosos de la accin educativa tienen que ver con destrezas
cognitivas de nivel superior que exigen un esfuerzo de
conceptualizacin y de desarrollo de instrumentos de medida.
Del mismo modo, variables tales como actitudes hacia el
aprendizaje, actitudes sociales, integracin social, etc, son


232
tambin resultados de la accin educativa que tiene su correlato
en objetivos expresamente manifiestos en las leyes generales, y
que por tal motivo deben ser medidos adecuadamente. Este es
sin duda un campo en el que la investigacin tendr mucho que
decir.
Pero tambin otros componentes del sistema pueden
analizarse desde la perspectiva de la eficacia. Podemos
plantearnos con total legitimidad si los procesos educativos que
se dan en el sistema son coherentes con las metas que quieren
lograrse. Incluso en una relacin ms compleja, podemos
plantearnos si, dados los inputs del sistema, los procesos en
desarrollo son los ms adecuados para producir las
transformaciones requeridas para la consecucin de los
objetivos planificados. Si la estructura organizativa del sistema
refleja la jerarqua de la importancia de los distintos objetivos
que quieren lograrse. Si, en fin, todo el sistema en su conjunto
est ordenado a la consecucin de los objetivos explicitados en
su planificacin, o si por el contrario con tal estructura se
persiguen objetivos no declarados, incompatibles o contrarios a
los legtimos.
Por ltimo, las entradas al sistema, los recursos
asignados a los distintos procesos, los sistemas de
reclutamiento y seleccin all donde haya lugar, podrn estar o
no, orientados hacia el logro de los objetivos del sistema, y esos
son otros indicadores indirectos de eficacia.
La eficiencia tiene que ver con el anlisis de los costos de
todo tipo que el logro de los objetivos implica. Costos
personales, temporales, sociales, materiales, econmicos,
polticos, etc. De la Orden (1995), menciona tres grandes
categoras de indicadores de eficiencia:
Econmica (productividad de la educacin como
formacin de capital y recursos humanos)
Administrativa y de gestin (Organizacin de
recursos para ofrecer los servicios de educacin)
Pedaggica (Adecuacin de profesores, instruccin,
tiempo y recursos de enseanza, etc a los resultados
educativos)
Estas dimensiones, como seala De la Orden (1995), no
son independientes entre s. Sera absurdo decir de un sistema


233
que es funcional, cuando no es eficaz. Y lo mismo cabra decir
respecto de la eficiencia. Un sistema que no es eficaz
difcilmente puede ser eficiente. Podra parecer con esto que se
prima la eficacia por encima de cualquier otra consideracin. Si
bien el trmino tiene una relativa mala fama en el mbito
educativo dado que casi siempre se ha ligado a contextos de
eficacia estrictamente econmica, debemos decir que tal y como
aqu se ha definido, parecera absurdo planificar un sistema que
renuncia a ser eficaz. Pero para resaltar y aclarar la naturaleza
de las relaciones entre estas tres dimensiones, diremos que
presentan entre s una estructura similar a la que siempre se ha
considerado entre Validez y Fiabilidad. La fiabilidad es una
condicin sine qua non de la validez. Pero nadie osara decir que
un test es muy bueno porque es muy fiable aunque no sea
vlido en absoluto. La calidad de un instrumento viene
determinada por esas dos caractersticas tcnicas
simultneamente. Lo mismo puede decirse respecto a la
evaluacin de los sistemas educativos. Un sistema que no es
eficaz no puede ser funcional; un sistema que no es funcional es
irrelevante que sea capaz de alcanzar sus objetivos o que los
alcance a un coste muy bajo si estos no tienen valor.
Es este un modelo realmente comprensivo, que incluye
las aportaciones ms importantes de otros enfoques. Todas las
preocupaciones centrales de los modelos orientados hacia los
objetivos o hacia la toma de decisiones, o los modelos de
enjuiciamiento, estn reflejadas en una o ms dimensiones del
modelo.
Por otra parte al tratarse de un modelo sistmico el nivel
de generalidad es lo suficientemente alto como para permitir su
aplicacin a muchas realidades educativas distintas. Pero
posiblemente su mayor potencialidad estriba en que es un
modelo que introduce orden en la recopilacin de indicadores
del sistema. Al mismo tiempo permite adaptar el propio
modelo a distintos contextos o realidades, e incluso
sensibilidades del evaluador, modificando el nfasis puesto en
la importancia de las dimensiones de evaluacin o en los
componentes del sistema.
Algunas de sus limitaciones tienen que ver del mismo
modo con sus virtualidades. Su mismo nivel de generalidad
hace que para ser aplicado este modelo han de especificarse con


234
mayor detalle tanto los componentes del sistema como los
indicadores elegidos.
Una limitacin distinta viene dada por algunos de los
supuestos implcitos del modelo. Tal y como aqu ha sido
presentado, podemos decir que este modelo presenta una
fotografa del sistema educativo analizado, en un momento
determinado. Sin embargo podramos considerar el
movimiento, es decir, el cambio social. Las expectativas y las
necesidades sociales cambian con el tiempo. Ciertamente varias
evaluaciones concretas en momentos temporales distintos
pueden indicarnos cundo el sistema es funcional y cundo ha
dejado de serlo. Pero cabra considerar la capacidad de
adaptacin del sistema a los cambios como una variable digna
de ser considerada en una evaluacin formal, y por tanto, de ser
incluida en el modelo.
Por otra parte, por su propio nivel de generalidad el
modelo presentado no entra a considerar las variantes que
pueden presentarse en la entradas del sistema. De hecho existen
sistemas que podramos denominar como selectivos, en los
que existe un procedimiento para garantizar que los alumnos o
elementos de entrada renan ciertas condiciones mnimas, a
partir de las cuales comienza el proceso formativo. Es el caso de
algunos colegios, o de algunos centros universitarios.
Otros sistemas son compulsivos. El sistema no puede
seleccionar qu sujetos entrarn en el mismo, y todos los
individuos que se sometan a la accin educativa del sistema
deben forzosamente pasar por l, independientemente de su
nivel a la entrada. Es el caso por ejemplo del sistema de
educacin obligatoria, o de algunos centros universitarios.
Resultara por ello ms conveniente tener en cuenta estas
diferencias a la hora de definir las dimensiones del modelo.
En el siguiente apartado se presentamos algunas
modificaciones a las definiciones del modelo de De la Orden,
introduciendo un concepto modificado de eficacia.


235

Contexto sociocultural y econmico de la educacin
Necesidades, aspiraciones y expectativas sociales a
que debe responder la educacin/institucin escolar
Metas y objetivos de la educacin
Productos educativos
Aprendizajes y equipamiento
intelectual de los estudiantes
Procesos
Organizativos
Curriculares
Instructivos
Investigadores
Evaluativos
Directivos y de liderazgo
Administrativos y gerenciales
Recursos humanos
Recursos econmicos
Recursos materiales
Entradas al sistema escolar
Estructura organizativa
Estudiantes: Nmero y caractersticas
Profesores: Nmero y caractersticas
Recursos asignados
A
B
C
D
E
E
F
I
C
A
C
I
A
E
F
I
C
I
E
N
C
I
A
N
i
v
e
l

d
e

a
s
i
g
n
a
c
i
n
N
i
v
e
l

d
e

u
t
i
l
i
z
a
c
i
n
F
U
N
C
I
O
N
A
L
I
D
A
D
Grfico 1. Modelo sistmico de evaluacin (De la Orden, 1995)


236

MODELO SISTMICO MODIFICADO

En la propuesta que se presenta a continuacin se hace
especial hicapi en la definicin de eficacia, adems de aadir
algn matiz en otra dimensin al modelo anterior. No es
gratuito el nfasis en la eficacia, pues como se seal antes es
una condicin imprescindible de la funcionalidad.
Podramos decir que en el modelo sistmico de De la
Orden la eficacia es, en trminos operativos, una funcin
inversa de la distancia que separa a los resultados de los
objetivos.
Aqu tendremos en cuenta el hecho de que en los
sistemas que hemos denominado compulsivos no todos los
individuos ingresan en el sistema con el mismo nivel inicial.
Podemos decir que los elementos a la entrada se encuentran en
un determinado estado inicial. Al trmino del proceso
educativo, se encuentran en un estado final. Toda la accin del
sistema est orientada a conseguir que todos los individuos
alcancen un determinado estado ideal. Supongamos de
momento que podemos caracterizar esos estados de forma que
sea posible establecer comparaciones entre ellos y calcular la
distancia que los separa. En este sentido el concepto de eficacia
que se propone entiende la eficacia como valor aadido. De esta
forma en el modelo sistmico presentado anteriormente
quedara reflejado en
Eficacia =(Objetivos - Nivel final)
-1

mientras que aqu se propone otra definicin que
quedara mejor reflejada en
Eficacia =((Objetivos - Nivel inicial)-(Objetivos - Nivel
final)
-1
que en realidad es igual que
Eficacia =(Nivel final - Nivel inicial)
-1

Sin embargo como veremos, es importante la presencia
de objetivos terminales explcitamente formulados por varias
razones que se sealarn ms adelante.


237
Por tanto, definimos aqu la eficacia como la diferencia
entre la distancia del estado final al estado ideal y la distancia del
estado inicial al estado ideal, producida en los individuos al trmino de
la accin educativa del sistema bajo consideracin.
Tanto el estado ideal, como los estados inicial y final,
vienen definidos por los objetivos y metas propuestos para el
sistema.
La eficacia entonces tiene que ver con la distancia entre
el nivel del producto a la entrada y su nivel a la salida, y por
eso la eficiencia se referir al nivel de recursos necesarios para
que un determinado sistema produzca esa transformacin.
De una manera ms laxa la eficacia se refiere a la
diferencia entre los niveles de entrada y de salida. En este
sentido las comparaciones pueden ser con objetivos o sin
objetivos. Las primeras son las ms racionales, coherentes y
posibles. Los objetivos nos permitirn establecer con claridad
las dimensiones en que debe realizarse la comparacin, y
adems nos proporcionar una referencia para medir, y una
escala de medida.
En ocasiones no ser posible establecer claramente o de
forma exhaustiva, o de forma explcita todos los objetivos de un
sistema. Entonces los objetivos pueden quedar implcitamente
establecidos en las dimensiones que de algn modo
(posiblemente por consenso entre distintas partes) se decida
medir. La comparacin ser entonces entre el nivel a la entrada
y nivel a la salida. Se puede determinar entonces el valor
aadido, pero existen algunos inconvenientes en este esquema.
En el grfico 2 tenemos una representacin del valor
aadido cuando los objetivos terminales estn predeterminados
o son explcitamente formulados. La ventaja de este modelo es
que como resultado de la evaluacin no slo conocemos el valor
aadido por el sistema al producto, sino que adems nos
proporciona informacin acerca de la distancia que resta para
alcanzar los objetivos propuestos, lo que de alguna manera
podramos llamar Eficacia absoluta del sistema o tambin
Potencial de optimizacin. sta deber entonces expresarse no
slo como la ganancia, la disminucin de la distancia a los
objetivos de los elementos que ingresaron en el sistema, sino
que deber incluirse adems informacin relativa a la distancia


238
que todava les separa de la situacin ideal caracterizada por los
objetivos.

Grfico 3. Eficacia en un sistema sin objetivos terminales definidos

En el grfico 3 vemos el caso en el que el sistema no
presenta unos objetivos terminales explcitos y de alguna forma
se han determinado las dimensiones en que se medirn los
estados inicial y final del sistema. Sigue siendo posible medir el
valor aadido por el sistema, y por tanto tenemos una cierta
medida de la eficacia del mismo, aunque no estn
explcitamente formulados los objetivos terminales. A esta
diferencia la llamaremos Eficacia relativa del sistema.
Aunque no pueda decidirse la distancia restante, que
hemos llamado Potencial de Optimizacin, es posible sin
embargo establecer comparaciones entre sistemas anlogos por
medio del valor aadido medio de cada uno de ellos. Estas
comparaciones son siempre mucho ms justas para los sistemas
menos favorecidos que la simple comparacin de resultados
finales, ya que se tiene en cuenta el estado inicial del sistema, y
por tanto sus diferencias iniciales.
Existen algunas ventajas asociadas a una definicin de
este tipo. En la definicin de eficacia anterior, sta aparece casi
como una variable dicotmica. El sistema es o no es eficaz, en
funcin de si se alcanzaron o no los objetivos. Ciertamente

Distancia
inicial
Distancia
final
Valor
aadido
Nivel a la entrada
Nivel a la salida
Objetivo terminal
Eficacia con objetivos
terminales definidos


239
puede establecerse el grado en que estos fueron alcanzados.
Pero no se nos da ninguna indicacin del grado de cambio
producido por el sistema. En ese sentido se trataba de una
definicin negativa de eficacia. Con la definicin que se
propone aqu se mide precisamente la accin efectiva del
sistema, por lo que se trata de una definicin en ese sentido
positiva.
Hay algunas ventajas prcticas asociadas a esta
definicin. Por ejemplo, no es tan difcil como en el caso
anterior establecer comparaciones entre centros de distinta
naturaleza. Cuando los objetivos son distintos, establecer
comparaciones es imposible. Pero la eficacia como valor
aadido nos permite establecer una cierta dimensin en comn.
Por supuesto este tipo de comparaciones debern realizarse con
toda precaucin, y estas tendrn las mismas limitaciones que
cuando se comparan puntuaciones tpicas correspondientes a
sujetos provenientes de distintas muestras.
La investigacin basada en este concepto supondra:
determinacin de los objetivos terminales en trminos
operativos o mensurables; caracterizacin de las dimensiones
de especificacin de los estados inicial y final; identificacin de
aquellas variables que afectan al progreso desde el estado
inicial al estado final; investigacin del supuesto de linealidad
de la relacin entre los incrementos en los distintos niveles y su
relacin con los esfuerzos realizados para su obtencin; estudio
de la viabilidad de este esquema de evaluacin en distintos
niveles del sistema educativo.
El otro concepto complementario de la eficacia, el
potencial de optimizacin, es muy importante en el resultado
de la evaluacin. Coincide con la definicin anterior de eficacia,
y es una dimensin que nos est indicando implcitamente en
qu direccin deben producirse las mejoras del sistema.
Posiblemente la determinacin de los objetivos no logrados
aportar sugerencias acerca de los cambios que deben
producirse en el sistema para que dichos objetivos puedan ser
alcanzados.
Una caracterstica de aquellos sistemas capaces de
producir valor aadido en todos los individuos que ingresan en
ellos es la Adaptabilidad interna, que consiste en la capacidad
de un sistema de adaptar los recursos y procesos a las


240
caractersticas especficas de los elementos a su entrada, en
orden a promover el mximo cambio en la direccin marcada
por los objetivos, metas, fines y propsitos del sistema. Poner
en accin esa capacidad supone tener otra caracterstica, que
llamaremos Sensibilidad adaptativa. Se trata de la capacidad
del sistema de detectar las diferencias educativamente
relevantes en los elementos a la entrada del mismo.
A las definiciones de valor aadido, eficacia absoluta y
relativa que hemos dado subyace un supuesto que hay que
analizar. Este supuesto es el de linealidad de los incrementos en
toda la escala. Esto quiere decir que el esfuerzo necesario para
subir un punto en la escala que mide la distancia desde el punto
inicial al objetivo final, es el mismo no importa en qu punto de
la escala nos encontremos. En aquellas ocasiones en que este
supuesto sea razonable, no importa que utilicemos el concepto
relativo de eficacia. Pero en algunas ocasiones ocurre que los
primeros pasos pueden ser extremadamente difciles con
relacin a las ltimas fases del proceso, y en otros casos puede
ocurrir todo lo contrario. Este supuesto debe ser en todo caso
valorado, puesto que de otro modo seramos tremendamente
injustos si valorsemos como menos eficaz un sistema o
institucin que ha logrado ganancias escasas, pero muy
meritorias por la dificultad implcita en ese avance. Se trata en
definitiva de la necesidad de una reflexin sobre la naturaleza
de la escala en que se produce la medida y su homomorfismo
con la realidad que pretendemos medir.
Otro supuesto implcito es el de que estamos tratando
con escalas continuas. Nada impide sin embargo que este
esquema se aplique a fenmenos que por su naturaleza no
puedan ser medidos en escalas continuas, por tratarse de
cambios cualitativos entre estados. El problema se reduce (o se
remonta) a la adecuada determinacin de los diferentes estados,
de sus caractersticas definitorias, de las transiciones entre
estados, y de la mtrica adecuada para medir el grado de
pertenencia1 a uno u otro estado y las propiedades de dicha
mtrica. De la determinacin de los diferentes estados y de los
modelos psicomtricos que permiten medir en tales

1En este sentido se han producido algunas propuestas interesantes en
las que se hace uso de la lgica borrosa (fuzzy logic) en la medicin
de realidades psicolgicas. Vase San Luis, Prieto y Hernndez (1994).


241
circunstancias se ocupa lo que hoy se ha dado en llamar
Evaluacin Diagnstica (De la Orden, Gaviria, Fuentes y
Lzaro, 1994).
Por otra parte el nivel de los elementos a la entrada no
puede medirse en ocasiones slo como la distancia
unidimensional a los objetivos finales. En esas ocasiones esa
distancia puede ser la misma para dos grupos en una
dimensin, pero las diferencias pueden ser muy substanciales
en otras dimensiones distintas pero relacionadas
jerrquicamente respecto a la posibilidad de lograr el objetivo
instructivo perseguido. Por ejemplo, dos grupos de nios de
niveles sociales muy distintos pueden encarar el proceso de
aprendizaje de la lectura a la misma distancia del objetivo final
medida sta en la dimensin especfica determinada por su
capacidad lectora. Pero por supuesto los distintos niveles de
atencin preescolar pueden determinar que uno de los grupos
rene los prerrequisitos necesarios de madurez psicomotriz,
desarrollo del esquema corporal, familiaridad con las
representaciones grficas, etc., mientras que el otro grupo se
encuentra en muy inferiores condiciones iniciales. Esto quiere
decir que no hay que tomar el modelo presentado como una
aproximacin simplista, sino como un esquema que da cabida a
descripciones muy complejas y estructuradas de los estados
iniciales y finales del proceso educativo. Pero esto naturalmente
supone la existencia de modelos y explicaciones causales
altamente elaboradas de los fenmenos educativos a ser
evaluados. Por lo que volvemos a resaltar la importancia que
tiene para la evaluacin el desarrollo de la investigacin bsica
o pre-evaluativa.
Para finalizar este apartado quisiramos hacer alguna
consideracin sobre la funcionalidad. Si la caracterstica ms
importante de un sistema es su funcionalidad, es decir, el grado
en el que da satisfaccin a las demandas sociales que se le
presentan, conviene tener en cuenta que estas demandas
pueden cambiar, y de hecho cambian con el tiempo.
Ciertamente un sistema puede ser funcional en un momento
dado, y dejar de serlo en otra circunstancia histrica. Dos
evaluaciones realizadas en esos dos momentos reflejarn el
distinto grado de funcionalidad, permitiendo establecer los
cambios necesarios para recuperar la funcionalidad perdida.


242
Existe sin embargo una caracterstica de ciertos sistemas
que les lleva a transformarse adecundose a las solicitudes del
entorno. Esa capacidad de transformacin, de presentar lo que
podamos llamar una funcionalidad continua, es una dimensin
que sera conveniente considerar en el desarrollo de una
evaluacin.
Definimos por tanto una dimensin evaluativa que
llamaremos Adaptabilidad externa, que consiste en la
capacidad de un sistema de reformular sus propias metas y
objetivos para tratar de satisfacer las cambiantes necesidades y
expectativas generadas en el contexto en el que se desarrolla el
funcionamiento ordinario del sistema.

Contexto sociocultural y econmico de la educacin
Necesidades, aspiraciones y expectativas sociales a
que debe responder la educacin/institucin escolar
Metas y objetivos de la educacin
Productos educativos
Aprendizajes y equipamiento
intelectual de los estudiantes
Procesos
Organizativos
Curriculares
Instructivos
Investigadores
Evaluativos
Directivos y de liderazgo
Administrativos y gerenciales
Recursos humanos
Recursos econmicos
Recursos materiales
Entradas al sistema escolar
Estructura organizativa
Estudiantes: Nmero y caractersticas
Profesores: Nmero y caractersticas
Recursos asignados
A
B
C
D
E
E
F
I
C
A
C
I
A
E
F
I
C
I
E
N
C
I
A
P
O
T
.

O
P
T
.
N
i
v
e
l

d
e

a
s
i
g
n
a
c
i
n
N
i
v
e
l

d
e

u
t
i
l
i
z
a
c
i
n
F
U
N
C
I
O
N
A
L
I
D
A
D
Grfico 4. Modelo sistmico de evaluacin modificado


243
En realidad tal caracterstica no es ms que una forma
dinmica de la funcionalidad, que hace que el sistema sea
valiosos y meritorio de forma continuada.

UNA NOTA FINAL: LA RELEVANCIA SOCIAL DE LA EVALUACIN O
LA EVALUACIN COMO PROCESO DEMOCRATIZADOR

No queremos terminar estas consideraciones sobre la
evaluacin sin hacer una mencin muy especial a la funcin
social que nos parece que debe cumplir la evaluacin. Hace
algn tiempo que el inters por la evaluacin se ha
generalizado con unas caractersticas tales que pudiera parecer
que se tratase de una moda intelectual establecida
pasajeramente en el mbito de la educacin. Por eso nos parece
oportuno terminar esta propuesta con una breve reflexin
acerca de la relevancia intrnseca que la evaluacin tiene en
cualquier sociedad democrtica, destacando su permanente
necesidad, ms all de posibles tendencias momentneas.
El auge de la evaluacin educativa debe interpretarse
como la manifestacin de un fuerte aumento de la conciencia
social acerca de la importancia de la educacin en el desarrollo
tanto individual como comunitario. La mayora de las veces se
entiende que la evaluacin tiene que llevar a una mejora de la
gestin de los recursos, y de hecho con esa finalidad manifiesta
se han implantado la mayora de los sistemas de evaluacin
educativa. Se trata de la evaluacin concebida como otra forma
de control de los gestores sobre el proceso gestionado.
El control es un proceso o actividad de tipo
administrativo orientado a asegurar que el objeto de control
funciona de acuerdo a las normas establecidas y que cada parte
del sistema bajo control obedece a esas normas. Del mismo
modo la evaluacin entendida como control tiende a asegurar el
funcionamiento regular del sistema sin desviaciones
importantes de lo planificado. En la funcin de control no se
plantea ninguna cuestin relativa a la funcionalidad ni eficacia
del sistema. Slo si en ste se cumplen las normas establecidas.
En definitiva es un control del proceso.


244
Pero existe otra forma de entender los procesos de
evaluacin, que consideramos de inters. Se trata de la
consideracin de la evaluacin como elemento de
democratizacin del proceso de gestin social de los recursos
educativos.
Segn esta concepcin la evaluacin no es una forma
sofisticada de control de las administraciones o de los rganos
directivos respecto del sistema. Hay que entenderlo ms bien
como el mecanismo, sofisticado por cierto, pero de
participacin de la sociedad en el proceso de gestin. Si se
concibe la evaluacin como un proceso, tan tcnico como se
desee, pero interno, en el que el propio sistema monitoriza
introspectivamente su funcionamiento, utilizando los datos as
conseguidos para mejorar la gestin, nos encontramos entonces
con una concepcin altamente conservadora de la democracia
poltica. Los datos as recopilados rara vez llegarn a hacerse
pblicos, y si lo hacen ser siempre segn la conveniencia del
gestor. Tal concepcin de la democracia considera que el
derecho ciudadano de participacin se expresa puntual y
nicamente en periodos electorales, siendo en esa sola ocasin
cuando los representantes deben dar cuenta de su gestin. Una
evaluacin as concebida tendr naturalmente unas formas muy
definidas de organizacin, y los datos que producir estarn de
alguna forma lejos del alcance directo del consumidor.
En una concepcin ms progresiva de la democracia, el
derecho de la sociedad a autogestionarse se manifiesta no
solamente en el supremo acto de soberana que son las urnas,
sino a lo largo de todo el proceso de gestin, digiriendo la
informacin producida por el sistema, interpretndola,
procesndola y reaccionando ante ella, produciendo estados de
opinin que se manifiestan por distintas vas, y modulando de
esta forma la accin del gobierno en sus distintos niveles. As
concebida la evaluacin tiene como principal destinatario de su
informacin al cuerpo social en general, y es en definitiva una
forma de control de la sociedad sobre sus gobernantes. As en
definitiva, la democracia existe en esencia porque los
ciudadanos pueden evaluar peridicamente a sus gobernantes.
Y un sistema democrtico de evaluacin orientado de forma
que los recipiendarios de la informacin sean los ciudadanos, se
convierte automticamente en un sistema en el que la


245
evaluacin continua garantiza la existencia de la democracia
continua.
Un sistema de evaluacin concebido de esta forma, es
seguramente compatible con ms de una forma de
organizacin. Pero no cabe duda de que algunos principios
organizativos se derivan de ese germen conceptual. Si el
receptor natural de la informacin producida es el ciudadano,
la organizacin del mecanismo evaluativo debe ser tal que
garantice la circulacin con fluidez de la misma, sin ningn tipo
de cortapisas o de manipulacin oportunista de la informacin
con fines polticos. Que sea una agencia dependiente del
gobierno o una institucin independiente sera, posiblemente,
una cuestin menor si existiesen los mecanismos y
procedimientos que garantizasen el funcionamiento sin trabas
de dicho sistema.
Sera sin embargo una ingenuidad pensar que la
informacin evaluativa puede sin ms ser administrada a la
sociedad y que automticamente sta podr interpretarla sin
necesidad de aclaraciones. Est claro que no es as. En un
sistema complejo como el educativo, la informacin obtenida
ser necesariamente compleja tanto en su estructura como en su
significacin. Una funcin importante de la entidad evaluadora
ser necesariamente la de pre-interpretar las claves de su
comprensin, explicar el alcance de la misma, las conclusiones
que pueden obtenerse de los datos legtimamente y las que
quedan ms all del soporte de la evaluacin.
En el mbito econmico existe tanto una infraestructura
que recoge la informacin econmica y la difunde, como
expertos en interpretacin que ayudan al gran pblico a hacerse
una idea tan aproximada como su formacin lo permite, de la
marcha de la economa en su conjunto. Ciertamente nunca las
interpretaciones de los expertos en economa son totalmente
coincidentes, y en muchas ocasiones son contradictorias.
(Incluso a veces se ha definido a un economista como a un
experto que pasa el 50% del tiempo explicando por qu se
equivoc en las predicciones que hizo el 50% restante). Pero si
algo refleja esta analoga es precisamente que en un sistema
complejo y plural como el social, no pueden existir
interpretaciones nicas de las finalidades, prioridades y
funcionamiento del todo.


246
Del mismo modo un mecanismo de evaluacin del
sistema educativo dara lugar a interpretaciones diversas, a
veces contrarias y contradictorias, reflejando de ese modo los
distintos intereses enfrentados en la dinmica social, pero
permitiendo de este modo que esos distintos enfoques e
intereses se hagan patentes, y en la confrontacin permitir
conformar la opinin pblica.
La multiplicidad de interpretaciones del flujo de
informacin que se da en el mbito de lo econmico, se vera sin
duda alguna aumentada en el contexto educativo. Incluso se
vera claramente cmo lo que para ciertos enfoques son datos
relevantes se convertiran en mera ancdota para otros. Pero
lejos este hecho de restar importancia a la necesidad de un
sistema de evaluacin, aumenta su importancia, y resalta la
relevancia de que el sistema sea pblico y sometido a crtica
constante.
Aunque, a nuestro juicio, estamos lejos de poder decir
que la cultura evaluativa est implantada en nuestro pas,
tambien es cierto que se estn dando algunos pasos en esa
direccin, particularmente en algunas Comunidades
Autnomas.


247
Bibliografa

INCE (1998) Los Resultados Escolares. MEC. Madrid.
Orden Hoz, A. de La (1993) La escuela en la perspectiva del
producto educativo. Reflexiones sobre la evaluacin de
centros docentes. Bordn, 45(3) 263-270.
Orden, A. de la (1995) Hacia un modelo para evaluar la calidad
universitaria Ponencia en el 'Seminario sobre evaluacin
de la calidad universitaria' Centro Anhuac de
Investigacin y Servicios Educativos Mxico
Orden, A. de la ; Gaviria, J.L.; Fuentes, A.; Lzaro, A. (1994)
PONENCIA III. Modelos de construccin y validacin de
instrumentos diagnsticos Revista de Investigacin
Educativa, n 23, pp. 129-178
San Luis, Prieto y Hernndez (1994) Application of diffuse
measurement to the evaluation of psychological
structures. Quality and Quantity, Vol. 28, pp. 305-315.


248

PERFIL PROFESIONAL DEL EVALUADOR
Gonzlez Such, J.; Perales, M.J. y Prez Carbonell, A.

INTRODUCCIN

El desarrollo de la evaluacin educativa en nuestro
contexto es ya una realidad, que se manifiesta en la abundancia
de publicaciones espistemolgicas y metodolgicas, y en las
experiencias efectivas de procesos evaluativos, tanto a nivel
institucional, como de programas o personas, que tambin se
comunican a la comunidad cientfica.
Este desarrollo suscita una nueva eflexin, el perfil
profesional del evaluador, su desarrollo histrico, la situacin
actual, la clave de su formacin. Este es el tema que queremos
abordar en esta ponencia con atencin expresa a la formacin
que se ofrece sobre evaluacin en el perfil profesional de la
educacin en la Universitat de Valncia Estudi General.
Creemos que en la exposicin de este punto es
conveniente, por su carcter clarificador, el uso de un discurso
que atienda a la perspectiva histrica de la profesionalizacin
de los evaluadores, as como al rol o papel que en esos
momentos han jugado.


249
EVOLUCIN HISTRICA Y PROFESIONALIZACIN

La Investigacin Evaluativa surge en pases de tradicin
democrtica dado que este sistema poltico tiene implcitos dos
elementos que propician esta investigacin (McDonald,
1995:16):
En sociedades democrticas todos los ciudadanos
tienen el derecho y el deber de ejercer su voto. Este
debe ser siempre informado y, a travs de los procesos
evaluativos, se pretende informar a la ciudadana de
todos aquellos asuntos que le competen.
La democracia es un sistema de equilibrios y controles
para poder prevenir un mal uso del poder y, en los
procesos de evaluacin, se pretende atender a todos
los intereses posibles. Es decir, en una democracia
sana "el equilibrio de intereses ..." debe predominar
"frente a la imposicin de algn inters particular...
haciendo que ninguno sea tan dominante como para
pasar por alto al resto de intereses involucrados"
(pp.16-17).
Una primera aproximacin emprica en el terreno de la
Evaluacin profesional se da a mediados del siglo XIX en Gran
Bretaa con la aparicin de asociaciones que se dedican a
indagar y a hacer pblico cualquier problema social para poder
propiciar debates pblicos. Al mismo tiempo, en EE.UU.
aparecen las llamadas Comisiones Presidenciales y las
Auditorias Congresistas. En estos momentos el evaluador es
visto casi de manera exclusiva como un analista de datos.
En 1900 hay una demanda social para que las
evaluaciones se realicen por "expertos". Hay una demanda
porque todo objeto educativo sea medido y se reclama como
instrumento para esta medida el Test. Al evaluador se le pide
que mida objetos, detecte diferencias entre ellos y/o registre
cmo se comporta (trabajos de Wundt, Binet; Galton; Cattel...
).Si bien en un principio se centran en el estudiante -hasta
aprximadamente 1930-, pasar a centrarse a partir de los aos
40 en el desarrollo del currculum, y en el cumplimiento de
objetivos.


250
A partir de 1968 empiezan a ponerse de manifiesto
problemas ya sealados por Cronbach en 1963. En 1968 se
promulga la Ley de la Educacin Elemental y Secundaria
(ESEA) para propiciar la evaluacin de Programas realizados
con el apoyo econmico federal y poder mejorar el intento de
poltica de igualdad promovido por el Senador Robert
Kennedy. En estos momentos al evaluador se le sigue
demandando lo mismo: medir a travs de pruebas
estandarizadas el logro de objetivos. Sin embargo, este papel
careca de utilidad pues a travs de esta medicin no se atenda
al contexto donde los currcula se desarrollaban y por lo tanto
los datos aportados por el evaluador carecan de utilidad.
En estos momentos empiezan a surgir diferentes
asociaciones profesionales sobre Evaluacin y nuevas
revisiones del concepto de evaluacin. Hablamos de los finales
de los 60 y aos 70, cuando tiene lugar el nacimiento de una
nueva modalidad de investigacin aplicada: la Investigacin
Evaluativa, momento ste en el que se cristaliza la
profesionalizacin de la Evaluacin.
Tras la breve presentacin del recorrido histrico nos
podemos plantear por qu tardaron tanto tiempo los
evaluadores en constituirse como grupo profesional si llevaban
aos trabajando en este campo. La respuesta nos la da Guba,
cuando en 1966 seala que se trataba de un rea de
investigacin nada definida y en la que intervenan filsofos,
tcnicos en tests, metodlogos... cargando a sta de confusin,
ansiedad e intereses encontrados.
Lo cierto es que el panorama de este grupo profesional
era desolador:
No estaban establecidos canales de intercambio de
informacin entre ellos.
Haba poca literatura sobre evaluacin.
No se daban medios para una formacin adecuada en
evaluacin.
A pesar de ello autores como Cronbach (1963); Glaser
(1963); Campbell y Stanley (1966); Suchman (1967); Tyler,
Gagne y Scriven (1967); Stake (1967)... ponen un gran esfuerzo
en la publicacin y difusin de libros y artculos. Comienza as
un despegue hacia la profesionalizacin:


251
En 1973 aparece por primera vez en una revista,
Abstract de Psicologa, el trmino de "Evaluacin de
Programas".
En 1976 aparecen por primera vez en una revista,
Revista de Revisin Anual de Sociologa,
investigaciones de corte evaluativo.
En 1977 se celebra un Encuentro Anual de la
Asociacin Americana de Investigacin Educativa
(AERA) en Nueva York, encuentro en el que se
celebran 80 Simposiums y sesiones relativas a
evaluacin.
En 1977 se celebra una Convencin de la Asociacin
Americana de Psicologa (APA) en San Francisco con
30 sesiones relativas a evaluacin.
Aparecen desde este momento un gran nmero de
revistas y peridicos que tratan de alguna manera aspectos
relativos a Evaluacin:
Evaluacin a debate: toma de decisiones para servicios a la
comunidad que centra su atencin principalmente en el
tema de la Evaluacin de Programas y, reconoce la
naturaleza multidisciplinar de la organizacin, as
como la variedad de Programas sociales a los que se
dedica. Este peridico desde 1974, tena su fuente
principal en el Centro de Recursos de la Evaluacin de
Programas de la Fundacin de Investigacin Mdica de
Minesota.
Nuevas Direcciones para la Evaluacin de Programas,
revista creada en 1978 y caracterizada por sus editores
(Jossey-Bass) como una serie de libros de fuentes
bibliogrficas peridicas. Cada nmero se centra en un
nico problema de inters creciente para los
evaluadores e incluye artculos de autores de
diferentes disciplinas cualificados para desarrollar el
problema.
Estudios en Educacin Evaluativa, publicado por la
Escuela de Educacin de la Universidad de Tel Aviv, el
Centro para el Estudio de la Evaluacin de la Universidad
de California de los Angeles, el Instituto de Ciencias de


252
la Educacin de la Universidad de Kiel en Alemania del
Oeste.
Evaluacin por Trimestres, Comentarios sobre Evaluacin
publicada por el centro de Estudio de Evaluacin de la
UCLA.
Hoja Informativa SIG, IE Grupo (SIG) de la Asociacin
Americana de Investigacin Educativa.
Hoja Informativa de la Divisin H de la Divisin de
Desarrollo de Programas y Evaluacin de AERA.
Cambio Evaluativo, producido por la Universidad de
Michigan, el Instituto de Relaciones Laborales e
Industriales y la Universidad del estado de Wayne.
Hoja Informativa del Programa Educativo de California
y RIPPLE del rea de la salud mental centrada
principalmente en el estado de Nueva York del
Departamento de salud Mental de Albany.
El incremento de publicaciones viene acompaado de
intercambios entre profesionales y/o personas interesadas en el
campo de la Evaluacin con un inters creciente en cuestiones
referidas a la formacin de evaluadores. Incluso aparece, a nivel
universitario, una especialidad de investigacin evaluativa
(Universidades como la de Illinois, Stanford, Boston College,
UCLA, Minesota, Oeste de Michigan) con la generacin y
establecimiento de centros para la investigacin en el campo.
Todo este movimiento culmina en 1975 cuando se
nombr un Comit para el Desarrollo de las Lneas Maestras y
Estndares para la Evaluacin, que incluye representantes de la
Asociacin Nacional de Educacin, la Asociacin Nacional de
las Escuelas Elementales, la Sociedad Americana para el
Desarrollo Curricular, la Asociacin Nacional de Escuelas, la
Asociacin Americana de Investigacin Educativa, el Consejo
Nacional de Medicin en Educacin, la Asociacin Americana
de Administradores Escolares, la Federacin Americana de
Profesores, la Asociacin Americana de Orientacin Personal, la
Comisin Educativa de los Estados y la Asociacin Americana
de Psicologa.
El primer trabajo de este Comit apareci en 1977 con la
publicacin de un conjunto inicial de estndares. Adems, el


253
presidente de la Sociedad de Investigacin Educativa,
Stufflebeam, anuncia en estas fechas el nombramiento de un
Comit de Estndares, en el que presumiblemente se incluye la
Evaluacin Educativa.
En tal situacin de expansin, se debate sobre si la
Evaluacin de Programas est cualificada como profesin o
disciplina o, simplemente como un oficio - a veces a tiempo
parcial-. Anderson y Ball (1983) responden que probablemente
sea todo lo enunciado. Realmente para muchos es una
ocupacin... que requiere una educacin extensiva en un campo
amplio de artes liberales y de la ciencia. Tambin existe un
conjunto de personas implicadas en tal ocupacin, que opinan
que la Evaluacin de Programas tambin es un campo de
instruccin y de aprendizaje - definicin tomada del diccionario
de la Lengua Inglesa de Random House, edicin escolar 1969 -.
A la vez, la Evaluacin tambin es una actividad u oficio
constituida por muchas personas que han tenido una educacin
ampla en el rea. La realidad es que la Evaluacin tiene espacio
para personas con varios niveles de habilidad y variedad de
especializaciones, dependiendo de los propsitos,
emplazamientos y requisitos del objeto a evaluar. De este modo
la contribucin que puede esperarse de los individuos a la
teora y metodologa de la Evaluacin vara segn las
habilidades y especialidades que ellos posean as como de sus
intereses y motivaciones. As pues, podemos decir que la
Evaluacin llega a considerarse como una profesin, disciplina
u ocupacin pero sin exclusividad de ningn grupo de
profesionales.
Por otro lado tambin debemos sealar que todo este
incremento de comunicacin e intercambio entre diversos
profesionales que trabajan en evaluacin genera algunos
problemas:
Se produce una proliferacin de modelos de
Evaluacin que lleva parejo una pluralidad conceptual
y metodolgica junto con un enriquecimiento lxico
que incrementa la confusin ya propia del mbito
(Guba y Lincoln, 1988).
Es cierto que se da un incremento de comunicacin
entre los investigadores del rea aunque tambin se da
un aumento de chchara (Cronbach y otros, 1980).


254
Se habla del miedo a que esta situacin los convierta
en un club exclusivo y restringido (Stake, 1981).
Se producen fragmentaciones de organizaciones
profesionales que provocan una fragilidad en la
cooperacin en este campo: separacin entre la
Divisin H de AERA, la Red de Evaluacin y la
Sociedad de Investigacin Evaluativa de Amrica.
Una persistente polarizacin entre la perspectiva de la
Evaluacin positivista /cuantitativa con la perspectiva
fenomenolgica/cualitativa, a pesar de una mayor
comunicacin entre los defensores de ambas visiones.

Con esta situacin llegamos a los aos 80 en los que se
producen cambios que van a afectar al desarrollo de la
profesionalizacin en evaluacin.
En 1979 en el Reino Unido comienza el mandato de
Margaret Thacher y con l se pierde ese "equilibrio de intereses"
mencionado por MacDonald que favoreca los estudios de
evaluacin. La poltica de este gobierno fue la de librarse de
organizaciones profesionales intermedias entre el gobierno y los
receptores de servicios sociales. As, si en un principio los
profesionales de la educacin evaluaban el sistema educativo, a
partir de estos momentos se favorece la creacin de grupos de
evaluadores sin intereses sustanciales en el servicio que estaban
evaluando. Con esto se produce un trasvase de profesionales
con inters social a profesionales que sirven a la gerencia
administrativa y por lo tanto queda patente que se trata de
profesionales bastante abiertos a los intereses de aquellos que
solicitan sus servicios.
Por otro lado en la misma poca en los Estados Unidos
se sigue manteniendo una gran expansin de procesos de
evaluacin pero con un cambio: los estudios de evaluacin
tienen como objetivo prioritario informar de su investigacin al
gobierno y no a los profesionales de la educacin, es decir, "la
mayora de las evaluaciones funcionan como una defensa de
intereses particulares disfrazada de ciencia" (McDonald,
1995:20).
Esta tendencia, derivada del control que quieren ejercer
los gobiernos centrales, tiene una consecuencia directa negativa


255
sobre el propio proceso de evaluacin, pues, es, definitiva,
acaba perdiendo credibilidad. La permeabilidad de esos
procesos evaluativos a los intereses de los gobiernos, y la
utilizacin de indicadores simples de resultados ofrece una
visin simplista de la realidad evaluada y aporta escasos cauces
para la mejora. De este modo, en definitiva, la evaluacin
pierde su razn de ser.
Por ello, la sociedad democrtica en que nacieron las
primeras iniciativas evaluadoras est demandando
indirectamente la profesionalizacin de la evaluacin, pues va a
ser el modo de recuperar la credibilidad de sus procedimientos
y resultados, y su funcin fundamental: la mejora del objeto
evaluado. La organizacin de los evaluadores como grupo lleva
asociada la determinacin de un cdigo deontolgico con el que
regir su actividad, y un proceso de autocontrol y sancin de sus
propias actividades, ofreciendo as una imagen de seriedad e
imparcialidad.
De este modo, la sociedad demanda la constitucin de
Centros de Evaluacin independientes, que garanticen la
imparcialidad de las evaluaciones y, as, permitan recuperar el
papel de los evaluadores como intermediarios entre diferentes
grupos de inters y como fuente de informacin con la que
argumentar en las discusiones polticas. Este puede ser el
camino para mantener el "equilibrio y el control" necesarios
para prevenir el mal uso del poder, y el abuso interesado de la
evaluacin.
Si nos centramos en lo que ha ocurrido en nuestro pas,
la cuenta atrs es mucho ms rpida.
Espaa ha sido por razones polticas un compartimento
estanco hasta bien entrados los aos 70 en todo lo que se refiere
a Evaluacin. En efecto, es en los aos 70 cuando empieza a
vislumbrase una necesidad de apertura hacia el exterior y hacia
la democracia en el interior. As pues, no hablamos del
concepto de Evaluacin hasta la Ley de Villar Palas y se hace
de forma incompleta al limitarse a las funciones de:
control y supervisin del sistema educativo desde la
administracin educativa a travs del cuerpo de inspectores
(Casanova, 1992).
"calificacin" acadmica de los estudiantes.


256

Como seala Lpez Mojarro (1999:21) "se limitan las
acciones evaluadoras a los resultados finales:
a) En la evaluacin de una institucin, lo que se mide
son sus logros y sus fracasos.
b) En la evaluacin de los aprendizajes se miden los
logros de los alumnos (exmenes) y se cuantifican
documentalmente (calificaciones).

Entendida as la Evaluacin, es decir, con "esta
concepcin superficial de la evaluacin" (Brezmes y
Carretero,1995:33), llegamos a principios de los 80 en los que la
aplicacin de la Ley General de Educacin "...contribuy
indirectamente a ampliar las expectativas de apertura del
sistema, pero tambin consolid y ampli el carcter
funcionarial del profesorado y una concepcin retrica y
empobrecida de la evaluacin, que a lo ms, era entendida
como control del poder sobre los profesores y fiscalizacin de
su trabajo educativo" (Barrio, L., 1989).
En 1982 la situacin sociopoltica, cultural y econmica
sufri un giro radical con el establecimiento en el poder del
Partido Socialista Obrero Espaol. Espaa se inserta en un
marco europeo a travs de dirigentes formados
fundamentalmente en una cultura democrtica. A partir de este
momento, y amparados en el terreno educativo por los
llamados movimientos de renovacin pedaggica, se ponen en
marcha varios documentos de carcter pblico a debate:
Proyecto para la Reforma Educativa (1987)
Libro Blanco de la Reforma (1989)
Diseo Curricular Base (1989)
Investigacin de disminuidos fsicos y psquicos en
la Educacin Infantil (1989)
Reforma de la Educacin Secundaria (1990)
Programas de Nuevas Tecnologas aplicadas a la
Educacin (1991)
Evaluacin de los Centros de Profesores (1990-1993)


257
Estos debates se formulan y desarrollan de diversa
forma dado que tambin en todo este mbito de transformacin
se inicia un proceso de "descentralizacin". Determinadas
autonomas comienzan a tener competencias en diversos
mbitos, entre los que se encuentra el de la educacin (por ej. en
la Comunidad de Madrid se realiza el debate sobre el Programa
de Centros (1990), el Programa de Equipos Multiprofesionales
(1991), el Programa de Escuelas Infantiles (1991); en la Junta de
Andaluca se debate sobre el Programa de Igualdad de
Oportunidades (1993) o en Barcelona sobre la Evaluacin de
Programas del Ayuntamiento desde los aos 90).
La aprobacin de la Ley de Ordenacin General del
Sistema Educativo (LOGSE) en 1990 supone, entre otras muchas
cosas, la revisin del concepto de evaluacin y de calidad de la
educacin, a la que dedica el Ttulo IV. Despus, la Ley de
Participacin, Evaluacin y Gobierno de los Centros Docentes
(LOPEG), aprobada en 1995, articula las disposiciones previstas
en la LODE y la LOGSE, regulando tanto la gestin de los
centros y la participacin en ella de la Comunidad Educativa,
como la evaluacin del Sistema Educativo. Esta ley regula la
realizacin de evaluaciones sistemticas, que abarquen los
distintos aspectos implicados en la educacin: alumnos,
procesos educativos, profesorado, centros y administracin (art.
27). Estas evaluaciones sern planificadas por la propia
administracin, quien arbitrar la realizacin de evaluaciones
externas e internas de los centros docentes (art.29), contando
con la colaboracin de los rganos de direccin y de los
inspectores (art.36), que tambin sern objeto de evaluacin
(art. 33). El objetivo de este proceso evaluativo es la adecuacin
del sistema educativo a las demandas sociales (art.27) y, sobre
todo, la propia mejora de la educacin, estableciendo para ello
qu y cmo ser hecho pblico. Para lograrlo, regula la creacin
del Instituto Nacional de Evaluacin y Calidad, el INCE
(art.28). Este Instituto, a travs de diversos organismos tcnicos
y de coordinacin (Conferencia de Consejeros, Consejo Rector y
Comit Cientfico) asume funciones que en cierta medida habia
iniciado el CIDE (Centro de Investigiacin y Documentacin
Educativa):
Evaluar el grado mnimo de enseanzas que se han
adquirido.
Evaluar las reformas generales de estudio.


258
Elaborar un sistema de indicadores tendentes al
estudio de la eficacia y la eficiencia.
Coordinar la participacin en estudios de evaluacin
internacionales.
Cooperar con todas las Administraciones que tengan
algn tipo de responsabilidad en temas de evaluacin
educativa.
Proporcionar, intercambiar informacin tanto a las
Administraciones como a la sociedad en general del
funcionamiento y logros del sistema educativo para
facilitar la toma de decisiones.
Publicar y difundir la informacin obtenida.
...

En estos momentos por tanto en el Estado Espaol se
realizan dos tipos fundamentales de evaluaciones:
Las evaluaciones realizadas por el gobierno central
que pretende tanto justificar las cualidades y calidad
del nuevo sistema de enseanza como controlar la
descentralizacin.
Las evaluaciones realizadas por las autoridades
autonmicas y locales que fundamentalmente
pretenden ayudar en la toma de decisiones de los
programas a implementar.
Este hecho se plasma en el modelo escolar espaol que
marca tan slo unas enseanzas mnimas establecidas por el
Estado. Dentro de este modelo, como seala Alejandro Tiana
(1995: 148) "los mecanismos de evaluacin y certificacin son
completamente internos a los centros educativos. Si no se pone
en marcha algn mecanismo para saber qu est ocurriendo en
el interior del sistema, se corre un alto riesgo de introducir
importantes desigualdades...la nica posibilidad razonable
consiste en el establecimiento de un mecanismo de evaluacin
diagnstica que permita conocer qu est ocurriendo en
nuestros centros educativos, qu proceso de enseanza-
aprendizaje desarrollan nuestros estudiantes, en qu medida
estamos alcanzando los objetivos propuestos y cules son los


259
resultados que estamos obteniendo al final de las diversas
etapas".
Despus de todo lo dicho, resulta evidente la
importancia social de la evaluacin, como mtodo para valorar
algo (una directriz poltica, un centro, un programa, un
profesor, un alumno...) y para facilitar la reflexin que pueda
dar lugar a recomendaciones de mejora. Partiendo del propio
objeto de evaluacin, o de instancias externas; utilizando un
tipo u otro de metodologas; priorizando unos u otros objetivos;
o con cualquier concrecin posible, lo cierto es que la
evaluacin se ha convertido en una actividad profesional
habitual, a la que se recurre como una fuente documentada de
informacin.

LA FIGURA DEL EVALUADOR

La siguiente pregunta a plantear es Quin realiza estas
evaluaciones. La evaluacin educativa viene siendo realizada
tradicionalmente por equipos interdisciplinares, en los que los
profesionales de la educacin, junto con psiclogos y
socilogos, han tenido un lugar habitual. La
interdisciplinariedad, interesante y casi imprescindible para
multitud de funciones, ha sido tambin una caracterstica
habitual de los procesos de evaluacin, que necesitan de las
aportaciones de los tcnicos en el rea evaluada, de los tcnicos
en evaluacin, y de quienes puedan aportar informacin
contextual sobre el tema a evaluar, que pueda ayudar a la
interpretacin de resultados. Estas tres dimensiones se han
revelado fundamentales en la realizacin de procesos
evaluativos que pretendan ser realmente tiles:
La necesidad de conocer el rea a evaluar, para concretar
las caractersticas de ese mbito, los objetivos de la evaluacin,
los implicados, las expectativas que se ponen sobre el proceso
de evaluacin... es evidente. Dado que hay una abundante
realizacin de procesos evaluativos sobre temas educativos
(centros, programas, profesores, alumnos... e incluso el propio
sistema educativo, como hemos visto), el profesional de la
educacin tiene un lugar habitual en estos grupos
interdisciplinares.


260
Por otro lado, es necesaria una persona o un equipo
que tenga experiencia en procesos de evaluacin, y que la pueda
aportar al proceso que se est llevando a cabo. La sensibilidad
demostrada hacia la evaluacin por las personas que estn
trabajando en educacin, y, por lo tanto, su experiencia en estos
temas, hace que tambin tengan lugar en estos equipos, con el
rol de expertos en evaluacin.
Por ltimo, dado el carcter especial de la evaluacin
como investigacin aplicada, es necesario contar en el equipo
de evaluacin con otros profesionales que puedan ofrecer la
visin contextual del problema. Esto es as porque en los
procesos de evaluacin, adems de la seleccin del modelo a
utilizar entre el amplio abanico de enfoques y metodologas
disponibles, hay otro momento fundamental: la interpretacin
de resultados. Para que la informacin y las conclusiones
derivadas de un proceso evaluativo sean realmente
significativas, es necesario contar con las aportaciones de otros
expertos que dispongan de informacin contextual sobre el
objeto de evaluacin.
De este modo, la evaluacin va tomando relevancia
como una nueva actividad profesional accesible a los
pedagogos. As, del mismo modo que histricamente fueron
tomando cuerpo la orientacin profesional o la reeducacin en
casos de dificultades de aprendizaje, como salidas profesionales
habituales de los pedagogos, la situacin actual permite
anticipar la consolidacin de la evaluacin como opcin
profesional, en un futuro cercano. Por ello, es importante
delimitar el perfil profesional y formativo del evaluador
educativo.
En este sentido, al leer un artculo de Sobrado publicado
en 1997 sobre "Competencias profesionales de los orientadores
escolares" obtenemos dos ideas que creemos tiles de rescatar
para nuestra exposicin.
En primer lugar dicha lectura nos aporta una definicin
sobre el significado de "profesin" dada por el profesor De
Miguel en 1993:
"La profesin es un trmino que suele utilizarse
habitualmente para referirse a un empleo o trabajo que demanda unos
saberes especializados y unas destrezas determinadas que implican
normalmente una formacin sistemtica".


261
Y en segundo lugar, Sobrado marca los requisitos que
caracterizan lo que conocemos y denominamos como "un buen
profesional". Requisitos como:
Competencia que se traduce en "saber cmo".
Integridad tica por la calidad de aquello que se
realiza.
Responsabilidad ante todo y todos los implicados.
Capacidad de Comunicacin con aquellos que van a
ser destinatarios de toda su actividad.

En lo que se refiere a competencia, en la pgina 85 del
citado artculo se nos seala que desde una ptica profesional
ste parece ser siempre el que se reclama como mximo
requisito y se nos ofrece como definicin la siguiente:
"aquella persona que posee saberes, capacidades y habilidades
para desempear una profesin, posee aptitudes para resolver los
problemas y situaciones laborales de un modo libre, autnomo y
flexible y dispone de destrezas para cooperar en la organizacin y
entorno laboral".
Partiendo de esta definicin y con los aspectos que la
Asociacin Americana de Evaluacin (AEA) aporta sobre guas
de actuaciones de los evaluadores en un informe elaborado en
1994, anotamos que un buen profesional en evaluacin debe
mostrar:
1.- Competencia Tcnica, es decir, debe conocer aspectos
tericos y prcticos de su labor como evaluador adems de
fomentar sus "capacidades y habilidades" para trasmitirlos y
aplicarlos. De este modo se exige al evaluador que sepa aplicar
anlisis sistemticos; que posea y proporcione conocimientos
apropiados para la evaluacin; y que siempre sea consciente
que debe mejorar sus destrezas metodolgicas y prcticas. Es
decir, los evaluadores deben buscar, mantener y mejorar
continuamente sus competencias a fin de dotar al proceso de
sus evaluaciones del nivel ms alto posible.
2.- Competencia Metodolgica, es decir, debe saber
responder a aquello que se le propone empleando todas las
actividades necesarias para conseguirlo. Capacidades que en el


262
profesional de la evaluacin se traducen en saber identificar las
caractersticas y la finalidad de un proceso evaluativo
(formulacin de objetivos); saber plantear guas para saber
observar objetivos (indicadores); conocer el contexto donde va a
actuar (mbitos de intervencin) y en qu momento debe
hacerlo (momentos); conocer las tcnicas evaluativas para
obtener informacin adecuada, as como saber cmo analizar y
sintetizar esa informacin (instrumentos de recogida de
informacin, tcnicas de anlisis y realizacin de informes).
3.- Competencia Social, es decir, el evaluador debe ser un
profesional capaz de relacionarse cooperativamente con las
personas de un modo lo ms "comunicativo y activo" posible.
Capacidades que en el profesional de la evaluacin se traducen
en habilidad para saber escuchar el problema o necesidad que
se le expone; habilidad para lograr cooperacin, negociacin y
comunicacin entre todas las audiencias que intervienen, y
tambin habilidad para comunicar los resultados que va
obteniendo.
4.- Competencia en Planificacin, es decir, el profesional
debe participar realmente en la organizacin de su propio
trabajo. Capacidades que en el profesional de la evaluacin se
traducen como sealan Jornet y Surez (1998) en saber "adaptar
el plan de la evaluacin a la realidad que se pretende evaluar
anticipando, en lo posible, los componenetes que estarn
presentes en la situacin que va a ser evaluada".

Al hablar de los otros requisitos, Integridad tica,
Responsabilidad y Capacidad de comunicacin, seguimos la
propuesta ya sealada sobre "gua de actuacin" que realiza la
Asociacin Americana de Evaluacin (AEA), en la que se seala
que los profesionales de la evaluacin:
Deben asegurar la honestidad y honradez del
proceso entero de evaluacin, lo que supone que deben
negociar de forma honrada con todas las audiencias implicadas
todos los aspectos referentes a costos, a las limitaciones que
pueden encontrarse a lo largo del proceso, deben justificar la
metodologa utilizada, deben velar por el uso correcto de la
evaluacin..., es decir, que deben ser claros, ntegros y honestos
al atender a los intereses propios y los de las audiencias


263
implicadas en lo que se refiere a la conduccin de todo el
proceso de evaluacin as como sobre sus resultados.
Deben respetar la seguridad, la dignidad y
autovaloracin de todos los que intervienen e interactuan en el
proceso evaluativo. Esto supone que los evaluadores deben
ante todo maximizar los beneficios reduciendo cualquier dao
innecesario que pueda darse sin comprometer la honradez de
aquellos aspectos que se revelan en un proceso de evaluacin.
Adems deben fomentar la participacin social en la evaluacin
y respetar cualquier tipo de diferencias que se den entre los
involucrados, conduciendo y comunicando los resultados de la
evaluacin respetando esas diferencias para asi respetar su
dignidad y su autovaloracin.
Deben atendar a la diversidad de intereses y valores
que pueden estar relacionados con el bienestar pblico
considerando no slo los resultados inmediatos sino las
posibles implicaciones y efectos potenciales que pueden
producirse.
Todos los aspectos que hemos tratado sobre
competencia, integridad, responsabilidad y capacidad de
comunicacin debemos considerarlos como la base de la
discusin y el diglogo que se debe producir entre los
evaluadores para llegar con su continua revisin y cambio a la
aplicacin, desarrollo y prctica apropiada de la evaluacin.
Son aspectos a considerar por cualquier profesional de la
evaluacin en su quehacer cotidiano, profesionales que a pesar
de tener intereses variados y perspectivas diversas quieren
potenciar un terreno comn en el que construir y ofrecer la
informacin ms adecuada sobre el objeto que esta siendo
evaluado.
La profesin del evaluador debe reunir los requisitos
generales de toda profesin que, segn el profesor Mar (1999)
son entre otros:
- Un cuerpo de conocimientos y destrezas (garantizadas
por criterios cientficos).
- Un gremio de personas o colegio profesional.
- Un conjunto de estipulaciones o acuerdos sociales
para la aceptacin o pertenencia al gremio o colegio
profesional.
- Calidad ostensible del producto.


264
- Ttulos acadmicos exigidos.
- Estatutos profesionales, legalmente reconoccidos.
- Sistema de garantas y de defensa profesional.
- Vigilancia de la calidad de los criterios en los
productos ofrecidos.

Estos requisitos plantean una serie de dificultades como:
- Los planes de estudio o los contenidos de las
asignaturas deben ser modificados atendiendo al
cuerpo de conocimientos necesarios para ejercer la
profesin de evaluador.
- Deben diferenciarse los mbitos y campos
profesionales especficos.
- Hay que concretar la demanda y la oferta en materia
educativa.
- Tiene que operarse una mejora en la imagen de sus
instituciones.
Por tanto uno de las claves del desarrollo profeesinal de
la evalaucin radica en la formacin inicial y continua.

LA FORMACIN EN EVALUACIN EDUCATIVA EN LA
UNIVERSITAT DE VALENCIA
La ampliacin y especializacin de los estudios del rea
de las Ciencias de la Educacin es una realidad dentro del
mbito universitario nacional. En la Universidad de Valencia, el
actual mapa de titulaciones ofertadas ya refleja esta situacin,
ofreciendo diversas titulaciones de primer y segundo ciclo, y
previendo vas de conexin entre s.


265

Cada una de las titulaciones corresponde,
evidentemente, a un perfil profesional con un cierto
reconocimiento como tal en este mundo profesional
"cambiante", con salidas profesionales tradicionales o nuevas o
incluso en situacin de cambio, que deben afrontarse.
El Perfil profesional del Pedagogo recoge como
funciones propias "el anlisis, la intervencin y el desarrollo de
sistemas y procesos educativos en la organizacin y la administracin
del sistema educativo, en las prcticas de las instituciones escolares y
en las diversas agencias de educacin no formal" (Gua de
estudiantes, curso 2000/01: 3).
El Perfil profesional del Psicopedagogo recoge como
funciones propias "la elaboracin y desarrollo de programas y
acciones de asesorameinto, que sirven de ayuda a la comunidad
educativa para la mejora e innovacin de las condiciones y procesos
educativos" (Gua de estudiantes, curso 2000/01: 8).

Diplomados
en
Magisterio
Diplomados
en
Educacin
Primer
Ciclo de
Pedagoga
Segundo
Ciclo de
Pedagoga
Diplomados
en
Logopedia
Psicologa Psicopedaga
(Segundo Ciclo)


266
El Perfil profesional del Educador Social recoge como
funciones propias su actuacin "en los campos de la educacin no
formal, educacin permanente y de adultos, insercin social de las
personas desadaptadas y minusvlidos, as como en las distintas
acciones socioeducativas" (Gua de estudiantes, curso 2000/01 :
5).
El campo de actuacin profesional del Logopeda se
"distribuira entre el apoyo especfico en la educacin y la
rehabilitacin en el mbito de la sanidad" (Mar 1999).
El campo de actuacin profesional del Maestro se
presenta con una "orientacin profesional que atiende a las
funciones especializadas amparadas dentro del Sistema Educativo
actual" (Mar, 1999) y lo realiza ofertando diversos ttulos
(Infantil, Primaria, Educacin musical, Educacin Especial...)

El evaluador educativo que trabaje en o para el Sistema
Educativo formal deber colaborar en las distintas tareas de
evaluacin internas al sistema; como por ejemplo:
La evaluacin institucional prevista en la LOPEG.
La evaluacin de centros que pueda provenir de la
iniciativa de los propios centros, como proceso de
autorrevisin orientado a la mejora, que desee
contar con el apoyo de un experto.
La evaluacin de programas e iniciativas, que pueda
estar coordinada por centros de recursos (CEFIRES,
Gabinetes Psicopedaggicos Municipales...):
programa de educacin para la salud, para la
tolerancia, para la igualdad entre los sexos;
programa de integracin; programa de educacin de
padres y madres...
...
El evaluador educativo que desarrolle su trabajo en el
rea de la Educacin Social contar con las especificidades
propias de este mbito. En el rea de la Educacin Social
tambin existe un inters creciente por los procesos de
evaluacin. La evaluacin en Educacin Social se acerca a la
tradicin de evaluacin de polticas y servicios sociales, que es
el tercer gran mbito con amplios precedentes evaluativos,


267
junto con el educativo y el de la salud (Fernndez Ballesteros,
1995). Podemos citar como evaluaciones las siguientes:
Evaluacin de Centros de Da, ONG, Universidades
Populares... y las diversas entidades que desarrollan labores de
Educacin Social.
Evaluacin de programas y proyectos desarrollados
por estas entidades, por iniciativa de las propias entidades, que
deseen mejorarlos, reorientarlos, adecuarlos a las nuevas
necesidades del contexto... (evaluacin de programas de
desintoxicacin, de integracin de minoras, de alfabetizacin,
de asistencia a ancianos...)
Evaluacin de programas y proyectos financiados con
capital externo a la propia organizacin, con el objetivo de
justificar su realizacin (proyecto Horizon).
Un tercer mbito laboral para los educadores que est
cobrando mucha fuerza se sita fuera del sistema escolar
formal, y en l se recogen genricamente las funciones de
asesoramiento pedaggico que se pueden realizar fuera del
sistema educativo. En este gran mbito se situaran todas las
tareas de formacin que se desarrollan en los departamentos de
formacin y recursos humanos de las empresas, en los centros
de formacin ocupacional, en las entidades que estn
desarrollando formacin continua, en centros de
documentacin educativos, en editoriales, en centros de
asesora pedaggica, en los centros de formacin postgrado...
La heterogeneidad es la caracterstica fundamental de este
tercer mbito, que se revela como un sector de empleo con
muchas potencialidades para los pedagogos, y con gran
proyeccin de futuro, dada la importancia de la formacin
como valor aadido. La cercana a la filosofa empresarial de
parte de este sector, la habituacin a trabajar por proyectos, la
necesidad de justificar determinadas inversiones (ante la propia
entidad, o ante entidades externas financiadoras) hacen que en
esta rea profesional la sensibilidad por los procesos de
evaluacin sea tambin muy marcada, y, por tanto, la necesidad
de evaluadores educativos. El tipo de procesos de evaluacin a
realizar es muy variado, dependiendo de quien encargue la
evaluacin, de sus objetivos, de la metodologa a utilizar. Algn
ejemplo de procesos de evaluacin en esta rea seran:


268
Evaluacin de necesidades de formacin del
personal de la empresa, como paso previo para el
diseo de planes de formacin.
Evaluacin de las entidades de formacin, solicitada
por las propias entidades, para acometer procesos de
mejora.
Evaluacin de las entidades de formacin, solicitada
por entidades financiadoras de proyectos sociales
y/o educativos.
Evaluacin de proyectos y programas desarrollados
por la entidad, solicitada por la propia entidad, para
revisar su organizacin, para mejorarlos...
Evaluacin de proyectos y programas desarrollados
por la entidad, solicitada por la entidades
financiadoras (Comunidad Europea, Administracin
Central, Autonmica o Local, Fundaciones...).
Evaluacin de productos o lneas de produccin
editoriales.
...
Con lo expuesto a lo largo de este discurso pensamos
que ha quedado bien explcito la conveniencia de ofertar en las
titulaciones de Ciencias de la Educacin un espacio formativo
en Evaluacin (bases de investigacin evaluativa, bases
metodolgicas de investigacin evaluativa ..) as como otros
contenidos asociados (diseo de investigacin, anlisis de
datos, tcnicas no estandarizadas de recogida de
informacin...). Espacio que por supuesto debe verse
completado, y se hace en cursos de Postgrado, con procesos de
reciclaje y formacin contnua que mantiene al tanto de las
innovaciones que se van produciendo.
Por otro lado, se ha realizado un estudio de revisin
sobre las ltimas publicaciones sobre evaluacin en nuestro
entorno, con el fin de determinar cul es el perfil del evaluador.
Este estudio no pretende ser exhaustivo y comprende los
ltimos aos de investigacin. Las lneas de trabajo en
Evaluacin pueden concretarse en los siguientes puntos:
Respecto a los temas que tratan los trabajos considerados
se centran en: diseos, tipos, tcnicas, Instrumentos,


269
Metodologa y Revisiones de diferentes tipo: tericas,
bibliogrficas, etc.
Por otra parte, las tcnicas de recogida de informacin
y de anlisis utilizadas han sido variadas: en cuanto a tcnicas,
se utilizan los dos acercamientos, tanto tcnicas cualitativas
como cuantitativas, con procedimientos como la triangulacin
utilizando cuestionarios, Pruebas estandarizadas, Estudio de
Casos, discusiones en grupo, estudio de documentos,
entrevistas, Encuestas, Autobiografa. Respecto a las tcnicas de
anlisis utilizadas tambin han sido variadas, entre ellas
tcnicas de metaanlisis, Anlisis de contenido, Tcnicas de
Anlisis Exploratorio de Datos, Ji Cuadrado, Fiabilidad (Alfa,
KR20), estudio de segmentacin muestral, H de Kruskal-Wallis,
por citar algunas de las ms representativas.
Respecto a los diseos de evaluacin utilizados han
sido fundamentalmente de cortes cuasiexperimental, pretest-
postest y Experimental.
Los mbitos de aplicacin de la Evaluacin en los que se
han aplicado los artculos revisados son:
- Evaluacin de Materiales
- Evaluacin de Profesores
- Evaluacin Institucional y de Centros
- Evaluacin del Sistema Educativo
- Evaluacin de Programas
- Programas de atencin a la diversidad
- Programas de Orientacin
- Programas de Formacin Ocupacional
- Programas de Formacin Continua
- Programas de Educacin Superior
- Programas de Educacin No universitaria
- Otros: Programas de educacin ambiental, etc.
- Evaluacin de Necesidades
- Evaluacin de alumnos
- Evaluacin del rendimiento
- Evaluacin de actitudes
Los niveles en los que se han desarrollado los diferentes
trabajos se sitan en todos los niveles del sistema educativo:
Educacin Infantil, Educacin Primaria, Educacin Secundaria,
Educacin Superior y Postgrado.


270
Diseos utilizados
Cuasiexperimental
pretest-postest
Experimental
metod. activo-participativa
accin-reflexin-accin
Tipos de evaluacin
Iluminativa
Formativa
Respondiente
participativa
situacional
Tcnicas utilizadas
Cualitativas y Cuantitativas
Triangulacin
Metaanlisis
Anlisis de contenido
EDA
Ji Cuadrado
Fiabilidad: Alfa, KR20
Estudio de segmentacin muestral
H de Kruskal.Wallis
Instrumentos utilizados
Cuestionarios
Pruebas estandarizadas
Estudio de casos
Discusiones en grupo
Documentos
Entrevistas
Encuestas
Autobiografa
Metodologa
Tamao del efecto
Valor aadido
Materiales curriculares
Metaanlisis de evaluacin de programas
Construccin y revisin mtrica de Inst.Eval.


271
Revisin bibliogrfica
Recursos metodolgicos
Anlisis de la evaluabilidad
Programas de Anlisis cualitativas
Revisiones tericas
Revisiones
Revisin de la produccin investigadora
Evaluacin de Revistas
Evaluacin de las publicaciones
Tendencia histrica en Evaluacin de Programas
Evaluacin de materiales
Evaluacin de materiales curriculares
Evaluacin de software educativo
Evaluacin de profesores
Evaluacin de la actuacin del profesor
Evaluacin de las formas de impartir la clase
Evaluacin de modelos de tutora y de la accin tutorial
Evaluacin de la Docencia Universitaria
Evaluacin de programas de formacin del profesorado
Percepciones sobre el profesorado
Caracterizacin del profesorado universitario
Evaluacin Institucional y de Centros
MEPOA90
UNED
Instituciones de menores
Centros de Formacin Profesional
Bibliotecas Universitarias
Centros de Educacin infantil, primaria y secundaria
Centro de atencin al menor
Autoevaluacin de centros de ESO
Evaluacin de la calidad universitaria
Revisin institucional de la Federacin de scouts
Evaluacin del Sistema Educativo
INCE
Estudios sobre Primaria, Secundaria
Estudios especficos sobre algunas materias
Estudios sobre indicadores de calidad del Sistema educativo.


272

Evaluacin de Programas
Programas de atencin a la diversidad
Programa de atencin a la diversidad
Evaluacin de programas y normativa profesional en la
transicin al empleo de personas con discapacidades
Evaluacin de los valores del cuerpo
Educacin de valores
Evaluacin de programas de Orientacin
Evaluacin de programas de orientacin Educativa
Evaluacin de la intervencin familiar
Programa de Orientacin UNED
Evaluacin del contexto y del diseo
Orientain en el sistema educativo
Programa de educacin vocacional
Orientacin en el sistema educativo y el mundo laboral
Programas de Educacin vocacional
Programa de intervencin psicopedaggica familiar
Programa Helios
Programa de orientacin metacognitiva de comprensin lectora
Programa de Escuelas-taller
Programa de intervencin psicopedaggica
Programa de orientacin para la transicin de la escuela a la
vida activa
Evaluacin de los cursos de accin previos al proceso de
insercin laboral
Opiones del profesorado acerca de la Orientacin
Programas de orientacin vocacional
Indicadores de calidad para evaluar la orientacin educativa
Eval. Programas Formacin Ocupacional
Eval. de programas de Formacin Ocupacional
Evaluacin de la Formacin Continua
Evaluacin de la reforma de la Educacin Infantil
Formacin e insercin profesional
Eurodialogue Evaluation
Evaluacin bsica
Eval. del fracaso escolar


273
Evaluacin de Programas de Educacin Superior
Eval. de Nuevos planes de estudio Evaluacin de cursos de
postgrado
Evaluacin de licenciaturas
Evaluacin de un programa para la enseanza de las
matemticas en Magisterio
Evaluacin de un proyecto de innovacin en aulas
universitarias
CAP
Practicum de Educacin Social
Evaluacin de las titulaciones, tasa de xito, retraso y del
alumno
Evaluacin de necesidades
Eval necesidades en enseanza superior
Eval. necesidades formativas en el profesor no universitario
Eval necesidades en alumnos CAP

Evaluacin del alumno
Evaluacin del rendimiento
Evaluacin del rendimiento
Evaluacin de los aprendizajes
Evaluacin de los procesos de enseanza-aprendizaje
La Evaluacin en Educacin Secundaria
Modelos de evaluacin del aprendizaje
Percepciones de los alumnos universitarios acerca de la
evaluacin de los aprendizajes
Prctica evaluadora del profesorado de la Universidad
Rendimiento acadmico de los estudiantes en la facultad

Evaluacin de actitudes
Evaluacin de actitudes de los universitarios
Integracin escolar de deficientes mentales
Programa de Integracin escolar
Evaluacin situacional de necesidades para la transicin
Evaluacin de los procesos reflexivos
Opiniones de los alumnos sobre la evaluacin en la ESO
Perspectivas de los profesores sobre Evaluacin


274
Qu es evaluar para el profesorado no universitario

Otros
Viabilidad de programas de intervencin educativa
Programas de educacin ambiental
Programa de hbitos y tcnicas de trabajo intelectual
Funciones de la evaluacin en la Evaluacin de programas de
animacin sociocultural
Revisin institucional de la Federacin de Scouts
Evaluacin diagnstica como fundamento de la evaluacin
Evaluacin de experiencia escolar: la prensa escrita en la
escuela
Programa de prevencin sanitaria virus VIH

Niveles
Educacin Infantil
Educacin Primaria
Educacin Secundaria
Educacin Superior
Postgrado


275
De esta forma, los niveles en los distintos tipos de evaluacin
utilizados han sido:

Podemos ver que los estudios que ms se han realizado
han sido en Evaluacin de Programas, seguidos a bastante
distancia de los estudios sobre evaluacin de Centros de los
estudios sobre Evaluacin de Alumnos. A continuacin se
situan porcentualmente en cuanto a su aparicin los estudios
sobre revisiones sobre evaluacin, evaluacin del sistema
Educativo y la evaluacin de profesores, siendo los estudios de
evaluacin de materiales los que presentan niveles de presencia
inferiores.

0
5
10
15
20
25
30
35
%
Tipos de Estudios
Alumnos
Centros
Materiales
Profesores
Programas
Revisiones
Sistema
Educativo


276
Bibliografa

Anderson, S.B.y Ball, S. (1983) The Professiion and Practice of
Program Evaluation. San Francisco.Washington.Londos:
Jossey-Bass Publishers.
Barrio, J.L. (1989) Entre el control y la participacin.
Introduccin a Lecciones de Evaluacin. Madrid: Ed. Sez,
M.J. ICE, Universidad de Alcal de Henares.
Casanova, M.A. (1992) La evaluacin, garanta de calidad para el
centro educativo. Zaragoza: Edelvives.
Cronbach, J.L. (1981). Toward a Reform of Program Evaluation. San
Francisco: Jossey Bass.
Lpez Mojarro, M. (1999) A la calidad por la evaluacin. La
evaluacin de centros docentes. Madrid: Editorial Escuela
Espaola.
Sez Brezmes, M.J. (1995)(Ed.) Conceptualizacin la evaluacin en
Espaa. Alcal de Henares: Universidad de Alcal de
Henares.


277

TICA DE LA EVALUACIN
Leonor Buenda y Emilio Berrocal de Luna
Universad de Granada

En este trabajo hemos realizado una serie de reflexiones
sobre evaluacin, derivadas de nuestra doble condicin de
profesores que evaluamos, como parte de nuestra labor docente, e
investigadores preocupados por ampliar el cuerpo de
conocimientos que sobre evaluacin existen. As pues, trataremos
primeramente la tica de la evaluacin educativa, para centrarnos
posteriormente en la tica de la investigacin sobre evaluacin.

QU ES LA ETICA

Con solo consultar el diccionario, ya en su primera
acepcin, se define este trmino, como la parte de la Filosofa que
trata de la moral y de las obligaciones del hombre. Atenindonos
solo a esta definicin, la tica es considerada sinnimo de
Filosofa moral, y por lo tanto una parte de la Filosofa encargada
del estudio de conductas morales. Pero esta consideracin nos
parece excesivamente restrictiva, reservada a los filsofos
morales, y alejada de nuestras posibles consideraciones.


278
Solo hay que introducirse en el conocimiento vulgar, no
academicista ni cientfico, para conocer otras acepciones de tica,
mas vinculadas a cada uno de los actos que se realizan cada da,
en diferentes mbitos de la vida. La tica concierne o nos
concierne a todos, en la medida que todo el mundo se enfrenta
con situaciones que implican la toma de decisiones. Esta segunda
forma de ver la tica, tica popular o tica mundana, no est
reservada a nadie: ni a filsofos morales, ni a creyentes, ni a no
creyentes. Hace referencia a "todas las normas y prcticas morales
que en el mundo han sido desde los tiempos prehistricos (el periodo de la
eticidad de la costumbre, en expresin de Nietzsche) hasta nuestros das"
(Hidalgo, 1994:15).
En este sentido hoy vamos a reflexionar sobre aquellas
normas que como investigadores y docentes deberamos respetar
para que nuestros actos o los resultados de los mismos, sean
ticamente correctos.

LA TICA DEL PROFESOR-EVALUADOR: POR QU LA EVALUACIN
DEBE SER UN ACTO TICO?

En una investigacin realizada por nosotros con
profesores de Educacin Secundaria (Buenda, Carmona, Gozlez
y Fuentes, 1999) obtuvimos diferentes respuestas, ante la
pregunta: qu es para Vd. evaluar?
La evaluacin, la caracterizaron con una serie de
trminos, tales como: valorar, sancionar, observar, seguir el
proceso de construccin de conocimiento del alumno. Una vez
analizadas, la evaluacin es, segn los profesores entrevistado, un
proceso que pretende conocer y valorar a los alumnos, para
mejorar el proceso de enseanza aprendizaje a travs de ella y a la
vez promocionar a los que mejor han conseguido las metas que se
proponen.
Tanto esta, como todas las definiciones dadas, bien
referidas a la evaluacin de centros, de alumnos, de profesores o
de programas, todas estn vinculadas a juicios de valor sobre algo
o alguien. La evaluacin no es solo un acto tcnico; es ante todo el
ejercicio de un acto responsable. El significado que le demos a la
evaluacin est en base a las creencias que construimos sobre la
naturaleza del conocimiento, la naturaleza de los individuos, la


279
naturaleza de la sociedad y las relaciones entre el individuo y la
sociedad (Schwandt, 1989), y desde esta perspectiva, la tica de la
evaluacin hay que plantersela como un subconjunto dentro de
la moral general, aunque como dice House (1980) aplicada a
problemas mucho ms restringidos que la moral general, puesto
que nos estaramos refiriendo a un aspecto de la tica profesional.
Pero la tica en una profesin es la norma, la obligacin de una
conducta correcta. El problema radica en determinar los
principios en los que se apoyan las normas para determinar un
acto tico. As pues, un acto evaluativo tico es el que se ejerce
responsablemente, evitando el perjuicio a otras personas, que a
veces se realiza inconscientemente, por estar vinculado el dao a
los mtodos que el evaluador utiliza para la consecucin de sus
fines.
En los ltimos aos (Anderson y Ball, 1978,) se han
realizado diferentes cdigos de tica y normas de actuacin para
la evaluacin educativa. La mayora destacan la proteccin de
los seres humanos, que el evaluador d a conocer su orientacin y
valores, que respete las condiciones de intimidad, etc.
Las diferentes actuaciones pueden presentar cuatro
problemas ticos fundamentales:
a) ocultar a los participantes la naturaleza de la evaluacin o
hacerles participar sin que lo sepan
b)exponer a los participantes a actos que podran
perjudicarles o disminuir su propia estimacin
c) invadir la intimidad de los participantes
d) privar a los participantes de los beneficios.

En todos los casos se trata de violaciones de los derechos
de las personas, basados en los principios de respeto, justicia y
optimizacin de beneficios, principios que constituyen la base de
la investigacin tica en seres humanos y por lo tanto afectan por
igual a la evaluacin.
Si bien de estos principios han participado gran parte de
los tericos preocupados por el tema sin embargo pensamos que
en estas relaciones esta ausente la ideologa, cuando es ella, en
gran medida, la que marca el acto evaluativo y justifica las
acciones de los evaluadores.


280

Cuando el profesor establece los criterios de evaluacin, ha
tomado una serie de decisiones, segn un sistema de valores
conscientes o inconscientes, que reflejan su opcin terica e
ideolgica. En un trabajo de R. Mate (1999), se plantea la
necesidad de vincular justicia y libertad, para no considerar
como nico pilar en la toma de decisiones, la libertad. Dice as: "la
justicia no es en primer lugar una distribucin igualitaria de la libertad
sino una distribucin responsable del pan"; y este es el gran dilema
que se plantea en la evaluacin, como veremos mas adelante. En
una escuela para todos, basada en el principio de la igualdad
formal de todos los ciudadanos en el acceso a la educacin, se
puede estar ocultando el principio de justicia social. No es tanto
evaluar teniendo en cuenta la igualdad de acceso a la educacin,
sino la consideracin de desigualdades de partida, para poder
realizar responsablemente las decisiones en esas situaciones de
desigualdad (todos tienen derecho a entrar en la escuela pero no
existe el derecho a salir con las misma probabilidad de xito
escolar-social).

LA TICA DE LA EVALUACIN EN FUNCIN DEL MARCO TERICO
DEL PROFESORADO

Los modelos de evaluacin estn estrechamente
vinculados a las diferentes elaboraciones tericas sobre las
situaciones educativas y el papel que el profesorado desempea
en cada una de ellas.
La perspectiva terica del profesorado y sus concepciones
sobre la educacin en general, orientarn en gran medida el
modelo de evaluacin que se realiza en las clases. La evaluacin
ser una valoracin de resultados finales con el fin de tomar
decisiones institucionales, sociales o polticas, o un elemento ms
del proceso de enseanza -aprendizaje, encaminado al
conocimiento del alumnado para la mejora educativa.
Desde la primera perspectiva, la evaluacin del alumno
ha sido utilizada como justificacin de un programa educativo
(Cronbach y Snow, 1969; Scriven, 1973; Stake, 1967; Stufflebeam,
1971), sin considerar el contexto ni el tipo de alumno, y en


281
muchos de los casos deliberadamente olvidado, por la
consideracin tecnicista del papel del evaluador (Webster, 1995).
En estos casos el problema se plantea en el
establecimiento de criterios para comparar resultados finales,
como el comentado por Linn y Baker (1995), recogiendo los
resultados ofrecidos por la IAEP sobre el rendimiento en
Matemticas de cinco pises: Korea, Hungra, Taiwan, Italia y
Estados Unidos. Los criterios seguidos fueron los presentados en
el informe de 1994 de la NCEST (National Council on Education
Standars and Testing) para evaluar el sistema educativo:
a) Contenido standard (definido como aquello que
debera ensearse y que los estudiantes deberan
aprender)
b) Rendimiento standard (definido como el nivel
mnimo que los estudiantes deberan alcanzar)
c) Oportunidades de aprendizaje (entendido como la
adecuacin y posibilidades de oportunidades de
aprendizaje que se ofrecen a los alumnos).

Con estos criterios se realizaron comparaciones entre
grupos de iguales y entre pases, estableciendo cotas y
analizando la situacin porcentual del rendimiento medio de
cada pas respecto a esa cota.
Si nos centramos, desde este modelo de evaluacin, en el
aula, nos encontramos con situaciones no muy distintas de las
comentadas, pero con la particularidad de utilizar la evaluacin
para justificar actuaciones docentes y confirmar hiptesis sobre el
rendimiento del alumno, indebidamente justificadas. La
jerarquizacin, no se realiza sobre programas, instituciones o
piases, se realiza con los alumnos, sobre la base de un curriculum
comn, ajeno a la diversidad contextual y personal que existen en
el aula, reflejo de lo que es la vida social.
La evaluacin, como comenta Bolvar (1997: 100), aunque
parezca un asunto exclusivo entre profesor/a-alumno/a, al menos
tambin informa a determinadas audiencias interesadas, y sirve para
acreditar u otorgar las correspondientes notas o certificados, lo que la
convierte en una actividad social, moralmente comprometida.


282
Por ello, adems del aspecto tcnico, en base al cual el
profesor toma decisiones, la evaluacin conlleva aspectos ticos
tales como: Qu evaluar, para qu evaluar, cmo y a quien
proporcionar las evaluaciones etc. Todos los aspectos tcnicos-
metodolgicos (procedimientos, instrumentos, formas de
evaluar..) quedan supeditados a decisiones ticas que no estn al
margen de los modelos tericos-ideolgicos del profesor.
En la otra perspectiva: consideracin de la evaluacin
como parte del proceso de enseanza- aprendizaje, encaminada
a la mejora, cambia la funcin de la evaluacin y por lo tanto la
consideracin de la educacin en general. Esto plantea
problemas ticos importantes, por el choque entre lo que la
tradicin escolar (homogeneizante y selectiva) hace en el aula, y
la realidad social de los alumnos: diversa, multicultural, y
econmicamente desigual.
El profesor con frecuencia es vctima de tales situaciones,
y se ve obligado a dar respuestas "docentes" y/o institucionales a
problemas sociales y con frecuencia polticos.
En una evaluacin formativa, la presencia de la
desigualdad de los nios y nias, en todo el proceso de
enseanza -aprendizaje, no puede quedar anulado por la
homogeneizacin de conocimientos, que se imponen desde la
cultura escolar.
Es cierto que si no reconocemos diferencias de partida
entre los alumnos, estaremos siempre perpetuando
desigualdades y esto, que puede tener justificacin pedaggica en
la escuela que tenemos, no tiene justificacin moral. Por otra
parte, con la adaptacin del curriculo a tales desigualdades, se
puede "bienintencionadamente e inconscientemente estar adaptndose a
la desigualdad, y- con ello- contribuyendo a reforzarla, al ofrecer unos
niveles educativos diversos, acordes con la desigualdad cultural de base
(Bolivar, 1997: 98). Este problema, que sin lugar a duda exige
decisiones polticas, puede ser matizado cuando la evaluacin
contribuye a la no-exclusin social. Desde esta perspectiva el
principio tico de igualdad de todos los alumnos para acceder a la
educacin, debe ir acompaado por el principio de equidad,
entendido como "el sentimiento del deber o el de la conciencia,
ms bien que por las prescripciones rigurosas de la justicia o por
el texto determinante de la ley".


283
La educacin universal, "la escuela para todos", exige un
nuevo concepto de evaluacin del rendimiento. Con este se
cumpla la funcin selectiva de elegir a los mejores, (los
privilegiados econmicamente) ante la imposibilidad de atender a
toda la poblacin, en situaciones econmicas y sociales diseadas
para una minora. Esto no es sostenible, ni justificable, en una
sociedad que debe estar presidida por los valores de igualdad y
justicia social. En esta, la evaluacin, an poniendo de manifiesto
deficiencias del sistema o de los alumnos, se justificara si
contribuye a mejorar la condicin de los ms desaventajados
social y culturalmente.
Desde el punto de vista pedaggico, el cambio conceptual
del rendimiento debe ir acompaado de cambios en el
profesorado y en sus actuaciones docentes. Recogemos una cita
de Darling-Hammond (1994) que dice: Cuando todos los
estudiantes tienen adecuadas oportunidades de aprender se
requiere mejorar la capacidad de los profesores - su conocimiento
sobre los estudiantes, sobre la materia y sobre su habilidad para
utilizar dicho conocimiento- para una enseanza profesional. Esto
significa que las polticas de formacin del profesorado deberan
insistir en un mayor conocimiento de cmo el nio aprende y se
desarrolla, y cmo la evaluacin puede ser utilizada para conocer
lo que los nios conocen, cmo lo aprenden, cmo una variedad
de estrategias curriculares e instruccionales pueden satisfacer sus
necesidades y cmo los cambios en la escuela y en la organizacin
de la clase pueden aumentar el nivel de rendimiento.

PRESCRIPCIONES ETICAS EN LA EVALUACIN

Qu conductas no son correctas cuando realizamos una
evaluacin?. Hablar de un cdigo deontolgico para la
evaluacin, me resulta bastante difcil porque sera estar
admitiendo la universalidad de los actos humanos, de los valores
de los profesores, de una ideologa nica que diera lugar a toma
de decisiones universales. Esto sera valido desde la perspectiva
positivista, donde los evaluadores son considerados jueces
expertos que basan sus decisiones en pruebas vlidas y fiables, y
los resultados de dichas pruebas son los nicos indicadores para
la toma de decisiones. Cuando la evaluacin es considerada un
acto de interpretacin no fcilmente identificado con el concepto


284
de universal y vlido, la tarea se complica e incluso se plantean
cdigos deontolgicos distintos, segn el posicionamiento del
evaluador. As pues, vamos a considerar dos tipos de problemas
ticos. Unos, relacionados con la evaluacin basada en medidas
objetivas, y otros relacionados con la consideracin de la
evaluacin como elemento de mejora, desde la perspectiva
subjetivista.

a) Perspectiva objetivista

Los problemas ticos derivados de la evaluacin
objetivista, suelen estar vinculados con la utilizacin de los
resultados que de la misma se hace, por la consideracin
tecnicista del evaluador y la no contemplacin del contexto como
elemento diferenciador.
Desde esta posicin, la evaluacin puede estar bien hecha
y los resultados incorrectamente utilizados, o mal hecha,
considerada en esencia como una evaluacin diseada con
metodologa incorrecta, poco rigurosa en la recogida de datos,
anlisis mal hechos o pocas conclusiones (Christie and Alkin,
1999). Cuando la evaluacin est mal hecha hay una falta de
conocimiento sobre la misma y por lo tanto las decisiones, que se
tomen en base a ella, sern siempre incorrectas, dado que no
deben utilizarse los resultados.
El problema tico se plantea cuando existiendo
conocimiento de los aspectos metodolgicos o tcnicos de la
misma, existen finalidades y usos de los resultados incorrectos.
En este segundo caso veremos los problemas ticos
derivados de la planificacin, del proceso y de la utilizacin de los
resultados, en una evaluacin de programas, propuesto por
Christie y Alkin (1999: 3) y que puede ser extrapolado a cualquier
proceso de evaluacin.

Utilizacin inadecuada de las diferentes etapas del proceso de
evaluacin


285

ETAPAS DE LA
EVALUACIN
INTENCIONES DEL
EVALUADOR
RESULTADOS
OBTENIDOS

Planificacin de la
evaluacin
-provecho poltico.
-provecho personal.
-relaciones pblicas.
- prestigio.
-justificacin de resultados.

-mal uso

Proceso
-prorrogar decisiones crtcas.
-utilizar influencia para
sabotear la evaluacin.

-mal uso
-evaluacin
incompleta

Resultados obtenidos
-alterar resultados.
-simplificar, exagerar u ocultar
resultados.
-informes intencionados, que
no responden a los resultados
obtenidos.
-utilizar resultados con fines
distintos a los planteados en la
planificacin

-mal uso
-uso indebido
consciente uso de
mala informacin

Finalidades incorrectas en la planificacin

Esto ocurre siempre que se realiza una planificacin con
propsitos diferentes a la que necesariamente hay que plantear
para la realizacin de informes sobre lo que se intenta evaluar. La
intencionalidad de los evaluadores es distinta de la que demanda
la tarea planteada. Estas planificaciones se realizan para justificar
decisiones que ya haban sido tomadas. La tarea posterior ser
una "seudo evaluacin" (Suchman, 1967), y su utilizacin plantea
un gran problema tico.

Mal uso de los procesos de evaluacin


286

El desarrollo o implementacin del proceso de evaluacin
es la segunda etapa que vamos a considerar. En esta, el
reconocimiento del mal uso que de la misma se haga, es un reto
para los evaluadores.
El proceso puede ser utilizado, para demorar la toma de
decisiones sobre un programa. En estos casos, el proceso se alarga
para evitar informes no requeridos por los que encargan la
evaluacin. Puede argumentarse la necesidad de datos
complementarios o la perdida de informaciones necesarias, pero
en cualquier caso, el coste adicional que supone esta conducta, va
unido a una actuacin no tica del evaluador. En algunas
situaciones se llega, incluso, a no continuar un proceso iniciado,
por algn inters ajeno al propio proceso (decisiones polticas,
econmicos etc.).

Mal uso de los resultados

Es el aspecto que ms atencin ha suscitado en los ltimos
aos (Borgatta, 1966; Weis, 1972; Alkin, 1975; Cook and Pollard,
1977; Alkin and Coyle, 1988; Christie and Alkin, 1999).
En la mayora de los casos, un mal uso de los resultados
ocurre siempre que estos son utilizados para fines propios, tales
como confirmacin de decisiones tomadas antes de comenzar la
evaluacin, o la consideracin de los resultados como verdades
nicas, no discutibles, sin considerar las repercusiones
individuales o sociales de los informes realizados con esos datos.
La cantidad de informacin que se proporciona despus
de una evaluacin, el tipo de informacin y la forma de
distribuirla, es un aspecto ampliamente debatido, por los
problemas que conlleva en el mbito educativo. Kemmis (1986)
dice: La evaluacin es, inevitablemente, un proceso poltico, que
afecta la circulacin de la informacin en una situacin dada y
tiene consecuencias vitales para los que la sufren.

b) Perspectiva Subjetivista


287

En uno de los aspectos en que la visin post-
estructuralista del conocimiento es incompatible con la nocin de
medidas fiables es la idea de no consistencia a travs del tiempo,
contextos o individuos, de dicho conocimiento. Gage (1989)
escriba: Los efectos de las interpretaciones que del mundo
hacen las personas sobre sus actos, crean la posibilidad de que las
personas difieran en sus respuestas a las mismas o similares
situaciones". Esto implica que la evaluacin que el profesor
realiza de la respuesta de una tarea debera estar en funcin de la
interpretacin que el alumno haga de esa tarea que siempre estar
vinculada al contexto de ese alumno, sin entrar en las diferentes
interpretaciones que el profesor pueda realizar de dicha tarea.
Desde esta perspectiva proponemos los siguientes
principios que permiten generar juicios coherentes sobre el acto
evaluado.
1 Los profesores de un area especfica, definen las
dimensiones de rendimiento que van a evaluar y hacen
explcita la ideologa, marco terico o doctrina que
representan.
2 Las tareas de evaluacin son diseadas representando
dichas dimensiones.
3 Los profesores, cuando realizan las evaluaciones, estn
educando con dicho procedimiento, dado que estn
seleccionando tareas en funcin de las dimensiones que
ellos mismos han establecido.
4 Los profesores deben hacer pblicos sus razonamientos,
dar respuestas a preguntas crticas sobre sus
actuaciones, as como de sus interpretaciones ltimas.
5 Desde esta perspectiva, la consistencia en el juicio se
obtendr a travs de una replicacin independiente, lo
que supone estar siempre dispuestos, como
evaluadores, a la crtica, al dilogo y a la explicitacin de
lo que en cada momento se pretende conseguir.
Sin lugar a duda el problema de la responsabilidad del
profesor en este modelo subjetivista es enorme, porque no tiene el
recurso tcnico de la objetividad a la hora de tomar decisiones. El
profesor debe ser responsable, no solo por sentido comn, sino en


288
trminos de una clara definicin externa de los propsitos en
funcin de los cuales est judgando responsablemente.
Cada decisin en la evaluacin, tanto desde una
perspectiva como desde otra, tiene un alto nmero de posibles
consecuencias negativas. Estas mltiples situaciones muestran
que:
1 La tica de la evaluacin incluye un conflicto entre el
efecto deseado y el efecto conseguido.
2Ambos pueden estar en equilibrio, verdadero y justo, o
no, y en consecuencia ser daino
3La evaluacin tiene una dimensin social, la cual afecta
no solo a un individuo, sino a un grupo de personas,
como cualquier acto educativo, sobre las que recae la
decisin nica de un profesor.
No sin razn deca Baron (1990:77) mucho de lo que nosotros
llamamos conducta inmoral no procede tanto de un acto de malicia sino
por falta de pensar las consecuencias y relevancia de principios morales y
ausencia de una reflexin comprometida de cuestiones ideolgicas.

PROBLEMAS TICOS DEL PROFESOR-INVESTIGADOR

No hace mucho tiempo investigar en educacin era algo
impensable, y mucho ms impensable realizar investigacin
educativa. Y digo esto porque quizs sea conveniente aclarar las
diferencias habidas entre ambos tipos de investigaciones.

Investigar sobre aspectos educativos se ha hecho, y se
sigue haciendo, sin que la intencionalidad del que la hace sea
educativo en s mismo. Por ejemplo, se puede investigar sobre los
gastos en educacin, o sobre la influencia de un determinado
suceso histrico o sociolgico en el contenido de los libros de
texto, y sin dejar de ser importantes temas de investigacin en
educacin, no entraran en investigacin educativa, dejando para
esta categora aquella investigacin que no solo arranca de la
prctica educativa, sino que adems se construye desde ella para
su transformacin y mejora. (Snchez, 1997).


289
Ni una ni otra eran contempladas en los planes de
investigacin, no solo nacionales, sino internacionales. De
investigacin en educacin, en nuestro pas puede hablarse
realmente desde 1950. Segn datos del CSIC, el nico centro de
investigacin era el Instituto de Pedagoga "San Jos de Calasanz"
que contaba en el 1955 con slo dos miembros y dos colectivos
ubicados en Madrid.
Hasta 1969 no se cre una red permanente de centros
dedicados a la investigacin, innovacin y formacin del
profesorado. Son:
el C.E.N.I.D.E. como entidad central coordinadora y los
I.C.E.S.
Hace slo 30 aos que comenz a considerarse la
investigacin en educacin, y posteriormente la investigacin
educativa, conveniente y que mereciera la pena invertir en ella. Si
la investigacin educativa tiene una corta historia en nuestro pas,
los trabajos sobre la tica de tal investigacin, son recientes. Las
investigaciones realizadas no tenan una finalidad educativa en s
mismas; por esto, creo que es importante, para entender la
situacin actual, diferenciar la no utilizacin de la investigacin
para fines educativos, de la incorrecta utilizacin que hagamos de
la misma.
Solo cuando hablamos de incorrecta utilizacin de la
investigacin educativa, estaremos contemplando la dimensin
tica que hoy nos ocupa.
Analizaremos:
a) Problemas ticos respecto a los participantes en la
investigacin.
b) Problemas ticos del investigador
c) Problemas ticos de la investigacin: mal uso de los
resultados

a) Problemas ticos respecto a los participantes

El principio tico que debe primar en toda investigacin
educativa es el respeto a la autonoma de los participantes.


290
Estamos abogando por el principio Kantiano de "siempre
tratar a las personas como fines en s mismos y nunca como
medios".
Frente al principio de autonoma nos encontramos con
principios utilitarios, que plantean principios ticos hipotticos,
toda vez que permiten esta autonoma si implica maximizar
beneficios. En el marco del utilitarismo, la autonoma es
instrumental: respetndola puede servir completamente los
objetivos utilitarios (Howe and Moses, 1998). Por ejemplo, desde
la moral utilitaria, se aceptan combates entre personas, si esto
provoca placer a la mayora. En el balance final, el placer
producido es mayor que el dao implicado. Esto puede ser
extendido igualmente a la investigacin bio-mdica o educativa,
cuando se defiende en base a que el conocimiento que genera,
implica mayor beneficio, a largo tiempo, que el pequeo dao
producido. Pero desde este planteamiento pueden cometerse,
adems, daos morales a los participantes, de muy difcil
solucin.
De acuerdo con MacIntyre (1982), un dao moral se
produce en una persona, cuando un curso de accin produce en
esa persona una grata propensin a seguir actuando
incorrectamente. Hay extensa documentacin sobre
investigaciones que habiendo aportado importantes beneficios
para el conocimiento, han causado irrevocables daos morales.
Quizs, el mas conocido es el de Laud Humphreys sobre
comportamientos homosexuales, o los documentados por
Haworth (1997). As pues, cuando se inflige dao moral, la
justificacin para hacer tal trabajo va incluso mas all del balance
daos -beneficios.
Consideramos que la proteccin de los participantes en la
investigacin, exige respetar la autonoma, informando a los
participantes de los fines que se persiguen con el desarrollo del
proyecto, sin ningn tipo de coaccin econmica o de poder.
Junto al valor de la autonoma est el de la privacidad de
los participantes. Esto exige anonimato de los que participan y
confidencialidad por parte del investigador, si no hubo
anonimato al facilitar la informacin.
Sin lugar a duda estos principios ticos son enormemente
controvertidos en nuestro campo, e incluso en las Ciencias
Humanas. Un informe de investigacin, que por respeto a la


291
confidencialidad, oculta un problema, puede perjudicar a los
investigados, impidiendo una posible intervencin. Por el
contrario, la no confidencialidad puede ser utilizada para la
exclusin de ciertos trabajos o situaciones. De aqu, la necesaria
autorizacin de los participantes, tras la oportuna informacin de
lo que se pretende y de lo que se ha conseguido, para poder
incluir en los informes de investigacin los resultados obtenidos.
En la investigacin interpretativa, los problemas ticos
surgidos de la relacin con los participantes son bastantes difusos
aunque no por ello menos importantes. Una investigacin
interpretativa exige un marco de relaciones sociales en los cuales
existen negociaciones previas entre el investigador y el grupo de
personas que participan, haciendo presentes creencias, valores
etc. De alguna manera la ciencia social, desde esta perspectiva, es
considerada por Macintyre (1982) ciencia moral.
La investigacin interpretativa tiene sus particulares
principios ticos (Lincoln, 1990; Murphy and Johannsen, 1990;
Wax, 1982), resaltando en primer lugar la paridad y la
reciprocidad entre todos los participantes, y en segundo lugar la
proteccin de la privacidad y la cautela en la emisin de juicios,
para poder hablar realmente de tica en las relaciones de los
participantes.
El principio de paridad supone aceptar la participacin de
todos con igual peso en el desarrollo de la investigacin. No debe
existir un objetivo partidista, en cuya consecucin se impliquen
todos, por engao y con finalidades ajenas al grupo. Todos los
participantes son fines en si mismos y no medios para conseguir
determinados propsitos individuales.
Junto a la paridad, el respeto mutuo exige la no
discriminacin ni la jerarquizacin de valores en funcin del
poder que se ostenta en el grupo.
La privacidad es un tema importante porque, si en este
modelo no es posible hablar de anonimato, la confidencialidad de
los resultados permite el respeto a la intimidad y el derecho de la
persona a elegir su vida.
La cautela en la emisin de juicios, saber donde comienza
lo que describimos y donde acaba la descripcin de las
situaciones que han sido investigadas, es necesaria. Las vastas y
densas descripciones implican negociacin entre los participantes


292
para la construccin de tales descripciones y el olvido
consiguiente de perspectivas individualistas. La ausencia de
objetividad, puesto que las descripciones exigen una fuerte carga
de interpretacin-evaluacin, transforma los informes de las
investigaciones en "juicios", importantes juicios, que hay que
consensuar y documentar.

b) Problemas ticos del propio investigador

El primer aspecto que analizaremos en la utilizacin de la
investigacin educativa es la intencionalidad del que la realiza.
Todos los investigadores consideran que sus
investigaciones van a ser importantes una vez realizadas, por lo
tanto, cobra especial protagonismo la intencionalidad que se tiene
en el trabajo.
Los investigadores educativos, esperan que su
conocimiento pueda contribuir a la mejora de las prcticas
educativas e incluso que tenga repercusiones polticas que
mejoren la vida en las escuelas.
Estas amplias expectativas generan a veces fraudes en las
informaciones que se difunden en base a datos falsos. En una
encuesta realizada en el 1988 sobre comportamientos no ticos de
los investigadores, un 19 % dijeron ser conscientes de que
realizaban plagio y falsificacin de datos (LaFollete, 1994) e
incluso llegaron a decir que dichas conductas son mas frecuentes
de lo que normalmente se dice (Howe and Moses, 1998)
A raz de estas encuestas, se realizaron listados en algunas
universidades, con investigadores fraudulentos, pero ciertamente
hay que decir que son mas los que buscan la verdad en el
conocimiento que los farsantes de datos.
En funcin de la intencionalidad de la investigacin, se
pueden ocasionar dos tipos de daos (Warwick, 1982):
intrnsecos y extrnsecos.
Consideramos daos intrnsecos aquellos que se ocasionan
por el desarrollo del propio proceso. Por ejemplo, utilizar la
decepcin o el cansancio en las investigaciones educativas, para el


293
estudio de este tipo de problemas, o simplemente causar estrs o
alteracin anmica, por la situacin de la investigacin.
Por daos extrnsecos entendemos aquellos que se
generan por la mala utilizacin que hacen de los resultados,
personas ajenas al investigador. En este dao no existe
responsabilidad moral del equipo de investigacin pero si
repercute negativamente en la imagen poltica y social de la
profesin de investigador. Por ejemplo, utilizar determinadas
investigaciones sobre las razas para jerarquizarlas en mejores o
peores, o investigaciones sobre la calidad en los Centros para
fines polticos o ideolgicos.

Dao a otros investigadores: El Plagio
Es el problema tico ms conocido y el que ms juicios
han levantado por el perjuicio que ocasiona a los propios colegas
de profesin.
Existen tres tipos de plagio:
a) Copiar literalmente un trabajo de investigacin de otros
colegas y presentarlo como propio
b) Utilizar trozos de textos o citas de otros autores sin
citarlo
c) Usar la propiedad intelectual de un autor, sin su
permiso expreso.
Estas tres situaciones, han sido frecuentemente
denunciadas y atentan gravemente contra la tica de la
investigacin. Hoy, con la posibilidad de acceder tan fcilmente a
la informacin, el plagio podra parecer que se acrecienta, pero
justo esta mayor accesibilidad a las investigaciones permite un
mayor control, junto con el desprestigio social que llevan
aparejadas este tipo de conductas.
Quizs, el acto de plagio ms inmoral, es el que se comete
por abuso de la autoridad. Me estoy refiriendo a las publicaciones
que los investigadores realizan como propias, sin citar a los
colaboradores, siendo en la mayora obra de todos, o los plagios
de trabajos de alumnos o compaeros utilizando el estatus o
poder. El hurto de la propiedad intelectual del trabajo, supera el
plagio para pasar a ser considerado "abuso de poder".


294

c) Problemas ticos de la investigacin: mal uso de los resultados

Una vez realizada la investigacin, la utilizacin de los
resultados y la veracidad de las conclusiones obtenidas, son,
finalmente, fuentes de errores en la conducta del investigador.
Patton (1997), refirindose a las evaluaciones enfatiza la
obligacin de los evaluadores para buscar una utilizacin en la
que estn de acuerdo los evaluados. En este mismo sentido,
cuando investigamos con seres humanos, es primordial contar
con los investigados para la finalidad de la investigacin; hasta tal
punto que es obligacin consensuar con el resto de los miembros
del grupo, en el caso de la investigacin -accin, o con las
personas que forman la muestra del trabajo, la intencionalidad y
repercusin futura de dicha investigacin. No hacerlo as,
conduce a un uso inadecuado de los resultados obtenidos.
La utilizacin de datos falsos se puede deber a dos
razones:
a) Para confirmar hiptesis
b) Para conseguir mayor reputacin

En el primer caso, los investigadores cambian los datos
obtenidos para poder confirmar hiptesis que son falsas. Esta
conducta a veces es inducida por presiones externas que por
haber financiado la investigacin desean confirmar hiptesis
beneficiosas para sus propsitos.
En el segundo caso, el investigador ofrece resultados y
conclusiones sobre datos inventados.
Cuando hay evidencia clara de datos falsos, el problema
tico esta claro; pero probar que los datos han sido inventados, es
un dilema tico ms complejo. El ejemplo ms alarmante de datos
falsos fue la investigacin de Cyril Burt, eminente psiclogo
britnico, que tras un excelente trabajo sobre gemelos
univitelinos, para probar la importancia de la herencia o el medio
en determinados conductas, se pudo probar, despus de muerto,
que todos sus datos fueron falsos. ( Howe and Moses 1998:29).
An en este caso, siguen existiendo controversias, sobre la


295
veracidad o no de los datos, argumentando intenciones racistas,
para la difamacin del investigador. (Rushton, 1994; Joynson,
1994)

Qu razones o presiones pueden tener los investigadores para
este tipo de conductas?

1 Competicin entre investigadores para ofrecer primicias
en los hallazgos de investigacin.
2 Conflictos con las empresas cuando tienen que ofrecer
resultados contrarios a sus intereses. Por ejemplo, financiacin de
determinadas editoriales para realizar investigaciones cuyos
resultados vayan encaminados a resaltar la metodologa del texto;
o la financiacin de alguna empresa farmacutica para la
promocin de determinados productos. En estos casos, en los que
la finalidad de la investigacin esta fijada por agentes externos,
puede obligar al investigador a falsear datos para poder seguir
consiguiendo la financiacin.
3 Necesidad de publicar para conseguir un determinado
grado profesional. Esta situacin ha empujado a investigadores a
inventarse datos que nunca han sido obtenidos en un proceso de
cientfico.
4 Abusos desde el poder, para conseguir que sean
publicados determinados trabajos en la lnea del que ostenta el
poder, en detrimento de otros que plantean resultados contrarios.

Todas estas situaciones han llevados a las asociaciones de
investigacin educativa a plantear cdigos ticos entre sus
asociados.
Cdigos de tica profesional han existido al menos desde
la antigua Grecia (cdigo hipocrtico). Todos expresan las
conductas ticas de los grupos de personas que trabajan en una
misma profesin. Estos cdigos, intentan representar los valores
de la mayora de los profesionales pero dejan sin resolver,
porque no puede ser de otra manera, los dilemas ticos de casos
concretos, al tener que ser muy generales.


296
Los cdigos en investigacin educativa son relativamente
recientes. El primero, aunque no directamente referido a una
asociacin de investigadores educativos, fue el de la APA,
American Psychological Association, en el ao 1940. Hoy, cada
asociacin tiene su propio cdigo deontolgico, por lo que no
vamos a detenernos en especificar cada uno de ellos. Todos se
centran en la consideracin de valores positivos y especialmente
en los daos morales asociados con diferentes tipos de
actividades profesionales; sirviendo de recordatorio de
obligaciones para los veteranos en la profesin, y punto de
arranque y norma para los recin llegados.


297

Bibliografa

Adelman, C (1984) : The politics and ethics of evaluation,
Londres. Croom Helm.
AlKin, M. (1975): Evaluation: Who needs it? Who cares?. Studies
in Educational Evaluation, 1(3), 201-12.
Alkin, M. and Coyle, K. (1988). Thoughts on evaluation
misutilization. Studies in Educational Evaluation, 14, 331-40.
Baron, J. (1990): Thinking about consequences . Journal of Moral
Education, 19, 17-87.
Bolivar, A.(1997): Evaluacin en la Educacin Secundaria:
Algunas consideraciones en torno a la diversidad. En
N.Illan y A. Garca (Coords): La diversidad y la diferencia en
la educacin secundaria obligatoria: Retos educativos para el
siglo XXI. Archidona (Malaga): Aljibe.
Borgatta, E.F. (1966).: Research problems in evaluatin of health
service demonstrations. Milbank Memorial Fund Quarterly,
44, 182-96.
Buenda, L.; Carmona, M.; Gonzlez, D. y Fuentes, R. (1999):
Concepciones de los profesores de Educacin Secundaria
sobre Evaluacin. Educacin XX1, 2, 125-153.
Cook, T.D. and Pollard, W.E.(1977): Guidelines: How to
recognize and avoid some commo problems of mis-
utilization of evaluation research findings. Evaluation, 4,
161-64.
Cronbach, L.J. y Snow, R.E.(1969): Individual differences in learning
ability as a funtion of Instruccional variables. Stanford,
California.Stanford University Press.
Christie, C.A. and Alkin, M.C. (1999): Further reflections on
evaluation misutilization. Studies in Educational Evaluation.
25, 1-10.
Darling- Hammond, L. (1994): Performance- Based Assessment
an Educational Equity.
Harvard Educational Review.vol 64 (1), 5-29.


298
Gage, N. (1989): The paradigm wars and their aftermath: A
"historical" sketch of research on teaching since 1989.
Educational Researcher. 18(7), 4-10.
Haworth, K. (1997, May 30): Clinton starts efforts to recruit
minority volunteers for federal research projects. Chronicle
of Higher Education.p. A39
Hidalgo, H. (1994): Que es esa cosa llamada tica?. Liga
Espaola de la Educacin y Cultura Popular. Madrid
Hose, E.R. (1980): Evaluating with validity. Beverly Hills, C.A. Sage.
Howe, K.N. and Moses, M.S. (1998): Ethics in Educational
Researh. Review of Research in Education. 24: 21-59
Joynson, R.B. (1994). Fallible judgments. Society, 31(3), 45-52.
Kemmis, S. (1986): Seven principles for program evaluation in
curriculum development and innovation. En E. R. House
(ed.) : New Directions in Educational Evaluation. The Falmer
Press. Lewes, 117-140.
LaFollete, M.C. (1994): Research misconduct, Society, 31 (3), 6-10
Lincoln, Y. (1990): Toward a categorial imperative for qualitive
research. In E. Eisner & A.
Peshkin (Eds.), Qualitative inquiry in educational research: The
continuing debate (pp. 277-295). New York: Teachers
College Press.
Linn,R.L. y Baker, E.L. (1995): What do internacional assessment
imply for world-class standars. Educational Evaluation and
Policy Analysis, 17, 4, 405-418
MacIntyre, A. (1982): Risk, harm and benefit assessments as
instruments of moral evaluation. In T.Beauchamp, R.
Wallace, and L.Walters (Eds) : Ethical issues in social science
research,(pp. 175-192). Baltimore: Johns Hopkins University
Press.
Mate, R. (1999): Moralidad de las instituciones y poderes
pblicos. Cuadernos Cives, 11, 1-7.
Murphy, M., and Johannsen, A. (1990): Ethical obligations and
federal regulations in ethnographic research and
anthropological education. Human Organization, 49, 127-
137.


299
Nietzsche, F. (1972): La genealoga de la moral. Alianza. Madrid.
Patton, M.Q. (1997): Utilization -focused evaluation: The new century
text. Thousand Oaks, Ca:Sage
Rushton, J.P. (1994): Victim of a scientific hoax. Society, 31(3), 40-
44.
Sanchez, C. (1997): Dilemas ticos de la investigacin educativa.
Revista de Educacin.312, 271-280
Scriven, M. (1973): Goal-free evaluation. En HOUSE, E. (comp.):
School Evaluation: the politics and process. Berkeley: Mc.
Schwandt, T.A. (1989): Recapturingn moral discourse in
Evaluatin. Educational Researcher, 18 (8), 11-16
Stake, R.E.(1967): The countenance of educational evaluation.
Teachers college record.68, 523-40.
Stufflebeam, D.L (1971): Educational evaluation and decision making.
Peacock. Itasca, Ill.
Warwick, D.P. (1982): Types of harmin social research. In T.L.
Beauchamp, R.R.Fadem, R.J.Wallace and L.Walters ( Eds):
Ethical issues in social science research (pp.101-124)
Baltimore:Jhons Hopkins University Press.
Wax, M. (1982): Research reciproty rather than informed
consent in fieldwork. In J. Sieber (Ed..): The ethics of social
research : Fieldwork, regulation, and publication (pp.33-48).
New York: Springer-Verlag.
Webster. W. J. (1995): The connection between personnel
evaluation and school evaluation. Studies in Educational
Evaluation. 21, 2, 227-238
Weiss, C.H. (1972): Evaluating educational and social action
programs: A tree full of owls. In C.H. Weiss (ED.):
Evaluating action programs. Boston: Allyn & Bacon.


300

ESTNDARES PARA LA EVALUACIN CUALITATIVA
Eduardo Garca Jimnez

INTRODUCCIN

El contenido de esta propuesta que se recoge bajo la
denominacin de estndares de evaluacin cualitativa no es
ms que una reflexin sobre el modo en que podran abordarse
los diferentes interrogantes que se plantean al utilizar este tipo
de evaluacin.
Aunque hayamos adoptado el lenguaje propio de la
redaccin de normas, es decir tal aspecto de la evaluacin debe
ser, slo hemos querido mostrar nuestra posicin al respecto.
El modo en que hemos expresado nuestras proposiciones no
implica imperativo alguno para la accin.
Nuestras posiciones de partida y las decisiones que
apuntamos ni siquiera tienen el rango de orientaciones para la
prctica. Queremos que se interpreten como claves para un
debate sobre el modo en que debera realizarse una evaluacin
cualitativa.


301
EVALUACIN CUALITATIVA

A pesar de lo pretensioso de la expresin, evaluar la
cualidad o evaluar utilizando una metodologa centrada en la
cualidad, admitamos que existen evaluaciones en las que una
de las caractersticas ms salientes segn sus autores es estar
realizadas desde una metodologa cualitativa.
Si nos atenemos al propio concepto de cualidad, una
evaluacin cualitativa supone ofrecer una descripcin,
explicacin o valoracin que no omite los matices, detalles y
aspectos singulares de un programa o una institucin escolar.
Hacer una evaluacin cualitativa supone transcender,
complementar o incluso obviar las interpretaciones
cuantitativas para buscar el significado de lo que se evala
entre las personas y colectivos implicados.
La evaluacin cualitativa busca las diferencias y los
puntos de vista particulares ms all de los lmites de la
significacin estadstica. Lo que no supone una diferencia
estadsticamente significativa puede convertirse en objeto de
atencin de la evaluacin cualitativa. Dos colectivos (p.e. padres
y profesores) pueden pensar de modo distinto acerca de
viabilidad de un programa y sus diferencias no ser cuantitativas
sino simplemente cualitativas.
William James pregunt a un carpintero acerca de las
diferencias entre lo cualitativo y lo cuantitativo. El carpintero,
acostumbrado a tratar con clientes de toda condicin, le
respondi: Hay muy poca diferencia entre un hombre y otro;
pero la poca que hay es muy importante (Patton, 1987: 30-31).
Un proceso de evaluacin utilizando una metodologa
cualitativa podra justificarse como resultado de la adopcin de
una determinada perspectiva ideolgica, como el fruto de una
decisin de ndole epistemolgica o ms simplemente como la
consecuencia de la eleccin de una determinada perspectiva
metodolgica. No obstante, concretar las razonones que nos
llevan a hacer una evaluacin siguiendo una metodologa
cualitativa supone operar en un marco vagamente definido en
el que apenas son perceptibles algunos hitos bsicos.
Lo que podemos decir es que detrs de quienes escriben
en torno a y/o realizan las evaluaciones cualitativas solo es


302
posible identificar algunos rasgos comunes si bien de carcter
fundamental- tales como la democratizacin del proceso
evaluador, el peso de los estudios de casos, el empleo de
mtodos preferentemente obtrusivos, la importancia de las
audiencias en todas las fases de la evaluacin o la naturaleza
dinmica de la validez.

Cundo debe emplearse una evaluacin cualitativa,
porqu implicarse en un proceso tan poco definido y
estructurado de antemano, qu garantas existen sobre la
calidad de una evaluacin de esa naturaleza son algunas de las
cuestiones que pueden plantearse quienes han pensado en
utilizar este tipo de evaluacin. Responder a esas cuestiones nos
hace aventurarnos en la redaccin de un conjunto de
orientaciones o deber ser de la evaluacin cualitativa
relacionadas con los destinatarios, propsitos, diseo, validez,
relaciones evaluador-destinatarios e informe de evaluacin.

DESTINATARIOS DE LA EVALUACIN

A quin puede interesar una evaluacin cualitativa? o
an mejor, qu persigue quien encarga o se implica (como
evaluador, cliente, audiencia, etc.) en un proceso de evaluacin
cualitativa?
Aquellos que voluntariamente se implican en un proceso
de evaluacin desarrollado desde una perspectiva cualitativa
deberan esperar que sta cubra un rango de expectativas o
intereses. Merece implicarse en un proceso de evaluacin
cualitativa si se est dispuesto a:

Admitir la existencia de explicaciones ambiguas,
incluso contradictorias, como resultado de la
evaluacin.
Reconocer que la perspectiva o visin de una sola
persona pueda tener cabida en el informe de
evaluacin junto a la perspectiva mayoritaria o
dominante.


303
Aceptar que la evaluacin se base en la utilizacin de
criterios o valores opuestos entre s.
Admitir una evaluacin sin valoraciones ni
recomendaciones, basada nicamente en
interpretaciones, explicaciones o meras descripciones.
Negociar la finalidad, el diseo, los criterios o los
resultados de la evaluacin.
Cuestionar la propia naturaleza del objeto de
evaluacin, de modo que el programa o institucin
escolar evaluados son entidades que no pueden
construirse como un a priori incuestionable.
Aceptar la existencia de audiencias inicialmente no
previstas o no contempladas en el diseo inicial.
Reconocer como vlidas metas no previstas en el plan
inicial de evaluacin y que pueden incorporarse a
posteriori a dicho plan.
Utilizar un diseo que puede ser emergente y, por
tanto, susceptible de modificaciones a lo largo del
proceso de evaluacin.
Admitir en el caso de programas o instituciones
educativas financiadas con fondos pblicos que otras
audiencias (p.e. todos los ciudadanos) puedan tener
libre acceso a los resultados de la evaluacin.

Si lo que los destinatarios y/o clientes buscan es
diferente a esto que acabamos de enumerar es preferible que, si
pueden elegir, no opten por realizar una evaluacin siguiendo
una metodologa cualitativa.

PROPSITOS, PREGUNTAS, SITUACIONES

Partiendo del supuesto de que las evaluaciones
desarrolladas siguiendo procedimientos cualitativos
constituyen una entidad diferente a las evaluaciones
cuantitativas, cabe considerar que el modo cualitativo de


304
proceder puede ofrecer una respuesta metodolgicamente
distinta ante determinados problemas de evaluacin.
Aqu vamos a sugerir la posibilidad de que la
metodologa cualitativa se adecua mejor a ciertos propsitos,
interrogantes y situaciones de evaluacin. Incluso podra decirse
que hay evaluadores que utilizan una metodologa cualitativa
cuando evaluando un programa, centro o recurso educativos
quieren responder a ciertas preguntas o cuando la evaluacin
que quieren realizar se inscribe en una situacin que hace
recomendable el empleo de este tipo de metodologas.
El empleo de una metodologa cualitativa es
recomendable cuando el inters del evaluador se centra en
conocer cmo se han generado determinados resultados tras la
aplicacin de un programa o cmo una institucin educativa ha
llegado a adquirir las seas de identidad que la caracterizan. En
relacin con el objeto evaluado, al evaluador le interesan los procesos
antes que los resultados.
Si lo que se persigue es comprender las dinmicas
internas de un programa, los entresijos de una institucin, el
modo en que se elaboran o usan determinados recursos
educativos, si se desean conocer las fortalezas y debilidades de
lo que se evala, si se pretende mejorar la oferta educativa
actual utilizar una metodologa cualitativa puede ser una buena
decisin.
El empleo de una metodologa cualitativa es
recomendable cuando el evaluador est interesado en obtener
informacin diferenciada de y para los destinatarios de la
evaluacin. En relacin con los destinatarios de la evaluacin, al
evaluador le interesa documentar lo particular antes que lo general, lo
individual antes que lo colectivo.
Si lo que pretende el evaluador es acercarse al modo en
que grupos diferentes y personas a nivel individual estn
afectados por una propuesta educativa en forma de proyecto,
programa, institucin educativa, etc. y pretende identificar sus
diferentes criterios y perspectivas de valor ofreciendo
resultados que mantengan tales diferencias, utilizar una
metodologa cualitativa puede ser una buena decisin.
El empleo de una metodologa cualitativa es igualmente
recomendable cuando el evaluador est interesado por reflejar


305
la diversidad. En relacin con el contexto o escenario social y
educativo, al evaluador le interesa describir cmo un programa, un
recurso o una institucin educativa se adaptan a nivel local.
Si lo que pretende el evaluador es caracterizar el modo
en que las intervenciones educativas se adaptan a las
condiciones locales, las necesidades y los intereses de sus
posibles destinatarios, si persigue identificar los cambios
operados en tales intervenciones como consecuencia de su
ajuste a un contexto dado, si desea conocer lo especfico o
incluso las cualidades nicas asociadas a una intervencin
educativa utilizar una metodologa cualitativa es una buena
decisin.

DISEO DE EVALUACIN

El diseo ms adecuado para configurar una evaluacin
educativa es aquel que ms se ajusta al sentido y los propsitos
de este tipo de evaluacin. Es decir, un diseo de evaluacin
cualitativa debe recoger: entre lo general lo particular; entre lo
mayoritario, lo minoritario; entre lo comn, lo singular; entre lo
uniforme, lo diverso.
La seleccin de las audiencias es el primer elemento
clave en un diseo de evaluacin cualitativa, dado que desde la
delimitacin del objeto de evaluacin hasta la redaccin del
informe est condicionada por quines estn afectados por el
desarrollo y los resultados de la evaluacin.
En una evaluacin cualitativa deberan seleccionarse a
aquellos participantes que representasen a las diferentes
audiencias afectadas por el proceso evaluador. Slo mediante
una adecuada identificacin de las audiencias es posible que la
evaluacin satisfaga sus necesidades. El evaluador debe prestar
atencin a la existencia de otras audiencias adems de las
oficialmente reconocidas como destinatarias de la evaluacin, y
debe esforzarse en acceder a la perspectiva que tales audiencias
tienen sobre el objeto evaluado.
Un segundo elemento a considerar en el diseo es el de
la seleccin de los participantes en el proceso de evaluacin.
Ellos son los que van a ofrecer informacin sobre el objeto


306
evaluado, determinar los criterios de evaluacin y validar las
descripciones o valoraciones que se ofrecen en el informe.
Una seleccin adecuada de los participantes debe ser
exhaustiva. Es decir, debe recoger el nmero de participantes
necesario para que estn reflejadas todas las posiciones
diferenciadas que existen sobre aquello que se evala. Todos los
colectivos y personas que tengan algo distinto que decir de lo
ya dicho deberan ser consultadas. En ese sentido, debe
buscarse junto al sentir mayoritario el del grupo minoritario y,
junto a ste, debe recogerse la perspectiva del caso nico y del
caso negativo. Adems, en el transcurso de la evaluacin puede
negociarse la participacin de nuevas audiencias.
Un tercer elemento a tener en cuenta en el diseo tiene
que ver con la propia definicin del objeto evaluado y con los
propsitos de la evaluacin. La seleccin de las audiencias es,
en este caso, clave tanto para decidir lo que interesa evaluar
cmo la finalidad que se persigue al evaluarlo.
La definicin del objeto a evaluar y la delimitacin de los
propsitos de la evaluacin deben ser fruto de la negociacin y
del consenso. Las audiencias deben sentir que sus intereses
estn bien representados, de modo que lo que se evala sea
necesario y suficiente para responder a sus propsitos.
Pero, adems, igual que en el transcurso de la evaluacin
es posible incorporar nuevas audiencias tambin debe ser
posible incorporar nuevos propsitos a los inicialmente
planteados. Estos ltimos, tambin debe ser negociados con las
audiencias.
Un cuarto componente del diseo est relacionado con el
establecimiento de los trminos de comparacin. Entendemos
por trminos de comparacin los referentes con los que se
compara el objeto evaluado. Trminos de comparacin de un
programa seran el propio programa, otros programas similares
o incluso los estndares de lo que debe ser un programa en un
campo educativo dado.
Las audiencias implicadas en un proceso de evaluacin
deben poder decidir con qu desean comparar el objeto
evaluado y en qu nivel de especificidad quieren establecer la
comparacin. De nuevo, esa decisin debe nacer fruto de la
negociacin. Es competencia del evaluador mostrar todas las


307
posibles comparaciones que pueden realizarse y orientar a las
audiencias sobre las ventajas e inconvenientes que comportan.
El evaluador puede asesorar sobre las posibilidades de
generalizar los hallazgos pero son las audiencias las que tienen
la llave de la generalizacin.
La formulacin o seleccin de los criterios de evaluacin
constituye el quinto componente a considerar en el diseo.
Como punto de partida cabe esperar que no exista unanimidad
en los criterios que se propongan por las diferentes audiencias,
dado que stas pueden tener diferentes necesidades e intereses.
Los criterios de evaluacin deben formularse de modo
que estn representados los distintos intereses y necesidades de
las audiencias. Dicha formulacin debe ser exhaustiva, dado
que es posible recoger criterios contrapuestos y que puede
obtenerse ms de una interpretacin de un mismo hecho o
fenmeno evaluado.
Decidir el enfoque ms adecuado para completar el
proceso de evaluacin es el sexto elemento a considerar.
Estamos hablando de la necesidad de fijar cmo se va recoger la
informacin y cmo se va a determinar que la evaluacin
realizada satisface los objetivos que la justifican.
Los diseos utilizados en la evaluacin cualitativa (p.e.
los estudios de casos) son naturalistas: no intentan manipular el
programa o sus participantes para responder a los propsitos
de la evaluacin. Este enfoque es apropiado cuando se parte de
la idea de que los programas, servicios y actuaciones educativas
son algo dinmico y en desarrollo que se define continuamente
en la prctica.
Los evaluadores utilizan una indagacin naturalista
cuando se ocupan de captar los procesos implicados en un
programa, en documentar las variaciones habidas en una
institucin educativa o en explorar las diferencias individuales
que se producen ms all de los resultados previstos. Los
diseos utilizados en la evaluacin cualitativa estn, entonces,
particularmente orientados hacia la exploracin, el
descubrimiento y la lgica inductiva.
Los diseos de evaluacin cualitativa son holsticos, es
decir, los evaluadores se esfuerzan por comprender las


308
situaciones, instituciones y programas educativos como un
todo.
La informacin a recoger puede estar sesgada por la
perspectiva de una audiencia particular. Adems puede ser
equvoca y contradecir la ofrecida por una audiencia rival. Para
recoger esa informacin, los evaluadores y/o los destinatarios
de la evaluacin pueden utilizar una variedad de
procedimientos y tcnicas.
Una evaluacin cualitativa debe apoyarse en
procedimientos que describan lo general y en otros que
desciendan a lo particular: debe recoger informacin
documentada, testimonios personales, opiniones de grupo,
valores, debates, artefactos, etc.
Un ltimo elemento del diseo tiene que ver con la
propia resolucin del mismo. Un diseo de evaluacin
cualitativa admite ms de un final. Dado que se parte de la
existencia de diferentes audiencias que tienen sus propias
necesidades e intereses en la evaluacin, dado que esas
audiencias pueden formular distintos criterios y proporcionar
informacin sesgada, entonces tambin debe ser posible
encontrar ms de una explicacin e interpretacin de lo
evaluado.
Una evaluacin cualitativa puede proporcionar una
descripcin, interpretacin o valoracin validada por la
mayora de los destinatarios de la misma, pero puede ofrecer
adems una explicacin complementaria, partidista o parcial de
lo que se evala y que slo representa a un grupo o a un
disidente.
El alto nivel de participacin de los destinatarios es,
quizs, la caracterstica ms saliente de los diseos de
evaluacin cualitativa. Podramos decir que un diseo de
evaluacin cualitativa es aquel que se construye para responder
a las necesidades de informacin de las audiencias, que es
acorde con el modo de enfocar el situacin (heurstica) que
tienen las audiencias y que ofrece descripciones e
interpretaciones que deben ser validadas por las audiencias.
Un diseo de evaluacin cualitativa debe ser, adems, lo
suficientemente simple como para que las decisiones que se
derivan resulten comprensibles para las audiencias. En otros


309
trminos, los destinatarios de la evaluacin deben hacer suyo el
diseo para poder posicionarse sobre la validez de las
explicaciones que ofrece.

VALIDEZ

En la evaluacin cualitativa la idea de validez est, sobre
todo, asociada a la de utilidad y sta se interpreta como una
cuestin de valor. Aqu examinaremos esa idea tanto desde la
propia calidad de las evaluaciones (validez interna) como desde
la posibilidad de extender sus hallazgos a otros contextos y
situaciones (validez externa).
Una evaluacin cualitativa se considera ms o menos
vlida en la medida en que es capaz de dar respuesta a las
necesidades, problemas o motivaciones origen de la propia
evaluacin; es vlida en la medida en que est relacionada con
los fines de alguien y con la utilidad que le proporcione.
La validez de una evaluacin no es universalmente
defendible sino que est ligada a un contexto social y
psicolgico y a unos destinatarios concretos. El proceso y los
resultados de una evaluacin son, por tanto, ms o menos
valiosos dependiendo de las audiencias implicadas en cada
caso.
Una evaluacin es vlida cuando, de acuerdo con los
fines que la motivaron, proporciona explicaciones y facilita la
comprensin de aquellos a quienes est destinada; es vlida
cuando los destinatarios de la evaluacin la consideran bien
fundamentada, justificable o aplicable.
La validez es, desde luego, un concepto dinmico fruto
de la interaccin entre los argumentos de los evaluadores y de
las audiencias o destinatarios de la evaluacin. El
procedimiento utilizado para determinar la validez sigue la
lgica de ajuste al modelo: el evaluador comprueba en qu
medida su descripcin del objeto evaluado se acerca o aleja de
dicho objeto, pero en la misma medida los destinatarios
tambin comparan la evaluacin realizada con su propia
experiencia. En definitiva, determinar el valor de lo evaluado
no es asunto exclusivo del evaluador sino algo en lo que los


310
destinatarios tienen mucho que decir. Como seala House
(1994), al final son las audiencias las que deciden cunto desean
creer.
Adems, la validez de una evaluacin cualitativa no es
algo ajeno al propio evaluador. Se considera que una
evaluacin que proporcione juicios de valor, frutos de un
acuerdo pblico e intersubjetivo, al margen del propio
evaluador sencillamente es inviable.
Una evaluacin es tanto ms vlida cunto el evaluador
mejor conoce, se interesa e interpreta las necesidades,
perspectivas y valoraciones de aquellas personas y colectivos
afectados por los resultados de la evaluacin. Puesto que son
las audiencias quienes finalmente certifican la validez de una
evaluacin, sta ser ms vlida en la medida en que los
destinatarios de la evaluacin vean al evaluador como un
miembro ms del grupo o de la comunidad preocupado,
interesado y sensible a los argumentos pertinentes y, desde
luego, como una persona capaz de explicarles y hacerles
comprensible determinados razonamientos.
En consecuencia, coincidir en la apreciacin de que una
evaluacin es vlida supone de algn modo afirmar la propia
vala del evaluador. Desde esta perspectiva, un evaluador se
considera vlido cuando tiene en cuenta, an sin compartirlas,
las diversas posturas mantenidas por los destinatarios de la
evaluacin y cuando se muestra imparcial, es decir, cuando no
toma partido de antemano a favor de una u otra postura.
En la evaluacin cualitativa al asumir el evaluador la
responsabilidad personal de sus juicios es su propia
credibilidad la que est en juego.
Establecer la validez de una evaluacin cualitativa es, en
definitiva, apelar a la racionalidad y a la capacidad
argumentacin del evaluador y a la racionalidad y a la
capacidad de interpretacin de las audiencias.
En lo que respecta a la validez externa o posibilidad de
generalizar los resultados de una evaluacin, el punto de vista
de los destinatarios de la evaluacin tambin resulta esencial.
Dado que la capacidad de generalizar los hallazgos se basa en
una informacin externa al evaluador que slo tienen las
audiencias es a ellas a quienes compete realizar esas


311
generalizaciones. As, partiendo de sus propios conocimientos,
experiencias y valores los destinatarios de una evaluacin
estaran en inmejorables condiciones para asociar determinados
resultados con contextos sociales y psicolgicos especficos.

RELACIONES ENTRE EL EVALUADOR Y LAS PARTES INTERESADAS

En una evaluacin cualitativa estn presentes,
probablemente en mayor grado que en otros tipos de
evaluacin, cuestiones que afectan a las relaciones entre las
personas implicadas en la misma. Muchos trminos de la
evaluacin deben ser negociados, existe un alto nivel de
participacin de las audiencias en el diseo de evaluacin,
deben adoptarse decisiones que modifican lo inicialmente
previsto y el criterio de validez de la evaluacin no es
invariablemente aceptado por los destinatarios.
Este estado de cosas precisa ser fijado contractualmente
antes de que se inicie el proceso de evaluacin. Un contrato
debe definir las relaciones entre evaluadores y patrocinadores y
ponerlas de manifiesto ante las audiencias.
Un contrato de evaluacin tiene ser equitativo en
relacin con las partes afectadas por la evaluacin y con los
propios evaluadores. Para ello, debe que cumplir las siguientes
condiciones (ver House, 1980):
La equidad exige que los partes interesadas en llegar
a un acuerdo no estn sujetas a presiones coercitivas;
ningn participante debe sentirse obligado por otros
participantes o por las circunstancias en que se
encuentran. El contrato, pues, debe estar libre de
coercin.
Los participantes deben aceptar los trminos o reglas
que se establecen.
El contrato debe ser el resultado de la construccin
consciente de las partes y no una mera coincidencia
de pareceres. Supone un esfuerzo conjunto al que se
llega despus de un proceso de negociacin y no
algo que se acepta dependiendo del estado de nimo


312
o se rechaza cuando as lo establece las veleidades
de una de las partes.
El contrato debe ser interesante pero no interesado,
debe construirse pensando en lograr lo fundamental
de nuestras pretensiones y no sobre la base de una
atencin excesiva a nuestros intereses.
Las normas que se dicten en el contrato deben
afectar por igual a todos los firmantes.
El contrato debe redactarse en unos trminos que
persigan el inters comunitario y no salvaguardar
los derechos de unos pocos a costa de la
desinformacin o la exclusin de la mayora.
Los participantes deben recibir informacin sobre
los hechos y decisiones que se adopten y a esa
informacin todos deben tener las mismas
posibilidades de acceso.
El contrato debe estar redactado de modo que no
represente un peligro potencial para cualquiera de
las partes y que promueve el acuerdo previo en caso
de conflicto antes que la sancin.
El contrato debe ser pragmtico, es decir, tiene que
poder llevarse a cabo en los trminos en que est
redactado.
Durante el proceso de redaccin del contrato, las
partes deben tener la oportunidad de hacer constar
lo que crean conveniente.
Todas las partes deben tener la oportunidad de
participar y de hacer or su voz.

INFORME DE EVALUACIN

Una evaluacin cualitativa debe plantear el informe de
evaluacin como un acto que vincule su elaboracin y difusin
con los participantes y audiencias interesadas. De una parte, un
informe de evaluacin debe aludir al objeto de evaluacin y su
contexto, as como a los procedimientos utilizados y a los


313
resultados obtenidos. Su contenido, por tanto, debe responder a
la premisa de que las audiencias entiendan sin dificultad lo que
se ha hecho, porqu se ha hecho, qu informacin se ha
obtenido y cules son las descripciones, explicaciones o
valoraciones resultantes.
De otra parte, la evaluacin debe difundirse a todas las
audiencias interesadas inicialmente por el proceso de
evaluacin y a aquellas otras que directa o indirectamente se
ven afectas o han financiado esa evaluacin. En definitiva, en la
evaluacin de prcticas sociales como las educativas toda la
comunidad debe conocer lo que en ltimo trmino ha
financiado.
En relacin con los dos elementos destacados, en la
redaccin de un informe de evaluacin cualitativa deberan
considerarse los siguientes elementos:
El informe debe centrarse en los elementos ms
importantes de la evaluacin, construyendo el
discurso argumentativo en torno a la idea o tesis
central de la que puedan derivarse otras ideas. Utilizar
referentes o ejemplos que ilustren esas ideas y su
desarrollo.
Al construir la argumentacin anterior debe
considerarse, cuando los haya, equvocos o
ambigedades.
Es necesario invitar a los representantes o personas
representativas de las audiencias a que revisen el
informe. Igualmente, es pertinente que las audiencias
tengan acceso a los informes interinos que se elaboran
durante el desarrollo de la evaluacin.
Hay que preparar informes adecuados (formato, nivel
de desarrollo tcnico) a las necesidades manifestadas
por las audiencias. No obstante, debe considerarse la
posibilidad de que todas las audiencias tienen derecho
a conocer el informe total.
Es pertinente mantener el contacto con las audiencias
tras la redaccin del informe. A ser posible, es
recomendable utilizar para ello diferentes tcnicas de
comunicacin que complementen al texto del informe
(mesas redondas, comunicaciones, radio, prensa, etc.).


314
Debe asegurarse que los informes puedan llegar, al
menos, a las audiencias interesadas o directamente
afectada.
Es necesario asegurar que los interesados tienen
acceso a los contenidos del informe que les afectan de
un modo negativo (prcticas ilegales, consecuencias
no deseables a nivel profesional, etc.).


315
Bibliografa
Patton, M.Q. (1987). How to Use Qualitative Methods in
Evaluation. Newbury Park, California: Sage.
House, E.R. (1980). Evaluating with validity. London: Sage.


316

EVALUACIN DE PROGRAMAS DE ORIENTACIN
Ricard Mar Moll

EL PERFIL DEL ORIENTADOR

El nuevo perfil del orientador conlleva la necesidad de
integrar diversas profesiones en equipos de trabajo, que deben
consensuar objetivos para definir estrategias distintas.
Segn diversos estudios referidos a la determinacin de
funciones y roles profesionales del orientador (Lzaro y otros,
1982; Soler, 1989; Escudero y otros, 1992; lvarez y otros, 1992;
Sobrado, 1996, 1997) se reconoce, entre otras, la funcin de
evaluador. As, haciendo una recopilacin de las diferentes
funciones sealadas por los diversos autores, se puede concluir
que las funciones profesionales del orientador seran: la funcin
diagnstica, la funcin evaluadora, la funcin informativa, la
funcin formativa, la funcin de apoyo, la funcin teraputica y
la funcin preventiva.
Aunque, hay que decirlo, se observa que la funcin
evaluadora, junto con alguna otra, presenta una alta dispersin
en las percepciones de los orientadores, as como no hay un
reflejo de su importancia por parte de la administracin.


317
La revisin realizada por Vctor lvarez Rojo y Josefina
Hernndez Fernndez (1998) sobre los modelos de programas
como metodologa de intervencin socio-psico-pedaggica, seala que
de los trabajos presentados en las revistas y foros profesionales,
solamente un 10% de los trabajos presentados refieren
cuestiones relativas a los modelos de programas. El contenido
de estos trabajos muestra que ms de la mitad de los mismos
(58%) consiste en la presentacin de programas o de
experiencias realizadas con programas en diferentes contextos
de intervencin, incluyendo en su caso datos de su aplicacin y
evaluacin; y una tercera parte versa sobre aspectos terico-
metodolgicos de la evaluacin de programas (p. 96).
Por lo que podemos concluir que, aunque la mayor
parte de los profesionales de la orientacin de nuestro pas
coinciden en sealar la evaluacin como una funcin
profesional del orientador, sin embargo, existe una escasa
investigacin sobre los resultados de las intervenciones de los
orientadores, tanto desde la perspectiva de servicios como
desde la perspectiva de la aplicacin de programas y, menos
todava, sobre reflexiones terico-metodolgicas de la
evaluacin de programas.
Las razones explicativas de esta situacin suelen
coincidir en las siguientes afirmaciones: a) existe poca
formacin evaluadora entre los orientadores, b) se respiran
unas actitudes de creencia y confianza de que el enfoque de
programas es la forma efectiva de hacer frente a los retos
actuales planteados por la profesin (Sanz Oro, 1998, p. 67) y
c) existe una escasa institucionalizacin de los servicios de
orientacin y de la evaluacin de dichos servicios.
No obstante, queremos incidir en la afirmacin primera,
la evaluacin es una de las funciones de la actividad profesional
del orientador, sobre todo desde la perspectiva de intervencin
por programas. Y para que esta profesin se afiance en nuestro
pas, ser necesaria, en primer lugar, una red de equipos de
orientacin estable, esto es, una base organizacional para que
los profesionales planifiquen, diseen y ejecuten programas de
orientacin, y, en segundo lugar, se precisar la evidencia
emprica que justifique su mantenimiento mediante la
investigacin a travs de la evaluacin de la efectividad de
dichos programas.


318

LA EVALUACIN DE PROGRAMAS

El programa es un proceso de intervencin recurrente
de diseo - aplicacin - evaluacin - rediseo - aplicacin ...
(Alvarez Rojo y Hernndez, 1998). Por lo que, la intervencin
por programas configura un proceso formal de accin-reflexin,
llamado investigacin evaluativa. Ello es as porque la
intervencin por programas no puede concebirse separada de
una serie de procesos de evaluacin convergentes: evaluacin
de necesidades, evaluacin del funcionamiento del programa
diseado, evaluacin de estrategias de aplicacin, evaluacin
de resultados...
De forma que, en la intervencin por programas
podramos encontrar varias fases que se podran delimitar
como: Evaluacin de necesidades, Diseo del programa,
Aplicacin del programa, y Evaluacin del programa. Siendo la
evaluacin una parte del proceso de intervencin por
programas, no una sugerencia oportuna o conveniente, y,
adems, la parte que ms atencin a despertado social y
profesionalmente. Tal vez, porque los gestores de programas y
los administradores quieren demostrar y comprobar
respectivamente la efectividad de las propuestas y proyectos.
El campo de la evaluacin de programas, pues, aunque
no est consolidado, dispone de una entidad propia y est
produciendo una importante literatura.
Si atendemos a los trabajos de Fairchild y Zins (1986) y
su rplica por Fairchild (1993), se observa, en los EEUU, un
aumento significativo del porcentaje de orientadores que
recogen datos de evaluacin de programas. Segn estos
autores, los orientadores, mediante la evaluacin, pretende
obtener informacin sobre: a) datos enumerativos (sobre
tiempos, frecuencias, etc.), b) datos de proceso (caractersticas
personales y habilidades profesionales del orientador), c) datos
de resultado (cambios de conducta observados como
consecuencia de la intervencin).
Los mtodos para obtener esta informacin suelen ser
mltiples: simples tablas de frecuencias, anlisis de tiempos,
escalas de estimacin y cuestionarios, estudio de casos,


319
entrevistas, juicio de expertos, etc. No habiendo ninguna
alusin a teoras de la evaluacin de programas o reflexin
terico-metodolgica sobre la misma. Finalmente, sealan que
existe una especializacin en la comunicacin de resultados,
dado que se realizan informes para los administradores,
consejos escolares, peridicos, comunicaciones cientficas, etc.
En este mismo sentido, Borders y Drury (1992), insisten
en la implicacin de la evaluacin en la intervencin por
programas e indican que la informacin producida por la
evaluacin se resume en: a) servicios que ofrece el programa, b)
porcentaje de tiempo que invierte el orientador en cada
actividad, c) nmero de estudiantes a los que atiende, c)
resultados obtenidos (en forma de competencias adquiridas por
los estudiantes).
Respecto de los mtodos utilizados, para obtener esta
informacin, por los orientadores, tampoco seala ninguna
alusin a teoras de la evaluacin de programas o reflexin
terico-metodolgica sobre la misma. As, refiere el uso de
modalidades metodolgicas cuantitativas y cualitativas,
formales e informales, junto con recursos metodolgicos como
evaluacin de los participantes (escalas de actitudes,
cuestionarios...), observacin directa (determinar la naturaleza
exacta de un problema de conducta en un contexto, o medir su
evolucin y cambio en el tiempo), estudio de casos,
comparaciones pretest - postest, escalas de logro de metas,
seguimientos longitudinales, etc.

LA NECESIDAD DE LA EVALUACIN DE PROGRAMAS DE
ORIENTACIN

Si partimos de que la funcin bsica del orientador es la
satisfaccin de las necesidades de los estudiantes o de cualquier
otro usuario, la evaluacin de esta funcin mediante lo que se
ha definido como evaluacin de programas, contribuir a
aquella funcin mediante una serie de aportaciones para
mejorar el programa, proporcionar mayor informacin para
mejorar la toma de decisiones, y poder justificar la toma de
decisiones frente a las decisiones fruto de intuiciones, rumores,


320
corazonadas derivadas de la creencia en la bondad intrnseca de
la accin orientadora.
Esta actividad proporciona, adems, una serie de
ventajas a la accin profesional del orientador como: recibir un
feedback sobre el grado de objetividad del programa de
orientacin, poder identificar a estudiantes cuyas necesidades
no estn siendo satisfechas, utilizar la base de la efectividad
para elegir las tcnicas de orientacin, disponer de evidencias
para requerir mejoras en el personal o servicios.
Asimismo, la evaluacin de programas presenta una
serie de problemas o dificultades en su realizacin de varios
tipos:
a) comunes a todas las investigaciones: determinar el
momento de la evaluacin, obtener apoyos y ayudas,
interpretacin de resultados de forma comprensible, etc.
b) relacionados con los objetivos del programa: la definicin
operativa de los objetivos, la determinacin del criterio del
programa y su amplitud para eliminar variables-actuaciones, el
no relacionar los objetivos del programa con los del centro, la
inmediatez o mediatez de los criterios del programa cuya
validacin precisar de metas a corto o largo plazo, el
considerar las metas como deseables en general ignorando las
diferencias individuales y la adecuacin del programa a las
caractersticas del centro.
c) relacionados con la dificultad de encontrar grupos de
control apropiados: falta de un grupo de control apropiado, o del
control de la motivacin necesaria, as como los problemas
ticos de negar a un grupo en programa de orientacin.
d) relacionados con el muestreo: como la seleccin de la
muestra para la generalizacin de resultados y las dificultades
de generalizacin ante la necesidad de la contextualizacin de
programas y la existencia de la escuela de la diversidad.

PROCESO DE EVALUACIN DEL PROGRAMA DE EVALUACIN

Respecto de la determinacin de procesos concretos de
evaluacin de programas se han seleccionado dos propuestas.


321
En primer lugar podramos considerar la aportacin de M
Mercedes Martn (1997). Siguiendo el modelo de
autoevaluacin de la EFQM (European Foundation for Quality
Management), dicha autora propone un proceso innovador en
el que se destacan los siguientes momentos procesuales:

Planificacin:
Estudio del contexto de trabajo, diseo del instrumento de
evaluacin, y determinacin de las fuentes de evidencia o
de informacin bsica.
Recogida de informacin:
Incluyendo el anlisis de componentes y la aplicacin de
tcnicas e instrumentos.
Conclusin:
Incluyendo la valoracin de cada componente y la
elaboracin del informe final en el que se ofrece
informacin sobre cada componente as como se formulan
propuestas de mejora.

Por otra parte, Sanz Oro (1998) propone un proceso de
evaluacin de programas en el que destaca los siguientes
componentes:

Anlisis de necesidades:
De importancia bsica para determinar los indicadores en
los que basar el xito del programa.
Establecimientos de metas y objetivos:
Priorizacin de necesidades y establecimiento de los
objetivos del programa.
Diseo del programa:
Planificacin de las actividades para la aplicacin del
programas, as como su secuenciacin e identificacin de
recursos y costos.
Modificacin y mejora del programa:


322
Aplicacin de un sistema de evaluacin continua que
permita los cambios o ajustes en los objetivos o
actividades.
La evaluacin que propone sera tanto de tipo
Transaccional o de Procesos como de Producto.
Informe y utilizacin de los resultados de la evaluacin.

LA TEORA EN LA EVALUACIN DE PROGRAMAS
La evaluacin de programas se ha considerado como
una modalidad de investigacin aplicada, ms que como una
disciplina de conocimiento. No obstante, el desarrollo de su
aplicacin ha ido parejo al desarrollo de los mtodos de
evaluacin y su enfoque ha estado orientado desde diferentes
paradigmas.
Desde las posiciones enfrentadas de Campbell y Stanley
(1963) y Cook (1969) exigiendo que la evaluacin siga los
diseos experimentales y de Parlett y Hamilton (1978) y Guba y
Lincoln (1981) exigiendo una metodologa cualitativa, han
ocurrido, aparte de muchos enfrentamientos metodolgicos,
unos cambios importantes en las concepciones metodolgicas.
Las discusiones paradigmticas habidas han contribuido
al desarrollo de la evaluacin de programas, puesto que se ha
conseguido un amplio consenso en el hecho de aceptar la
complementariedad paradigmtica y, con ella, integracin
metodolgica. Esta situacin ha determinado que segn los
propsitos u objetivos de la evaluacin se determinen unas u
otras metodologas de evaluacin.
Por ello, se hace necesario la elaboracin de una teora
de evaluacin de programas.

CONCLUSIONES
Si bien es necesaria la evaluacin de programas, hay un
porcentaje elevado de prcticos que no la utiliza.
El problema de los orientadores es la escasa familiaridad
o conocimientos de los recursos de evaluacin y su
procedimiento.Se sugiere incluir un prcticum de evaluacin


323
en la formacin de orientadores.Se sugiere que las asociaciones
profesionales jueguen un papel ms activo en las tareas de
perfeccionamiento profesional.
Entre las propuestas de los profesionales de la
orientacin destacan la insistencia en el conocimiento de:
mtodos de elaboracin de cuestionarios y dems
instrumentos para la recogida de datos en la evaluacin,
mtodos especficos para recoger datos de proceso y de
resultado,
listados de procedimientos e instrumentos de evaluacin,
mtodos para analizar los datos, valorar e informar,
modelos de evaluacin globales y comprensivos, y
aplicacin de la informtica a la evaluacin.


324
Bibliografa

LVAREZ ROJO, V. y otros (1992). La orientacin institucional en
Andaluca. Aportaciones para su evaluacin. Sevilla.
Universidad de Sevilla (Grupo MIDO).
LVAREZ ROJO, V. y otros (1988). Evaluacin de programas
de orientacin: La evaluacin del contexto y del diseo.
Ponencia IV Seminario de Modelos de Investigacin
Educativa. Santiago de Compostela.
LVAREZ ROJO, V. y HERNNDEZ FERNNDEZ, J. (1998),
El modelo de intervencin por programas. Aportaciones
para una revisin. Revista de Investigacin Educativa, 16
(2), 79-123.
BORDERS, L.D. y DRURY, S.M. (1992). Comprehensive school
counseling programs: A reviev for policymakers and
practitioners. Journal of Counseling and Development,
70487-498.
ESCUDERO, J.M. y otros (1992). El asesoramiento a centros
educativos. Estudio evaluativo de los equipos Psicopedaggicos
de la Comunidad de Madrid. Madrid. Consejera de
Educacin.
FAIRCHILD, T.N. (1993), Accountability practices of school
counselors: 1990 national survey. School Counselor, 40,
363-374.
FAIRCHILD, T.N. y ZINS, J.E. (1986), Accountability practices
of school counselor. A national survey. Journal of
Counseling and Development, 65, 196-199.
LZARO, A. y otros. (1982), El desarrollo de la orientacin
institucional en Espaa. Revista de Educacin, 270, 159-
187.
MARTN, M M. (1997). Cmo evaluar el Departamento de
Orientacin desde la filosofa de la calidad total.. En
AIDIPE, Actas del VIII Congreso de modelos de investigacin
educativa. Sevilla. AIDIPE. (321-324).
MARTNEZ MEDIANO, C. (1997). La teora en la evaluacin de
programas. En AIDIPE. Actas del VIII Congreso de modelos
de investigacin educativa. Sevilla. AIDIPE. (325-329).


325
SANZ ORO, R. (1998), Evaluacin de programas en orientacin
educativa. Madrid. Pirmide.
SANZ ORO, R. y SOBRADO, L. (1998), Roles y funciones de los
orientadores. Revista de Investigacin Educativa, 16 (2), 25-
57.
SOBRADO, L. (1996). Servicios de Orientacin s centros
educativos. Santiago de Compostela. Laiovento.
SOBRADO, L. (1997). Evaluacin de las competencias
profesionales de los orientadores escolares. Revista de
Invrestigacin Educativa, 15 (1), 83-102.
SOLER, J.R. (1989), La orientacin educativa. Niveles de prestacin y
exigencia social. Barcelona. Humnitas.


326

EVALUACIN EXTERNA DE CENTROS EN LA
COMUNIDAD AUTNOMA VASCA
Carlos Santiago Etxeberria y J. F. Lukas Mujica.
Universidad del Pas Vasco

INTRODUCCIN

Hace unos aos un grupo de profesores/as
universitarios y de secundaria de la Comunidad Autnoma de
Madrid (equipo REDES) puso en marcha un programa de
evaluacin de centros externa en unos 30 colegios de la
mencionada comunidad. Esta evaluacin de centros ha
continuado durante estos aos y ha ido extendindose a otras
comunidades autnomas del estado. Entre stas ltimas se
encuentra la Comunidad Autnoma Vasca (CAV).
El Departamento de Educacin del gobierno de la citada
comunidad acept la idea de financiar esta evaluacin externa
de centros. Este departamento tena medios suficientes para
llevar a cabo la evaluacin, sin embargo, era consciente de que
una evaluacin externa conducida por la propia administracin
podra generar desconfianza en el proceso por parte de los
centros. Tal y como seala De Miguel (1997) uno de los criterios
que condiciona el modelo evaluativo es el sistema que regula la
propia evaluacin. Esta puede ser regulada desde el exterior (en
este caso la propia administracin del gobierno de la CAV) o


327
desde el propio centro con el objetivo explcito de profundizar
en el proceso de autorregulacin.
En el primer caso, el objetivo que se persigue es el
control del centro por la administracin y en el segundo caso, el
objetivo es conocer la situacin para tomar medidas que
contribuyan a la mejora del centro. Esta evaluacin externa de
centro puesta en funcionamiento por el equipo REDES tiene
como objetivo esta segunda finalidad, es decir, proporcionar
informacin objetiva, fiable y vlida que adems sea de utilidad
para la comunidad escolar, que ser quien deba interpretar esa
informacin en relacin al conocimiento que tienen de su
propio contexto, en el proceso de toma de decisiones y mejora
de su propio trabajo.
Ante esta situacin, el Departamento de Educacin de la
CAV opt por una evaluacin regulada a travs de un equipo
de profesores/as del Departamento de Mtodos de
Investigacin y Diagnstico en Educacin de la Universidad del
Pas Vasco/Euskal Herriko Unibertsitatea. Este equipo por lo
tanto, sera el organismo intermedio de carcter amortiguador
(buffer organization) que intenta generar confianza en el
proceso (De Miguel, 1997).
Adems, los centros participantes en esta evaluacin
deban hacerlo voluntariamente, tras haberlo decidido en una
sesin claustral con un 60% de votos afirmativos. Si los centros
participantes estuvieran obligados por algn imperativo
administrativo y no por decisin voluntaria, los resultados de la
evaluacin no seran todo lo positivos que cabra esperar. En
este sentido, recogemos las palabras de Santos Guerra (1990:
149-150):
Ahora bien, si el Centro no acepta esta actividad ser difcil
que tenga un resultado positivo la evaluacin: se obstaculizar el
desarrollo y se ignorarn los resultados.
Si la iniciativa procede del poder, es fcil que la evaluacin se
convierta, a los ojos de los miembros de la comunidad escolar, en un
mecanismo de control, ya que en el poder se hallan arraigados
componentes polticos, econmicos e ideolgicos.
De ah la importancia de establecer estrategias de
negociacin iniciales que planteen la evaluacin como una experiencia
enriquecedora para el Centro, como una oferta interesante de la que se


328
pueden extraer grandes beneficios profesionales, desmontando la idea
de que es un fenmeno inquietante y amenazador.

EVALUACIN DE CENTROS

Hasta hace unos aos, los centros escolares no suscitaban
el inters que suscitan hoy en da como agentes que
proporcionan estrategias de cambio y mejora en la educacin
(Tiana Ferrer, 1999). Sin embargo, diversas corrientes han
puesto de manifiesto el denominado efecto escuela, es decir,
han sealado que los distintos estilos de organizacin
institucional y actuacin pedaggicas producen resultados
educativos diferentes. Dicho de otra forma, los resultados
obtenidos no pueden explicarse nicamente por los
antecedentes sociales, econmicos y culturales del alumnado,
an reconociendo la influencia que estos ejercen. Si tal y como
el famoso informe Coleman (Coleman et al, 1966) y las
posteriores investigaciones que se han realizado en esta lnea
sealan, el origen social del alumnado fuera el nico
determinante en los resultados que estos obtienen, no cabra
esperar diferencias significativas entre centros que atienden a
alumnos/as de caractersticas similares. Sin embargo, estas
diferencias existen.
Esta observacin ha contribuido a que administradores,
polticos, investigadores y educadores centren su atencin en la
evaluacin de los centros educativos (Tiana Ferrer, 1999). Pero
no es este el nico factor que ha influido en esta necesidad de
evaluar los centros. Tiana Ferrer (1999) seala otros tres
fenmenos:
La necesidad de tener informacin que demanda la
sociedad con respecto al sistema educativo en
general y con respecto a cada centro en particular.
La idea de que el centro es el agente que va a llevar a
cabo la mejora cualitativa de la educacin.
El aumento de la autonoma de los centros que como
contrapartida lleva asignada la necesidad de rendir
cuentas (Prez Juste, 1999).


329
DIMENSIONES DE LA EVALUACIN DE CENTROS

El auge de la evaluacin de los centros educativos ha
llevado a que se desarrollen innumerables planes y modelos de
evaluacin adecundose en cada caso a las circunstancias
contextuales de cada caso. Sin embargo, en todos los modelos
pueden identificarse una serie de dimensiones que son
comunes a todos ellos.
Tiana Ferrer (1999) seala que para analizar los diversos
modelos deben tenerse en cuenta tres elementos que los definen: los
propsitos de la evaluacin, los mtodos y procedimientos
utilizados y las perspectivas adoptadas (CERI, 1995).
Cada uno de estos elementos viene definido mediante
un eje de dos polos que constituye un continuo en el que
pueden adoptarse diferentes posiciones intermedias. Como el
autor seala, estos tres elementos podran representarse en un
espacio tridimensional continuo, cuyos ejes perpendiculares
entre s, sirven de referencia para definir cualquier posicin
espacial (Tiana Ferrer, 1999). En la siguiente figura aparecen los
tres ejes mencionados con sus polos de referencia:


330
El primero de los ejes se refiere a los fines de la
evaluacin. Como puede apreciarse en la figura, en uno de los
polos se sita la rendicin de cuentas (accountability) y en el
polo opuesto la mejora institucional. Tal y como seala Tiana
Ferrer (1999) y como se ha mencionado anteriormente, un
modelo de evaluacin no va a situarse necesariamente en uno
de los dos polos, sino que caben alternativas intermedias que
nos sealarn una tendencia ms o menos acusada hacia
cualquiera de los polos.
Lgicamente, la rendicin de cuentas tendra una
funcin de tipo sumativo (certificacin, acreditacin) y la
mejora institucional tendra una funcin de tipo formativo.
La evaluacin externa de centros educativos planteada
en la CAV tiene un propsito claro: ofrecer informacin para
instaurar procesos de cambio y mejora en cada uno de los
centros participantes en la evaluacin. Por lo tanto, estaramos
hablando de un modelo que se situara en una posicin ms
cercana al polo de mejora institucional. Sin embargo, esto no
quiere decir que este modelo est totalmente exento de
rendicin de cuentas. Todos los centros han hecho participes de
la evaluacin tanto al alumnado, al profesorado como a los
padres y madres y de una u otra forma tendrn que presentar
los resultados obtenidos. Ahora bien, aunque la administracin
es la que financia la evaluacin, los resultados obtenidos por
cada centro son suyos y confidenciales, es decir, la
administracin no tiene acceso a los datos de cada centro. De
esta manera, este modelo se aleja de aqullos cuya finalidad es
controlar o certificar.
El segundo de los ejes representa la dimensin de los
mtodos y procedimientos utilizados en la evaluacin. Tal y
como puede observarse, en uno de los polos tenemos los
procedimientos cuantitativos y en el polo opuesto los
procedimientos cualitativos. Cada uno de ellos tiene sus
ventajas y limitaciones, as como sus defensores y detractores.
Sin embargo, hace ha algunos aos que autores como Cook y
Reichardt (1986) y Dendaluze (1995) plantean la utilizacin de
ambos tipos de procedimientos en un mismo modelo de
evaluacin intentando hacer resaltar el carcter complementario
y no excluyente de ambos (Tiana Ferrer, 1999).


331
Como se ver en el punto siguiente, el modelo de
evaluacin de centros que se est llevando a cabo en la CAV se
sita mucho ms cerca del polo referido a los procedimientos
cuantitativos que al referido a los procedimientos cualitativos.
La mayora de las pruebas utilizadas en la evaluacin son de
marcado carcter cuantitativo, aunque se incluyan tambin
algunas entrevistas con los equipos directivos. Las pruebas
utilizadas nos permiten llegar a tener datos de muchos/as
alumnos/as, profesores/as y padres/madres, sin embargo,
tienen la desventaja o limitacin de proporcionarnos una visin
parcial del centro.El tercero de los ejes es el relativo al agente
evaluador. En uno de los polos se encuentra la evaluacin
interna, es decir, aqulla que es llevada a cabo por los propios
actores del centro. En el otro polo se sita la evaluacin externa
que se da cuando los evaluadores son ajenos al centro. Cada
una de estas modalidades tiene sus ventajas y desventajas que
podran resumirse en el siguiente cuadro (McCormick & James,
1996; Nevo, 1995, 1997; Santos Guerra, 1993; Tiana Ferrer, 1999):


332
VENTAJAS DESVENTAJAS
EVALUACIN INTERNA
- Legitimitad conferida al proceso
- Mejor comunicacin
- Mayor capacidad de dinamizar la vida
del centro
- Estrecha conexin con las decisiones
de mejora que puedan adoptarse
- Mejor conocimiento del contexto
- Menos amenazador para los que van a
ser evaluados
-Falta de tiempo
-La falta de distancia emocional y el
compromiso de los agentes puede convertir
el proceso evaluador en un factor de
autojustificacin
-Menor objetividad y credibilidad
-Ausencia de contraste externo
EVALUACIN EXTERNA
- Mayor independencia
- Ms tiempo dedicado a la tarea
-Mayor rigor debido a la
especializacin tcnica
- Mayor credibilidad de sus
conclusiones
- Imparcialidad del juicio
- Inclusin de una referencia externa en
la valoracin

-Dificultad de adentrarse en la vida del
centro
-Mayor rechazo de la comunidad escolar
-Sesgo informativo


333

Hoy en da, autores como Nevo (1995, 1997), McCormick
& James (1996), Santos Guerra (1990, 1993) y Prez Juste (1999),
plantean modelos de evaluacin mixtos en los que se insiste en
la participacin externa en la evaluacin interna. Nevo habla de
dilogo para la mejora. Otros como Santos Guerra (1993)
proponen la coevaluacin, la combinacin de la evaluacin
externa e interna.
La evaluacin de centros que se est llevando a cabo en
la CAV es en principio una evaluacin externa. Un equipo de
evaluadores externo al centro es el que ha diseado la
evaluacin, ha preparado los instrumentos de recogida de
datos, ha recogido los datos, los ha analizado y ha redactado los
primeros informes de cada uno de los centros. Sin embargo,
para reforzar el carcter de autoevaluacin que se quiere dar al
proceso, son los propios centros quienes analizan e interpretan
los resultados obtenidos.

LA EXPERIENCIA EN LA COMUNIDAD AUTNOMA VASCA

La evaluacin que se ha iniciado este curso en 55 centros
de Enseanza Secundaria Obligatoria de la Comunidad
Autnoma Vasca (CAV) est promovida y financiada por el
Gobierno Vasco, siendo el profesorado de la Universidad del
Pas Vasco el encargado de llevarla a la prctica. En este curso
1999-2000 estn participando alrededor de 8000 alumnos y
alumnas, 1600 docentes y esperamos una alta participacin de
padres y madres. En cuanto a la titularidad de los centros, son
17 centros pblicos (30%) y 38 centros privados concertados
(70%). Sin embargo, la proporcin por aulas se distribuye entre
un 50% de pertenecientes a centros pblicos y otro tanto a
centros privados. En el convenio firmado entre el Instituto
IDEA y la Universidad del Pas Vasco se prevee que este plan
de evaluacin abarque 4 cursos acadmicos consecutivos.
Paralelamente en otras Comunidades del Estado Espaol
(Catalua, Madrid, Andalucia, ...) se est llevando adelante el
mismo plan de Evaluacin, lo cual va a permitir tener
puntuaciones referenciales para las distintas comunidades.
El objetivo de esta evaluacin es que cada uno de los
Centros participantes obtenga informacin acerca de su
funcionamiento y de sus resultados que les posibilite tomar las


334
decisiones que consideren oportunas de cara a mejorar el
propio funcionamiento y el rendimiento de su alumnado. Ms
concretamente se pretende que cada uno de los centros conozca
de la manera ms amplia posible cul es su situacin en los
distintos aspectos que se evalan, conocer cul es la evolucin
del alumnado dentro del propio centro y teniendo como
referencia los indicadores de los centros de su mismo contexto
sociocultural conocer los cambios del propio centro. Es una
forma de ayudar a los centros a que conozcan su
funcionamiento con un cierto nivel de rigor.

El papel de la Administracin Educativa, en este caso la
Consejera de Educacin del Gobierno Vasco, es adems de
promotor el de ser un ente facilitador y no controlador-
supervisor. No se contempla de ninguna de las maneras la
rendicin de cuentas por parte de los centros evaluados y de
hecho una de las caractersticas que va a garantizarlo es la
confidencialidad de los datos. La informacin que van a recibir
los distintos centros va a ser confidencial. La informacin
correspondiente a los datos de cada centro solamente va a ser
conocida por el propio centro y los miembros del equipo
externo (consultores), de forma que ni siquiera la
Administracin va a acceder a ellos.

Indudablemente y en el sentido de que los profesionales
que elaboran y aplican las pruebas son agentes ajenos a los
propios centros nos encontramos ante una evaluacin externa,
con las ventajas y limitaciones que lleva consigo. Esta
evaluacin no pretende de ninguna de las maneras suplantar la
evaluacin o evaluaciones que el profesorado lleva a cabo en su
centro correspondiente. Sin embargo esta evaluacin puede ser
utilizada como complementaria a la evaluacin interna de cada
centro en el sentido de ofrecer un conjunto de datos objetivos,
cuya interpretacin y valoracin deben ser realizadas por el
personal del propio centro en base a sus propios criterios. De
alguna manera, esta evaluacin se puede plantear como ayuda
a su evaluacin interna del propio centro. La combinacin de
estas dos evaluaciones puede redundar en un conocimiento
ms completo de la realidad educativa de cada caso. Como
menciona Tiana Ferrer (1999) y huyendo de clasificaciones
dicotonmico-antagnicas podramos hablar de una evaluacin
externa con carcter formativo (REDES, 1999).


335
Adems de objetiva, la informacin que se ofrece a cada
uno de los centros es una informacin contextualizada ya que
junto a los datos correspondientes al propio centro se presentan
tambin datos correspondientes a los otros centros que estn
participando al mismo tiempo en esta evaluacin. Por una parte
tienen conocimiento de las puntuaciones medias de la totalidad
de los centros, tanto a nivel de la Comunidad Autnoma como
del Estado y por la otra las puntuaciones medias de los centros
que tienen caractersticas similares en cuanto al contexto
sociocultural en el que han sido clasificados. Esto va a permitir
a los centros tener unos conjuntos de referencias que les va a
permitir llegar a unas conclusiones ms significativas.
Otro aspecto a tener en cuenta es el de la
longitudinalidad de esta evaluacin. Como ya se ha dicho
anteriormente esta evaluacin ha sido planteada para cuatro
cursos acadmicos consecutivos. Ello va a permitirnos ofrecer
informacin a los centros acerca de la evolucin del propio
centro, a travs de la comparacin de cada centro consigo
mismo anualmente. As por ejemplo, en el caso del alumnado
que actualmente, en este primer ao de la evaluacin, se
encuentra en primero de ESO va a ser posible hacer un
seguimiento total del mismo durante toda su escolarizacin en
ESO, ya que vamos a conocer sus puntuaciones al comienzo de
1 (nivel inicial), al final de 2 (nivel al final/principio de ciclo) y
al final de 4 (nivel al final de la ESO). A travs de tests de
anclaje y aplicando modelos de Teora de Respuesta a los
Items (Muiz, 1997), y por medio del clculo del llamado valor
aadido (value-added), intentaremos ofrecer a cada uno de los
centros informacin acerca de los progresos que realiza cada
centro durante un perodo de tiempo, relacionndolo tambin
con los cambios que puedan darse en los dems centros. Para el
clculo y anlisis del mencionado valor aadido, entendido
como una medida que nos indica el nivel de mejora del
rendimiento del alumnado de un centro, adems de la
evaluacin inicial o nivel inicial de aprendizaje, otro factor que
se va a controlar es el del contexto sociocultural (Saunders,
1999).
Como ya hemos mencionado al principio en este
momento son 55 centros los participantes en esta experiencia de
evaluacin en la CAV. La participacin de estos centros es
totalmente voluntaria, por lo que no podemos hablar de una
muestra representativa de la poblacin escolar de la CAV. De


336
todas formas y teniendo en cuenta la amplitud de dicha
muestra, consideramos que los datos obtenidos pueden
acercarnos a una idea de lo que puede estar ocurriendo en la
Enseanza Secundaria Obligatoria en la CAV.
En cuanto a la informacin que se pretende recoger se ha
intentado evitar que los resultados solamente queden al nivel
del rendimiento en las disciplinas acadmicas. Por ello, se han
incorporado otros aspectos como las actitudes, opiniones de
alumnos, estrategias de aprendizaje y habilidades
metacognitivas. Adems y de cara a una evaluacin ms amplia
que integre el mayor nmero de puntos de vista, tambin se
han incluido valoraciones del profesorado y de las familias
acerca del funcionamiento del centro y del desarrollo de la
enseanza.
Hemos de destacar la importancia que tienen en esta
evaluacin las variables contexto sociocultural y procesos de
centro y aula. Como ya se ha mencionado anteriormente, el
contexto sociocultural nos va a permitir realizar una
clasificacin de los centros que va servir como criterio de
comparacin a la hora de presentar los resultados. La razn de
incluir las variables procesos de centro y de aula, tiene su
origen en la importancia que estn demostrando en recientes
investigaciones (Marchesi & Martn, 1999; REDES, 1999). En lo
referente a los procesos de centro aspectos tales como equipo
directivo, conocimiento del funcionamiento del centro, clima de
trabajo, expectativas, etc. Y a los procesos de aula, aspectos tales
como relaciones entre profesorado y alumnado, estrategias
instruccionales, estrategias evaluativas, etc. (ver ANEXOS 1, 2 y
3), son factores relevantes que se van a tener en cuenta a la hora
de contextualizar los resultados basados en el rendimiento del
alumnado.
Los cuestionarios y pruebas que se aplican son los
siguientes:
- Cuestionarios de Contexto, Actitudes, Estrategias de
Aprendizaje, Procesos de centro y aula
(profesorado), Opinin de los alumnos y Opinin
de las familias.
- Pruebas de Habilidades Metacognitivas, Lengua y
Literatura Vasca, Lengua y Literatura Castellana,
Matemticas, Ciencias Sociales, Ciencias Naturales
(1 de ESO), Tecnologa (2 y 4 de ESO), Geologa-


337
Biologa (2 y 4 de ESO) y Fsica-Qumica (2 y 4 de
ESO).
Los cuestionarios aplicados son en su mayora Escalas de
tipo Likert. Las pruebas curriculares son pruebas objetivas, que
tratan de mantener un equilibrio entre los contenidos
conceptuales y los procedimentales.
Un aspecto que merece destacar es el de la preparacin
de las pruebas y cuestionarios. Los instrumentos de recogida de
datos son los mismos para todos los centros del Estado,
exceptuando las pruebas de Ciencias Sociales y lengua
autonmica por razones obvias. Estos cuestionarios y pruebas
son preparadas en una primera fase en el Instituto IDEA
(Instituto de Evaluacin y Asesoramiento Educativo) por
expertos (profesorado de secundaria y personal experto en
construccin de pruebas) que pilotan dichas pruebas y realizan
los correspondientes anlisis de tems y de la prueba, siguiendo
modelos de Teora Clsica de los Tests y de la Teora de la
Respuesta al Item. En nuestro caso, en la CAV, las pruebas
diseadas son revisadas por una red de expertos constituida
por profesorado de Primaria y Secundaria que analiza la
adecuacin de los tems a las lneas curriculares de cada rea,
por profesorado Universitario especializado en Medicin y
Evaluacin y por el Instituto de Desarrollo Curricular (IDC)
dependiente del Gobierno Vasco. Con la informacin aportada
por estos tres estamentos, se realiza un informe que es enviado
a IDEA para la confeccin definitiva de la prueba.
Posteriormente son traducidas al euskara y enviadas para ser
impresas. En todo este proceso se han seguido las directrices
sealadas por el International Test Comission (Hambleton, 1996)
para la traduccin y adaptacin de las pruebas.
Siguiendo la clasificacin de Jornet y Surez, podemos
definir las pruebas utilizadas como Pruebas Estandarizadas de
Indicadores de Resultados. Este tipo de pruebas pretenden
traducir los niveles de competencia que en las distintas
disciplinas y materias una institucin, centro o sistema asume
como objetivos a cumplir en el proceso educativo (Jornet &
Surez, 1996).
A pesar de que desde diferentes sectores la utilizacin de
pruebas estandarizadas ha sido fuertemente criticada, en el
sentido de su poca utilidad en la evaluacin escolar, no es
menos cierto que quizs las razones del problema estn en la
falta de criterios adecuados en su construccin, la inadecuacin


338
a las personas que se pretende evaluar por medio de ellas y en
muchos casos a aplicar interpretaciones no ajustadas a los
criterios sobre las que se sustentan dichas interpretaciones
(Jornet & Surez, 1996).
En la elaboracin de estas pruebas hay un componente
muy importante que es el del Dominio Educativo al cual
pretenden responder. Considerando el Dominio Educativo
como las dimensiones que se pretende medir dentro de una
materia o disciplina, hay que decir que la definicin de ese
Dominio esta realizada por expertos en la materia de
evaluacin, contando con el apoyo de especialistas en Medicin
y Evaluacin. El papel de estos expertos es fundamental, ya que
el trabajo realizado por ellos en la configuracin y desarrollo de
estas pruebas viene a compensar de alguna forma las
dificultades surgidas por los dbiles constructos tericos en los
que se suelen sustentar y por la falta de comprobacin de su
unidimensionalidad, ya que las propuestas metodolgicas
especficas para el anlisis emprico de los resultados con
variables dicotmicas han dado resultados insatisfactorios, al
identificarse en muchas ocasiones las dimensiones en base a la
dificultad de los tems y no en base a los contenidos (Jornet &
Surez, 1996).
Adems de labor de los expertos desde el punto de vista
de determinar la importancia y dificultad terica de los tems,
otro elemento fundamental es la calidad tcnica de las pruebas.
Da cara a garantizar dicha calidad, tiene gran importancia el
anlisis psicomtrico tanto de la prueba, asegurando su
fiabilidad, como de los tems uno por uno. En este sentido y
basndose en los datos ofrecidos por la prueba piloto, el anlisis
de distractores constituye el trabajo central en este aspecto, ya
que nos va a permitir anticipar y controlar posibles dificultades
que puedan surgir en la aplicacin definitiva de las pruebas.
Junto con esto, el anlisis de los posibles sesgos es tambin un
elemento clave para asegurar la validez de estas pruebas. De
cara a contrarrestar los diversos sesgos es muy importante
determinar las posibles fuentes de los mismos. En nuestro caso,
el contexto sociocultural y el modelo lingstico son dos
variables que se estn controlando, aunque hay que ahondar
ms a la vista de los datos que se obtengan en este primer curso
acadmico. Para realizar estos anlisis se utilizan tanto
procedimientos propios de la teora clsica de los tests como de
la teora de respuesta a los tems.


339
Finalmente podramos concluir que las pruebas
estandarizadas de rendimiento que se estn aplicando
responden a un planteamiento correcto, ya que al estar
planteadas para poblaciones extensas y hetereogneas no son
interpretadas individualmente, y por otra parte la seleccin de
indicadores, anlisis de tems y las comprobaciones de
fiabilidad y validez estimamos que son suficientes. A esto
deberamos aadir otro elemento que consideramos muy
importante y es el referido al propio uso de las pruebas, que
pretenden tener una dimensin ms formativa que sumativa de
cara a tomar decisiones acerca del grupo y no acerca de los
individuos.
En la CAV existen tres modelos lingsticos: el modelo A
en el que todas las asignaturas (excepto la lengua vasca) son
impartidas en castellano, el modelo B que es bilinge (algunas
asignaturas en lengua vasca y otras en castellano) y el modelo D
que es ntegramente en lengua vasca a excepcin del castellano.
Ante esta situacin y para de alguna forma controlar el efecto
que puede surgir de los distintos niveles de competencia
lingstica en cada uno de los idiomas oficiales de la CAV, las
distintas pruebas y cuestionarios son presentadas al alumnado
en los dos idiomas, de manera que cada cual lee las distintas
preguntas en la lengua que desee. De esta manera, aunque
un/a alumno/a lea bsicamente las preguntas a una prueba en
una de las dos lenguas, tiene la posibilidad de utilizar la otra
lengua en aquellas situaciones en las que tiene algn tipo de
duda.
La recogida de datos se realiza de la manera siguiente:
las pruebas y cuestionarios referentes a 1 de ESO se aplican en
octubre, es decir al inicio de la escolaridad en esta etapa. Junto
con estos, se recogen datos para determinar el contexto
sociocultural del centro a travs de un cuestionario que se
aplica a todos los alumnos y alumnas de 1, 2 y 4 de ESO. El
alumnado de 1 de ESO es nuevo en la etapa y en muchos de los
casos, lo es tambin en el centro. La aplicacin de estas pruebas
al comienzo del curso tiene como objetivo el realizar una
evaluacin inicial de este alumnado. Esta evaluacin inicial ser
vlida tanto para el profesorado de ese curso (en el sentido de
que con estos primeros datos podrn adaptar las
programaciones a la situacin real) y para el propio centro, de
tal forma que en un periodo de 4 cursos escolares se podrn
apreciar los avances de esos/as alumnos/as.


340
Esta recogida de datos es realizada en colaboracin entre
los/as aplicadores/as contratados para este fin y el profesorado
de cada uno de los centros. Los cuestionarios son
cumplimentados en sesiones de tutora y las pruebas en dos
sesiones de tres horas cada una. Es el propio profesorado el que
se encarga de la aplicacin propiamente dicha, estando
asesorado en todo momento por los/as aplicadores/as
correspondientes que se encargan de solventar cualquier
problema de tipo tcnico que pueda surgir. Estos aplicadores y
aplicadoras revisan todas las hojas de respuesta para detectar
posibles errores que puedan implicar una prdida de
informacin o datos errneos y posteriormente se encargan de
hacerlas llegar a nuestra sede para el posterior procesamiento
de los datos.
Previamente a la recogida de datos se realiza una
reunin en cada uno de los centros. En esa reunin participan la
direccin del centro, el profesorado de 1 de ESO, tutores/as de
2 y 4 de ESO, el/la consultor/a (profesor/a del Departamento
de MIDE de la Universidad del Pais Vasco a quien ha sido
asignado el centro) y el/la aplicador/a o aplicadores que
participarn a lo largo de todo el curso en la recogida de datos.
En dicha reunin se informa al centro de todo lo relacionado
con el plan de evaluacin que se va a aplicar: objetivos,
caractersticas, tipo de pruebas y cuestionarios, fechas y fases de
la recogida de datos, etc. Queremos destacar la importancia de
esta reunin, ya que en ella se sientan las bases del deseado
clima de colaboracin entre los centros y, en este caso, los/as
consultores/as, tan necesario para que se cumplan los objetivos
planteados.
Durante los meses de enero y febrero el alumnado de 2
y 4 cumplimenta los cuestionarios de actitudes y opinin, el
profesorado el cuestionario de procesos de centro y de aula y
las familias los cuestionarios sobre su valoracin del centro. Por
ltimo en mayo se aplican las pruebas de rendimiento al
alumnado de 2 y 4 de la ESO.
A lo largo del curso escolar se van a producir otras dos
reuniones del consultor o consultora con la direccin del centro,
una en noviembre y otra en junio. En ellas se har entrega de
los informes correspondientes a los resultados obtenidos.
Cada ao se entregan a cada centro dos informes, uno en
noviembre con los resultados del alumnado de 1 y otro en
junio con los resultados de las pruebas de 2 y 4, cuestionario


341
pasado al profesorado y valoraciones realizadas por el
alumnado y padres-madres. Es un informe sencillo y
esencialmente descriptivo de los datos presentados, sin ningn
tipo de valoracin, quedando las posibles interpretaciones para
la reunin que se celebra con los responsables correspondientes.
La estructura de los informes es la siguiente:
Explicacin de los datos acerca del contexto
sociocultural en el que ha quedado enmarcado el
centro.
Puntuaciones individuales de cada uno de los
alumnos en las distintas reas evaluadas, tanto las
acadmicas como las relativas a actitudes,
habilidades y distintas valoraciones del profesorado,
alumnado y padres y madres. Adems de las
puntuaciones totales, se recogen las
subpuntuaciones en cada una de las subreas.
Puntuaciones medias e histograma correspondiente
a las puntuaciones medias en cada una de las reas y
a cada uno de los grupos-clase de cada nivel (1, 2 y
4)
Tabla con las puntuaciones del centro en cada una
de las reas y subreas por grupos-clase, junto con
las puntuaciones medias de los centros clasificados
en el mismo contexto sociocultural.
Polgono de frecuencias en el que de forma grfica y
numrica (ver FIGURAS 1 y 2) se reflejan las
puntuaciones medias del centro, de los centros de la
C.A.V. del mismo contexto sociocultural, de los
centros de la C.A.V., de los centros del Estado del
mismo contexto sociocultural y del total de centros
del Estado que participan en la evaluacin.
Descripcin y esquema de cada una de las pruebas
para ser utilizada en la interpretacin de los
resultados.

Como ya hemos sealado anteriormente, son los propios
centros los que deben hacer las oportunas interpretaciones y
valoraciones en base a sus propios criterios. Por ello uno de los
objetivos ms importantes de las reuniones que se celebran para
la entrega y presentacin de los informes es el de orientarles en
esa interpretacin.


342
FIGURA 1: Resultados obtenidos por el centro en el cuestionario de Procesos de Centro, cumplimentado por el
profesorado, comparados con los resultados obtenidos por los centros de su mismo contexto sociocultural y con los de la
totalidad de los centros, tanto de la CAV como del Estado (DATOS FICTICIOS)
0
20
40
60
80
100
Equipo
directivo
Clima de
trabajo
RESULTADOS PROCESOS DE CENTRO
Centro 99 Contexto CAV 2 Total CAV Contexto Estado 2 Total Estado


343

FIGURA 2: Resultados obtenidos por el centro en la prueba de Ciencias Sociales de 1 de Enseanza Secundaria Obligatoria,
comparados con los resultados obtenidos por los centros de su mismo contexto sociocultural y con los de la totalidad de los
centros, tanto de la CAV como del Estado (DATOS FICTICIOS)

0
5
10
15
Nota Geografa Sociedad Historia
CIENCIAS SOCIALES 1 ESO
Centro 99 Contexto CAV 2 Total CAV Contexto Estado 2 Total Estado


344
PERSPECTIVAS DE FUTURO

Este es el primer curso en el que se ha implantado esta
modalidad de evaluacin de centros y por lo tanto los
resultados obtenidos hasta el momento son limitados. Sin
embargo, a travs del contacto permanente que mantenemos
con los centros evaluados nos estn haciendo recapacitar y
pensar en cambios y mejoras en el propio proceso de
evaluacin. Entre otros podemos destacar la mayor adecuacin
de las pruebas a las diferentes situaciones (modelos lingsticos
diferentes por ejemplo) y la posibilidad de utilizar ms
procedimientos de tipo cualitativo en la recogida de datos.
Por otro lado, se est planteando la posibilidad de
establecer estndares y puntos de corte en las pruebas de
rendimiento tal y como se hace en las pruebas de referencia
criterial. De esta manera, se complementara el carcter
normativo de la interpretacin de las pruebas. Para ello, se est
planteando la posibilidad de utilizar diferentes procedimientos
teniendo en cuenta que estos estndares ms que ser comunes
para todos los centros, deberan ser diferentes en funcin de las
peculiaridades propias de cada centro. Es decir, por ejemplo, se
deberan establecer estndares diferentes por cada nivel de
contexto socioeconmico y cultural diferente. De esta forma,
cada centro adems de tener una referencia normativa de su
situacin con respecto al resto de los centros de la muestra (o
con respecto a los centros de su mismo contexto sociocultural),
tambin tendra un estndar absoluto de comparacin.


345
ANEXO 1: CUESTIONARIOS Y DIMENSIONES
EVALUADAS. PROFESORES/AS1

PRUEBA-
CUESTIONARIO
DIMENSIN
INDICADORES O FACTORES
Procesos de centro Procesos de centro
-Equipo directivo y decisiones
-Conocimiento del funcionamiento
del centro
-Clima de trabajo
-Expectativas hacia el centro
-Flexibilidad exigencia
-Relaciones con el alumnado
-Actitud ante el cambio
-Valoracin de la participacin
-Trabajo en el seminario
-Condiciones de trabajo en el
centro
Procesos de aula Procesos de aula
-Opinin acerca de la prctica
educativa
-Interaccin y ajuste ayuda
pedaggica
-Innovacin en la prcita educativa
-Academicismo
-Organizacin y estrategias de
gestin
-Evaluacin

ANEXO 2: CUESTIONARIO Y DIMENSIONES EVALUADAS.
PADRES Y MADRES

PRUEBA-
CUESTIONARIO
DIMENSIN INDICADORES O
FACTORES
Opinin de los padres y
madres
Opinin que tienen los
padres y madres sobre el
centro
-Funcionamiento del centro y
preparacin del alumnado
-Atencin a las familias y
comunicacin
-Disciplina
-Actividades
-Calificaciones
-Satisfaccin

1 Estos anexos han sido tomados y adaptados de REDES (1999).


346

ANEXO 3: PRUEBAS/CUESTIONARIOS Y DIMENSIONES
EVALUADAS. ALUMNOS/AS

PRUEBA-
CUESTIONARIO
DIMENSIN
INDICADORES O
FACTORES
Matemticas:
1, 2 y 4
Rendimiento en Matemticas
-Nmeros
-Geometra
-Tablas y estadstica
-Medida
-Destrezas
-Resolucin de problemas
-Conceptos
Lengua Castellana:
1, 2 y 4
Rendimiento en Lengua
Castellana (comprensin
lectora bsicamente)
-Comprensin
*Comprensin global
*Conciencia del tipo de texto
*Inferencias
-Conocimientos sobre las formas
que estructuran los textos
-Conocimientos de morfologa y
lxico
-Conocimientos de sintaxis y
semntica de la oracin
Lengua Vasca:
1, 2 y 4
(tres pruebas en
cada curso: una por
cada uno de los tres
modelos lingsticos
A, B y D)
Rendimiento en Lengua
Vasca
(comprensin lectora
bsicamente)
-Comprensin
*Comprensin global
*Conciencia del tipo de texto
*Inferencias
-Conocimientos sobre las formas
que estructuran los textos
-Conocimientos de morfologa y
lxico
-Conocimientos de sintaxis y
semntica de la oracin
Ciencias Sociales:
1, 2 y 4
Rendimiento en Ciencias
Sociales
-Geografa
-Historia
-Sociedad, comunicacin y
transporte
-Conceptos
-Procedimientos
Ciencias de la
Naturaleza: 1 y 2
Fsica y Qumica: 4
Biologa y Geologa:
4

Rendimiento en Ciencias de la
Naturaleza
-Biologa
-Geologa
-Fsica
-Qumica
-Conceptos
-Procedimientos
Tecnologa: 2 y 4 Rendimiento en Tecnologa
-Anlisis
-Realizacin de proyectos


347
-Resolucin de problemas
Habilidades
Metacogniticas:
1, 2 y 4
Habilidades Metacognitivas
-Conciencia del propio
conocimiento
-Metacomprensin
-Verificacin de resultados
-Conciencia de las estrategias
utilizadas
Estrategias de
Aprendizaje:
1, 2, y 4
Estrategias de Aprendizaje
utilizadas por el alumno
-Dominio estratgico
-Esquemas
-Reflexin sobre el propio
trabajo
-Establecimiento de relaciones
-Aprendizaje memorstico
Actitudes:
1, 2 y 4
Actitudes sobre factores
relacionados con los ejes
transversales
-Tolerancia e igualdad de
oportunidades de ambos sexos
-Factor medioambiental o
ecolgico
-Transversalidad
-Salud
Contexto
socioeconmico y
cultural:
1, 2 y 4
Contexto social, econmico y
cultural de las familias del
centro
-Profesion del padre y de la
madre
-Estudios del padre y de la
madre
-Tipo de vivienda
-Recursos econmicos
Opinin del
alumnado:
1, 2 y 4
Opinin de los/as alumnos
sobre diversos temas
relacionados con el centro
-Orden en el centro
-Relacin con los/as tutores/as y
profesores/as
-Preparacin recibida
-Calificaciones obtenidads
-Actividades del centro
-Relaciones con los compaeros


348
Bibliografa
CERI (1995). Shool under Scrutiny. Paris: OCDE.
Coleman,J.S. et al. (1966). Equality of Educational Opportunity.
Washington: US Government Printing Office.
Cook,T.D. & Reichardt,C.S. (1986). Mtodos cualitativos y
cuantitativos en investigacin evaluativa. Madrid: Morata.
De Miguel Daz,M. (1997). La evaluacin de los centros
educativos. En H. Salmern Prez (ed.). Evaluacin
educativa. Teora, metodologa y aplicaciones en reas de
conocimiento. Granada: Grupo Editorial Universitario.
151-174.
Dendaluze,I. (1995). Avances en los mtodos de investigacin
educativa en la intervencin psicopedaggica. Revista
de Investigacin Educativa. N26. 9-32.
Hambleton, R.K. (1996): Adaptacin de tests para su uso en
diferentes idiomas y culturas: fuentes de error, posibles
soluciones y directrices prcticas. En J.Muiz (Coor.).
Psicometra. Madrid: Universitas. 207-238
Jornet Meli,J.M. & Surez Rodrguez,J.M. (1996). Pruebas
estandarizadas y evaluacin del rendimiento: usos y
caractersticas mtricas. Revista de Investigacin
Educativa. V14. N2. 141-163.
Marchesi,A. (2000). Controversias en la educacin espaola.Madrid:
Alianza Editorial.
Marchesi,A. & Martn,E. (1998). Calidad de la enseanza en tiempo
de cambio. Madrid: Alianza Editorial.
Marchesi,A. & Martn,E. (1999). Tendencias actuales en la
evaluacin de los centros docentes. Infancia y
Aprendizaje. N85. 5-18.
McCormick,R. & James,M. (1996). Evaluacin del curriculum en
los centros escolares. Madrid: Morata.
Muiz,J. (1997). Introduccin a la teora de respuesta a los tems.
Madrid: Pirmide.
Nevo,D. (1995). School-Based Evaluation. A dialoque for Shool
Improvement. Oxford: Pergamon.


349
Nevo,D. (1997). Evaluacin basada en el centro. Un dilogo para la
mejora educativa. Bilbao: Mensajero.
Prez Juste,R. (1999). Nuevas perspectivas de gestin, control
y evaluacin educativa. Bordn. V51. N4. 449-477.
REDES equipo (1999). Una red de evaluacin de centros de
Educacin Secundaria. Infancia y Aprendizaje. N85. 59-
73.
Santos Guerra,M.A. (1990). Hacer visible lo cotidiano. Teora y
prctica de la evaluacin cualitativa de los centros escolares.
Madrid: Akal.
Santos Guerra,M.A. (1993). La evaluacin: un proceso de dilogo,
comprensin y mejora. Mlaga: Archidona.
Saunders,L. (1999). "Work in "value-added" analysys of schools'
performance at the National Foundation for Educational
Research". Infancia y Aprendizaje. N85. 19-32.
Tiana Ferrer,A. (1999). Ikastetxeen kanpo-ebaluazioa: aukerak
eta mugak. TANTAK. N21. 7-32.


350

UNA PROPUESTA DE NDICES DE IGUALDAD EDUCATIVA
PARA LA EVALUACIN DE CENTROS DOCENTES
Javier Murillo y Mara Castro
CIDE y Ministerio de Educacin y Cultura

Calidad y equidad son dos conceptos inseparables en
educacin que se constituyen como los objetivos irrenunciables
de los sistemas educativos y sus componentes. Sin embargo,
mientras que el trmino calidad ha formado parte del discurso
habitual, las discusiones sobre equidad educativa se han visto
relegadas por su supuesta carga ideolgica (Morley y Rassool,
1999). De esta forma, nuestras bibliotecas se han ido poblando
de trabajos que hablan de evaluacin de la calidad o de
desarrollo de modelos de calidad y, en igual medida, se han
visto privadas de documentos sobre modelos de equidad. Sin
embargo, como calidad y equidad son ideas mutuamente
necesarias, entendemos que en cualquier modelo de evaluacin
educativa se han de recoger ambos conceptos. En esta
comunicacin vamos a acercarnos al anlisis de la igualdad
educativa en los centros docentes proponiendo ndices para su
medida.
En primer lugar, hay que destacar que equidad e
igualdad son conceptos diferentes (Bromfenbrenner, 1973). Sin
embargo, ambos se refieren a una determinada distribucin de
los recursos. Siguiendo a Coulter (1989), se entiende por
distribucin la divisin de unidades entre los componentes


351
de un sistema social, y por desigualdad la variacin en esa
divisin. En este planteamiento, unidad, componente y
sistema constituyen los elementos claves. As, en el mbito
educativo, las distintas unidades pueden definirse como
niveles de rendimiento, puestos escolares o cargos directivos.
Los componentes analizados son los individuos o grupos
sociales. Y, por ultimo, el sistema al que nos referimos es el
educativo, en cualquiera de sus subniveles. De esta forma, se
puede indagar, por ejemplo, cmo se distribuyen los puestos
universitarios (unidades) entre grupos sociales (componentes)
de un Estado (sistema), o la distribucin de resultados entre los
individuos de una escuela. Por otro lado, equidad puede ser
entendida como igualdad proporcional (Rae, 1981), y difiere de
la desigualdad en que utiliza como estndar comparativo una
distribucin no igualitaria. El problema ahora estriba en
encontrar cul es el estndar de comparacin.
De esta forma, la igualdad/desigualdad en educacin se
nos presenta como un trmino descriptivo, fcilmente
identificable y que en ningn caso prejuzga la consecucin de
meta alguna. Por ello, parece interesante, en primer lugar,
medir los niveles de igualdad educativa sin prejuzgar la
bondad de su consecucin o no, dejando esa interpretacin para
ulteriores anlisis.
Para continuar con el debate de conceptuacin tcnica,
hay que tener en cuenta las cuatro facetas de igualdad
educativa propuestas por Farrell (1999): de acceso, de
supervivencia, de resultados (output) y de consecuencias o
beneficios de los resultados (outcome). En cualquier caso, la
desigualdad se entendera como la distancia de la situacin real
a un patrn o estndar de distribucin igualitaria. Si este
estndar no es una distribucin homognea sino proporcional
en funcin de necesidades o de justicia social, se hablara de
equidad. El problema radicara en el establecimiento del
estndar, no en la medicin de la distancia.
Dado que en esta comunicacin nos centraremos en la
evaluacin de centros, analizaremos diversas propuestas para
medir la igualdad de resultados en una escuela. Sin que ello
presuponga que no son necesarios otros datos. Aunque el ideal
perseguido es la elaboracin de ndices adecuados de calidad y
equidad educativa; en ese proceso de bsqueda puede ser
interesante aprender de otras ciencias que se han preocupado


352
de estas cuestiones. Y entre todas ellas destaca la investigacin
en ciencias econmicas. Efectivamente, en la literatura
econmica llevan mucho tiempo midiendo las desigualdades
sociales (p.e. Basmann, Hayes y Slottje, 1993; Eichhorn, 1994;
Cowell, 1995; Sen, 1997; Silber, 1997; Ryu y Slottje, 1998). En
este mbito, la desigualdad se entiende como una distancia con
relacin a una distribucin deseable de la riqueza.
Ahora bien, no hay grandes diferencias en la medida de
la distancia a un patrn deseado, bien sea ste econmico o
educativo. Por tanto, puede ser ciertamente interesante e
innovador adaptar lo que por tanto tiempo han venido
haciendo en el mbito econmico con xito. Se pueden llegar a
esbozar unos ndices o indicadores de desigualdad acadmica,
que permitan reflejar no slo la situacin de una escuela en su
conjunto, sino su evolucin a travs del tiempo o la
comparacin entre los diferentes grupos sociales que lo
componen. Se tratara de dar un paso del discurso de atencin
a la diversidad a la medicin de lo conseguido con los
indicadores que se hayan adoptado.
Por consiguiente, la pregunta principal a la que se quiere
dar respuesta con esta breve comunicacin es cmo medir la
diferencia entre una distribucin deseada de conocimientos y
una observada. Escogemos conocimientos o habilidades, a
pesar de que hablemos de equidad, puesto que nuestro objetivo
es de tipo ilustrativo y ya sabemos todos que el rendimiento es
una de las variables que mejor entendemos y es ms fcilmente
medible. En este caso, se va a trabajar con distribuciones
multinominales de los niveles de habilidad en la poblacin
escolar. Por tanto, los datos bsicos necesarios seran
porcentajes de alumnos agrupados en diferentes niveles de
habilidad. La unidad de medida ser el centro educativo. Y
solamente presentaremos dos de los posibles indicadores a
modo de ilustracin. Supongamos que tenemos tres escuelas
diferentes con los estudiantes agrupados en cuartiles (Tabla 1).
La ltima columna hace referencia al nivel de conocimientos y
habilidades asociados a cada uno de los cuartiles.


353

TABLA 1. DISTRIBUCIN DE LOS ALUMNOS DE TRES ESCUELAS EN CUARTILES
Y HABILIDAD ASOCIADA

Si dibujamos la distribucin de las tres escuelas y la
distribucin acumulada de la habilidad se obtendr el Grfico 1,
denominado en la literatura econmica Curvas de Lorenz. Una
perfecta distribucin de la habilidad segn el patrn definido
vendra dado por la curva (ms bien recta) de la variable
habilidad. La distancia entre este ideal y la distribucin real
del rendimiento en cada una de las escuelas constituye una de
las posibles medidas de productividad acadmica. De forma
ms concreta, estamos ante el ndice de Gini, probablemente el
ndice de desigualdad ms utilizado y conocido.

% de estudiantes en
cada cuartil
% acumulado de
estudiantes en cada
cuartil
Cuartil
Esc. A Esc. B Esc. C Esc. A Esc. B Esc. C
Habilidad
asociada a
cada cuartil
0 0 0 0
1 20 6 57 53 55 10
2 9 5 9 91 75 85 30
3 34 22 30 100 80 94 60
4 57 53 55 100 100 100 100


354
GRFICO 1. CURVAS DE LORENZ PARA TRES ESCUELAS
0
10
20
30
40
50
60
70
80
90
100
0 20 40 60 80 100
%acumulado deestudiantes
%

a
c
u
m
u
l
a
d
o

d
e

"
h
a
b
i
l
i
d
a
d
"
Esc. A
Esc.B
Esc.C
Estndar

Este ndice, cuya interpretacin geomtrica es
ciertamente clara e intuitiva, se calcula mediante la siguiente
expresin:
Donde x
i
es el porcentaje de alumnos en un percentil
dado, yi es el porcentaje acumulado de habilidad para ese
percentil y xi es la diferencia en porcentajes entre dos
percentiles consecutivos.
Otro ndice de desigualdad globalmente reconocido por
la comunidad cientfica es el ndice E de Nagels. Consiste en la
comparacin de dos distribuciones, la real de una escuela y la
peor posible (en este caso sera que todos los alumnos
estuvieran en el cuartil ms bajo). Esta ratio medira el
porcentaje de desigualdad o incompetencia alcanzado por la
distribucin actual. Al incluir la diferencia con respecto a la
unidad (mximo nivel de habilidad) se obtiene una medida de
la distancia al nivel de conocimientos ms deseable.
i
N
i
i i
x y x G Gini

=
= =
1
) ( 2 2


355
Donde Ni es el nmero de estudiantes en un percentil, N
es el nmero de estudiantes total, Z es la peor distribucin
posible y k es el nmero de percentiles.
El ndice Gini y el ndice E de Nagel son dos propuestas
de indicadores de actuacin escolar medidos en forma de
distancia con respecto a una distribucin ideal del rendimiento
acadmico dentro de una escuela. Como se puede observar, una
gran parte de su valor radica en que son medidas ciertamente
sencillas de calcular y de interpretar, por lo que su uso y
extensin entre la comunidad educativa no reviste mayores
complicaciones. La discusin estara centrada en la
determinacin de los estndares ideales. Un estudio detallado
de las mismas permitira identificar las reas prioritarias de
atencin dentro de cada centro con la intencin de desarrollar
programas de mejora. O valorar las medidas de atencin a la
diversidad puestas en marcha. Dadas las caractersticas de estos
ndices, no son vlidos para realizar comparaciones entre
escuelas con diferentes peculiaridades contextuales. Sin
embargo, pueden resultar de extrema utilidad para analizar la
evolucin temporal de la escuela e, incluso, para comparar la
distribucin del rendimiento entre diferentes subunidades de
los centros o entre grupos sociales. As, en tanto que
indicadores del crecimiento escolar se pueden integrar en
sistemas ms complejos de anlisis de la informacin derivada
de los sistemas educativos, por ejemplo, dentro de los modelos
multinivel. Y adems suponen una superacin de las medidas
de concentracin y dispersin para llegar a describir la
actuacin de los centros educativos. Por tanto, quiz debamos
prestar atencin y hacer un esfuerzo de adaptacin de este tipo
de ndices al mbito educativo.
=
2
2
) / (
) / (
1
k N Z
k N N
E
i


356
Bibliografa
Basmann, R.L., Hayes, K.J. y Slottje, D.J. (1993). Some new
methods for measuring and describing economic inequality.
Greenwich: Jai Press.
Bromfenbrenner, F. (1973). Equality and Equity. Annals, 409, 5-
25.
Coulter, P.B. (1989). Measuring inequality. A methodological
handbook. Boulder, CO: Westview Press.
Cowell, F.A. (1995). Measuring inequality (2
nd
edition). London:
Prentice Hall.
Eichhorn, W. (1994). Models and measures of welfare and inequality.
Berlin: Springer-Verlang.
Farrell, J.P. (1999). Changing conceptions of equality of
education. En Robert F. Arnove y Carlos Alberto Torres
(Eds.) Comparative education: the dialectic of global and the
local. Lanhman, ML: Rowman & Littlefield Publishers,
Inc.
Morley, L. y Rassool, N. (1999). School effectiveness. Fracturing the
discourse. London: Falmer Press.
Rae, D.W. (1981). Equalities. Cambridge, MA: Harvard
University Press.
Ryu, H.K. and Slottje, D.J. (1998). Measuring trends in U.S.
income inequality. Theory and applications. New York:
Sringer-Verlang.
Sen, A. (1997). On economic inequality. Expanded edition. Oxford:
Clarendon Press.
Silber, J. (1997). Income inequality measurement: from theory to
practice. Amsterdam: Kluwer.


357

UN MARCO PARA LA EVALUACIN DE PROGRAMAS DE
MEJORA DE LA EFICACIA ESCOLAR
M Jos Prez-Albo
Centro de Investigacin y Documentacin Educativa

Una de las novedades ms prometedoras en la
investigacin educativa de los ltimos aos hace referencia al
desarrollo del movimiento terico-prctico denominado Mejora
de la Eficacia Escolar (Effective School Improvement -ESI)
(Reynolds et al., 1997; Stoll y Wikeley, 1998; Murillo, 1999).
Desde que, en los primeros aos de los 90, estudiosos de los
movimientos de Eficacia Escolar y Mejora de la Escuela
propusieran a la comunidad cientfica la necesidad de aglutinar
esfuerzos para el establecimiento de una lnea que estudiara no
slo qu hace que una escuela sea de calidad o cmo cambiar la
escuela, sino cmo cambiar la escuela para optimizar su
calidad, el nmero de trabajos y aportaciones sobre el tema ha
crecido exponencialmente. En la actualidad, diferentes equipos
de todo el mundo estn trabajando en el desarrollo de un nuevo
movimiento que pretende conocer cmo puede una escuela
llevar a cabo procesos satisfactorios de cambio que incrementen
el desarrollo de todos los alumnos mediante la optimizacin de
los procesos de enseanza y aprendizaje y de las estructuras
organizativas del centro, y aplicar ese conocimiento a una
mejora real de la escuela (Creemers et al., 1998; Gray et al., 1999).


358
El Centro de Investigacin y Documentacin Educativa
(CIDE) est participando en una investigacin internacional
financiada con fondos TSER de la Unin Europea que pretende
contribuir al desarrollo de dicho nuevo movimiento ESI. Para
ello utiliza una doble estrategia: en primer lugar, un anlisis de
diferentes tradiciones tericas relacionadas (teoras del
currculo, de la organizacin escolar, del comportamiento, del
aprendizaje organizativo...) y de sus aportaciones; y, en
segundo lugar, un anlisis de 35 programas de mejora de la
eficacia escolar a lo largo de ocho pases europeos, cinco de
ellos en Espaa. En la presente comunicacin ofrecemos un
resumen del marco de evaluacin elaborado para analizar
dichos programas. Este marco es uno de los productos de esta
investigacin internacional, y puede ser til para la evaluacin
de futuros programas de mejora de la eficacia escolar.
Entendemos por programa de mejora de la eficacia escolar
un proceso de cambio sistemtico y continuo de un centro
docente para alcanzar determinadas metas educativas de una
manera ms eficaz, a travs de la identificacin, reformulacin
y optimizacin de los elementos fundamentales del centro y su
interrelacin, que es desarrollado desde el centro y apoyado
desde el exterior, con la implicacin de la mayora de los
agentes que forman parte de la comunidad educativa (Murillo,
1999). Cualquier anlisis serio del xito de un programa y de los
elementos que contribuyen al mismo exige un marco de
evaluacin sobre el que fundamentarse. En la investigacin
sealada se elabor un marco que sirviera como base para la
elaboracin de los diferentes instrumentos de evaluacin que
permitieran conocer ms a fondo los programas de mejora de la
muestra (Hoeben, 1998). Una de las notas caractersticas del
modelo es su flexibilidad, de forma que sirve como marco
general de referencia y puede ser utilizado por los centros
docentes con propsitos muy distintos. Esa permeabilidad
permite que sea vlido para centros que pertenecen a contextos
diferentes en cuanto a su localizacin geogrfica, contexto social
y econmico, nmero de alumnos y profesores, problemtica
inicial, etc., de forma que esas condiciones no sean en absoluto
determinantes para llevar a cabo procesos de mejora de la
eficacia. Dicho marco est formado por siete conjuntos bsicos
de elementos extrados a partir de las discusiones generadas en
la investigacin.


359
Los dos primeros componentes hacen referencia a los
resultados y se corresponden con los dos tipos de objetivos de
los programas de mejora de la eficacia escolar: los resultados
acadmicos de los alumnos, que constituyen el criterio de
eficacia, y los productos intermedios del proceso de cambio,
que suponen el criterio de mejora. Dos notas caracterizan la
evaluacin del rendimiento de los alumnos: la importancia
dada a la equidad (todos los alumnos deben beneficiarse
igualmente del programa), y el planteamiento de valor aadido
en su medida (considerar los resultados teniendo en cuenta el
rendimiento previo y el historial de cada alumno). Estos dos
tipos de resultados son fundamentales para valorar el xito de
un programa de mejora.

FIGURA 1. MARCO TERICO DE MEJORA DE LA EFICACIA ESCOLAR:
PRINCIPALES COMPONENTES Y RELACIONES INCLUSIVAS
1.Contexto
Sistema educativo, organizacin del ESI en el sistema,
profesin docente, currculo nacional
2.Elementos perifricos en el centro
Currculo escolar, organizacin escolar, eleccin e implicacin de los
padres,
aprendizaje de la organizacin, apoyo de agentes de cambio
3. Procesos auto-regulativos de mejora
4. Objetivos intermedios de mejora
5.Currculo auto-regulativo
6.Posicin de los alumnos
Objetivos de los alumnos

7.Resultados

8.Procesos

9.Procesos

10.Resultados

11.Procesos

12.Condiciones
13.Condiciones


360
Otros componentes bsicos del modelo son dos tipos de
procesos auto-regulativos: el ciclo autorregulativo de mejora
escolar y la implantacin autorregulativa del currculo en el
aula. Ambos se conceptan como los elementos procesuales del
programa de mejora. En el marco se incluye tambin la posicin
de los alumnos como un elemento procesual (su papel en el
aula, expectativas, motivacin, adaptaciones del currculo). De
esta forma, el alumno, el aula y el centro docente constituyen
elementos fundamentales del proceso.
Por ltimo se encuentran las condiciones en las cuales se
desarrolla el programa: los elementos perifricos y el contexto
escolar. Como elementos considerados perifricos al proceso
de mejora se destacan el currculo definido por el centro, la
propia organizacin escolar, la implicacin de las familias, el
apoyo de los agentes de cambio externos e internos o los
elementos de aprendizaje de la organizacin. Por otro lado, el
marco considera el contexto como elemento fundamental para
el proceso de mejora. As, reconoce la organizacin del sistema
educativo y de la profesin docente, el currculo nacional o el
apoyo a los procesos de mejora por parte de las
Administraciones.
Este marco se concreta en once preguntas claves que
orientan el proceso de anlisis:
1. En qu medida los resultados de los alumnos
aportan evidencia de la eficacia de la escuela en
alcanzar sus objetivos?
2. En qu medida los resultados intermedios aportan
evidencia de la consecucin de los objetivos de
mejora de la escuela?
3. En qu medida muestran los alumnos un
incremento en el compromiso creciente con su
propio aprendizaje y su entorno de aprendizaje?
4. En qu medida contribuye el currculo de aula a
que la escuela alcance las metas referidas a los
alumnos?
5. En qu medida contribuye el ciclo de planificacin,
implementacin, evaluacin y feedbak de la mejora a
que la escuela alcance sus objetivos de mejora?


361
6. En qu medida contribuye el currculo escolar a la
eficacia del currculo de aula?
7. En qu medida contribuye la organizacin de la
escuela a la consecucin de los objetivos intermedios
de mejora de la escuela y de los objetivos de los
alumnos?
8. En qu medida contribuyen la eleccin de los
padres y su implicacin al inters/reaccin de la
escuela y a la consecucin de los objetivos
intermedios de mejora y de los objetivos de los
alumnos?
9. En qu medida contribuye el aprendizaje de la
organizacin escolar a la gestin del cambio, es
decir, a la consecucin de los objetivos intermedios
de mejora?
10. En qu medida contribuyen los agentes externos de
cambio a la consecucin de los objetivos intermedios
de mejora?
11. En qu medida las variables de contexto permiten,
estimulan o dificultan la consecucin de los objetivos
alumnos? (Por ejemplo, en qu medida el currculo
nacional permite, estimula o dificulta los programas
ESI?)
Estas cuestiones clave se ven complementadas por siete
cuestiones adicionales:
1. Hay evidencias disponibles de cunto contribuye
de hecho la consecucin de los objetivos de mejora al
logro de los objetivos de los alumnos?
2. Hay evidencias disponibles de cunto contribuye
de hecho el logro de los objetivos de mejora a una
mejor implementacin del currculo de aula?
3. Hay evidencias disponibles de hasta qu grado
ciertos modos de implementar el ciclo
autorregulativo de mejora (es decir,
estrategias/tecnologas de mejora concretas)
contribuyen mejor que otros al logro de metas de
mejora?


362
4. Hay evidencias disponibles de cunto contribuye la
apertura/respuesta de la escuela a una consecucin
ms satisfactoria de los objetivos de mejora?
5. Hay evidencias disponibles de cunto contribuye la
existencia de una tradicin de aprendizaje
organizativo por parte del centro a una consecucin
ms satisfactoria de los objetivos de mejora?
6. Hay evidencias disponibles de que la escuela no
podra gestionar su propio proceso de mejora sin el
apoyo de agentes externos de cambio?
7. Hay evidencias disponibles de cunto contribuyen
las metas nacionales o de la sociedad (un currculo
nacional, una estrategia nacional de mejora o
cualquier otra) a la consecucin de los objetivos
alumnos?
Metodolgicamente, la evaluacin de los procesos de
mejora de la eficacia escolar supone recoger las aportaciones del
movimiento de Eficacia Escolar y de Mejora de la Escuela. En
ese sentido, tanto la metodologa cualitativa como la
cuantitativa juegan un papel determinante. Efectivamente, para
evaluar el criterio de eficacia (los resultados acadmicos de los
alumnos) deben seguir utilizndose pruebas estandarizadas,
que garanticen una adecuada validez y fiabilidad de los datos.
Esto significa que hay que seguir trabajando en la construccin
de pruebas que midan elementos bsicos del rendimiento
acadmico como son los valores y actitudes del alumnado.
Igualmente, la valoracin del criterio de mejora (la consecucin
de los objetivos intermedios) debe realizarse mediante
procedimientos cualitativos, de acuerdo con la tradicin del
movimiento de Mejora de la Escuela.
El movimiento de Mejora de la Eficacia Escolar supone la
superacin de las limitaciones de los paradigmas de los que
surge. Frente a planteamientos exclusivamente centrados en el
conocimiento terico sin aplicaciones en la realidad, o en el
cambio prctico sin fundamentacin terica, las nuevas ideas
pretenden evaluar y mejorar los centros a partir de un
conocimiento cientficamente validado: slo analizando los
procesos que ocurren en las escuelas e integrando este
conocimiento con el saber acumulado por la investigacin ser


363
posible establecer criterios, pautas y procedimientos adecuados
de evaluacin que nos lleven hacia la eficacia y la calidad de los
centros docentes y de los programas que se desarrollan en ellos.
El nuevo movimiento de Mejora de la Eficacia Escolar puede
ayudar a conseguir ese objetivo ofreciendo el marco terico
necesario para que los centros puedan poner en marcha sus
propios proyectos y saber qu aspectos son esenciales para
evaluar su accin. Sin embargo, sera injusto afirmar que la
Mejora de la Eficacia Escolar es la simple suma de dos
corrientes: es eso y mucho ms. Aunque en este momento hay
todava poca literatura sobre el tema, se vislumbra un fructfero
camino de mutua retroalimentacin entre la teora y la prctica.
Estamos sin duda ante un planteamiento que puede tener una
fuerte repercusin en la mejora y la eficacia de los centros y, con
ello, en un aumento de la calidad del sistema educativo.


364
Bibliografa
Gray, J. et al. (1999). Improving schools. Performance & potential.
Buckingham: Open University Press.
Hoeben, W. (1999). A framework for the evaluation of ESI projects.
Groningen: GION. Documento indito.
Murillo, F. J. (1999). Claves para la Mejora de la Eficacia Escolar.
Crtica, 866, 34-38.
Reynolds, D. et al. (1997). Las escuelas eficaces. Claves para mejorar
la enseanza. Madrid: Aula XXI/Santillana.
Stoll, L. y Wikeley, F. (1998). Issues on linking school
effectiveness and school improvement. En W. T.
Hoeben (Ed.), Effective School Improvement: State of the
Art. Contribution to a Discussion (pp. 29-58). Groningen:
GION.


365

INMIGRACIN E INTEGRACIN SOCIAL EN LA
ENSEANZA OBLIGATORIA
Bayot, A.; Del Rincn, B. y Navarro, M.J.
Universidad Castilla-La Mancha

INTRODUCCIN

Nuestro mundo se basa, cada vez ms, en contactos
culturales interactivos y continuos en todos los terrenos:
poltica, economa, cine, arte, medios de comunicacin. Los
fenmenos migratorios no son nuevos y las consecuencias
socioculturales se constataron ya en nuestro pas, en mayor o
menor medida, durante los aos sesenta y setenta, a propsito
del trasvase de poblacin desde el campo hacia los ncleos
industriales. Grandes urbes, como Madrid, Barcelona y
Valencia, acogieron un gran nmero de familias procedentes de
otras regiones y fue un momento propicio para analizar las
relaciones entre los procesos educativos y la procedencia
sociocultural. Se puso de manifiesto el choque entre las
expectativas de la poblacin escolar inmigrante y las propuestas
formales de los currcula escolares. Como consecuencia: fracaso,
indisciplina, absentismo, etc.
En los aos ochenta, una nueva inmigracin llega a
Espaa. Y ahora con variables culturales, tnicas, lingsticas,


366
religiosas, bien diferenciadas y, por tanto, con ms
posibilidades de aparecer actitudes de marginacin. A partir de
este hecho, los investigadores se han centrado en analizar las
causas que provocan estos fenmenos. Entre las variables ms
estudiadas figuran el autoconcepto, la socializacin, etc. En esta
lnea, Johnson y Johnson (1994) sealaron que los nios
inmigrantes, por lo general, tienen un buen autoconcepto y
cuentan con orgullo toda la informacin que los identifica con
el grupo al que pertenecen. Beitborde (1996) propone potenciar
en el aula el concepto que los nios tienen de s mismos, la
seguridad para expresar sus diferencias, crear debates con los
nios de otros pases, evaluar las diferencias que existen entre
estilos y culturas con el fin de poder cooperar mejor, a la vez
que propiciar la eliminacin de prejuicios creando simpatas
hacia los discriminados.
En relacin con el clima social en la escuela, Chance,
Gunn y Rakes (1996) no encontraron dificultades de integracin
cultural en los nios inmigrantes que asisten a la escuela en sus
pases de acogida, por lo que proponen eliminar los
estereotipos que se crean sobre los problemas culturales que
podran tener las minoras tnicas. Aunque, como seala
Cohelho (1994), existe una serie de factores que facilitan la
integracin tales como los siguientes: que sea una opcin
libremente determinada, que se hayan preparado emocional y
materialmente, que venga la familia completa, que tengan
conocimientos sobre la lengua del pas al que se incorporan,
que la experiencia educativa previa fuera buena, que se
integren en un medio similar al de procedencia (rural o
urbano), que no se aslen culturalmente y que no pierdan el
estatus que ya tenan en su pas de origen.
Nieto (1992) afirma que para que se d un buen clima
entre la familia y la escuela, los valores culturales de ambas
instituciones no deben entrar en contradiccin. Es de especial
importancia que se puedan mantener tanto la lengua como la
cultura de origen y que los sistemas de comunicacin entre
padres e hijos permitan la transmisin de valores y normas de
comportamiento. Y, segn esta autora tanto la implicacin de
las familias en el proceso educativo de los hijos, como las
grandes expectativas acerca del mismo y el mantenimiento de
su lengua y su cultura son los factores que determinan el xito
escolar de los nios inmigrantes.


367
La comunicacin que aqu se presenta pretende aportar
las primeras conclusiones acerca de una investigacin que se
est llevando a cabo en la Comunidad de Castilla-La Mancha,
subvencionada por la Universidad de Castilla-La Mancha (UC-
LM). Se pretende analizar hasta qu punto la procedencia
cultural determina respuestas diferenciadas en variables
relacionadas con el proceso educativo del individuo, tales como
socializacin, autoconcepto y clima social tanto en la escuela
como en la familia.

METODOLOGA

En esta investigacin se ha aplicado una metodologa ex
post facto. Como variable independiente actuar la variable
"grupo" ("minoras tnicas" y "no-minoras"). Como variables
dependientes: socializacin, autoconcepto y clima social en la
escuela y en la familia.

Descripcin de la muestra

La muestra est formada por 93 participantes, de los
cuales 43 (46.2%) pertenecen a minoras tnicas. Con relacin a
los estudios de los padres, teniendo en cuenta en primer lugar a
los no-inmigrantes, el 50% tiene estudios primarios, el 2%
medios y el 6% superiores. En cambio, en los inmigrantes,
nicamente el 37% tiene estudios primarios, el 2.3% medios y el
4.7% superiores.

Hiptesis

Se han planteado las siguientes hiptesis:
1. Los participantes inmigrantes puntuarn de forma
significativamente inferior en autoconcepto, estarn
menos integrados en el contexto escolar, obtendrn
una menor socializacin y un menor acatamiento a
las normas establecidas.


368
2. Los participantes de minoras tnicas tendrn
niveles significativamente superiores de
conflictividad.

Anlisis estadsticos

Se ha aplicado la prueba de contraste de hiptesis "t" de
Student y anlisis descriptivos.

Instrumentos de medida utilizados

Los instrumentos de medida utilizados han sido los
siguientes:

Cuadro 1. Instrumentos de medida
Instrumento Autor Variable
Batera de
socializacin (BAS-3)
Silva y Martorell
(1995)
Socializacin
Autoconcepto (Forma
A)
Musitu et al.,
1997
Autoconcepto
Escala de clima social Moos et al., 1995 Clima Social en la Familia
(FES)
Escala de clima social Moos et al., 1995 Clima Social en la Escuela
(CES)

RESULTADOS

En los resultados obtenidos relativos al autoconcepto,
nicamente aparecen diferencias significativas en el factor
social (t= 2.86; p= 0.006), a favor de los participantes
inmigrantes (X= 8.20; Sx= 1.75 frente a X= 7.02; Sx= 1.51,
respectivamente)(Tabla 1). En cambio, en la variable de
socializacin, los participantes no-inmigrantes puntan
significativamente superior tanto en la escala de consideracin


369
con los dems (t= -2.74; p= 0.01)(X= 10.09; Sx= 2.42 frente a X=
12.00; Sx= 1.64, respectivamente) como en autocontrol en las
relaciones sociales (t= -2.60; p= 0.01)(X= 9.73; Sx= 2.43 frente a
X= 11.96; Sx= 1.64, respectivamente)(tabla 2).

Tabla 1. Autoconcepto
X Sx Variables
a b a b
t p
Acadmico 17.92 16.80 3.20 3.08 1.11 0.27
Social 8.20 7.02 1.75 1.51 2.86 0.006
Emocional 18.27 18.61 3.02 2.33 -0.44 0.65
Familiar 9.46 8.76 2.20 2.36 1.00 0.32
X= media aritmtica; Sx= Desviacin tpica; t= t de Student; p=
probabilidad (dos colas); a= minoras tnicas; b= no minoras
tnicas.

Tabla 2. Batera de Socializacin
X Sx Variables
a b a b
t p
Consideraci
n
10.09 12.00 2.42 1.64 -2.74 0.01
Autocontrol 9.73 11.96 2.43 1.64 -2.60 0.01
Retraimiento 3.71 2.26 1.89 1.97 1.73 0.09
Ansiedad 4.69 3.68 1.55 2.46 1.36 0.18
Liderazgo 7.00 6.87 1.91 2.11 0.18 0.85
Sinceridad 4.60 3.46 2.80 2.23 1.29 0.20
probabilidad (dos colas); a= minoras tnicas; b= no minoras tnicas.

Respecto del clima social que existe en la familia, los
participantes que no pertenecen a las minoras tnicas estn
ms compenetrados y se apoyan entre s (t= -2.79; p= 0.01),
mantienen un mayor grado de participacin en actividades
sociales y recreativas (t= -2.83; p= 0.008), dan mayor
importancia a las prcticas y valores de tipo tico y religioso (t=
-2.44; p= 0.02) y, finalmente, valoran de una forma ms
significativa la organizacin al planificar las actividades y
responsabilidades de la familia (t= -3.56; p= 0.001), frente al


370
grupo de las minoras tnicas. En cambio, stos ltimos,
expresan de una forma ms libre y abierta la clera, la
agresividad y los conflictos entre los miembros de su familia (t=
3.64; p= 0.001)(tabla 3).

Tabla 3. Clima Social en la Familia (FES)
X Sx Variables
a b a b
t p
Cohesin 6.06 7.48 1.85 1.45 -2.79 0.008
Expresividad 4.82 4.70 2.07 1.58 0.22 0.83
Conflicto 4.00 2.26 1.31 1.51 3.64 0.001
Autonoma 5.25 4.39 1.48 1.37 1.86 0.71
Actuacin 5.35 6.00 1.73 1.38 -1.30 0.20
Intelectual 5.25 5.73 1.98 1.88 -0.75 0.45
Social 4.20 5.78 1.86 1.56 -2.83 0.008
Moralidad 3.87 5.04 1.41 1.49 -2.44 0.02
Organizacin 5.69 7.17 1.45 1.15 -3.56 0.001
Control 5.14 4.79 1.17 1.59 0.72 0.48
tnicas.

Cuando se analiza el clima social en la escuela, el grupo
de no-inmigrantes mantiene una mayor amistad (afiliacin)
entre ellos (t= -2.44, p= 0.02), valora de forma significativa ms
el esfuerzo (competitividad) que se requiere para lograr una
buena calificacin y estima (t= -2.75; p= 0.01) y al
establecimiento (claridad) y seguimiento de unas normas (t=
2.18; p= 0.04), frente al grupo de inmigrantes (tabla 4).


371

Tabla n 4. Clima Social en la Escuela (CES)
X Sx Variables
a b a b
t p
Implicacin 5.07 5.69 0.83 1.78 -1.24 0.23
Afiliacin 4.92 6.33 1.66 1.40 -2.44 0.02
Ayuda 4.91 5.81 1.81 1.68 -1.33 0.20
Tareas 5.86 6.00 1.10 1.37 -0.31 0.75
Competitividad 4.75 6.19 1.05 1.56 -2.75 0.01
Organizacin 4.81 4.82 1.94 2.16 -0.007 0.99
Claridad 5.20 6.56 1.93 1.26 -2.18 0.04
Control 5.00 6.27 1.34 1.87 -1.91 0.07
Innovacin 5.91 5.87 1.87 1.75 0.05 0.96
tnicas.

CONCLUSIN

Aunque de forma tentativa, los participantes
pertenecientes a las minoras tnicas puntan de forma
significativamente superior en el factor social relativo al
autoconcepto. En parte, estos resultados se encuentran en la
lnea de los obtenidos por Johnson y Johnson (1994). Sin
embargo, presentan niveles superiores de conflictividad en sus
relaciones sociales, tienen una menor consideracin con los
dems y una menor supeditacin a las normas y reglas sociales
que facilitan la convivencia y el mutuo respeto. Adems,
puntan de forma significativamente inferior en el aspecto
moral-religioso y muestran una menor organizacin al
planificar las actividades y responsabilidades de la familia. En
general, perciben que tienen una socializacin inferior respecto
del grupo de no-inmigrantes. Por otra parte, estn menos
integrados en el contexto educativo y realizan una menor
valoracin del esfuerzo y del establecimiento y seguimiento de
las normas que se requieren para la consecucin del xito
acadmico, a diferencia de las afirmaciones realizadas por
Chance et al. (1996). Quizs, la explicacin se encuentre en las


372
indicaciones planteadas por Cohelho (1994). A partir de los
resultados obtenidos en nuestro trabajo, parece aconsejable
intervenir sobre el autoconcepto y la socializacin de los
alumnos inmigrantes puesto que se revelan como variables
moduladoras del xito escolar.


373
Bibliografa

Beitborde, M.L. (1996). Creating Community the classroom:
Modeling new Basic Skills in Teacher Education. Journal
of Teacher Education, 5 (47), 367-374.
Coelho, E. (1994). Social integration of inmigrant and refugee
children. En F. Genesee (Ed.), Educating second language
children. Cambridge: Cambridge University Press
Chance, L., Gunn Morris, V. & Rakes, S. (1996). Fostering
sensivity to diverse culture Thoungham early field
experience colaborative. Journal of Teacher Education, 5
(47), 386-389.
Johnson, D.W. & Johnson, F.P. (1994). Joining together: Group
theory and group skill. Boston: Allyn & Bacon
Moos, R., Moos, B. & Trickett, E. (1995). Escalas de clima social.
Madrid: TEA Ediciones, S.A.
Musitu, G., Garca, F. y Gutirrez, M. (1997). Autoconcepto.
Forma A (AFA). Madrid: TEA Ediciones, S.A.
Nieto, S. (1992). Affirming diversity. The sociopolitical context of
multicultural education. New York: Longman.
Silva, F. y Martorell, M. C. (1995). Batera de socializacin (BAS-3).
Madrid: TEA Ediciones, S.A.


374
EVALUACIN DIAGNSTICA DE UN CENTRO DE
PRIMARIA DESDE LA REFLEXIN DEL
PROFESORADO

Hidalgo, E.; Garca, B.; Lpez, R. y Gonzlez, D.

INTRODUCCIN

Si se procura entender el diagnstico no nicamente,
como la actividad que persigue resolver problemas, dificultades
y/o deficiencias del alumnado, sino tambin, como aquella
actividad encaminada a prever y potenciar el desarrollo de los
diferentes indicadores de calidad de un centro educativo para
alcanzar la plenitud de todos y cada uno de ellos, y dotar as al
propio centro de una autonoma, estaremos en la lnea de
entender la interrelacin entre diagnstico y autoevalucin y
que dicha autoevaluacin necesitar del diagnstico para
realizar pronsticos que permitan prevenir y ajustar los
procesos para conseguir una mejor calidad en el centro.
En este sentido, esta interrelacin que se ha planteado, se
podra considerar como autoevaluacin diagnstica, ya que
estara orientada a avanzar pronsticos y a tomar decisiones al
inicio de determinados procesos educativos, teniendo por
objetivo realizar un diagnstico para detectar las posibles reas
de mejora y los posibles aspectos potencialmente fuertes del
centro, constituyendo esto el punto de referencia del equipo


375
directivo y del profesorado para la toma de decisiones relativas
a la potenciacin de las reas de mejora.
Por todo ello, y a modo de aplicacin prctica de dicho
modelo de autoevaluacin diagnstica, trataremos en este
estudio, realizado en un centro de Educacin Primaria, poner
de relieve la posibilidad de dicho tipo de evaluacin para
establecer una toma de decisiones con respecto a las reas que
se deben mejorar.

DESCRIPCIN DEL TRABAJO

Se pretende hacer un diagnstico de un centro educativo
mediante el anlisis de los datos que el profesorado aporta a
travs de su propia autoevaluacin. Este anlisis descriptivo
tendr como finalidad poner de manifiesto la realidad del
centro, los aspectos en los que el profesorado se muestra seguro
y aquellos otros en los que consideren que sera necesario llevar
a cabo mejoras.
Nos gustara destacar que el 100% del profesorado (15
sujetos) de Educacin Primaria cumpliment los cuestionarios,
por lo que consideramos que los resultados reflejan claramente
la realidad de este centro, desde la perspectiva del profesorado.
Como hemos indicado anteriormente se peda una
autoevaluacin a cada uno de los profesores/as. Para ello, se les
facilit un cuestionario (MEC, 1997), que tiene en cuenta los
siguientes aspectos: dinamizacin (21 tems), planificacin y
estrategia (14 tems), gestin del personal (31 tems), recursos
(11 tems), procesos (28 tems), resultados del centro (26 tems)
y satisfaccin del personal (25 tems).
El conjunto de los tems contestados por cada sujeto fue
de 156, utilizando para la respuesta una escala en la que se
daban cuatro posibles opciones, que oscila entre el
desacuerdo hasta total acuerdo.


376
Anlisis y resultados

El anlisis de las cuestiones se realiz mediante el
programa SPSS 8.0. Con l obtuvimos los estadsticos
descriptivos bsicos.
Un anlisis global de cada uno de los apartados parece
indicar que el profesorado valora, en lneas generales,
positivamente al centro. Como podemos ver en la tabla que
aparece a continuacin, la mayora de los sujetos (70% o
superior) dan respuestas que fluctan entre de acuerdo (a) y
totalmente de acuerdo (t. a).

VALORACIN GLOBAL
Aspecto n Resp. % Aspecto n Resp. %
Dinamizacin
13
0
2
t.a
a
Resto
86,7
0
13,3
Procesos
6
5
4
t.a
a
Resto
40
33.4
26,7
Planificacin y
Estrat.
13
0
2
t.a
a
Resto
86,7
0
13,3
Satisfacci
n
personal
6
5
4
t.a
a
Resto
40
33,3
26,7
Gestin del
personal
8
1
6
t.a
a
Resto
53,3
6,7
40
Resultad
os
10
1
4
t.a
a
Resto
66,6
6,7
26,7
Recursos
4
8
3
t.a
a
Resto
26,7
53,3
20

Por razones de brevedad, a continuacin presentamos
algunas de las reas de mejora y los puntos fuertes detectados
en cada uno de los mbitos que se pretenda valorar. Entre
parntesis indicamos el nmero de sujetos que mantienen esa
opinin:
Dinamizacin: Es el comportamiento y la actuacin del
Equipo Directivo y del resto de responsables (coord., Jefes
Dpto...) para guiar al centro educativo hacia la calidad.


377
REAS DE MEJORA PUNTOS FUERTES
El profesorado considera que en el
programa del Equipo Directivo, no
se prestaba la suficiente atencin a
explicar la visin de la mejora del
centro que tenan (8).
El profesorado considera que el
Equipo Directivo es accesible,
escucha a sus compaeros y se
preocupa por crear un ambiente
satisfactorio (14).

Planificacin y Estrategia: Refleja cmo se organiza,
desarrolla, se comunica, se actualiza y mejora el Proyecto de
Centro.

La planificacin y estrategia del
centro, es compartida por la mayor
parte de la comunidad educativa
(15).
La planificacin de las estrategias
de la accin educativa del centro
se decide en los rganos
colegiados (14).

Gestin del personal: Se refiere a cmo el Centro
Educativo utiliza el mximo potencial de su personal para
mejorar continuamente.

La dotacin de personal docente no
es adecuada para atender las
necesidades (9).
No existe un plan de sustituciones
del profesorado coherente, que
amortige el efecto de las bajas
docentes (10).
El trabajo en equipo es considerado
como base de desarrollo personal en
el centro educativo (11), aspecto
este fomentado por el Equipo
Directivo (10).

Recursos: Se refiere a la gestin, utilizacin y
conservacin de los recursos de todo tipo que dispone el


378
Centro.

El profesorado se queja de que se
elabora el presupuesto sin tener en
cuenta sus propuestas (10) y de los
insuficientes recursos didcticos de
que dispone (8). Se siente poco
alentado para investigar (10).
El sistema de informacin del
centro se considera adecuado (12).

Procesos: Se refieren a cmo se identifican, gestionan y
revisan los procesos y a cmo se corrigen, a fin de asegurar la
mejora continua en todas las actividades del Centro Educativo.

Rigidez de las estructuras
organizativas que dificultan aspectos
como innovacin y creatividad (8).
Participacin del profesorado en las
decisiones de carcter didctico
(15).
Revisin de la planificacin
prevista sobre los contenidos de
forma que se coordinan los procesos
de enseanza- aprendizaje (15).

Satisfaccin del personal: Se refiere a qu consigue el
Centro Educativo respecto a la satisfaccin de aquellos que
prestan sus servicios en el Centro.

Poca participacin del profesorado
en los planes de mejora del centro y
en la toma de decisiones (8).
Existe un ambiente y clima
favorable en el centro (14).

Resultados del centro: Se refiere a lo que consigue el
Centro Educativo en relacin con la planificacin y estrategias,
y con respecto a la satisfaccin de las necesidades y
expectativas de los alumnos y de las familias.


379

Existe un control de faltas eficaz y
tambin una distribucin fsica
adecuada (15).

CONCLUSIONES

Finalmente indicar que una vez detectadas las reas en
las que el profesorado manifiesta la necesidad de mejorar, sera
necesario, establecer un Plan de Mejora de las mismas. Esto
requiere definir las acciones a realizar y los responsables de las
mismas. El proceso conlleva en s, el promover una cultura de
evaluacin de la calidad por medio de la reflexin del
profesorado.
A modo de sntesis, podemos detectar las siguientes
necesidades de mejora:
- Informar al profesorado a travs del Proyecto de
Centro de las intenciones del Equipo Directivo.
- Una mayor dotacin de personal tanto para la funcin
docente como para la sustitucin de las posibles bajas
laborales.
- Mejorar el presupuesto y los recursos didcticos
disponibles.
- Potenciar una estructura organizativa que favorezca la
innovacin y la creatividad.
- Mayor participacin del profesorado en la toma de
decisiones y en los planes de mejora del centro.


380

Bibliografa

BUENDA, L. (1996). La investigacin sobre evaluacin
educativa. Revista de Investigacin Educativa. 14 (2).
ESCUDERO, T. (1980). Se pueden evaluar los Centros Docentes y
sus profesores?. Zaragoza: ICE.
GAIRN, J. (1993). La autoevaluacin institucional como va
para mejorar los centros educativos. Bordn, 45, (3), 331-
351.
HIDALGO, E. (1997). Metodologa observacional aplicada al
diagnstico en educacin. En Salmern H. (coord.).
Diagnosticar en educacin. Fete-UGT. Granada.
MATEO, J. (1997). La evaluacin en el aula. En SALMERON, H.
(ed.), Evaluacin Educativa: VII Jornadas sobre la LOGSE.
Granada: Grupo editorial universitario.
MINISTERIO DE EDUCACION Y CULTURA (1997). Modelo
europeo de Gestin de la Calidad. Madrid: MEC.
SALMERN, H. (1997). Evaluacin diagnstica. En
SALMERON, H. (ed.), Evaluacin Educativa: VII Jornadas
sobre la LOGSE. Granada: Grupo editorial universitario.
TEJEDOR, J.A. (1994). Autonoma institucional de los Centros
educativos: Presupuestos, organizacin, estrategias.
Universidad de Deusto. Bilbao.


381

ASPECTOS CUALITATIVOS DEL ESTUDIO DE
TELEFORMABILIDAD DE PERFILES OCUPACIONALES

Perales, M.J.; Ramos, G., Chiva, I.; Snchez, P., Prez Carbonell, A.
y Gonzlez Such, J.

INTRODUCCIN

El objetivo de este estudio es valorar si la Teleformacin
supone una modalidad formativa de inters para la Formacin
Continua en las empresas la Comunidad Valenciana. Este
estudio se inserta en un proyecto ms amplio sobre el Anlisis
de Teleformabilidad de los Perfiles Ocupacionales (Surez et al,
1999; Ramos, 2004), centrndose en las aportaciones de los
Responsables de Formacin de diferentes PYMEs de nuestra
Comunidad, as como de los Institutos Tecnolgicos.

Adems de considerar el punto de vista de los expertos, un
estudio de teleformabilidad de la formacin continua exige
recoger la perspectiva de las empresas, y sus propias
necesidades y expectativas frente a una modalidad formativa
potencialmente ms flexible. Para ello, en este estudio nos
acerdamos desde una perspectiva cualitativa a dos colectivos:
Responsables de formacin de empresas de la
Comunidad Valenciana.


382
Responsables de formacin de los Institutos
Tecnolgicos de la Comunidad Valenciana. Estos
Institutos Tecnolgicos son asociaciones sectoriales
de empresas, sin nimo de lucro, dedicadas a la
investigacin y el desarrollo, y al servicio de las
empresas asociadas. Entre los servicios que ofrecen
destaca la formacin continua de los trabajadores,
de modo que su punto de vista, como profesionales
de la formacin continua, tambin resulta muy
relevante.

METODOLOGA

Se han llevado a cabo 27 entrevistas, con los
responsables del departamento de formacin de diferentes
empresas e Institutos Tecnolgicos de la Comunidad
Valenciana. El anlisis de las entrevistas se ha realizado
mediante anlisis de contenido, para intentar recoger una
perspectiva amplia de sus opiniones sobre la Teleformacin
(Krippendorf, K. 1990; Fundesco, 1998)

RESULTADOS

CONOCIMIENTO SOBRE LO QUE ES TELEFORMACIN

El 65% de los responsables de formacin de las
empresas contactadas afirman conocer qu es la Teleformacin,
aunque slo un 10 % de ellos la utilizan en sus programaciones
de Formacin Continua. Se ha detectado, adems, una
confusin ms o menos generalizada: en muchas empresas se
asimila Teleformacin a Enseanza Asistida por Ordenador
(EAO), obviando los recursos telemticos de comunicacin.
En cuanto, a los Institutos Tecnolgicos, en todos ellos
se tiene un gran inters por la Teleformacin y se conocen, al
menos bsicamente, sus potencialidades. Incluso algunos de
ellos han iniciado propuestas de teleformacin a partir de
experiencias anteriores de Enseanza Asistida por Ordenador.


383

INTERES POR LA TELEFORMACIN

El 100% de los entrevistados sealan que les parece muy
interesante la aplicacin de recursos telemticos para la
formacin continua. Entre las ventajas sealadas por los
distintos entrevistados se pueden destacar las siguientes:
Por accesibilidad geogrfica. Al evitar los
desplazamientos, se reduce significativamente el gasto y
se puede acceder a sujetos geogrficamente muy
dispersos.
Por rentabilidad de recursos. Permite llegar
simultneamente a un gran nmero de alumnos, sin las
limitaciones del espacio fsico del aula. Adems,
rentabiliza el trabajo de los docentes.
Por la flexibilidad horaria. Los usuarios de los cursos
pueden adaptar la formacin a su disponibilidad
horaria y a su ritmo de trabajo.
Porque es ms fcil acceder a buenos comunicadores y
formadores.

No obstante, se sealan una serie de aspectos que deben
ser cuidados, para garantizar la calidad de la formacin:
Los usuarios de la teleformacin debern tener
conocimientos previos de informtica suficientes como
para que el ordenador no sea un elemento extrao.
Ser necesario seleccionar los contenidos ms
teleformables. Desde la empresa se considera que la
teleformacin es una alternativa vlida para cursos
generalistas, pero no para cursos tcnicos o de oficios.
Desde los Institutos se aade el rea de gestin, las
sesiones informativas y los cursos centrados en software
especfico como potencialmente teleformables. El
desarrollo de productos educativos sobre reas tcnicas
es tecnolgicamente posible, pero pedaggicamente
muy costoso. Hay que sealar, no obstante, que desde


384
uno de los Institutos se plantea que es precisamente el
rea tcnica la ms teleformable, siendo el rea de
gestin menos susceptible de prescindir de las sesiones
presenciales y el contacto directo entre participantes.
Desde los Institutos Tecnolgicos con experiencia en
Teleformacin se sealan las limitaciones de la red
telefnica, que incrementa la lentitud y el coste de las
conexiones. La Teleformacin ir ms all de la
disponibilidad en red de productos multimedia, para ser
una alternativa real a la EAO.
La metodologa mixta surge como una opcin vlida,
tanto desde las empresas como desde los Institutos. La
combinacin de la telemtica, la enseanza presencial y
la distribucin de productos multimedia en CD-Rom se
presenta como una opcin econmicamente ms
accesible, y que aprovecha las ventajas de los diferentes
sistemas.
La calidad de la teleformacin va a depender de la
calidad pedaggica de toda la programacin del curso.
Disear programas y materiales de teleformacin de
calidad, ms all de la versin informatizada de un
texto, conlleva un gran esfuerzo, y va a ser
imprescindible para el buen funcionamiento del
proyecto. Tambin resulta clave cuidar la gestin, el
seguimiento de los alumnos, la evaluacin, el uso
operativo de los recursos...

FIABILIDAD DE LA TELEFORMACIN

La totalidad de las empresas apuntan que la enseanza a
distancia mediante Teleformacin es una modalidad formativa
suficientemente fiable. Tambin desde los Institutos
Tecnolgicos se seala la confianza de las empresas asociadas
en esta nueva modalidad formativa, especialmente en los
sectores donde el ordenador es una herramienta habitual de
trabajo.


385
Desde la empresa, no obstante, se seala la necesidad de
arbitrar una serie de medidas para gestionar los cursos. As, se
considera necesario implantar mecanismos de control y
evaluacin exhaustivos, cuidar la motivacin y el inters de los
alumnos, mantener algunas sesiones presenciales...

VIABILIDAD-RENTABILIDAD DE LA TELEFORMACIN

La mayora de empresas e Institutos opinan que sera
econmicamente viable poner en marcha cursos de
Teleformacin. Desde las empresas se matiza esta idea general
sealando que:
Sera ms viable para empresas medianas y grandes, no
para pequeas.
Sera conveniente que las inversiones se hicieran
partiendo de pequeas experiencias piloto y a partir de
ellas ir aumentado el nmero de terminales.
Sera necesario justificar su eleccin frente a la
enseanza presencial.

Desde los Institutos Tecnolgicos tambin se matiza la
afirmacin inicial de viabilidad de la Teleformacin. Se
considera que el problema de su viabilidad no proviene de la
inversin inicial, sino el mantenimiento del puesto de
teleformacin (coste de las comunicaciones) y el desarrollo de
productos de teleformacin.

No obstante, tanto entre las empresas como entre los
Institutos hay posiciones ms pesimistas. As, algunas empresas
argumentan que en formacin nunca se puede hablar de
rentabilidad econmica, ya que la inversin en Formacin
Continua siempre se percibe como un coste, no como una
inversin viable. Por otro lado, desde los Institutos de sectores
menos habituados al ordenador como herramienta de trabajo se
plantea la probable necesidad de una campaa de
sensibilizacin e informacin de los empresarios para lograr su


386
cooperacin, e incluso la necesidad de buscar ayudas
econmicas.

VENTAJAS E INCONVENIENTES DE LOS INSTRUMENTOS
TELEMTICOS.

El conocimiento que las empresas e Institutos
Tecnolgicos consultados tienen de los diferentes instrumentos
teleformativos es muy variable. Hay entidades donde, pese al
inters manifestado por esta modalidad formativa, el
conocimiento de los distintos recursos es muy limitado. En
otras, con experiencia incluso en Teleformacin, no hay criterios
claros sobre la eleccin de unos u otros recursos, o se delegan
esas decisiones en el equipo informtico que colabora en el
proyecto. En este sentido, se puede destacar el inters creciente
de las entidades vinculadas a la formacin continua por la
incorporacin de pedagogos a sus equipos, que puedan aportar
criterios para la seleccin de los recursos tecnolgicos en
funcin de sus implicaciones metodolgico-didcticas.

No obstante, algunas entidades s aportan comentarios
generales sobre la utilidad de los recursos, que se recogen a
continuacin:
PAGINAS HTML. Pueden ser adecuados como material
de consulta y apoyo terico pero estn muy limitadas
para impartir la parte prctica de los cursos de
Formacin Continua ya que no es dinmico ni
interactivo.
OTRAS PGINAS. Tienen ms posibilidades a nivel
terico que las pginas HTML, pero todava tienen
muchas limitaciones a nivel prctico.
CORREO ELECTRONICO. til tanto en teora como en
prctica, ya que permite la comunicacin
profesor/alumno, sobre todo para resolver dudas,
controlar, o evaluar. Este recurso debe considerarse
como apoyo y no un instrumento en s mismo para
llevar a cabo la Teleformacin.


387
GRUPOS DE DISCUSIN. Puede ser un recurso muy
interesante y motivador si el nivel de partida de los
alumnos es suficientemente homogneo.
CHAT. Es un recurso interesante para la teora, pero
ms adecuado para la prctica siempre y cuando se
trabaje con grupos reducidos y sobre un tema especfico
y concreto.
VIDEOCONFERENCIA. Puede ser un recurso interesante
tanto para prctica como teora cuando se trate de
sujetos con motivacin e inters por el curso, y con un
nivel de formacin de suficiente. No obstante, hay que
valorar tambin la inversin en comunicaciones que
supone, y la viabilidad tecnolgica de la conexin.
CLIENTE-SERVIDOR. Su elevado coste le convierte en
poco operativo.
INTRANET. Para grandes empresas puede ser una
opcin muy interesante, pues la conexin interna de los
puestos de teleformacin puede compensar las posibles
deficiencias de la infraestructura de comunicacin y
hace viables opciones tecnolgicamente posibles.

En cualquier caso, reiteradamente se manifiesta que la
eleccin de unos recursos u otros va a venir determinada por
las caractersticas del curso, por su temtica, por los
participantes, por las posibilidades econmicas de diseo y
gestin del proyecto... No pueden darse criterios estndares de
seleccin de recursos telemticos para la formacin.

RECURSOS SINCRNICOS / RECURSOS ASINCRNICOS

La Teleformacin ofrece fundamentalmente dos tipos de
ventajas para la formacin continua, derivadas de las diferentes
herramientas telemticas utilizadas. Los recursos asncronos
(como la disponibilidad de materiales en pginas web, el correo
electrnico o los grupos de discusin) flexibilizan proceso
formativo, facilitando la simultaneidad de formacin y trabajo.
Por otro lado, los recursos sincrnicos (como el chat o la


388
videoconferencia) refuerzan la motivacin de los sujetos y
potencian la comunicacin (profesor / alumno, y entre
alumnos); facilitando as el aprendizaje y compensando
deficiencias fundamentales de la enseanza a distancia
tradicional.

Las ventajas e inconvenientes de los dos tipos de
recursos son evidentes, de modo que sera interesante incluir
ambos en el diseo de los cursos de Teleformacin. No
obstante, el punto de vista de las empresas y de los Institutos
Tecnolgicos sobre la priorizacin de usos u otros puede
ofrecer un criterio aadido para el diseo.

Entre los Responsables de Formacin de las empresas no
se detecta una preferencia mayoritaria por uno u otro tipo de
recursos. Algunos han destacado las ventajas de los recursos
asncronos (flexibilidad) y otros consideran ms relevantes las
posibilidades de los recursos sincrnicos (mayores garantas de
aprendizaje, mejor seguimiento, mejor control de los alumnos,
mayor transferencia de aprendizajes...), indicando incluso que
deberan disearse los cursos como una clase virtual.
Finalmente, hay responsables que indican que la eleccin de
unos u otros va a depender del curso y los usuarios, y que los
recursos asncronos se adecuan ms a la parte terica, y los
sincrnicos a la parte prctica de los contenidos.

En cuanto a los Institutos Tecnolgicos, el 50 % de los
responsables consultados consideran prioritario adoptar
recursos flexibles, que permitan adecuarse al ritmo y las
necesidades de la empresa, y en otro 15 % de los Institutos
consideran igualmente importantes los recursos sincrnicos y
asncronos. Por fin, el tercio restante de Institutos Tecnolgicos
considera que la verdadera aportacin de la Teleformacin
frente a otras modalidades de formacin a distancia (tradicional
y EAO) es la comunicacin entre los participantes, de modo que
se debera priorizar los recursos sincrnicos, mejorando as la


389
calidad de la formacin y la motivacin e implicacin de los
participantes.

COMENTARIOS FINALES

Tanto desde las empresas como desde los Institutos
Tecnolgicos se ha mostrado un claro inters por la
Teleformacin para formacin continua. Aunque quienes ya
han iniciado experiencias de diseo de cursos de Teleformacin
son conscientes de sus limitaciones y dificultades, todos estn
de acuerdo en que es una modalidad formativa con un futuro y
un presente muy claro en la formacin en empresa, por su
flexibilidad, por las innovaciones que permite en los materiales
de aprendizaje, por su capacidad de motivacin de los alumnos,
por la comunicacin que permite entre los participantes...

Es el momento de presentar la propuesta a las empresas
asociadas, para que se impliquen en esta modalidad formativa.
Para ello, han surgido distintas propuestas en los Institutos:
Disear en Teleformacin cursos muy demandados, que
en s mismos sean motivadores, para que funcionen
como enlace con la nueva metodologa
Disear cursos en los que hay amplia experiencia en
enseanza presencial, para garantizar el xito del curso
Instalar puestos de Teleformacin en el propio Instituto,
y convocar a las empresas para mostrarles all las
posibilidades de esta opcin, incluso diseando un
curso de acceso a seguir desde el instituto
La seleccin de empresas a participar en una primera
experiencia puede basarse en su implicacin en
comunicacin telemtica, su uso de ordenadores, y su
receptividad a las innovaciones; una vez desarrollada
con ellas una experiencia piloto es ms viable la
implicacin de todas las empresas asociadas.


390
Para terminar, se puede sealar que, si bien todos los
responsables de formacin consultados estn convencidos de
que la enseanza presencial es una modalidad formativa
esencial, con unas virtualidades propias y difcilmente
alcanzables desde otras opciones, las aportaciones de la
Teleformacin son claras y, si se van diseando materiales de
calidad (no slo tecnolgica, sino, especialmente, pedaggica)
puede ser una alternativa clave para la enseanza a distancia, y
un componente indispensables de metodologas mixtas de
formacin continua.


391

Bibliografa

Delgado, J.M.; Gutierrez, J. (1994) Mtodos y tcnicas de
investigacin en Ciencias Sociales. Madrid: Sntesis.
Fundesco (1998) Teleformacin: un paso ms en el camino de la
Formacin Continua. Madrid: Fundesco.
Herman, J.L.; Lions Morris, L; Taylor Fitz-Gibbon, C (1987)
Evaluators Handbook. London: Sage Editons.
Krippendorf, K. (1990) Metodologa de Anlisis de Contenido.
Teora y prctica. Barcelona: Paids Comunicacin.
Ramos, G. (2004). Elementos para el diseo de planes de evaluacin
de programas de Teleformacin en la empresa. Tesis doctoral.
Universitat de Valncia.
Surez, J.M.; Jornet, J.M.; Perales, M.J.; Snchez, P.; Chiva, I.;
Jimnez, C. y Ramos, G. (1999). Un acercamiento a la
evaluacin de la teleformabilidad de los programas de
formacin. En AIDIPE (Coord). Nuevas realidades
educativas, nuevas necesidades metodolgicas. Mlaga:
CEDMA.


392
CONSTRUCCIN, VALIDACIN Y MEJORA DE PRUEBAS
CRITERIALES DE CLASE

Jornet, J.M.; Perales, M.; Chiva, I.; Ramos, G.; Snchez, P.
Universitat de Valencia

A MODO DE INTRODUCCIN

Desde que en 1963 Robert Glaser acuara el trmino de
Evaluacin Criterial hasta la actualidad, han sido muchas las
contribuciones que se han ido realizando desde este
movimiento. Sus especificaciones y especializacin, atendiendo
a los usos sociales de las pruebas, tambin han sido mltiples.
No obstante, su integracin ha sido desigual. As, si bien se
puede afirmar que en el mbito de las pruebas de certificacin y
admisin, en el sistema norteamericano, las concepciones
criteriales se han integrado totalmente, en campos cercanos a la
evaluacin en el aula, su impacto quiz haya sido menor.
De igual modo, en nuestro pas, el trmino aparece con
cierta frecuencia desde comienzo de la dcada de los ochenta
(Rivas et al. 1995; Rodrguez Lajo, 1986; Buenda y Salmern,
1994; Jornet y Surez, 1994 y 1996; Mateo, Leonor...), pero
tambin es cierto que su impacto en la realidad de la enseanza
ha sido muy escaso. Probablemente, buena parte del bajo
impacto se deba a que los que estamos interesados en este tema
no hayamos sabido transmitir su utilidad, o bien, que no hemos
sido capaces de superar las concepciones apriorsticas que sin


393
duda alguna actan como un freno al desarrollo de la Medicin
Educativa en el mbito escolar.
Desde estas lneas va a ser difcil cambiar la situacin
descrita, pero creemos que ms que el valor de revisin tcnica
que pueda aportarse, tiene especialmente sentido centrase en
algunos elementos de reflexin que puedan tenerse en cuenta
para abrir el camino de la utilizacin de este tipo de
metodologa para el desarrollo de pruebas de uso en la clase.
De este modo, antes de comenzar a realizar la
mencionada reflexin, y nicamente por situar adecuadamente
el tema, permtasenos revisar los componentes bsicos
implicados en la construccin de este tipo de pruebas.

COMPONENTES BSICOS EN LA CONSTRUCCIN DE PRUEBAS
CRITERIALES DE CLASE

No vamos a realizar una revisin pormenorizada de este
aspecto, dado que ha sido ya expuesto en diferentes trabajos
anteriores, a los cuales remitimos al lector interesado en el tema
(Jornet y Surez, 1994). nicamente recordar que por pruebas
criteriales nos referimos a instrumentos estandarizados orientados
a recoger informacin acerca del rendimiento de los estudiantes y que
pretenden una aproximacin absoluta de valoracin de la calidad de la
ejecucin.
La lgica que subyace a los diversos mtodos que hay
para la construccin de este tipo de pruebas pone su nfasis en
dos elementos clave: a) La definicin del dominio educativo, y
b) La determinacin del estndar y definicin de la puntuacin
de corte.
De estos dos grandes componentes, el ms importante
sin duda es la definicin del Dominio Educativo (DE). Este se
refiere al conjunto de objetivos, actividades y tareas que son
objeto del programa educativo que pretende ser evaluado a
travs de la prueba. Por ello, constituye el Universo de Medida,
es decir, incluir todas las tareas que puedan poner de
manifiesto el grado de habilidad que tiene adquirido un
alumno. Como trmino, puede aplicarse a diversos tipos de
materias segn el grado de generalidad (las Matemticas de


394
Primaria, o la Unidad Concepto de Suma). Pero, es obvio que
en el campo de aplicacin a que se refieren estas reflexiones, las
pruebas de uso en el Aula, nos movemos en el concepto ms
concreto.
En el grado en que el DE est bien definido, podremos
aspirar a obtener pruebas de diferente validez. As, una
exhaustiva definicin del DE podr permitir obtener, si el
conjunto de actividades de construccin se realizan tambin de
forma adecuada, pruebas vlidas; mientras que un DE
escasamente definido no puede apoyar el logro de este objetivo.
Esto es as, dado que la validez se referir al grado en que la
prueba representa el DE, entendiendo que ella constituye una
muestra del mismo.
Adicionalmente, y como elementos que coadyuvan a la
consecucin de la Validez, necesariamente se implican todas las
restantes operaciones de construccin de la prueba, desde la
escritura y el anlisis de tems hasta la determinacin del
estndar y el establecimiento de la puntuacin de corte.
En este tipo de acercamiento se pone un nfasis especial
en la formulacin y escritura de tems, como un elemento bsico
de calidad de la prueba.
El Anlisis de Items tiene como finalidad fundamental
ayudar al constructor de la prueba para elegir los elementos
que mejor se ajusten a la lgica que subyace a la misma (la
representatividad de los elementos respecto de los objetivos que
pretenden medir, la calidad tcnica, la ausencia de elementos
sesgados...). Entre los procedimientos para la realizacin de este
tipo de anlisis se identifican tanto aproximaciones lgicas
(basadas en juicios de expertos), como empricas (derivadas del
comportamiento estadstico de los elementos). No obstante, en
esta aproximacin, y para este tipo de pruebas, el peso recae
sobre las aproximaciones lgicas. El Anlisis de Items, en
definitiva, retroalimenta el Anlisis del DE y permite un ajuste
ms adecuado del mismo.
La Determinacin de Estndar y el establecimiento de la
puntuacin de corte constituyen, junto a la fiabilidad de la
prueba, el otro pilar sobre el que se sustenta la elaboracin de
una prueba criterial. El Estndar en este caso hace referencia al
ideal de ejecucin, es decir, el nivel que debe demostrar un
estudiante para considerar que tiene un nivel suficiente en el


395
DE. Se plantea, como en las operaciones anteriores, a travs de
juicio de expertos. La puntuacin de corte, se determina como
un ajuste emprico del Estndar, es decir, partiendo del
Estndar se analiza cul es la puntuacin en la prueba que
mejor representa el tipo de evaluacin que se desea realizar. En
esta adaptacin, que supone la puntuacin de corte, se tiene en
cuenta no slo que la prueba sea vlida (es decir, que
identifique bien a los estudiantes que tienen un dominio
suficiente y los diferencie adecuadamente de los que no lo
tienen), sino tambin que, en el caso en que se produzcan
errores al evaluar (cosa habitual en cualquier evaluacin),
tienda a favorecerse que stos se den en la direccin menos
lesiva.
La Fiabilidad, por su parte, se ve implicada en este
proceso de establecimiento de la puntuacin de corte, dado que
se conceptualiza como el grado en que una prueba es
consistente al clasificar a los estudiantes. Es decir, si se pudieran
realizar n-evaluaciones con la prueba y supuesto que no
incidieran factores en este proceso que pudieran desvirtuar los
resultados, se entendera que una prueba es fiable si arroja
siempre los mismos resultados (Aptos/No-aptos).
En sntesis, en el proceso de construccin de pruebas
criteriales para uso en la clase hay que sealar algunos
elementos caractersticos:
El nfasis se sita en el anlisis y especificacin del DE.
De ello depende la Validez de la prueba. En este sentido, las
facetas que tradicionalmente se enmarcan en las ideas de
Validez de Contenido y De Constructo, podran subsumirse en
un concepto, el de Validez Curricular (Berk, 1984). La prueba
debe medir adecuadamente los contenidos de aprendizaje,
segn los niveles que se pretende que alcancen los alumnos en
el programa. Asimismo, en la medida en que el DE se haya
realizado de forma pormenorizada, descomponiendo las tareas
en las unidades mnimas de aprendizaje, podr ser interpretada
desde un punto de vista de los procesos. En este microanlisis
es muy importante ajustarse al tipo de metodologa didctica
que se ha seguido en el desarrollo del programa. As, la Validez
se entiende como el grado en que la prueba se asocia al Diseo
y desarrollo curricular.


396
Por otra parte, es preciso tener en cuenta que la
identificacin del nivel mnimo de competencia en la
especificacin de una puntuacin de corte, ser tanto ms
adecuado y realista si este proceso se realiza sobre un DE bien
definido. En suma, la bondad de todo el proceso de
construccin recae sobre la del DE.
Primaca de los componentes basados en el juicio de
expertos (profesores de la materia objeto). Desde la ptica antes
mencionada es claro que todos los procesos esenciales para
asegurar la Validez de la prueba se sustentan
fundamentalmente en mtodos y tcnicas basados en juicios de
expertos. En las pruebas criteriales para uso en la clase, dado
que lo que se persigue es la mejor asociacin entre stas y el
diseo y desarrollo del currculum cuya adquisicin se quiere
evaluar, la referencia fundamental no es el Modelo de Medida
en que se sustenta la prueba, sino la adecuacin y valoracin de
la representatividad de la misma respecto del DE. As, si bien se
pueden utilizar indicadores cuantitativos y derivados de
modelos de medida, stos siempre quedan supeditados a las
referencias cualitativas.
De manera adicional, es conveniente tener en cuenta que
las circunstancias en que se pueden desarrollar este tipo de
pruebas (contexto de un centro escolar), hacen que el nmero
de casos en los que aplica la prueba sea generalmente reducido,
lo que conlleva la dificultad de aplicacin de mtodos, tcnicas
e indicadores que podran ser de uso comn en otro tipo de
pruebas (por ejemplo, las de certificacin).
En cualquier caso, no se trata de construir una prueba
sin indicadores estadsticos, sino nicamente tener presente
que, de igual forma que un sistema de evaluacin debe
adecuarse a las caractersticas del objeto que evala, un
instrumento de medida, tambin est supeditado a las
caractersticas de lo que evala y a su posible contexto de uso.
Un aspecto, muchas veces olvidado de los instrumentos de
medida, es su funcionalidad que tambin debera entenderse
como una faceta ms de la Validez.


397
ALGUNAS NOTAS ACERCA DE LA INTEGRACIN DE LAS PRUEBAS
EN LA EVALUACIN DE LOS ESTUDIANTES

Al comienzo de esta presentacin hacamos referencia a
las dificultades que existen para que las pruebas criteriales se
utilicen en la evaluacin de los estudiantes. En este punto
sintetizaremos algunos de estos elementos.
El concepto de prueba. An hoy, cuando hablamos de
pruebas, los profesores asumen que se trata de pruebas
objetivas y en formato de lpiz y papel. Por prueba, en este
caso, nos referimos a un conjunto organizado de actividades
(que actan como tems) y que pueden reunir tanto elementos
tradicionales como por ejemplo, preguntas de V/F o de
alternativas, de respuesta breve, etc.-, como elementos
microsituacionales por ejemplo, desarrollo de una actividad en
laboratorio-.
Por otra parte, es preciso tener en cuenta que bajo este
concepto, las actividades deben ser similares a las que los
estudiantes estn acostumbrados a realizar como elemento de
ejercitacin durante el programa educativo y que, por ello, no
deben constituir situaciones diferentes o alejadas de las que
habitualmente realizan (ello tambin es un aspecto de la
validez).
Por ltimo, la idea de prueba no requiere que est
cerrada, es decir, que contenga unos tems determinados. La
prueba como organizacin predeterminada de actividades en
las que observar la calidad y nivel de ejecucin de los alumnos,
es mejor concebirla como un sistema de organizacin que
rene, de acuerdo con unos parmetros determinados (por
ejemplo, relevancia del contenido, dificultad, etc.), un banco de
tems o de reglas de generacin de ellos, que se especifica tantas
veces como haga falta realizar la evaluacin. De esta manera, se
trata de identificar sobre un banco de tems el sistema mediante
el cul se puedan generar n-pruebas paralelas.
La idea de estandarizacin. En consecuencia con la idea
anterior, la estandarizacin se refiere a la sistematizacin del
proceso, desde la especificacin de la prueba, la igualacin de
formas de evaluacin (instrucciones, tems, tiempos, etc.), hasta
la asuncin de un sistema de interpretacin de las puntuaciones


398
de la prueba igual para todos los estudiantes. Ello no quiere
decir que este tipo de sistema nos conduzca indefectiblemente a
un tipo de evaluacin que no tenga en cuenta las caractersticas
individuales. Este hecho no depende del sistema de pruebas
estandarizadas, sino del rol que el profesor d a las mismas en
el sistema de evaluacin del estudiante. Lo cierto es que
asegurar la objetivacin nunca ha tenido por qu estar reido
con respetar las caractersticas individuales.
Es ms, una interpretacin basada en criterios absolutos
de calidad es el elemento necesario para poder realizar una
individualizacin de la enseanza. Las Adaptaciones
Curriculares slo es posible realizarlas si el profesor dispone de
instrumentos de evaluacin que le permitan identificar
adecuadamente la posicin del estudiante respecto a las
adquisiciones del DE.
La adaptacin de la prueba al programa educativo. En
este contexto estamos abogando por sistemas de generacin de
pruebas que se realicen o especifiquen desde dentro de los
propios centros, para el plan curricular que estn desarrollando.
As, para la evaluacin en el aula no creemos que se deban
utilizar pruebas estandarizadas para grandes poblaciones
(realizadas por centros especializados y/o comerciales). La
integracin de las pruebas debe realizarse precisamente por su
integracin funcional en el trabajo del centro.
La Validez se entiende como una caracterstica de un
instrumento, que puede conseguirse en virtud de determinadas
operaciones tcnicas. En este caso, como sealamos
anteriormente, el nfasis se sita en la adaptacin de la prueba
al diseo y desarrollo curricular y ello se debe producir dentro
de cada centro.
Este hecho pone de manifiesto que, dentro del
funcionamiento de los equipos de profesores una parte
importante es el establecimiento de los criterios y sistema de
evaluacin. Asegurar que dentro de un centro, en un mismo
nivel, profesores diferentes planteen niveles de exigencia
similares es, en muchas ocasiones, difcil de conseguir. La
construccin de pruebas criteriales de aula se situara en un
plano de trabajo cooperativo. Slo tiene sentido realizarlas en
un contexto de equipo de profesores (la base de la objetivacin
es el consenso intersubjetivo de muchos de los elementos que


399
las componen) y constituye, sin duda, un trabajo que mejora la
coordinacin interna, al poner de manifiesto sobre
componentes curriculares concretos los diferentes puntos de
vista que se producen en la docencia.
La mejora de las pruebas. Finalmente, dado que en el
ttulo est la referencia, queramos realizar una puntualizacin
al respecto. Los procesos que orientan la construccin de
pruebas criteriales se basan en la idea de retroalimentacin.
Ciertamente se conciben como procesos iterativos, en los que el
uso del propio sistema aporta la informacin para su mejora.
Diramos que nunca se puede dar por concluida una prueba;
puede estar disponible para su uso, con unas ciertas garantas, y
para unos determinados propsitos. Pero la concepcin de base
es que deben estar en continuo proceso de revisin. La Validez,
en todas sus facetas, desde la de Contenido hasta la Utilidad es
el elemento clave de aceptacin del procedimiento y, por lo
tanto, que justifica su uso.
Quizs estos elementos que pueden considerarse
apropiados para identificar instrumentos de medida de calidad
sean los que estn a la base de su escaso impacto. La realidad es
que constituyen conceptos que pueden realizarse en procesos
de trabajo cooperativo, en organizaciones que realicen las
actividades de programacin sin aplicar automatismos (como
indicar el libro texto...). A ello hay que aadir que en la
formacin de profesores la Evaluacin se suele tratar como un
elemento ajeno a la Medicin, cuando sta debera estar
convenientemente integrada (en definitiva es una formacin
instrumental para la Evaluacin). Probablemente, evaluar mejor
se basa en medir tambin de la mejor forma posible y ambos
factores constituyen una parte muy importante de una
actividad docente de calidad.


400
Bibliografa

BERK, R.A. (Ed.): (1984): A guide to criterion- referenced test
construction. The Johns Hopkins University Press.
Baltimore.
BUENDA, L. Y SALMERN, H (1994) Construccin de
pruebas criteriales de aula. Revista de Investigacin
Educativa, 23, 405-410.
GLASER, R. (1963): "Instructional technology and the
measurement of learning out-comes: Some questions".
American Psychologist, 18: 519- 521.
JORNET J.M. y SUAREZ J.M. (1996) Pruebas estandarizadas y
evaluacin del rendimiento: usos y caractersticas
mtricas. Revista de Investigacin Educativa, 1996, 14, 2
,141-163
JORNET J.M. y SUAREZ J.M. (1994) Evaluacin Referida al
Criterio. Construccin de un Test Criterial de Clase. En
V. GARCIA HOZ (dir.): Problemas y mtodos de
investigacin en educacin personalizada. Madrid:
Rialp.
RIVAS, F.; JORNET, J.M. y SUAREZ, J.M (1995) Evaluacin del
aprendizaje escolar: Claves conceptuales y
metodolgicas bsicas. En F. SILVA "Evaluacin
Psicolgica en la Infancia y laAdolescencia.". Sntesis.
Madrid. 1995.
RODRGUEZ LAJO, M. (1986) Evaluacin del rendimiento
criterial vs. Normativo. Modelo de evaluacin FCO.
Revista de Investigacin Educativa. 3,6,304-321.


401
INFLUENCIA DE ALGUNAS VARIABLES RELATIVAS AL
PROFESOR EN LA VALORACIN QUE LOS
ESTUDIANTES HACEN DE LA DOCENCIA QUE
RECIBEN. LA CATEGORA, LA EDAD, LA CARGA
DOCENTE REAL Y LA CARGA DOCENTE NETA
Ferrndez, R., Mora, M.T. y Martnez Sancho, M.
Universidad Jaume I

INTRODUCCIN

El presente trabajo, deriva de los estudios realizados sobre
la incidencia que algunas caractersticas del profesor (tanto
personales como administrativas) tienen en la evaluacin que
los estudiantes realizan de la docencia y de las derivaciones que
dicha incidencia conllevara a la hora de interpretar los
resultados de las encuestas, no slo como sesgos en las
respuestas, sino como elementos que podran llegar a
identificar alternativas vlidas en la toma de decisiones de cara
al establecimiento de indicadores calidad (Ferrndez, 1999,
Ferrndez et al. 1999a, 1999b; 1999c; Jornet et al. 1996).
As, se ha intentado analizar las diferencias en la
valoracin dependiendo de la categora del profesor, siendo
muchos los estudios que derivan consecuencias en este sentido
(Aleamoni, 1987; Belcher, 1991; Centra y Creech, 1976; Feldman,
1983; Ferrndez, 1999; Gonzlez Such, 1997; Miller, 1987; Prez,
1995 y Wilson, 1968 entre otros).
En este punto, es donde apareceran las hiptesis que se
tratan en estos trabajos. La primera de ellas, vendra referida a
la edad como posible elemento de acercamiento al estudiante y,


402
por tanto, los profesores ms jvenes recibiran mejores
valoraciones, aunque existen muy pocos estudios a este
respecto (Kinney y Smith, 1992).
La segunda, se encamina hacia la carga docente del
profesor, partiendo del supuesto que una mayor carga deja
menos tiempo para que el profesor pueda preparar de un modo
adecuado la docencia que imparte (no habindose encontrado
en la literatura sobre anlisis de indicadores estudios
especficos al respecto).

METODOLOGA

Para ambos estudios, se han tomado los resultados
obtenidos en la evaluacin que los estudiantes han realizado de
la actuacin docente durante el curso 98/99 de 231 profesores
de la Universitat Jaume I de Castelln elegidos aleatoriamente
(lo que supone alrededor del 32% del profesorado de esta
universidad).
Siendo el objetivo de estos estudios establecer las
posibles diferencias en la valoracin que los estudiantes
realizan de sus profesores atendiendo a diferentes
caractersticas de los docentes, se ha empleado el Anlisis de
Varianza de una va (SPSS 9.0), considerndose como variables
independientes, por este orden la categora contractual, la edad,
la carga docente real (total de crditos impartidos), y la carga
docente neta (total de crditos diferentes impartidos), y como
dependientes las puntuaciones obtenidas en los factores de
contenido docente del cuestionario de Evaluacin de la
docencia aplicado en esta universidad (Ferrndez, 1999)
(Cumplimiento de obligaciones (tems 1 y 2), Desarrollo de la
Clase (tems 3 al 7) y Actitud del profesor (tems 8 al 10)), as
como la puntuacin global de actuacin (todos los tems
anteriores excepto el 1 y el 2 y se aaden del 17 al 20).
Pero adems, y dado que las tres ltimas variables
consideradas (edad, carga docente real y carga docente neta)
han sufrido un proceso de categorizacin por impositivo del
anlisis realizado, se ha efectuado el clculo de la correlacin de
Pearson, con el fin de analizar las posibles relaciones sin que se
produzca prdida de informacin.


403

RESULTADOS

a. Categora contractual
A nivel de resultados globales obtenidos, puede
observarse en la tabla 1 que los becarios en formacin siempre
obtienen resultados ms elevados, en cualquiera de las
variables tratadas, mientras que los Catedrticos de Escuela
Universitaria (CEU) y los Catedrticos de Universidad (CU)
seran los que recibiran las peores valoraciones (stos ltimos
en el apartado de cumplimiento de obligaciones).

Tabla 1. Estadsticos descriptivos para la variable Categora del
Profesor1

Cumplimiento
de Obligaciones
Desarrollo
de la Clase
Actitud del
Profesor
Media Global de
Actuacin
N Media S Media S Media S Media S
ATP 81 4,49 0,36 3,65 0,57 4,22 0,49 3,84 0,47
Becario
7 4,88 0,13 4,29 0,31 4,69 0,21 4,39 0,27
AEU 23 4,61 0,21 3,68 0,55 4,26 0,48 3,88 0,47
AF 20 4,56 0,22 3,59 0,48 4,34 0,24 3,86 0,35
ATC 23 4,58 0,30 3,87 0,38 4,19 0,36 3,99 0,33
TEUI 11 4,57 0,41 3,91 0,40 4,32 0,22 4,03 0,30
TEU 6 4,63 0,42 3,88 0,51 4,38 0,33 4,10 0,42
TU 49 4,59 0,39 3,72 0,62 4,15 0,59 3,87 0,54
CEU 3 4,55 0,25 3,12 0,42 3,83 0,08 3,47 0,19
CU 8 4,51 0,31 3,76 0,34 4,10 0,31 3,89 0,21
Total 231 4,56 0,34 3,72 0,54 4,23 0,46 3,90 0,45

Sin embargo, al aplicar el Anlisis de Varianza (ver tabla
2), y observando que la homocedasticidad se cumple en la
mayor parte de los casos (nicamente en la actitud del profesor

1 ATP: Asociado a tiempo parcial. AEU: Ayudante de Escuela Universitaria.
AF: Ayudante de Facultad. ATC: Asociado a tiempo completo. TEUI: Titular
interino de Escuela universitaria. TEU Titular de Escuela universitaria. TUI:
Titular interino de Universidad. TU: Titular de Universidad.


404
no se da esta propiedad) slo se constatan diferencias
significativas (95%) en el apartado de desarrollo de la clase.

Tabla 2. Significacin del ANOVA y Homogeneidad de las varianzas
para la Categora.
Homogeneidad de las
Varianzas
Significacin del
ANOVA
Cumplimiento Obligaciones 0.41 0.274
Desarrollo de la Clase 0.33 0.038
Actitud del Profesor 0.01 0.135
Media Global de Actuacin 0.16 0.068

b. Edad
Para la realizacin del Anlisis de Varianza, dado el
carcter continuo de esta variable se hizo necesaria su
categorizacin en cinco niveles de edad: (30 aos; >30 y 40;
>40 y 50; >50 y 60; >60 aos).
De los anlisis descriptivos realizados (ver Tabla 3) se
desprende que los ms jvenes (profesores menores de 41 aos)
reciben las mejores valoraciones, siendo para el primer nivel de
edad las mejores valoraciones en Cumplimiento de
Obligaciones y Actitud del profesor y para el segundo nivel de
edad en cuanto al Desarrollo de la clase y Media Global de
Actuacin.
Tabla 3. Estadsticos descriptivos para la variable Edad
Cumplimiento
de Obligaciones
Desarrollo
de la Clase
Actitud del
Profesor
Media Global
de Actuacin
30 39 4,62 0,22 3,70 0,63 4,28 0,49 3,89 0,53
31 - 40 123 4,54 0,38 3,76 0,48 4,24 0,46 3,92 0,40
41 - 50 55 4,57 0,29 3,68 0,62 4,18 0,49 3,87 0,51
51 - 60 12 4,61 0,27 3,60 0,58 4,26 0,33 3,84 0,42
> 60 1 4,37 3,29 4,17 3,63
Total 230 4,56 0,33 3,72 0,55 4,23 0,46 3,90 0,45

Sin embargo, realizado el Anlisis de Varianza y una
vez constatada la homogeneidad de las varianzas excepto en el


405
Desarrollo de la Clase no se observa ninguna diferencia
significativa, tal y como puede apreciarse en la tabla 4.

Tabla 4. Significacin del ANOVA y Homogeneidad de las varianzas
para la Edad.
Homogeneidad
de las Varianzas
Significacin del
ANOVA

Pero para cerciorarnos de la inexistencia de diferencias,
y dada la prdida de informacin que de una categorizacin se
desprende, se ha calculado el coeficiente de correlacin de
Pearson entre la edad y los resultados de los diferentes
apartados del cuestionario as como la media de actuacin
global, obtenindose correlaciones que en ningn caso alcanzan
el 0,1 (ver tabla 5).

Tabla 5. Correlaciones entre la edad y los apartados considerados del
Cuestionario.

Cumplimiento
de Obligaciones
Desarrollo de la
Clase
Actitud
del Profesor
Media Global
de Actuacin
Corr. de
Pearson
Sig. (bilateral)
N
-0,002
0,973
230
-0,077
0,247
230
-0,071
0,286
230
-0,058
0,384
230

c. Carga docente real (Crditos reales impartidos)
Con el fin de poder aplicar el Anlisis de Varianza, se
han categorizado las cargas encontradas en cinco niveles: <5
crditos; 5 y <10; 10 y <15; 15 y <20; 20 crditos.


406
Los anlisis descriptivos parecen mostrar mejores
valoraciones en aquellos casos en los que la carga docente real
es menor, tal y como puede apreciarse en la tabla 6.

Tabla 6. Estadsticos descriptivos para la variable Crditos reales
Cumplimiento
de Obligaciones
Desarrollo
de la Clase
Actitud del
Profesor
Media Global
de Actuacin
N Media S Medi
a
S Media S Media S
1 - 4,99 4 4,93 0,14 4,24 0,68 4,69 0,38 4,37 0,57
5 - 9,99 40 4,54 0,34 3,64 0,59 4,19 0,53 3,83 0,50
10 - 14,99 43 4,55 0,38 3,71 0,52 4,29 0,43 3,91 0,41
15 - 19,99 76 4,52 0,34 3,69 0,51 4,24 0,42 3,88 0,42
> 20 68 4,61 0,31 3,78 0,56 4,17 0,49 3,92 0,47
Total 231 4,56 0,34 3,72 0,54 4,23 0,46 3,90 0,45

Sin embargo, aplicado el Anlisis de Varianza, y una vez
comprobada la homogeneidad de las varianzas (ver tabla 7), se
puede apreciar que las diferencias encontradas no son
estadsticamente significativas.

Tabla 7. ANOVA y Homogeneidad de las varianzas para los crditos
reales.
Homogeneidad
de las Varianzas
Significacin del
ANOVA

Pero con el fin de poder profundizar ms en los
resultados, al igual que en el caso anterior, se ha calculado el
coeficiente de correlacin de Pearson, encontrndose que los
coeficientes correspondientes, no slo no son significativos si no
que adems no alcanzan en ningn caso el 0,1, por lo que
debera desecharse esta variable como posible mediadora en las
valoraciones (ver Tabla 8).


407
Tabla 8. Correlaciones entre los crditos reales y los apartados
del Cuestionario.

Cumplimiento de
Obligaciones
Desarrollo de la
Clase
Actitud
del Profesor
Media Global
de Actuacin
Corr. de Pearson
Sig. (bilateral)
N
0,018
0,791
231
0,018
0,789
231
-0,093
0,158
231
-0,015
0,823
231

d. Crditos Netos (Crditos Nuevos impartidos)
As, realizada una categorizacin en los mismos
trminos que en el apartado anterior, se realiz el Anlisis de
Varianza y se llega a los siguientes resultados:
A nivel descriptivo (ver Tabla 9) se observa que son los
grupos ms extremos (los que imparten ms y menos crditos
nuevos) los que obtienen las mejores valoraciones,
dependiendo de los apartados. As, el Cumplimiento de
Obligaciones, el Desarrollo de la Clase y la Media Global son
ms positivas para los profesores con una mayor carga neta,
mientras que la Actitud del profesor, presenta las mejores
valoraciones en los de menor carga neta, es decir, los que
repiten ms a menudo los mismos temas a distintas audiencias.

Tabla 9. Estadsticos descriptivos para la variable Crditos
Netos

Cumplimiento
de Obligaciones
Desarrollo
de la Clase
Actitud del
Profesor
Media Global
de Actuacin
1 - 4,99 15 4,55 0,46 3,82 0,60 4,32 0,55 3,98 0,54
5 - 9,99 69 4,59 0,29 3,67 0,59 4,21 0,46 3,85 0,47
10 - 14,99 86 4,51 0,38 3,68 0,53 4,22 0,48 3,88 0,44
15 - 19,99 45 4,61 0,25 3,77 0,52 4,23 0,43 3,92 0,45
> 20 16 4,58 0,35 3,92 0,45 4,27 0,42 4,04 0,39
Total 231 4,56 0,34 3,72 0,54 4,23 0,46 3,90 0,45

El Anlisis de Varianza por su parte, una vez constatada
la no existencia de diferencias en las varianzas (ver tabla 10) nos
muestra, una vez ms, que las diferencias se deben nicamente
al azar, y por tanto no hay base estadstica para pensar en que el


408
estudiante valora de forma diferente en funcin de la cantidad
de materia nueva que el profesor debe prepararse, o dicho de
otro modo, que el profesor no acta de forma diferente sea cual
sea la cantidad de materia nueva que debe impartir.
Por otra parte, y como en casos anteriores, la prdida de
informacin proviniente de los efectos de la categorizacin
hicieron recomendable el clculo del Coeficiente de Correlacin
de Pearson, con el fin de detectar la posible relacin entre los
crditos netos y las variables consideradas extradas del
cuestionario (ver tabla 11).

Tabla 10. ANOVA y Homogeneidad de las varianzas para los crditos
netos.
Homogeneidad de las
Varianzas
Significacin del
ANOVA
Cumplimiento
Obligaciones
0.16 0.511

Una vez ms, y al igual que en los casos anteriores, no se
detectan asociaciones significativas, ni en ninguno de los casos
se alcanza un coeficiente de 0,1, por lo que la ausencia de
relacin es tambin, en este caso, la tnica dominante.

Tabla 11. Correlaciones entre los crditos netos y los apartados del
Cuestionario.

Cumplimiento
de Obligaciones
Desarrollo de
la
Clase
Actitud del
Profesor
Media Global
de Actuacin
Corr. de Pearson
Sig. (bilateral)
N
-0,011
0,868
231
0,051
0,441
231
-0,011
0,867
231
0,033
0,619
231


409
DISCUSIN
De los resultados expuestos parece desprenderse una
nica conclusin, y esta se refiere a que las categoras ms
consolidadas presentan una peor valoracin frente a las menos
consolidadas o noveles, aspecto que corroboraran, en parte,
estudios como los de Prez, 1995, Aleamoni, 1987 y Belcher,
1991, puesto que las valoraciones ms altas son obtenidas por
profesores en proceso de consolidacin. Sin embargo, y dado
que el Anlisis de Varianza realizado no muestra diferencias en
este punto, por lo que en realidad, nuestras conclusiones iran
ms en consonancia con los resultados encontrados por otros
autores (como Aleamoni y Graham, 1974, Aleamoni y Thomas,
1977; Aleamoni y Yimer, 1973; Feldman, 1983; Linsky y Straus,
1975; Marsh, 1984; McKeachie, 1973, 1979 y 1986; Petchers y
Chow, 1988 y Widmeyer y Loy, 1988) en los que la ausencia de
relacin parece ser la tnica dominante.
Por otra parte, a partir de los resultados obtenidos
tampoco podra sostenerse que la diferencia venga marcada por
la edad, puesto que la ausencia de relacin en este sentido ha
quedado patente en los anlisis realizados, si bien el signo
negativo en todos los casos podran llegar a interpretarse como
una leve evidencia de corroboracin de la hiptesis planteada.
A la vista de los resultados expuestos, parece quedar
patente que la carga de trabajo del profesor (tanto en la
elaboracin de nuevos temarios como en la repeticin de los
mismos) tienen muy poca influencia en su desempeo docente
dentro del aula, de manera que los estudiantes que valoran
dicha actuacin no perciben ninguna diferencia a este respecto.
Por todo ello, de cara al establecimiento de indicadores que
ayuden a la toma de decisiones administrativas, deberan
desarrollarse nuevas lneas de investigacin dentro de este
mbito de manera que se posibilite el establecimiento de
estndares que permitan una mejor distribucin de la carga
docente en base a otros criterios como pudieran ser el nmero
de aos impartiendo la misma materia, o la influencia de ejercer
o no cargos de gestin.


410
Bibliografa

Aleamoni, L.M. (1987). Typical Faculty Concerns About Student
Evaluation of Teaching. New-Directions-for-Teching-and-
Learning; (Techniques for Evaluating and Improving
Instruction), (31), 25-31.
Aleamoni, L.M. y Graham, M.H. (1974). The Relationship
Between CEQ Ratings and Instructors Rank, Class Size
and Course Level. Journal of Educational Measurement, 11,
189-202.
Aleamoni, L.M. y Thomas, G.S. (1977). Is the instructors rating of
the class related to the class rating of the instructor?. Office
of Instruction, Research and Development. University of
Arizona.
Aleamoni, L.M. y Yimer, M. (1973). An Investigation of
Relationship Between Collegue Rating, Student Rating,
Research Productivity, and Academic Rank in Rating
Instructional Effectiveness. Journal of Educational
Psychology, 64, 274-277.
Belcher, M.J (1991). Reliability and Validity Issues: An analysis of
Miami-Dadess pilot student feedback survey. Office of
Institucional Research
Centra, J.A. y Creech, F.R. (1976). The relationship between
student, teacher, and course characteristics and student
ratings of teacher effectiveness. Princeton, NJ. Educational
Testing Service.
Feldman, K. (1983). Seniority and Experience of College
Teachers as Related to Evaluations They Receive from
Students. Research in Higher Education, 18(1), 3-124.
Ferrndez, R. (1999) Indicadores de Calidad en Evaluacin
Institucional Universitaria. Anlisis de un Indicador para la
Universitat Jaume I. Facultad de Filosofa y Ciencias de la
Educacin. Universidad de Valencia. Tesis Doctoral (en
prensa).
Ferrndez, R.; Mora, M.T. y Lorente, E. (1999a). Problemas en
la interpretacin del rendimiento de los estudiantes


411
como indicador de calidad de una institucin. En
Indicadores en la Universidad: informacin y decisiones.
MEC. Consejo de Universidades (pp.263-274).
Ferrndez, R., Mora, M.T. y Lorente, E. (1999b) Diferencias en
satisfaccin entre los tres centros de la Universitat Jaume
I. Satisfaccin conjunta con el profesor y la asignatura
como indicador de calidad. En AIDIPE (comp.) Nuevas
realidades educativas; Nuevas necesidades metodolgicas.
Centro de Ediciones de la Diputacin Provincial de
Mlaga. (pp. 25-28).
Ferrndez, R. Hernndez, J.A., Mora, M.T., Martnez Sancho, M.
(1999c). La Tasa de Esfuerzo Recompensado (TER)
como complemento de la Tasa de Abandono Actas del
II Foro de Reflexin sobre el Plan Nacional de
Evaluacin de la Calidad de las Universidades. Almagro
(Ciudad Real) 18 y 19 de Noviembre. (en prensa).
Gonzlez Such, J. (1997). Estudio de un instrumento para la
evaluacin del profesorado universitario. Facultad de
Filosofa y Ciencias de la Educacin. Universidad de
Valencia. Tesis Doctoral.
Kinney, D.P. y Smith, S.P. (1992). Age and Teaching
Performance. Journal of Higher Education, 63(3), 282-
302.
Linsky, A.S. y Straus, M.A. (1975). Student Evaluations,
Research Productivity, and Eminence of College Faculty.
Journal of Higher Education, 46 (89-102).
Marsh, H.W. (1984). Studentss Evaluations of University
Teaching: Dimensionality, Reliability, Validity, Potencial
Biases, and Utility. /033&p1X. Journal of Educational
Psychology, 76(5), 707-54.
McKeachie, W.J. (1973). Correlates of Student rating. En I..A.L..
Sockloff (Eds.), Proceedings: The First Invitational
Conference on Faculty Effectiveness as Evaluated by
Students. (pp. (213-218)) Measuremente and Research
Center, Temple University.
McKeachie, W.J. (1979). Student Ratings of Faculty: A Reprise.
Academe, 65, 384-397.


412
McKeachie, W.J. (1986). Teaching Tips: A guidebook for the
Begining College Teacher. Lexington: Mass.: Health.
Miller, R.I. (1987). Evaluating Faculty for Promotion and Tenure.
Jossey-Bass Publishers. San Francisco.
Prez, B.A (1995). Diferencias en la valoracin de la docencia
por los estudiantes segn la categoria profesional del
profesorado. Estudios de investigacin Educativa en
Intervencin Psicopedaggica . Valencia: AIDIPE.
Petchers, M.K. y Chow, J. (1988). Sources of variation in
studentss evaluations of instruction in a graduate social
work program. Journal of Social Work Education, 24(1), 35-
42.
Widmeyer, W.N. y Loy, J.M. (1988). When youre hot, youre
hot!! Warm-cold effects in first impressions of persons
and teaching effectiveness. Journal of Educational
psycology, 80(1), 118-121.
Wilson, P.R (1968) Perceptual distortion of height as a function
of ascribed academic status. Journal of Social Psychology,
68, 48.


413
EVALUACIN DE NECESIDADES DE FORMACIN
PEDAGGICA DEL PROFESORADO DE EDUCACIN
SECUNDARIA POSTOBLIGATORIA: UN EJEMPLO DE
DISEO DE ENCUESTA

Ramos, M.L. y Rodrguez, M.J.

INTRODUCCIN

Actualmente asistimos en Espaa a un cambio educativo
como consecuencia de la implantacin de la LOGSE, derivado
tanto de las nuevas necesidades del mercado de trabajo como
de la democratizacin de la sociedad espaola. La formacin
psicopedaggica de los docentes se orienta, en los ltimos aos,
a que sean capaces de hacer una recapitulacin del saber
pedaggico que vaya ms all de la mera transmisin de los
conocimientos aplicados (Sarto y otros, 1998). Situamos nuestro
estudio en este proceso de cambio respecto a las nuevas tareas
docentes que actualmente se estn demandando.
Entendemos por necesidad la medida de la discrepancia
existente entre el estado presente de los acontecimientos y el
estado deseado de los mismos (Beatty, 1981). Para Tejedor
(1990) estas discrepancias pueden ser evaluadas partiendo de
dos niveles de referencia bsicos: un primer nivel, representado
por los individuos, potenciales receptores de los servicios
sociales o educacionales, y un segundo nivel representado por
las instituciones. El mismo autor, en los diversos anlisis que
realiza, alude al concepto de necesidad percibida, que equivale a


414
carencia subjetiva, limitada a las percepciones de los
individuos.
En esta investigacin nos hemos centrado en el nivel
representado por los individuos y en sus necesidades
percibidas, ya que a menudo la investigacin sobre el
profesorado ha ido acompaada de frmulas sobre su futura
preparacin sin tener en cuenta la necesaria participacin de los
diversos implicados en el proceso de formacin en la prctica
(Barqun, 1995). Gibaja Velzquez (1995) concluye que existe un
notable desconocimiento de los planes de formacin del
profesorado y un considerable desfase entre las necesidades de
formacin, las demandas de formacin y la oferta programada.
Estudios realizados anteriormente con indicadores
similares a los utilizados por nosotros en esta ocasin (Gonzlez
Blasco y Gonzlez Anleo, 1993; Federacin de enseanza de
CC.OO, 1993 y Zubieta y Susinos, 1992) obtienen una
consideracin positiva acerca de la preparacin cientfica de
este colectivo y manifiestan el inters del profesorado por el
perfeccionamiento en las didcticas especficas de las diversas
disciplinas; aunque todos ellos coinciden en que a medida que
se eleva el nivel educativo en el que trabajan los profesores la
necesidad o el inters por los cursos de actualizacin decrece.

OBJETIVO

El objetivo principal de este estudio es detectar las
necesidades del profesorado en los niveles anteriores a la
Universidad (Bachillerato y Ciclos formativos), concretamente
en las reas de formacin psicopedaggica y en el contenido
cientfico de las disciplinas especficas, as como, recoger su
opinin sobre las relaciones o el grado de coordinacin entre los
diversos centros de secundaria postobligatoria del distrito de la
En suma, como primer paso se pretende obtener
informacin acerca de estas cuestiones para posteriormente
poder abordarlas a travs de los distintos recursos con los que
cuenta la Universidad. En el caso del Instituto Universitario de
Ciencias de la Educacin (IUCE), se pretende realizar una oferta
de cursos ajustada a los intereses del profesorado.


415

MTODO

Poblacin y muestra

La poblacin est compuesta por la totalidad de
profesorado adscrito a los centros de Bachillerato y Ciclos
Formativos de Salamanca, Zamora y vila, pblicos y privados
concertados. Una vez repartidos los cuestionarios, y tras un
tiempo de espera considerable, se constituy la muestra con 141
cuestionarios.

Tabla 1:Distribucin de frecuencias por tipos de centros
Tabla 2 : Distribucin de frecuencias por provincias

Centro F % Zona F %
Pblico
92 67,6 Avila 34 24,8
Privado
concertado
44 32,4 Salamanca 83 60,6
Privado no
concertado
- - Zamora 20 14,6
Total
136 100,0 Total 137 100
Tabla 1
Tabla 2

Diseo de la encuesta (elaboracin y aplicacin del
cuestionario)

Para realizar este estudio se seleccion un diseo
descriptivo y correlacional, basado en la investigacin a travs
de la encuesta o cuestionario bsicamente cerrado. El contenido
de ste se estructur en los siguientes apartados:
Datos de contexto: datos personales del profesor/a
relativos a su edad, sexo, asignatura que imparte,
situacin laboral, aos de experiencia docente, etc.
y tambin referentes al tipo de centro


416
Motivacin hacia la enseanza: Motivos por los
cuales se dedica a la enseanza, si estara
dispuesto a continuar en ella y en qu nivel.
Importancia concedida a las tareas docentes:
planificacin, metodologa utilizada, su opinin
acerca de las tutoras, evaluacin, relaciones con la
comunidad educativa (compaeros y alumnos).
Formacin para las tareas docentes: valoracin de
la formacin pedaggica inicial (Curso de Aptitud
Pedaggica) y de la formacin pedaggica
continua y especfica de las disciplinas que
imparten (cursos realizados en los dos ltimos
aos), inters por este tipo de actividades en los
prximos dos aos. Adems de la valoracin de
los centros encargados de impartir esa formacin.
Relaciones con la Universidad: iniciativas que han
surgido por parte de la Universidad y/o de los
centros de secundaria, alternativas posibles para
mejorar las relaciones entre ambas instituciones.
Sugerencias de formacin (pedaggica y de las
disciplinas especficas).
Por lo que se refiere a la tipologa de los tems, cabe
sealar que aunque hay preguntas abiertas, en general es un
instrumento de carcter marcadamente cerrado,
mayoritariamente de valoracin segn grado de
acuerdo/desacuerdo y frecuencia, junto a otras cuestiones de
opcin nica.
La estrategia de depuracin y aplicacin del instrumento
se ha realizado a travs de varias fases. En un primer momento,
se ha efectuado una primera aplicacin a una muestra piloto y,
en funcin de los datos y sugerencias obtenidas, nos ha
permitido mejorar la encuesta hasta su versin definitiva.
Posteriormente, hemos extendido el estudio a todos los centros
de educacin secundaria de las provincias de Avila, Salamanca
y Zamora. En concreto, con la colaboracin de la Comisin de
Coordinacin de Pruebas de Acceso a la Universidad de
Salamanca, distribuimos las encuestas a los directores de los
centros educativos, solicitndoles el envo postal de las mismas
al IUCE.


417
Tras un perodo de espera y de recuerdo, recibimos un
total de 141 cuestionarios, que constituyeron la muestra
definitiva.

RESULTADOS

El perfil-tipo del profesorado que ha respondido es el
siguiente: docente de centros pblicos, de la provincia de
Salamanca, que imparte asignaturas en ms de un tipo de
Bachillerato o Ciclos formativos. Adems, ms de la mitad de
este profesorado tiene o ha tenido cargos de responsabilidad
acadmica. El porcentaje ms elevado corresponde a varones,
en un rango de edad entre 41 y 50 aos, funcionarios de carrera
con destino definitivo y con ms de 15 aos de experiencia
docente. Por ltimo, indicar que predominan las titulaciones de
letras. Por lo tanto, consideramos adecuado el grado de
representatividad y validez de las respuestas recogidas.
En cuanto a la importancia concedida a las tareas
docentes, se inclinan hacia la metodologa tradicional tanto en
el proceso de enseanza como en el de evaluacin, a travs de
la explicacin general del profesor, con intervenciones y
preguntas del alumnado. Respecto a las cuestiones de
enseanza-aprendizaje sealan como ms importantes: motivar
para el aprendizaje y fomentar las relaciones entre alumnado y
profesorado.


418

Tabla 3. Areas de formacin pedaggica de inters
Importancia que conceden a las siguientes
actividades
Md. d.t 1 (%) 2 (%) 3 (%) 4 (%) 5 (%)
Mtodos de enseanza en estos niveles de
enseanza Secundaria
3,86 1,00 3,3 4,9 23,0 40,2 28,7
Aprender a hacer programaciones 3,44 1,12 4,2 16,7 30,8 27,5 20,8
Didctica especfica de una materia 4,02 1,00 2,7 3,6 21,8 32,7 39,1
Enseanza en pequeos grupos 3,44 ,93 2,6 10,3 40,2 34,2 12,8
Habilidades de comunicacin 3,79 1,01 1,6 9,8 24,6 36,1 27,9
Dinmicas para trabajar con adolescentes 3,85 1,06 ,8 12,2 22,8 30,1 34,1
Motivacin y participacin del alumnado 4,19 ,85 ,0 3,9 16,5 36,2 43,3
Informtica aplicada a la docencia 3,74 1,07 1,6 12,9 24,2 32,3 29,0
Medios audiovisuales aplicados a la docencia 3,94 ,95 ,0 7,8 24,2 34,4 33,6
Estilos de aprendizaje de los alumnos ( atencin a
la diversidad)
3,94 ,98 1,7 5,8 23,1 35,5 33,9
Evaluacin de los aprendizajes 3,93 ,96 1,7 5,8 22,3 38,0 32,2


419

Tabla 4. Metodologa de formacin que prefieren

Grado de inters por las siguientes actividades Md. d.t. 1 (%) 2 (%) 3 (%) 4 (%) 5 (%)
Conferencias sobre temas pedaggicos en general 2,82 1,14 11,5 30,3 33,6 13,9 10,7
Coloquios, debates, mesas redondas sobre aspectos
concretos de la docencia
3,41 1,06 3,3 16,5 33,1 29,8 17,4
Cursos sobre cuestiones de pedagoga en estos niveles de
Enseanza Secundaria
3,43 1,13 4,7 18,1 26,0 32,3 18,9
Congresos, jornadas, etc. Sobre enseanza 3,14 1,15 6,8 23,7 33,9 20,3 15,3
Diseo de materiales didcticos especficos 3,94 1,03 1,6 10,2 16,4 36,7 35,2
Microenseanza (anlisis de las grabaciones de docencia) 2,82 1,18 16,7 21,1 33,3 21,1 7,9


420

Tabla 5. Centro preferido en organizar esa formacin pedaggica
Centros encargados de formacin Md. d.t. 1 (%) 2 (%) 3 (%) 4 (%) 5 (%)
Facultades universitarias 3,67 1,15 4,2 11,9 26,3 28,0 29,7
Instituto universitario de Ciencias de la Educacin
(IUCE)
3,53 1,21 6,8 14,5 23,1 29,9 25,6
Centros de profesores (CPR) 3,47 1,31 10,7 13,1 22,1 27,0 27,0
El propio instituto de Bachillerato/ FP 3,59 1,25 5,2 16,4 18,1 31,9 28,4
Centros privados 2,48 1,45 35,2 23,1 14,8 12,0 14,8
Otros 2,45 1,54 42,5 15,0 12,5 15,0 15,0


421
En el apartado de formacin para las tareas docentes, a
pesar de que la mayora de los docentes corresponden a
funcionarios de destino definitivo y con ms de 15 aos de
experiencia, el 73,2% de los encuestados estara interesado en
realizar alguna actividad de formacin pedaggica durante los
prximos dos aos. Este dato se complementara con las
sugerencias de formacin, respuestas abiertas, en las cuales
manifiestan su predileccin por las didcticas especficas de las
distintas disciplinas y, concretamente, por el diseo de los
materiales y por los medios audiovisuales aplicados a la
docencia. En relacin con los centros encargados de impartir
esta formacin, las facultades universitarias y los propios institutos
son los centros mejor valorados.
Sobre las relaciones con la Universidad, el 62,3% seala
que los nicos vnculos existentes con la universidad son las
comisiones de coordinacin de pruebas de acceso a la
universidad. Afirman que son necesarios pero que ninguna de
las dos partes toma la iniciativa. Plantean como alternativas
posibles:
Que la Universidad investigue las necesidades e
intereses reales de formacin, con el objetivo de
plantear cursos de acuerdo con los resultados
obtenidos.
Hacer partcipes al profesorado de Enseanza
secundaria de las investigaciones llevadas a cabo,
prximas a su realidad cotidiana (pginas web,
revistas, etc.).
Informar al profesorado de enseanza secundaria
postobligatoria de las carencias detectadas en los
universitarios.
Realizar proyectos de manera conjunta, con los
centros de secundaria (de investigacin e
intervencin)


422

Bibliografa
Barqun, J. (1995). La investigacin sobre el profesorado estado
de la cuestin en Espaa (I). Revista de Educacin, 306, 7-
65.
Beatty, P.T. (1981). The concept of need: proposal for a working
definition. Journal of the Community Development Society,
12, 39-46.
Federacin de enseanza de CC.OO. (1993). Encuesta al
profesorado de Primaria y Secundaria de la enseanza pblica.
Madrid: CIDE.
Garca Llamas, J.L. (1999). Formacin del profesorado, necesidades y
demandas. Barcelona: Praxis.
Gibaja Velzquez, (1995). La investigacin sobre el profesorado(II)
1993-1997: Captulo 3: La investigacin sobre la formacin del
profesorado. Madrid: CIDE.
Gonzlez Blasco, P. y Gonzlez Anleo, J. (1993). El profesorado en
la Espaa actual. Informe sociolgico sobre el profesorado
universitario. Madrid: Ediciones SM.
Sarto, M.P. et al (1998). La atencin a la diversidad en la
prctica docente del profesorado de educacin
secundaria. En J. Domingo Segovia, Formacin y desarrollo
de los profesores de educacin secundaria en el marco
curricular de la reforma (pp. 241-250). Granada: Force.
Tejedor, F. J. (1990). Perspectiva metodolgica del diagnstico y
evaluacin de necesidades en el mbito educativo.
Revista investigacin educativa, 16, 45-37.
Zubieta, J.C. y Susinos, T. (1992). Las satisfacciones e
insatisfacciones de los enseantes. Madrid: CIDE.


423
UNA EXPERIENCIA LONGITUDINAL DE EVALUACIN
DEL PROFESORADO UNIVERSITARIO

Rafael Lpez Fuentes, Daniel Gonzlez Gonzlez, Eugenio Hidalgo
Dez, Beatriz Garca Lupin

INTRODUCCIN

A la evaluacin se le asigna un papel relevante como
elemento del cambio educativo y como pilar esencial para la
consecucin de una enseanza de calidad. Esto queda de
manifiesto en el Ttulo IV de la Ley Orgnica 1/1990, de 3 de
Octubre, de Ordenacin General del Sistema Educativo. En el
artculo 62 (apartado 1) de dicha Ley se dice que la evaluacin
se orientar a la permanente adecuacin del Sistema Educativo
a las demandas sociales y a las necesidades educativas, y se
aplicar sobre los alumnos, el profesorado, los centros, los
procesos educativos y la propia Administracin.
El centro de inters de la presente comunicacin, como
indica su ttulo, ser la evaluacin del profesorado y ms
concretamente, el universitario. En la universidad se ha
previsto una serie de mecanismos que contemplan esta
actividad. A este efecto, en el Artculo 277 de los Estatutos de la
Universidad de Granada se prev la existencia de una comisin
encargada de evaluar el rendimiento de la actividad docente e
investigadora de su profesorado, para ello, utilizar
cuestionarios, encuestas... con el alumnado, evaluar los


424
informes y memorias de los Departamentos... A este respecto,
en nuestra Universidad, actualmente, se est aplicando dicho
proceso de evaluacin en la Licenciatura de Psicopedagoga y la
Diplomatura de Audicin y Lenguaje, combinando la
autoevaluacin interna, llevada a cabo por el comit interno de
evaluacin y, otra realizada por el comit externo de
evaluacin, de donde saldrn los correspondientes
autoinformes de evaluacin que se concretarn en el Informe
Tutorial y los consecuentes Planes de Mejora. Esta evaluacin
externa, aunque necesaria, puede parecer al profesorado un
poco alejada de su labor docente e investigadora, sobre todo,
porque no le aporta informacin til inmediata. El profesorado
universitario necesita establecer mecanismos propios que le
ayuden a mejorar su docencia, y para ello, es fundamental la
aportacin de todos aquellos que configuran el estatus
docente/dicente, como en nuestro caso: el alumnado..
En un estudio realizado por Garca-Varcrcel (1992), con
un instrumento muy similar al que aqu se utiliza, se pone de
manifiesto que el alumnado considera como rasgos
caractersticos de un buen profesor: explicar con claridad, tener
un amplio conocimiento de la materia, y ser una persona
objetiva e imparcial en las calificaciones... Consideramos que el
profesorado debe atender, entre otros, a estas aspiraciones del
alumnado y que, a travs de una evaluacin externa como la
propuesta por la Universidad no puede conocer si cumple estas
expectativas y como consecuencia, no puede establecer
mecanismos para la mejora.
En esta lnea se realiza este estudio llevado a cabo
durante tres aos por un profesor de la Universidad de
Granada. Nos gustara destacar que una prctica como esta
tiene la ventaja adicional de no presentar al profesorado la
evaluacin como algo impuesto sino como una necesidad
sentida y demandada por ellos mismos.

INSTRUMENTO DE MEDIDA

El cuestionario que se ha aplicado en la clase de Mtodos
de Investigacin en Educacin, esta elaborado bsicamente a
partir del utilizado en la universidad de Santiago de


425
Compostela y otras universidades espaolas desde el ao 1986
(Tejedor, 1989, 1990) y que tambin fue aplicado en la
universidad de Granada (Tejedor, 1993).
Bajo el ttulo "cuestionario de evaluacin del profesor por
los alumnos", nos encontramos 23 preguntas estructuradas en 5
dimensiones ms dos tems conclusivos. El instrumento hace
referencia a: obligaciones generales del profesor (preguntas 1, 2, 3,
4 y 5), desarrollo de la asignatura/materia (preguntas 6, 7, 8, 9 y
10), relacin profesor-alumno (preguntas 11, 12, 13, 14 y 15),
participacin y prcticas (preguntas 16, 17, 18, 19 y 20) evaluacin
de la docencia (preguntas 21, 22 y 23) valoracin global del
profesor (pregunta 24) y nivel de satisfaccin con la asignatura
cursada (pregunta 25). La escala de respuesta oscila entre 1 y 5.
Los sujetos que forman parte de la muestra fueron
aquellos que voluntariamente cumplimentaron el cuestionario
que se aplic despus del examen final. El cuestionario con el que
se trabaja, aporta datos de tres cursos acadmicos y el nmero de
alumnos/as que lo contestaron oscila alrededor del 90% del
alumnado que normalmente asiste a clase, por lo que la
representatividad queda garantizada.
Pasar el cuestionario en esta fecha nos pareci adecuado
porque el alumnado ya ha finalizado las clases, ha realizado el
examen y por tanto, su valoracin del profesor creemos no estar
mediatizada y ser ms objetiva que si se cumplimenta antes de
que el alumno/a haya tenido tiempo de ver globalmente la
asignatura.

ANLISIS DE LOS DATOS

Los datos utilizados han sido recogidos durante los
cursos 96/97, 97/98 y 98/99 y, su anlisis, se ha realizado con el
programa SPSS 9.0.. En el perodo anteriormente indicado, han
cumplimentado el cuestionario 318 sujetos (79 en el primer
curso, 125 en el segundo y 114 en el tercero).
En un primer acercamiento a los datos, podemos ver que
el porcentaje de casos perdidos en cada una de las cuestiones se
sita en torno al 2,5% con dos excepciones muy claras, los
preguntas 22 y 23. En estos dos casos el nmero de sujetos que


426
no respondieron alcanzan, respectivamente, valores del 42,5% y
del 28,3%. Las preguntas hacan referencia a si el alumnado cree
que sus calificaciones se ajustan a sus conocimientos y si tienen
probabilidad de conocer y comentar el examen, aspecto este
que, por el momento en que respondieron, quiz no tuvieran
muy claro.
La valoracin global de las respuestas dadas a cada una
de las cuestiones viene reflejada en la siguiente tabla de medias:

Cuestiones
1 2 3 4 5 6 7 8 9
Media
Desv. tp.
N
4,58
0,78
312
4,46
0,82
309
4,36
0,80
301
4,30
0,89
311
4,76
0,63
311
3,58
3.03
306
4,47
0,80
313
4,42
0,90
314
4,46
0,84
314
10 11 12 13 14 15 16 17 18
Media
Desv. tp.
N
4,28
0,93
312
4,56
0,71
311
4,24
0,91
312
3,86
1,07
306
4,38
3,05
311
3,97
1,05
310
3,91
1,04
309
2,96
1,24
305
1,53
0,95
298
19 20 21 22 23 24 25
Meda
Desv. tp.
N
1,33
0,77
304
2,61
1,26
305
4,30
0,98
315
3,57
0,97
183
4,18
0,95
228
4,44
0,75
310
4,35
0,89
305

Destacamos de los datos anteriores que casi todos las
preguntas tienen medias de respuesta muy alta (16 preguntas
superan la media 4; otras 5 superan el 3 de media).
Reconociendo esto, por razones de espacio, nos centramos en
los aspectos que parecen indicar necesidad de mejora. Los
apartados que son peor valorados son los que cubren las
cuestiones 17 (2,96), 20 (2,61), 18 (1,53) y 19 (1,33), todos ellos
pertenecientes a la dimensin participacin y prcticas. En el
orden establecido, hacen referencia a: la insuficiencia de las
clases prcticas; la falta de material didctico que ayude a
comprender la asignatura; la falta de prcticas de laboratorio; y
la falta de prcticas de campo en escuelas, crceles, hospitales...
Por cursos la evolucin de estos cuatro puntos sera:


427

0
0,5
1
1,5
2
2,5
3
3,5
17 20 18 19
96/97
97/8
98/99

Destacaramos en el grfico la ligera mejora que
experimenta en el ltimo curso los aspectos peor valorados que,
a pesar de ello, siguen sin situarse en valores aceptables.
Para finalizar, nos gustara destacar la evolucin de otros
aspectos que, aunque tienen buenas valoraciones, experimentan
una ligera prdida y en los que el profesor en futuros cursos
debera incidir para invertir la tendencia.
El aspecto que tiene un descenso ms acusado es el que
hace referencia al no desarrollo del programa (6). Junto a esto y,
en menor grado, el alumnado valora de manera menos positiva
la asistencia asidua de profesor a clase (1) y percibe, algo ms,
un desacuerdo entre el examen y lo enseado (21).


428
0
1
2
3
4
5
6 1 21
96/97
97/8
98/99

CONCLUSIONES

Para terminar podramos decir que, nos encontramos
con un profesor que es valorado como bueno por sus
alumnos/as (media 4,44) y que hace que estos consideren
valiosa la asistencia a clase (4,34).
De las cinco categoras de las que consta el cuestionario
podramos decir:
- Estamos ante un profesor accesible al alumnado, que
cumple sus horarios y conoce y da a conocer la
materia que imparte (media 4,48).
- El alumnado considera, en estos tres cursos, que
desarrolla adecuadamente la asignatura (4,24).
- Tambin podramos considerar como buenas las
relaciones que mantiene con el alumnado (4,20).
- En cuanto a la evaluacin que realiza a los
alumnos/as, el profesor es valorado positivamente
aunque con una ligera prdida (96/97: 4,12; 97/98:
3,99; 98/99: 3,83).
- Debemos destacar especialmente el descontento del
alumnado con respecto a la dimensin participacin
y prcticas (media de 2,44) que es, con diferencia, la
peor valorada.


429

Bibliografa
Buenda, L.; Carmona, M.; Gonzlez, D. y Lpez, R. (1999).
Concepciones de los profesores de Secundaria sobre
evaluacin. Educacin XX1 Revista de la Facultad de
Educacin, 2, 125-153.
Buenda, L.; Gonzlez, D. y Carmona, M. (1999).
Procedimientos e instrumentos de evaluacin en
Educacin Secundaria. Revista de Investigacin Educativa,
17 (1), 215-236
Ley Orgnica de Ordenacin General del sistema educativo.
Madrid. BOE de 4 de octubre (1990)
Garca-Varcrcel, A. (1992). Caractersticas del buen profesor
universitario segn estudiantes y profesores. Revista de
investigacin educativa. 19. 31-50.
Mayor Ruiz, C. (1996). Las funciones del profesorado
universitario analizadas por sus protagonistas. Revista
electrnica de Investigacin y Evaluacin Educativa. 2 (1).
Tejedor, F.J. y Cepeda, O. (1990). Evaluacin de profesores y
asignaturas por los alumnos en la Universidad de Granada.
Informe. Universidad de Granada.
Tejedor, F.J.; Gutirrez, J.; Rodrguez, M.J. y Garca-Varcrcel,
A. (1991). Evaluacin de profesores y asignaturas por los
alumnos en la Universidad de Granada. Informe.
Universidad de Granada.


430

ESTUDIO DESCRIPTIVO SOBRE LAS COMPETENCIAS
PROFESINALES DEL EVALUADOR
Teresa Gonzlez Ramrez

INTRODUCCIN

La evaluacin en nuestro pas est empezando a
desempear un papel de primer orden y sus primeros
desarrollos estn por el momento en manos de la Universidad
y, mas recientemente, en Institutos de Evaluacin que, tanto a
nivel central como autonmico, se estn creando en el marco
del Sistema Educativo. En la poltica educativa destacan el
nfasis puesto en la evaluacin del aprendizaje de los alumnos,
de programas y sistemas as como la generalizacin de la
evaluacin de centros educativos y de los profesionales de la
educacin.
Este crecimiento exponencial en la cultura
contempornea de la evaluacin, aplicada a una multiplicidad
de situaciones evaluativas justifica la necesidad de una
profesionalizacin de los evaluadores y el reconocimiento de la
evaluacin como disciplina con entidad propia, dotada de
metodologa y teora propias. Como seala House (1992) la
evaluacin estructuralmente se ha ido integrando ms en el
funcionamiento organizativo de las instituciones y
conceptualmente se ha flexibilizado.


431
Tambin es competencia de la Universidad la formacin
de estos profesionales, de ah la necesidad de crear cauces
institucionales, itinerarios y procesos formativos de calidad
(Bigs, 1996) que posibiliten su competencia profesional.
Es nuestro objetivo en esta comunicacin presentar el
estudio que sobre competencias profesionales del evaluador
estamos realizando con la finalidad de profundizar en el
conocimiento especfico de este campo profesional a la vez que,
desde un primer acercamiento a nuestra realidad, poder ir
dibujando itinerarios formativos que faciliten la insercin
sociolaboral del pedagogo en el entorno socioeconmico.

LA FORMACIN DEL EVALUADOR EN EL CONTEXTO DE LAS
FACULTADES DE CIENCIAS DE LA EDUCACIN

Establecer unos mbitos precisos en el campo
profesional del licenciado en Pedagoga es complejo. Los
trabajos de Cols y Garca (1993), Bords, Milln y Torre (1994),
Sanvicens (1995), entre otros se preocupan por delimitar el
perfil profesional del pedagogo y ofrecer taxonomas agrupadas
por competencias y mbitos de actuacin.
La formacin del evaluador profesional en un contexto
universitario compete a las facultades de Ciencias de la
Educacin. Realizar funciones de evaluacin, asesoramiento e
investigacin tanto en mbitos de enseanza reglada, del
mundo laboral-empresarial o social es competencia especfica
de nuestros titulados. Con este propsito se imparten en
nuestras universidades materias (Evaluacin de Programas,
Evaluacin de Sistemas Educativos, Metodologa para la
evaluacin de Programas, Centros y Sistemas Educativos,
Diseo y Evaluacin de Materiales Curriculares, etc.), cuyo
objetivo fundamental es capacitar al alumno para la adquisicin
de conocimientos tericos en relacin a la problemtica de la
evaluacin as como en el anlisis y planificacin de
investigaciones evaluativas dirigidas haca distintos mbitos de
evaluacin. Su orientacin es aplicada con objeto de aportar
herramientas metodolgicas que permitan aportar con mayor
bagaje sus futuras tareas profesionales dentro de las funciones
sealadas anteriormente y como aprendizajes que habr de


432
realizar el futuro licenciado en Pedagoga en distintos mbitos
de actuacin. Estas materias vienen a mostrar un itinerario
formativo dentro de nuestras titulaciones dirigido haca la
evaluacin como profesin.
La evaluacin desde una perspectiva dialgica (Nevo,
1997) puede ser un instrumento para la mejora de la calidad
educativa y propulsora de un papel fundamental de la
universidad: la intervencin en la realidad. La institucin
universitaria tiene planteados una serie de desafos: incremento
de la calidad en docencia e investigacin, un nuevo concepto de
la gestin y la expansin universal del conocimiento; es nuestra
responsabilidad que los titulados universitarios salgan
formados para adaptarse a los procesos de cambio que la
sociedad demanda; para ello es necesario mayor interaccin con
los agentes sociales que nos rodean. El perfil ideal del titulado
que se est demandando en la sociedad actual, corresponde a
una persona accesible, gil, flexible, dedicada a su trabajo,
resolutiva, y con capacidad para trabajar en equipo.
Es nuestro reto conocer en nuestro entorno
socieconmico dnde y cmo puede desarrollarse
profesionalmente el pedagogo como evaluador.

PLANTEAMIENTO DEL ESTUDIO
Hechas esas consideraciones generales sobre la
necesidad de formar a profesionales en el mbito de la
evaluacin, vamos a exponer los aspectos fundamentales del
estudio que estamos desarrollando con objeto de identificar a
aquellos profesionales que en nuestro contexto estn trabajando
como pedagogos realizando funciones de evaluacin.
Los objetivos que pretendemos son:
a) Conocer e identificar los profesionales que en Sevilla
capital y provincia estn trabajando en la evaluacin.
b) Identificar principales funciones que realizan
relacionadas con la evaluacin
c) Mostrar el conjunto de tareas que realizan para el
desarrollo de su competencia profesional como
evaluador.


433
d) Identificar principales campos de actuacin del
pedagogo como evaluador
e) Trazar un itinerario formativo para la formalizacin
del perfil profesional del evaluador dentro de
nuestros titulados. El practicum ser la plataforma
institucional que utilizaremos para el desarrollo a
nivel educativo del perfil profesional.
f) Constatar en que campos de actuacin podra estar
el pedagogo evaluador incorporado
profesionalmente y conocer que titulados estn
desarrollando esas competencias.
g) Valorar desde el anlisis de la realidad, de una parte
dnde se encuadran estos profesionales y de otra
analizar si los planes de formacin y sobre todo las
materias que se ensean se corresponden con la
proyeccin futura de estos profesionales.
Para el desarrollo de estos objetivos de investigacin el
proyecto consta de tres fases fundamentales tal y como queda
recogido en el grfico siguiente:
Grfico1. Fases del estudio sobre competencias profesionales del
evaluador.

ESTRATEGIAS DE
LOCALIZACIN DE
LA POBLACIN
FUNCIONES Y
TAREAS DEL
PEDAGOGO COMO
EVALUADOR
ESTUDIO DE
CASOS
ITINERARIO
FORMATIVO
PROCESO
ITERATIVO Y
RAMIFICADO
ENTREVISTAS E
INFORMES
NARRATIVOS
FILMACIONES
EN VIDEO


434
1 Fase: Estrategias de localizacin de la poblacin
Esta primera fase, la vamos a realizar a partir de un
procedimiento iterativo y ramificado. El primer crculo de
profesionales lo componen personas que estn vinculadas a
nuestro entorno universitario; stos a su vez, nos van a ir
abriendo el segundo crculo y as sucesivamente, hasta que
tengamos una seleccin muestral que sea representativa de los
distintos mbitos a los que nos estamos dirigiendo. Los sectores
en los que estamos realizando ese proceso de localizacin son:
a) administracin local, central y autonmica y b) empresas de
formacin y servicios. Para este ltimo slo hemos contactado
con las empresas andaluzas que formalmente tienen convenios
de cooperacin educativa con la Universidad de Sevilla.

El grfico n2 ilustra los mbitos de localizacin de la
poblacin.


435
Grfico2. Localizacin de la poblacin en el estudio.

ADMINISTRACIN
AUTONMICA
Consejera de
Educacin y Ciencia
Consejera de Asuntos
Sociales
Instituto Andaluz de la
Juventud
Consejera de Trabajo
e Industria

ADMINISTRACIN
LOCAL
EMPRESAS
Convenios de
Cooperacin Educativa
con la Universidad de
Sevilla
Empresas de
Prcticas de la
Junta de Andaluca
Delegacin de Asuntos
Sociales
Diputacin Provincial
De Formacin
De Produccin y
Servicios


436
2 Fase: Identificacin de funciones y tareas del pedagogo como
evaluador
La identificacin de funciones y tareas del pedagogo
como evaluador la vamos a realizar a partir de una entrevista a
los profesionales que bajo este procedimiento iterativo hemos
ido localizando.
La entrevista se desarrolla a partir de un guin
semiestructurado (anexo 1: ficha tcnica de identificacin de
profesionales de la evaluacin) que hemos elaborado para tal fin.
En ella se incluyen tres apartados fundamentales: a) datos
personales, b) datos descriptivos del puesto de trabajo y c)
datos de otros profesionales a los que nos pueda remitir. Esta
entrevista termina con la elaboracin de informes narrativos de
cada uno de los casos seleccionados. La realizacin del informe
nos va a permitir sistematizar los contextos profesionales as
como funciones y tareas desarrolladas en cada uno de ellos.

3 Fase: Ejemplificacin de los casos. Trazado del itinerario
formativo. Impacto del itinerario en el entorno socioeconmico
Una vez realizados los informes narrativos realizaremos
filmaciones en vdeo de aquellos profesionales que a posteriori
consideremos ms ilustrativos del pedagogo realizando
funciones de evaluacin. Este material servir de apoyo para
nuestros alumnos en la facultad de Ciencias de la Educacin as
como de plataforma para el desarrollo del prcticum dentro del
itinerario formativo del evaluador.
Nuestra Facultad tiene elaborada una red de recursos
que van a permitir la formalizacin del practicum en sus
distintos mbitos y niveles. Entendidos como espacios
naturales que facilitan elementos de formacin y desarrollo del
futuro licenciado en Pedagoga. A la vez permiten la
configuracin de itinerarios formativos para la
profesionalizacin de nuestros alumnos. Esta red de recursos
est firmadas a travs de Convenios Institucionales que, una
vez descubierta la red y estudiadas sus posibilidades
educativas se convierte en la plataforma que regula a esa red de
recursos.


437
Bibliografa

BIGGS, J. (1996): Assesing Learning Quality: reconciling
institutional, staff and educational demands. Assesment
and Evaluation in Higher Education, 21, 1, p. 5-15.
BORDS,I. ; MILLN, D. y TORRE, SD. (1994): Las salidas
Profesionales del ttulo de Pedagoga. Boletn del Colegio
Oficial de Doctores y Licenciados en Filosofa y Letras y
Ciencias de Catalua. N88, Gener, 4650.
COLS, P. y GARCA, R. (1993): Situacin laboral de los
Pedagogos: un estudio emprico. Revista Profesiones y
Empresas, 2, 55-80.
DE LUXAN, J.M. (Ed.) (1999): Poltica y Reforma Universitaria.
Barcelona: Cedecs.
GONZLEZ RAMREZ, T.(2000). La formacin del evaluador
profesional en el contexto universitario. Revista de Ciencias
de la Educacin, n 181, Enero-Marzo, pp.39-51.
HOUSE, R. (1992): Tendencias en Evaluacin. Revista de
Educacin, n299, pag, 43.
LUQUE DOMNGUEZ, P. y GONZLEZ RAMREZ. (1998):
Modelo organizativo y formativo del practicum en la
Facultad de Ciencias de la Educacin de la Universidad de
Sevilla. Comunicacin presentada al V Simposium
Internacional sobre el Practicum. Pontevedra.
SANVISENS, A. (1995): La educacin y el pedagogo a partir de
ahora. En Bords, Cabrera, Fortuny y Rodriguez Lajo
(coord). Las salidas profesionales del licenciado en Pedagoga.
(149-157) Barcelona: Universidad de Barcelona
Publicaciones.


438

Anexo 1

Ficha Tcnica para la identificacin de profesionales de la evaluacin

Fecha de realizacin del contacto: ....................

A) DATOS PERSONALES:
Nombre:
Apellidos: ..
Lugar de Trabajo: Telfono:
Fecha y Universidad en la que obtuvo la Titulacin:

B) DATOS DEL PUESTO DE TRABAJO:
Fecha de iniciacin al trabajo actual:

Est reconocida su titulacin Si No
Como puesto de trabajo
Con funciones de pedagogo
Con funciones de evaluacin

Tipo de formacin complementaria que ha tenido que realizar para el desempeo de esas
funciones en el puesto de trabajo
Seala qu aspectos formativos de la titulacin de origen te han resultado mas tiles en tu
desarrollo profesional
Recorrido profesional en su Empresa, hasta su actual puesto de trabajo
Vas de acceso para el puesto de trabajo actual:
Otras experiencias profesionales:
Algunos elementos de identificacin de la Institucin y el Servicio y/o Departamento:
Tareas ms esenciales que realice:
Comparte sus tareas profesionales con otros Pedagogos ? Si No
Comparte estas tareas con otros Profesionales ? Si No
Caso afirmativo, cuales ?
Otras observaciones de inters:
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................

C) DATOS DE OTROS PROFESIONALES A LOS QUE NOS PUEDA REMITIR:
Nombre y apellidos: ............................................................................................................
Telfono de contacto: ..........................................................................................................
Centro de trabajo: ................................................................................................................
Puesto que desempea: .......................................................................................................
Direccin del Centro de trabajo: .........................................................................................


439

LA FORMACIN DEL ALUMNO COMO REFERENTE DE
CALIDAD DE LA UNIVERSIDAD
Ignacio Gonzlez Lpez y M Jos Rodrguez Conde

EL INTERS POR LA CALIDAD

La evaluacin de las instituciones universitarias est
siendo una prctica de gran trascendencia en el mundo
occidental. Los modelos de Estados Unidos y Canad, conciben
este sistema como una autorregulacin que permita la
movilidad de los estudiantes y la gestin de los recursos frente
al resto de competidores (Van Vugh, 1991). En Australia, la
Higher Education Research and Development Society
(HERDSA) es la encargada de formular los criterios que sern
evaluados cada tres aos en las distintas universidades (Osoro,
1995). Aqu, en Europa, el inters por la calidad surge de la
necesidad de gestionar eficientemente el gasto social, orientar a
los estudiantes hacia mejores posibilidades de empleo y
desarrollar una educacin adecuada para una sociedad de alta
tecnologa. Iniciativas como la alemana muestran el uso de
indicadores de rendimiento que permitan aumentar la
competencia y diferenciar las distintas instituciones. En Francia
existe desde 1984 el Comit National d'valuation,


440
independiente acadmica y administrativamente, y encargado
de elaborar informes sobre las instituciones universitarias
(Michavila y Calvo, 1998).
En Espaa, este debate sobre la calidad se hizo vigente
con la promulgacin del Real Decreto 1947/1995, de 1 de
diciembre, por el que se establece el Plan Nacional de
Evaluacin de la Calidad de las Universidades (Boletn Oficial
del Estado de 9 de diciembre de 1995). Se trata de un sistema
basado en el Modelo Europeo de Gestin de Calidad, que
abarca todas las formas a travs de las cuales la organizacin
satisface las necesidades de todas las partes implicadas
produciendo efectos beneficiosos en cuanto aumento de
competitividad y reduccin de costes (Gento Palacios, 1996).

LA CALIDAD COMO SATISFACCIN DEL CLIENTE

Independientemente de lo que cada especialista entienda
por calidad, dada la complejidad que supone definir este
concepto:
Rodrguez Espinar (1991), seala que la calidad
universitaria es un concepto relativo y
multidimensional en relacin con los objetivos y
actores del sistema universitario. Su anlisis debe
hacerse en el contexto de los procesos sociales y
polticos en que interaccionan objetivos y actores;
Pirsig (1974) expresa la dificultad de englobar qu se
entiende comnmente con este trmino;
De Miguel (1994) advierte la relatividad del
concepto, en tanto que depende del momento, lugar
y persona que lo defina;
Lpez Mojarro (1999) conceptualiza el trmino como
una permanente aspiracin, un trmino renacentista,
en tanto que renacer es privilegio de lo valioso.
Todos coinciden en reconocer que la calidad implica
mejora continua del servicio que se ofrece. Para Astin (1985), la
verdadera calidad de una institucin universitaria radica en su
capacidad para lograr el mayor desarrollo posible de sus


441
miembros (referido a alumnos y profesores). Se trata de
advertir el grado de desarrollo intelectual, afectivo, personal y
social de los alumnos desde el inicio al final de sus estudios
(centrados en la figura del estudiante).
El discente ya no es el sujeto pasivo de la docencia sino
que poco a poco va siendo capaz de expresar sus preferencias y
estructurar sus demandas (Michavila y Calvo, 1998). Por tanto,
se ha pasado a la concepcin derivada del modelo presentado
por la Fundacin Europea para la Gestin de la Calidad, que
considera al alumno como un cliente al que se ha de satisfacer
(MEC, 1997). En este sentido, cliente implica una interaccin de
intereses (lvarez, 1998). Este personaje no recibe un servicio
de manera gratuita sino que paga por l, en forma de prestacin
econmica o a travs de los impuestos. Esta premisa le da
derecho a exigir una atencin y un producto de calidad.
Si se trata de satisfacer al usuario, hay que describir qu
factores determinan su condicin de alumno universitario y
convertirlo en un referente de calidad. Este mismo autor
destaca una serie aspectos a tener en cuenta:
1. Identificar los factores crticos de xito, que
constituyen el ncleo de las expectativas del cliente:
conocer sus demandas y sus necesidades (MEC,
1997).
2. Solicitar la opinin de los clientes sobre la
satisfaccin del servicio que se le est ofreciendo o se
le ha ofrecido, principalmente a travs de
cuestionarios a travs de los que se determinen esas
necesidades y exigencias (Hayes, 1995).
3. Generar mecanismos de comunicacin, de manera
que se informe e instruya al cliente sobre el servicio
que se le est prestando. Se trata de mecanismos de
orientacin a la entrada del sistema y a lo largo de
todo el proceso formativo del usuario (Echevarra,
1997).
4. Armonizar los intereses de la organizacin con las
expectativas los clientes y los recursos disponibles.


442
UNA FORMACIN DE CALIDAD

La vida cotidiana universitaria se manifiesta de manera
muy particular tanto ante los universitarios como al resto de la
sociedad. En todas las actuaciones de este colectivo estudiantil
estn presentes aquellos aspectos que le caracterizan, no slo
como alumno, sino como persona: sus sentidos, sentimientos,
ideologas, capacidades intelectuales y habilidades, el ocio y la
recreacin, la actividad social organizada, etc. (Calero, 1991). El
alumno madurar en tanto adquiera un conjunto de habilidades
imprescindibles para la vida cotidiana, que han de estar
presentes en el proceso de formacin al que est siendo o ser
sometido.
De todo lo expresado anteriormente, se deducen una
serie de indicadores que informan sobre el funcionamiento de
la educacin (Marchesi y Martn, 1998), representan los
elementos de la realidad que no son directamente observables
(Tiana, 1997) y facilitan la elaboracin de estrategias de cambio
(Nuttall, 1994). Estos son la orientacin acadmica y
profesional, la insercin en el mercado laboral, el clima
institucional y, sobre todos ellos, los procesos de formacin
(lvarez Rojo, 1999; Jimnez, 1999; De Miguel, 1994; Pozo
Municio, 1996; Noriega y Muoz, 1996; Atkins et al., 1993) que
inciden directamente en las expectativas y necesidades del
alumno, elementos constituyentes de su satisfaccin,
condicionante de la calidad de la institucin universitaria.
Este referente de evaluacin queda configurado en una
triple dimensin: actividades acadmicas (relacionadas
directamente con la titulacin en curso), actividades
complementarias (realizadas dentro y fuera de la institucin,
con el fin de completar aquellos aspectos no ofrecidos por las
anteriores) y actividades de ocio y tiempo libre. Este conjunto
de tareas ha de responder a las necesidades formativas del
colectivo y ha de cumplir sus expectativas acadmicas y
profesionales, de modo que se satisfagan los objetivos del
sistema educativo en el que se encuentra instalado: formar
ciudadanos responsables y comprometidos; proporcionar los
profesionales que la sociedad necesita; desarrollar la
investigacin cientfica; conservar y transmitir la cultura,
enriquecindola con el aporte creador de cada generacin;


443
actuar como memoria del pasado y atalaya del futuro; y
constituir una instancia crtica y neutral basada en el rigor y el
mrito, que pueda ser, por todo ello, vanguardia, a todas las
escalas, de la solidaridad intelectual y moral (Porta y Lladonosa
, 1998).
Por lo tanto, este indicador vendr determinado por el
nivel de logro de los siguientes aspectos, evaluados desde estos
tres tipos de tareas:
1. Adquisiciones acadmicas: marco conceptual de las
materias de la titulacin, especializacin y
profundizacin en las diferentes disciplinas,
metodologas de investigacin, etc.
2. Adquisiciones profesionales: integracin de teora y
prctica, aplicacin profesional de las adquisiciones
acadmicas, cualidades especficas para la profesin,
tcnicas de bsqueda de empleo, habilidades
complementarias (tcnicas de bsqueda de empleo,
informticas, lenguas extranjeras...), etc.
3. Adquisicin cognitivas: reflexin, pensamiento crtico,
capacidad de aprendizaje, autoevaluacin, hbitos de
estudio, etc.
4. Adquisicin sociales: tolerancia, empata, liderazgo,
trabajo en equipo, comunicacin, responsabilidad, etc.
5. Adquisiciones personales: identidad personal,
confianza, integridad, sensibilidad esttica, normas,
valores, actitudes, etc.
De este modo el alumno ser capaz de aplicar los
conocimientos aprendidos, las diferentes adquisiciones, a
distintas situaciones profesionales, personales, familiares y
sociales, formndose como ciudadano y percibiendo su paso
por la universidad como una experiencia de calidad.


444

Bibliografa

lvarez, M. (1998). El liderazgo de la calidad total. Madrid:
Escuela Espaola.
lvarez Rojo, V. (1999). Profundizando en la calidad de la
enseanza: aportaciones de los profesores mejor evaluados de
la Universidad de Sevilla. Sevilla: Universidad de Sevilla.
Astin, A.W. (1985). Achieving educational excellence: a critical
assessment of priorities and practices in higher education. San
Francisco: Jossey-Bass.
Atkins, J.M. et al. (1993). Assessments issues in higher education.
Sheffield: Emplioment Department.
Calero, A.. (1991). La otra universidad. Cali: CECAN.
De Miguel, M. et al. (1994). Evaluacin para la calidad de los
institutos de educacin secundaria. Madrid: Escuela
Espaola.
Echevarra, B. (1997). Los servicios universitarios de
orientacin. En Apodaca, P. y Lobato, C. (Eds.). Calidad
en la universidad: orientacin y evaluacin (pp. 112-136).
Barcelona: Laertes.
Gento Palacios, S. (1996). Instituciones educativas para la calidad
total. Madrid: La Muralla.
Hayes, B.E. (1995). Cmo medir la satisfaccin del cliente. Desarrollo
y utilizacin de cuestionarios. Barcelona: Gestin 2000.
Jimnez, B. (1999) (Ed.). Evaluacin de programas, centros y
profesores. Madrid: Sntesis.
Lpez Mojarro, M (1999). A la calidad por la evaluacin. Madrid:
Escuela Espaola.
Marchesi, A. y Martn, E. (1998). Calidad de la enseanza en
tiempos de cambio. Madrid: Alianza.
MEC (1997). Modelo Europeo de Gestin de Calidad. Formulario para
la autoevaluacin. Madrid: MEC.
Michavila, F. y Calvo, B. (1998). La universidad espaola hoy,.


445
Propuestas para una poltica universitaria. Madrid: Sntesis.
Noriega, J. y Muoz, A. (1996). Indicadores de evaluacin del
centro docente. Madrid: Escuela Espaola.
Nuttall, D.L. (1994). Les choix des indicateurs. En OCDE.
valuer l'enseignement. De l'utilit des indicateurs
internationaux (pp. 36-57) Pars: OCDE.
Osoro, J.M. (1995). Los indicadores de rendimiento en la evaluacin
institucional universitaria. Zaragoza: ICE de la
Universidad de Zaragoza.
Pirsig, R. (1974). Zen and the art of motorcycle maintenance: a
inquiry inti values. Londres: Corgi
Porta, J. y Lladonosa, M. (1998) (Coords.). La universidad en el
cambio de siglo. Madrid: Alianza.
Pozo Municio, J.I. (1996). Aprendices y maestros. Madrid:
Alianza.
Rodrguez Espinar, S. (1991). Calidad universitaria: un enfoque
institucional y multidimensional. En De Miguel, M.,
Mora, J.G. y Rodrguez, S. La evaluacin de las instituciones
universitarias.(pp. 39-72). Madrid: Consejo de
Universidades.
Tiana, A. (1997). Indicadores educativos. Qu son y qu
pretenden. Cuadernos de Pedagoga, 256, 50-53.
Van Vugh. F.A. (1991). Cmo evaluar la calidad de la
educacin superior en Europa Occidental?. En De
Miguel, M., Mora, J.G. y Rodrguez, S. La evaluacin de las
instituciones universitarias (pp. 151-163). Madrid: Consejo
de Universidades.


446
Anexo: Tabla 2. Satisfaccin con la Docencia en los diferentes centros de la Universitat Jaume I
Coefic. no
estand (B)
Error
Tpico
Coef.
estand
( )
t Sig. rxy *rxy*10
0
Constante 1,019 1,390 0,733 0,496
PRCTICAS DE LA ASIGNATURA 0,050 0,180 0,048 0,279 0,792 -0,002 -0,010
CARGA DE TRABAJO -0,592 0,194 -0,722 -3,058 0,028 0,032 -2,310
ESTRUCTURA DE LA ASIGNATURA -0,496 0,244 -0,199 -2,036 0,097 -0,078 1,552
ADECUACIN DE LA ASIGNATURA -0,258 0,179 -0,244 -1,446 0,208 0,087 -2,123
FCHS IMPORTANCIA DE LA ASISTENCIA A CLASE 0,420 0,193 0,313 2,168 0,082 0,042 1,315
INFRAESTRUCTURA -0,351 0,247 -0,168 -1,420 0,215 0,306 -5,141
DOCENCIA PRCTICA -0,919 0,341 -0,646 -2,694 0,043 0,495 -31,977
MATERIALES, PROGRAMAS Y METODOLOGA 1,561 0,286 1,035 5,465 0,003 0,819 84,767
CUMPLIMIENTO DE OBLIGACIONES DOCENTES 0,799 0,177 0,776 4,516 0,006 0,565 43,844
ACTITUD DEL PROFESOR 0,155 0,396 0,097 0,393 0,711 0,707 6,858
Constante -2,104 1,340 -1,570 0,134
PRCTICAS DE LA ASIGNATURA -0,017 0,281 -0,010 -0,064 0,950 0,549 -0,549
CARGA DE TRABAJO -0,543 0,166 -0,370 -3,263 0,004 -0,431 15,947
ESTRUCTURA DE LA ASIGNATURA 0,352 0,272 0,108 1,291 0,213 0,208 2,246
ESTCE IMPORTANCIA DE LA ASISTENCIA A CLASE -0,051 0,215 -0,029 -0,239 0,814 0,523 -1,517
INFRAESTRUCTURA 0,799 0,437 0,231 1,830 0,084 0,530 12,243


447
Constante -0,086 0,616 -0,140 0,891
PRCTICAS DE LA ASIGNATURA 0,060 0,040 0,139 1,487 0,171 0,206 2,863
CARGA DE TRABAJO -0,208 0,058 -0,238 -3,583 0,006 -0,183 4,355
FCJE IMPORTANCIA DE LA ASISTENCIA A CLASE 0,186 0,102 0,277 1,825 0,101 0,667 18,476


448
DIFERENCIAS EN LA SATISFACCIN ENTRE LOS TRES
CENTROS DE LA UNIVERSITAT JAUME I: LA DOCENCIA
Y LA ASIGNATURA COMO INDICADORES DE CALIDAD
Ferrndez, R., Lorente, E., Mora, M.T.
Universidad Jaume I

INTRODUCCIN

El presente trabajo deriva de los estudios realizados
sobre la satisfaccin del usuario o cliente como indicador de
calidad de un servicio (Parasuraman et al. 1985; Zeithaml et al.
1988 entre otros), y de las consecuencias que ello conllevara en
el terreno de la educacin (ver Ferrndez, 1999, Ferrndez et al.
1999a).
En este sentido, el objetivo que se pretende es averiguar
si la satisfaccin de los usuarios directos del servicio educativo
puede servir de indicador de la calidad, y para ello, parece
fundamental averiguar sobre qu elementos descansa dicha
satisfaccin.
Para ello, y en base a una pregunta sobre la satisfaccin
con el desarrollo de las clases en la asignatura incluida en el
cuestionario de evaluacin del profesor utilizado en la
Universitat Jaume I (ver cuestionario en Ferrndez, 1999), se ha
intentado establecer el peso que los diferentes factores de este
cuestionario tienen en dicha satisfaccin, y si sta presenta


449
diferencias relevantes atendiendo al centro o facultad en la que
se realizan los estudios.
Pero adems, y de la misma manera que el profesor
ejerce una gran influencia sobre la valoracin que el estudiante
realiza de la asignatura (Ferrndez, 1999), se consider
igualmente relevante incluir los resultados de la evaluacin de
la asignatura (Ver cuestionario en Ferrndez, 1999) como
posible elemento determinante de la satisfaccin con el
profesor, de hecho, numerosos estudios corroboraran una
hiptesis en este sentido (ver Gonzlez Such, 1997; Ferrndez,
1991; Salvador Blanco, 1990 entre otros).
En la segunda parte de este estudio, seguiremos los
mismos pasos, pero, en este caso, la pregunta se traslada a si la
satisfaccin con la asignatura puede servir de indicador para
ser utilizado como un referente a la calidad de la estructura del
Plan de Estudios, y si podra ser utilizado de forma global en
caso de pretender dar una medida de la calidad de todos los
Planes de estudio de una universidad.

METODOLOGA

Siendo el objetivo de este estudio establecer las posibles
diferencias en la satisfaccin atendiendo a la diferente tipologa
y necesidades de los estudiantes en funcin de la titulacin que
estudian, se ha empleado el Anlisis de Regresin Mltiple con
el mtodo Introducir todas juntas del paquete estadstico SPSS
(versin 7.5), establecindose como variable dependiente la
satisfaccin promediada con la docencia en cada asignatura (16
para la Facultad de Ciencias Humanas y Sociales (FCHS), 29
para la Escuela Superior de Tecnologa y Ciencias
Experimentales (ESTCE) y 20 para la Facultad de Ciencias
Jurdicas y Econmicas (FCJE)) y como independientes los
factores obtenidos en ambos cuestionarios a partir del Anlisis
Factorial de Componentes Principales con Rotacin Oblicua1
(eliminando las cuestiones relativas a satisfaccin, as como la
calificacin obtenida), que fueron cuatro para el Cuestionario
de Docencia (que explicaba el 69,9% de la varianza) que se han

1 Ver tablas 3 a la 6 en el anexo


450
denominado Cumplimiento de Obligaciones Docentes,
Docencia Prctica, Materiales, Programa y Metodologa y
Actitud del Profesor. Y seis para el Cuestionario de Asignaturas
(que explicaba el 74,41% de la varianza) denominados: Prcticas
de la Asignatura, Carga de Trabajo, Estructura de la
Asignatura, Adecuacin de la Asignatura, Importancia de la
Asistencia a Clase e Infraestructura.

RESULTADOS

a) Satisfaccin con la docencia.
Los resultados obtenidos muestran tres modelos
significativos al 99% (Tabla 1) (uno para cada centro) con una
varianza explicada que oscila entre el 90,6% para la ESTCE y el
97,4% para la FCJE.

Tabla 1. Valoracin del modelo de regresin obtenido en los diferentes
centros de la Universitat Jaume I

Cambiar los estadsticos
Modelo R R
2
R
2
corregid
a
Sest. Cambio
en R
2

Cambio
en F
gl1 gl2 Sig. del
cambio
en F
ESTCE 0,952 0,906 0,853 0,2828 0,906 17,265 10 18 0,000
FCJE 0,987 0,974 0,944 0,009 0,974 33,259 10 9 0,000
FCHS 0,983 0,967 0,902 0,1519 0,967 14,775 10 5 0,004

Se observa en todos los casos, que el factor relativo a
materiales, programas y metodologa es el que ms peso aporta
a la varianza (superior al 50% en todos los casos) (ver
resultados en Tabla 7 del anexo). Sin embargo, a partir del
segundo factor ms relevante comienzan a surgir las
diferencias; en la ESTCE el Cumplimiento de Obligaciones
Docentes quedara relegado a una quinta posicin (10,98% de la
varianza), siendo el segundo ms importante en los restantes
centros (pesos del 43,84 % en la FCHS y del 32,96% en la FCJE),
mientras que en este caso, es el factor relativo a la Carga de
Trabajo el que presenta la segunda mejor aportacin (el 15,95 %
de la varianza).


451
Las diferencias entre los dos centros restantes, FCJE y
FCHS, comienzan a manifestarse a partir de tercer factor en
importancia, que sera la Actitud del Profesor para la FCHS,
aunque con un peso ya relativamente bajo (6,86%), y la
Importancia de la Asistencia a Clase para la FCJE (18,48%).

c) Satisfaccin con la asignatura

Al igual que en el caso anterior, se ha utilizado el
Anlisis de Regresin Mltiple con el mtodo Introducir todas
juntas del paquete estadstico SPSS (versin 7.5),
establecindose como variable dependiente la satisfaccin
promediada con la asignatura y como independientes los
factores obtenidos en ambos cuestionarios a partir del Anlisis
Factorial de Componentes Principales con Rotacin Oblicua
(eliminando las cuestiones relativas a satisfaccin, as como la
calificacin obtenida), y cuya composicin puede verse en las
Tablas 3 a 6.
Los resultados obtenidos muestran tres modelos
significativos al 99% (Tabla 2) (uno para cada centro) con una
varianza explicada que oscila entre el 89,70% para la FCJE y el
97,58% para la Facultad de Ciencias Humanas y Sociales.

Tabla 2. Valoracin del modelo de regresin obtenido en los diferentes
centros de la Universitat Jaume I

Cambiar los estadsticos
Modelo R R
2
R
2

corregida
Sest. Cambio
en R
2

Cambio
en F
gl1 gl2 Sig. del
cambio
en F
ESTCE 0,956 0,913 0,865 0,1658 0,913 18,885 10 18 0,000
FCJE 0,947 0,897 0,782 0,2931 0,897 7,811 10 9 0,002
FCHS 0,987 0,975 0,925 0,1135 0,975 19,414 10 5 0,002

Se observa en todos los casos, que el factor relativo a la
Adecuacin de la Asignatura (superior al 50% en todos los
casos a excepcin de la FCJE en la que no alcanza el 45%) es el
que mayor importancia tiene a la hora de explicar esa
satisfaccin (ver resultados en Tabla 8 del anexo).


452
La diferencias vuelven a aparecer a partir del segundo
factor relevante, que para la ESTCE y la FCHS se centrara en el
factor de Prcticas en la Asignatura (explicando el 13,22% y
15,01% de la varianza, respectivamente), que sera el tercero en
importancia cuando se trata la FCJE (7,69%), puesto que en este
caso, la importancia de la asistencia a clase es de importancia
capital (explicara casi el 38% de la varianza).
Cuando descendemos al tercer nivel ya se observan
diferencias entre los dos centros que an permanecan
paralelos. Para la FCHS aparecen los Materiales, Programa y
Metodologa explicando el 13,67%, y para la ESTCE el
Cumplimiento de Obligaciones Docentes, si bien en este caso la
aportacin a la varianza ya es pequea (5,7%).

DISCUSIN

A la vista de los resultados expuestos, y aunque no hay
base para poner en duda la validez de un indicador como la
satisfaccin con la docencia, si que parece quedar claro que los
parmetros sobre los que descansa esa satisfaccin son
diferentes segn las necesidades de los estudiantes, y aunque
existe un acuerdo comn en lo referente a que lo ms
importante para todos los casos es la adecuacin de los
Programas, Materiales y Metodologa, las diferencias
encontradas a partir de ah demuestran que alrededor de la
mitad de la satisfaccin descansa en elementos diferentes, por
lo que, desde nuestro punto de vista no debera utilizarse como
indicador global de la institucin, a no ser que lo nico que se
pretenda es hablar de materiales, programas y metodologa,
olvidndose de los restantes elementos sobre los que descansa
esta satisfaccin, corriendo el peligro de atribuirle unas
caractersticas o bases que realmente no tiene, al menos en
todos los casos.
Por otra parte, y al igual que en el caso anterior, parece
quedar claro que los parmetros sobre los que descansa la
satisfaccin con la asignatura son diferentes segn las
necesidades de los estudiantes, y aunque existe un acuerdo
comn en lo referente a que lo ms importante para todos los


453
casos es la Adecuacin con la Asignatura, las diferencias
encontradas a partir de ah demuestran que alrededor de la
mitad de la satisfaccin descansa en elementos diferentes, por
lo que, si bien en el caso de pretender un indicador que muestre
la Adecuacin de las Asignaturas si que podra recomendarse la
satisfaccin como figura global a este respecto, en el caso de
pretender un indicador global del plan de estudios deberan
considerarse necesariamente las diferencias entre centros, por lo
que desaconsejaramos su uso como indicador global.


454
Bibliografa
Ferrndez, R. (1991). Sistemas de evaluacin de la docencia prctica:
La Facultad de Medicina de la Universidad de Valencia. Tesis
de licenciatura no publicada.
Ferrndez, R. (1999). Indicadores de Calidad en Evaluacin
Institucional Universitaria. Anlisis de un indicador para la
Universitat Jaume I. Facultat de Filosofia i Cincies de
lEducaci. Universitat de Valncia. Tesis Doctoral. (en
prensa)
Ferrndez, R. Mora, M.T. Lorente, E. (1999a) Diferencias en
satisfaccin entre los tres centros de la Universitat
Jaume I. Satisfaccin conjunta con el profesor y la
asignatura como indicador de calidad. En AIDIPE
(comp.) Nuevas realidades educativas; Nuevas necesidades
metodolgicas. Centro de Ediciones de la Diputacin
Provincial de Mlaga. (pp. 25-28).
Gonzlez Such, J.(1997). Estudio de un instrumento para la
evaluacin del profesorado universitario. Facultat de
Filosofia i Cincies de lEducaci. Universitat de
Valncia. Tesis doctoral.
Gonzalez-Such, J, Jornet, J.M., Surez, J.M. y Prez Carbonell, A.
(1999). Anlisis de tipologas de calidad docente a partir de un
cuestionario de evaluacin del profesorado universitario. En
Bordn Vol 51, 1 pp. 95-113.
Jornet, J.M., Surez, J.M., Gonzalez-Such, J. y Prez Carbonell,
A. (1996). Evaluacin de la actividad universitaria. En G.
Quints (Ed. Reforma y evaluacin de la universidad)
pp. 189-244. Valencia. Servei de Publicacions de la
Universitat de Valncia.
Parasuraman, A; Zeithaml, V. y Berry, L. (1985). A conceptual
model of service quality and its implications for future
research. Journal of Marketing, 49 (Otoo), 41-50.
Salvador Blanco, L. (1990). Los docentes universitarios exitosos
desde la perspectiva del alumno: su caracterizacin
psicopedaggica. Facultad de Psicologa. Universidad de
Salamanca. Tesis doctoral.


455
Zeithaml, V.A.; Berry, L.L. y Parasuraman, A. (1988).
Communication and control processes in the delivery
of service quality. Journal of Marketing, 52 (Abril) 35-48.


456
Anexos

Tabla 3. Solucin Factorial del cuestionario de Evaluacin de Asignaturas.
% Var.
explicada
FASIG_1.- PRCTICAS DE LA ASIGNATURA 28,22
FASIG_2.- CARGA DE TRABAJO 16,18
FASIG_3.- ESTRUCTURA DE LA ASIGNATURA 10,08
FASIG_4.- ADECUACIN DE LA ASIGNATURA 8,61
FASIG_5.- IMPORTANCIA DE LA ASISTENCIA A CLASE 6,03
FASIG_6.- INFRAESTRUCTURA 5,29
TOTAL 74,41

Tabla 4. Solucin Factorial del cuestionario de Evaluacin de la Docencia.
% Var.
explicada
FDOC_1.- DOCENCIA PRCTICA 48,57
FDOC_2.- MATERIALES, PROGRAMAS Y METODOLOGA 9,71
FDOC_3.-CUMPLIMIENTO DE OBLIGACIONES
DOCENTES
6,73
FDOC_4.- ACTITUD DEL PROFESOR 4,87
TOTAL 69,88


457

Tabla 5. Saturaciones Factoriales del cuestionario de Evaluacin de Asignaturas

FASI
_1
FASI
_2
FASI
_3
FASI
_4
FASI
_5
FASI
_6
1. El n de crditos totales de la asignatura es ... -0,031 0,258 0,841 -0,185 -0,149 0,182
2. El n de crditos tericos de la asignatura es ... -0,026 0,192 0,822 -0,091 0,015 0,138
3. El n de crditos prcticos de la asignatura es ... 0,305 -0,216 0,537 -0,216 -0,300 0,168
4. La dificultad de la asignatura es ... 0,085 0,894 -0,034 -0,166 -0,006 -0,111
5. La extensin del programa me parece ... -0,179 0,787 0,422 -0,136 0,210 0,076
6. La dedicacin a esta asignatura es ... 0,041 0,893 -0,005 -0,110 0,048 -0,142
7. La cantidad de materia vista en esta asignatura es ... -0,165 0,821 0,372 0,018 0,097 0,061
8. Es til asistir a clase para adquirir ideas clave 0,437 0,020 0,153 0,335 -0,843 0,253
9. Es til para entender las aplicaciones de la materia 0,532 0,007 0,149 0,459 -0,740 0,131
10. Es til asistir a clase para aprobar 0,242 -0,179 -0,051 0,098 -0,817 0,208
11. Es til asistir a clase para obtener los apuntes 0,183 -0,036 0,133 0,123 -0,806 0,208
13. Al cursar esta asig. mi formacin era suficiente y adec. 0,164 -0,541 0,112 0,611 0,021 -0,020
14. Esta asig. se adecua a mis intereses acadm. y profes. 0,299 -0,025 -0,270 0,812 -0,243 -0,000
15. Personalmente, esta asignatura es interesante 0,158 -0,028 -0,185 0,791 -0,381 0,234
17. Si estuviese en tus manos qu haras con esta asign? 0,327 -0,397 -0,087 0,658 -0,332 0,073
18. Importancia de realizar prcticas en esta asignatura 0,668 0,060 -0,329 0,154 -0,280 -0,047
19. La utilidad de las prcticas realizadas ha sido adecuada 0,918 -0,092 0,076 0,241 -0,408 0,178
20. La secuenciacin de las P
as
. congruente con la de la T 0,951 -0,090 0,082 0,236 -0,311 0,162
21. Las prcticas refuerzan los contenidos tericos vistos 0,947 -0,060 0,040 0,241 -0,332 0,164
22. P
as
refuerzan los conocimientos para ejercer la profesin 0,879 0,004 0,047 0,346 -0,356 0,235
23. Condiciones ambientales y materiales para impartir la T 0,123 -0,042 0,061 -0,030 -0,186 0,908
24. Condic. ambientales y materiales para P
as
en aula 0,358 -0,121 -0,208 0,250 -0,318 0,809
25 . Condic. ambientales y materiales para P
as
en laboratorio 0,561 -0,045 0,043 -0,145 -0,134 0,225

Tabla 6. Saturaciones Factoriales del cuestionario de Evaluacin de la Docencia.
FDO_
1
FDO_
2
FDO_
3
FDO_
4
1. Asiste a clase y si falta lo justifica 0,205 -0,263 0,866 0,219
2. Cumple con el horario de atencin a estudiantes 0,328 -0,372 0,902 0,322
3.La estruc. de las explicaciones son claras, lgicas y organizadas 0,600 -0,607 0,624 0,450
4. Responde con precisin a las preguntas que se le hacen 0,600 -0,747 0,522 0,540
5. La forma de impartir la clase mantiene la atencin y el inters 0,634 -0,647 0,438 0,402
6. Explica con precisin los criterios de evaluacin 0,654 -0,495 0,580 0,508
7. Se apoya en diferentes materiales didcticos 0,620 -0,663 0,403 0,483
8. La comunicacin con los estudiantes es fluida y espontnea 0,550 -0,535 0,345 0,722
9. Es respetuoso con el estudiante 0,213 -0,328 0,377 0,842
10. Es accesible y est dispuesto a ayudar 0,419 -0,558 0,684 0,780
11. Importancia de la asignatura para el desarrollo profesional 0,027 -0,780 0,213 0,065
12. El programa de la asignatura aporta informacin relevante 0,317 -0,831 0,543 0,371
13. La materia responde a las expectativas de los estudiantes 0,314 -0,849 0,413 0,275
14.Expectativa de nota 0,465 -0,242 0,048 0,593
16. Relaciona la materia con otras asignaturas y/o situaciones 0,628 -0,662 0,145 0,521
17. Los materiales del curso (texto, apuntes, etc.) son adecuados 0,614 -0,672 0,643 0,531
18. Relaciona las prcticas con la teora y/o situaciones reales 0,701 -0,584 0,142 0,408
19. Orienta y supervisa personalmente las prcticas 0,792 -0,161 0,244 0,440
20. Los materiales utilizados (texto, instrumental,) son adecuados 0,710 -0,437 0,517 0,393
21. Las sesiones de prcticas estn ajustadas al tiempo disponible 0,727 -0,272 0,451 0,493
22. Los materiales/infraestructura de las prcticas son suficientes 0,474 0,070 0,108 0,708
23. La seguridad de las instalaciones es adecuada 0,632 0,021 0,134 0,628


458
Tabla 7. Satisfaccin con la Docencia en los diferentes centros de la Universitat Jaume I
Coefic. no estand (B) Error Tpico Coef. estand () t Sig. rxy *rxy*100
Constante 1,019 1,390 0,733 0,496
PRCTICAS DE LA ASIGNATURA 0,050 0,180 0,048 0,279 0,792 -0,002 -0,010
CARGA DE TRABAJO -0,592 0,194 -0,722 -3,058 0,028 0,032 -2,310
Constante -2,104 1,340 -1,570 0,134
PRCTICAS DE LA ASIGNATURA -0,017 0,281 -0,010 -0,064 0,950 0,549 -0,549
CARGA DE TRABAJO -0,543 0,166 -0,370 -3,263 0,004 -0,431 15,947
ESTCE IMPORTANCIA DE LA ASISTENCIA A CLASE -0,051 0,215 -0,029 -0,239 0,814 0,523 -1,517
Constante -0,086 0,616 -0,140 0,891
CARGA DE TRABAJO -0,208 0,058 -0,238 -3,583 0,006 -0,183 4,355


459
Tabla 8. Satisfaccin con la Asignatura en los diferentes centro de la Universitat Jaume I
Coefic. no estand (B) Error Tpico Coef. estand () t Sig. rxy *rxy*100
Constante -1,009 1,038 -0,972 0,376
CARGA DE TRABAJO -0,173 0,145 -0,247 -1,194 0,286 -0,193 4,767
ESTRUCTURA DE LA ASIGNATURA 0,620 0,182 0,291 3,409 0,019 -0,027 -0,786
ADECUACIN DE LA ASIGNATURA 0,729 0,133 0,807 5,463 0,003 0,901 72,711
INFRAESTRUCTURA -0,017 0,184 -0,010 -0,095 0,928 -0,023 0,023
CUMPLIMIENTO DE OBLIGACIONES DOCENTES 0,020 0,132 0,023 0,154 0,883 -0,238 -0,547
Constante -1,009 1,038 -0,972 0,376
CARGA DE TRABAJO -0,173 0,145 -0,247 -1,194 0,286 -0,193 -1,728
ESTRUCTURA DE LA ASIGNATURA 0,620 0,182 0,291 3,409 0,019 -0,027 -0,073
ESTCE IMPORTANCIA DE LA ASISTENCIA A CLASE 0,041 0,144 0,036 0,288 0,785 0,473 0,242
INFRAESTRUCTURA -0,017 0,184 -0,010 -0,095 0,928 -0,023 1,890
MATERIALES, PROGRAMAS Y METODOLOGA 0,492 0,213 0,383 2,309 0,069 0,357 -6,048
CUMPLIMIENTO DE OBLIGACIONES DOCENTES 0,020 0,132 0,023 0,154 0,883 -0,238 5,683
Constante -0,564 1,883 -0,299 0,771
CARGA DE TRABAJO -0,141 0,177 -0,104 -0,795 0,447 -0,413 4,295
MATERIALES, PROGRAMAS Y METODOLOGA -0,206 0,481 -0,118 -0,429 0,678 0,660 -7,788


460

ESTUDIO DEL NDICE DE FIABILIDAD Po DE HUYNH
PARA PRUEBAS DE REFERENCIA CRITERIAL

Popham y Huseck (1969) sugirieron que los indicadores
de la fiabilidad clsica no eran idneos para las pruebas de
referencia criteral. De este modo, en la dcada de los aos 70
diversos autores propusieron diferentes indicadores de
fiabilidad para pruebas de referencia criterial.
Entre ellos se encuentran el ndice po y kappa, que
propusieron, respectivamente, Hambleton y Novick (1973) y
Swaminathan, Hambleton y Algina (1974). Estos dos ndices de
fiabilidad se utilizan para las pruebas de referencia criterial
cuando su uso es la clasificacin de los sujetos en categoras, si
bien presentan el inconveniente de que requieren dos
administraciones del test.
Posteriormente, Huynh (1976) y Subkoviak (1976)
presentaron dos mtodos para la obtencin de los ndices po y
kappa, pero con una sla administracin del test.
Adems de la ventaja anterior, el mtodo de Huynh
(1976) basado en el modelo matemticamete elegante de Keats y
Lord (1962), se encuentra recomendado por Subkoviak (1984)


461
porque tiende a producir estimaciones ligeramente
conservadoras.
Debido al inters actual centrado en la evaluacin, se
requiere una revisin de los diferentes indicadores de fiabilidad
para las pruebas de referencia criterial.
De este modo, la presente comunicacin presentar los
resultados del estudio realizado con el ndice de fiabilidad po de
Huynh (1976) para pruebas de referencia criterial. Este estudio
se encuentra dentro de uno ms general, con el propsito de
profundizar en el funcionamiento de los distintos indicadores
de fiabilidad para las pruebas de referencia criterial.

OBJETIVO

El objetivo de este estudio es comprobar el
funcionamiento del ndice po de Huynh en relacin con los
siguientes factores:
Forma de la distribucin. Los diferentes tipos de
distribucin estn definidas por la asimetra y la
curtosis, tomando en ambos casos valores que van
desde 1,5 a 1,5.
Puntuacin de corte, tomando como puntuaciones
de corte el 40%, 50%, 60%, 70% y 80%.
Media cuyos valores son 40%, 50%, 60%, 70% y 80%
Nmero de sujetos, con tres niveles 30, 120 y 1000
sujetos.
Nmero de tems, con los siguientes valores: 10, 20 y
40.
Indice Clsico de Fiabilidad, tomando como
referencia los ndices KR-20 y KR-21.

METODOLOGA


462
En este estudio se ha utilizado la simulacin. De este
modo, se han generado matrices de respuestas de los sujetos,
teniendo en cuenta que los tems son dicotmicos, a partir de
las variables anteriormente expuestas. Una vez que se han
obtenido las matrices de respuesta se calcula el ndice po de
Huynh.
Posteriormente, se ha calculado el promedio de cada uno
de los factores mediante el programa SPSS 7.5, realizndose
tambin un ANOVA, para cada uno de los factores.

RESULTADOS

A partir de los datos obtenidos con los diferentes anlisis
podemos presentar las siguientes conclusiones:
a) El valor del ndice po de Huynh que tericamente se
encuentra dentro del rango 0,00-1,00, en el estudio
realizado el rango entre el que se encuentra se sita
entre los valores de 0,40-1,00.
b) La forma de la distribucin.
A medida que la asimetra decrece el ndice po de
Huynh aumenta. En relacin con la curtosis el ndice
po decrece a medida que la curtosis disminuye.
Si tenemos en cuenta conjuntamente la asimetra y la
curtosis, el valor medio del ndice po es menor en las
distribuciones leptocrticas y asimetra positiva, y
con valores medios mayores cuando las
distribuciones son platicrticas y asimetra negativa.
c) Puntuacin de corte y media. En este caso, estas
variables las tratamos conjuntamente, ya que al
realizar el ANOVA el ndice eta al cuadrado nos
indica que la interaccin de ambos factores es ms
importante su influencia que por separado.
No obstante, si tenemos en cuenta la puntuacin de
corte el valor del ndice po es menor cuando la
puntuacin de corte se encuentra en los porcentajes
medios, 50%, 60% y 70%, aumentando el valor del
ndice a medida que la puntuacin de corte se va


463
hacia los porcentajes extremos, en este caso 40% y
80%.
Si consideramos la media, el valor del ndice es
menor cuando la media se sita en los porcentajes
50% y 60%, mientras que el ndice aumenta a
medida que nos alejamos de ambos porcentajes. Por
ello, tanto los porcetajes 40%, 70% y 80% presentan
un valor medio del ndice mayor.
En relacin con la interaccin de ambos factores,
puntuacin de corte y media, indicaremos que si la
media y la puntuacin de corte coinciden en la
misma puntuacin el ndice po es menor que cuando
la puntuacin de corte y la media no son
coincidentes. Asimismo, hay que sealar que a
medida que aumentamos la puntuacin de corte y la
media conjuntamente el ndice po tienden a
disminuir. Si la puntuacin de corte y la media no
son coincidentes en la misma puntuacin, al
aumentar la puntuacin de corte observamos que el
ndice po disminuye.
d) Nmero de sujetos. Desde el punto de vista
estadstico, no existe una evolucin clara entre el
nmero de sujetos y el valor del ndice po. Desde
un punto de vista cualitativo, indicaremos que el
valor del ndice po de Huynh muestra una
disminucin a medida que el nmero de sujetos se
incrementa.
e) Nmero de tems. La influencia del tamao de la
prueba es claro en el ndice po. De este modo, al
aumentar el nmero de tems se produce un
aumento del valor del ndice.
f) Indice Clsico de Fiabilidad. Al incrementar el
valor del ndice po disminuye hasta que el ndice
clsico de fiabilidad es igual a 0,40, mientras que
cuando es mayor de 0,40 al incrementar dicho
ndice el valor del ndice po aumenta.


464

Bibliografa
POPHAM, W. J. & HUSECK, T. R. (1969). Implications of
Criterion-referenced Measurement. Journal of Educational
Measurement. Vol. 6, n 1, pp. 1-9.
HAMBLETON, R. K. & NOVICK, M. R. (1973). Toward an
Integration of Theory and Method for Criterion-
Referenced Tests. Journal of Educational Measurement.
Vol. 10, n. 3, Pp. 159-170.
HUYNH, H. (1976). On the Reliability of Decisions in Domain-
Referenced Testing. Journal of Educational Measurement.
Vol. 13 , Pp. 253-264.
KEATS, J. A. & LORD, F. M. (1962). A Theoretical Distribution
for Mental Test Scores. Psychometrika. Vol 21, n. 1, Pp.
59-72.
SUBKOVIAK, M. J. (1976). Estimating Reliability from a Single
Administration of a Criterion-Referenced Test. Journal of
Educational Measurement. Vol. 13, Pp. 265-276.
SUBKOVIAK, M.J. (1984). Estimating the Reliability of Mastery-
Nonmastery Classifications. En BERK, R. A. (Ed.) A
Guide to Criterion-Referenced Test Construction. The John
Hopkins University Press. Baltimore. Pp. 267-291.
SWAMINATHAN, H., HAMBLETON, R. K. & ALGINA, J.
(1974). Reliability of Criterion-Referenced Tests: A
Decision-Theoretic Formulation. Journal of Educational
Measurement. Vol. 11, n. 1, Pp. 263-267.


465

ESTUDIO DE INDICADORES DE FIABILIDAD DE PRUEBAS
DE REFERENCIA CRITERIAL

INTRODUCCIN

En la actualidad el rea de la Evaluacin y Medicin
Educativa se ha convertido en un rea de especial importancia
en la Educacin, con evaluaciones de todos los mbitos
relacionados con el Sistema Educativo (Estudiantes, Docencia,
Instituciones, Programas Educativos, Sistema Educativo).
La evaluacin de los distintos mbitos de la Educacin
hace que surjan nuevas necesidades para el desarrollo de la
misma.
Una escuela evaluativa actual de gran implantacin en el
mbito de la Educacin (Jornet y Suarez, 1994) es la Evaluacin
Referida al Criterio, si bien hay que resaltar que se trata de una
escuela reciente, pues su nacimiento, como tal escuela, tiene
escasamente tres dcadas.
Dentro de la Lnea de Investigacin Evaluativa llevada a
cabo en el Departamento de Mtodos de Investigacin y


466
Diagnstico en Educacin de la Universitat de Valncia, y ms
concretamente en la Lnea de Evaluacin Criterial se estn
realizando estudios metodolgicos sobre diversos mbitos de la
misma. De este modo, uno de ellos es el funcionamiento de la
fiabilidad en las Pruebas de Referencia Criterial, por una parte
con el propsito de actualizar los estudios desarrollados
anteriormente y, por otra parte, profundizar en el
funcionamiento de los distintos indicadores de fiabilidad
propuestos.
En esta comunicacin se presenta un estudio realizado
sobre el comportamiento de algunos indicadores de fiabilidad
en pruebas de referencia criterial.

FIABILIDAD EN LA EVALUACIN CRITERIAL

En la Evaluacin Criterial, el concepto de fiabilidad
aplicado se define como la consistencia de dos o ms medidas,
con la acepcin de si la prueba mide en el mismo sentido.
Este concepto de fiabilidad se ha adaptado a los usos
propios de las pruebas de referencia criterial, y que,
principalmente, son dos:
a) realizar inferencias acerca de los niveles de
competencia,
b) tomar decisiones de domina / no-domina, pasa/no-
pasa, etc. Es decir, asignar a los sujetos a una
categora.
Los indicadores de fiabilidad propuestos para el primer
han sido escasos. Sin embargo, con relacin al segundo uso, las
aproximaciones a la fiabilidad que se han propuesto han sido
mltiples, debido a que es el uso ms generalizado de las
Pruebas de Referencia Criterial, y se define como el acuerdo
esperado entre dos pruebas, en el sentido de la consistencia de
las decisiones de la clasificacin.
Desde que Popham y Huseck (1969) sealaron que los
indicadores clsicos no eran apropiados para las Pruebas de
Referencia Criterial, se han propuesto diversos indicadores para
estimar la fiabilidad de dichas pruebas.


467
Con el fin de clarificar la utilizacin y comprensin de
estos indicadores, diversos autores (Hambleton et al., 1978;
Berk, 1980, 1984; Traub y Rowley, 1980) han propuesto una
clasificacin de los mismos en categoras, a partir de los dos
usos que se han dado a las mismas. Dentro del segundo uso de
las pruebas de referencia criterial, los indicadores se han
clasificado dependiendo de la funcin de prdida.
De este modo, y siguiendo la clasificacin de Jornet y
Surez (1994), los distintos indicadores de fiabilidad podemos
agruparlos en las siguientes categoras:
a) Consistencia de la Decisin con Prdida de Umbral
b) Consistencia de la Decisin con Prdida de Error al
Cuadrado
c) Consistencia de la Decisin con Prdida Lineal
d) Estimacin de las Puntuacin en el Dominio.

ESTUDIO

El propsito del trabajo de investigacin realizado es
estudiar el funcionamiento de cuatro indicadores de fiabilidad
en Pruebas de Referencia Criterial.
Para llevar a cabo dicho estudio se ha utilizado la
simulacin, destacando que la simulacin es una herramienta
poco utilizada en la investigacin Educativa, si bien hay una
incipiente investigacin que la emplea.

Objetivo

El objetivo del trabajo de investigacin ha sido doble:
a) Estudio de cada uno de los ndices por separado, en
relacin con las siguientes variables: forma de la
distribucin definidas por la asimetra y la curtosis,
puntuacin de corte, media, nmero de sujetos,
nmero de tems, e Indice Clsico de la Fiabilidad


468
b) Comparacin de los cuatro ndices de fiabilidad en
pruebas de referencia criterial, teniendo en cuenta
esta serie de variables, excepto la forma de la
distribucin

Metodologa

El tipo de diseo de investigacin adoptado en este
trabajo de investigacin ha sido la simulacin, con el fin de
considerar todas y cada una de las condiciones que se han
propuesto.

Variables

Las variables que se han utilizado son de dos tipos:
a) Variables independientes, que representan las
condiciones de experimentacin, junto con los niveles en cada
una de las variables. Estas son:
Forma de la distribucin, definida por la asimetra y
la curtosis. En este caso, en ambas variables se han
establecido cinco niveles: -1,5, -0,75, 0, 0,75, 1,5.
Puntuacin de corte, considerando cinco niveles:
40%, 50%, 60%, 70% y 80%.
Media, tambin considerando cinco niveles: 40%,
50%, 60%, 70% y 80%.
Nmero de sujetos, con tres niveles: 30, 120 y 1000
sujetos
Nmero de tems, con tres niveles: 10, 20 y 40 tems.
Indice Clsico de Fiabilidad, en el que tenemos en
cuenta tanto el KR-20 y el KR-21. En este caso se han
considerado diez niveles, dividiendo el valor que
toma el ndice 0,00 a 1,00, en intervalos de 0,10 cada
uno.


469
b) Variables dependientes, que estn representadas por
cuatro indicadores de fiabilidad.
Estos
cuatro indicadores son representativos de la fiabilidad
considerada como consistencia de la decisin. Adems, estos
indicadores presentan las caractersticas, por una parte, de
requerir una sola administracin de la prueba, y, por otra parte,
pertenecen a dos funciones de prdida: consistencia de la
decisin con prdida de umbral y consistencia de la decisin
con prdida de error al cuadrado.
Los cuatro indicadores del estudio son:
Indice po, obtenido con el mtodo de Huynh
Indice po, obtenido con el mtodo de Subkoviak
Indice de Brennan
Indice K
2
de Livingston
Researemos que los dos primeros pertenecen a la
funcin de prdida de umbral y los dos ltimos a la funcin de
prdida de error al cuadrado.

Diseo de investigacin

El diseo de investigacin por el que se ha optado es la
simulacin, debido a los objetivos planteados en el trabajo de
investigacin.
Como en todo estudio de simulacin, el objetivo de la
misma es la generacin de distintos conjuntos de datos, segn
los modelos predeterminados por el investigador. En este caso,
el propsito de la simulacin es la generacin de una serie de
matrices que representan la respuesta de los sujetos, tendiendo
en cuenta, por una parte, que los tems son dicotmicos, con lo
cual el valor de las respuestas de las distintas matrices ser de
uno y cero, y, por otra parte, las respuestas de los sujetos deban
generarse a partir de las diversas condiciones de
experimentacin.


470
Posteriormente, una vez generadas las matrices de
respuesta se necesitaba calcular el valor de los cuatro ndices de
fiabilidad.
Por tanto, para realizar el estudio se ha diseado un
programa de ordenador, que por un lado nos generara las
matrices de respuesta de los sujetos, y por otra otro, nos
calculase el valor de los cuatro indicadores que se estudiaban, a
partir de las matrices de respuestas de los sujetos.
De esta forma, se han obtenido los diferentes datos. Para
ello se han cruzado todas las condiciones del estudio y sus
niveles. Asimismo, se han realizado la replicacin de cada una
de las combinaciones en un nmero de 30.000, como mnimo,
con la intencin de generar 500 matrices para cada una de las
combinaciones.

Anlisis de los resultados

El anlisis de los resultados se ha centrado en dos
puntos, teniendo como referencia los objetivos del trabajo de
investigacin:
a) Anlisis de cada uno de los indicadores de fiabilidad
elegidos, en relacin con las condiciones
establecidas. Para ello se ha establecido un anlisis
global para cada condicin, y un anlisis de cada
condicin pero teniendo en cuenta el tipo de
distribucin.
b) Anlisis comparativo de los cuatro ndices, teniendo
en cuenta las distintas condiciones experimentales,
excepto el tipo de distribucin.


471
Bibliografa

BERK, R.A. (1980) A Consumers Guide to Criterion-Referenced
Test Reliability. Journal of Educational Measurement. Vol.
17, n. 4, pp. 323-349.
BERK, R.A. (1984). Selecting the Index of Reliability. En BERK,
R. A. (Ed.) A Guide to Criterion-Referenced Test
Construction. The John Hopkins University Press.
Baltimore. Pp. 231-266.
HAMBLETON, R. K., SWAMINATHAN, H., ALGINA, J. &
COULSON, D. B. (1978). Criterion-Referenced Testing
and Mesurement: A Review of Technical Issues and
Developments. Review of Educational Research. Vol. 48, n.
1, pp. 1-47.
JORNET, J. M. Y SUAREZ, J.M (1994). Evaluacion Referida al
criterio. Construccin de un test criterial de clase. En
GARCIA HOZ, V.(Dir.) Problemas y mtodos de
investigacin en educacin personalizada. Rialp. Madrid. Pp.
419-443.
POPHAM, W. J. & HUSECK, T. R. (1969). Implications of
Criterion-referenced Measurement. Journal of Educational
Measurement. Vol. 6, n 1, pp. 1-9.
TRAUB, R. E. & ROWLEY, G. L. (1980). Reliability of Test
Scores and Decisions. Applied Psychological Measurement.
Vol. 4, n. 4, Pp. 517-545.


472

ASPECTOS DEL ENGAO EN EL QUEHACER
CIENTFICO Y EVALUATIVO
Carlos Marco Blasco

El fuego de la presente comunicacin fue la constatacin
no sin perplejidad- de que en la comunidad cientfica existe un
cierto confusionismo, cuando no ignorancia, de lo que es un
fraude en la investigacin, un fraude cientfico. En efecto, tras
denunciar un fraude y salir publicada la denuncia en la
prensa- doy fe de que muy pocas personas casi nadie- de las
muchas que desde diversos mbitos de conocimiento leyeron la
noticia, haban entendido lo que yo denunciaba por fraude
cientfico.
As, las reacciones fueron:
a) Unos los ms- pensaban que me haban plagiado.
b) Otros me comentaban que no poda denunciar por
fraude, que no poda ser tan crtico desde este
campo de conocimiento, pues dado que las ciencias
sociales no son exactas, inevitablemente, todas las
investigaciones contenan sesgos y errores.
c) Otros, haciendo una lectura miope de las
conclusiones contemporneas de la teora del
conocimiento (es decir, que el conocimiento


473
cientfico, en la medida que quiera ir ms all de la
obtencin, catalogacin y combinacin de
experiencias es, en tanto que conocimiento, ficticio,
dado que el intelecto humano y las cosas, nuestra
razn y la naturaleza, no han de ser necesariamente
adecuables, y las teoras de los hombres se
sobreponen a la realidad como una red sin que
podamos pretender llegar a ms), haciendo, digo,
una extensin e interpretacin torticera de la
epistemologa, me afirmaban o sugeran que en el
fondo era impropio impugnar por fraude habida
cuenta de que la ciencia ya ha descubierto su estricta
humildad elucubradora, su imposibilidad de
referencia a la Verdad. (He de sealar tambin
que, no obstante, otra de las constataciones que pude
comprobar es que muchos miembros de la
comunidad cientfica, siguen todava aferrados a la
ingenua y caduca concepcin de la ciencia como
adquisicin conceptual definitiva, como verdad
suma y eterna, y poseedora de fundamento unvoco
en la realidad).
d) Tambin hubo quien, fantico seguidor obviamente
por moda, pero sin haber entendido nada- del
pensamiento dbil y el dogmatismo relativizador
de la tica y la esttica del posmodernismo,
trasplantaba absurdamente sus tesis al campo de la
investigacin cientfica, alegando que cualquier
manejo de los datos y cualquier discurso poda
tener viabilidad y credibilidad si era aceptado y era
operativo en un contexto sociocultural, sin que
pudisemos establecer rangos de credibilidad.
Adems de la polisemia del trmino posmodernidad, y
de que bajo su etiqueta se encuentran diversas
tendencias del ms reciente pensamiento
contemporneo e incluso usos externos al
filosfico-, es manifiesto que su crtica a la
utilizacin de la ciencia para ejercer el poder a travs
de determinadas formas de autoridad o exclusin,
reconociendo otras vas legtimas de conocimiento,
no tiene nada que ver con el cumplimiento de las
reglas de juego dentro del paradigma o mtodo
escogido. Pues incluso quien relativice y equipare en


474
validez los mtodos de conocimiento, con la
asuncin posmoderna a rajatabla de lo fragmentario
y provisional, lo no exclusivo y no dogmtico del
pensamiento, su lucha contra la totalizacin y los
discursos excluyentes, su reconocimiento de la
incertidumbre, su carcter participativo, dialgico,
antijerrquico y plural, su irona y eclecticismo, su
incorporacin de lo marginal y del multiculturalismo
para ampliar nuestros lmites, etc... quien incluso,
extremando estas premisas, as todo lo relativice,
digo, tendr que reconocer como inviable y
aberrante el dar credibilidad a quien est jugando en
un tablero de ajedrez con fichas de parchs.
e) Por ltimo, tampoco faltaron quienes recurrieron al
sempiterno y socorrido pero no por ello siempre
impresentable en la discusin serena, noble y
fecunda que debe presidir la comunidad cientfica-
argumento de autoridad o jerrquico, para
descalificar mi impugnacin a la susodicha y
fraudulenta investigacin cientfica. Y como quiera
que dicho argumento lo lleg a esgrimir un
catedrtico, me temo que es necesario repetir, una
vez ms, que la ciencia tiene una caracterstica
insoslayable: con ella el principio de autoridad no
sirve. En ella, lo jams vlido es: llevo razn porque
mi cargo acadmico es superior, o esto es as
porque lo digo yo. Por muy alto prestigio y
jerarqua que ostente un cientfico, cuando se trata
de ciencia, su palabra slo adquiere valor si se
fundamenta en demostraciones coherentes, y en
observaciones o experimentos concluyentes que
sostengan la verdad de las teoras que promueven.
En campos no cientficos esto no ocurre
necesariamente as. Alguien puede querer imponer
su criterio sin necesidad de una razn, y de la
argumentacin y las pruebas. Es el terreno de la
fuerza, o de la sugestin: fuerza o sugestin, o
ambas enlazadas, pues, como armas anti-ticas a las
que debe renunciar el investigador. Para el cientfico,
algo es como es porque lo puede argumentar con
una teora que se hace eco de lo que demuestra su
experimento. Le guste o no lo que su investigacin le


475
ha llevado a descubrir, si su apuesta es
autnticamente la de la ciencia, no tendr ms
remedio que admitir esos resultados, aunque los
mismos no contribuyan a sus intereses personales.

En conclusin, repito, muy pocos, casi nadie,
entendieron lo que para m era una obviedad, e impugn como
fraude cientfico1.

1 Me estoy refiriendo a la investigacin del mdico Miguel ngel
Torres Hernndez, publicada en libro bajo el ttulo Prevencin del abuso
de alcohol y drogas entre escolares de Torrent (Ajuntament de Torrent,
Col lecci Hort de Trnor n 3, Torrent Valncia). Mi impugnacin y
refutacin fue publicada por la Asociacin Interuniversitaria de
Investigacin Pedaggica (A.I.D.I.P.E.), en 1995, bajo el ttulo Un
ejemplo de fraude cientfico en la prevencin del abuso de alcohol y otras
drogas entre escolares (ver referencia en la bibliografa). La primera
denuncia de este fraude, no obstante, y sin explicarlo
pormenorizadamente, la hice en el diario Levante-EMV, el 25-3-91,
y el 11-4-91. (Por x por y, no me hicieron caso, sacando a
colacin los mltiples argumentos que han dado lugar a sta crtica y
a la reflexin que aqu presento. Quiero decir, y estoy manifestando
con tristeza, que mi experiencia es que la comunidad cientfica y por
supuesto el mundo de la drogabusologa-, curiosamente, aunque el
denunciante tenga la razn y las pruebas, se cierra en banda o mira
para otro lado ante un fraude cientfico). Posteriormente, otros diarios
(por ej., Diario 16: 25-5-94; El Pas: 3-10-95, y, 11-11-97; etc.) fueron
hacindose eco del fraude de Torres, y, ya una vez demostrado y
probado y avalado por el Comit Cientfico de Expertos y por el
Tribunal de Agravios de la Universitat de Valncia- , dieron noticia de
la supresin de su plaza como profesor asociado de la Universitat de
Valncia, tras las peticones de la Asamblea de Representantes de la
Facultat de Medicina y la de Filosofia i Cincies de lEducaci. Como
quizs hoy sea muy difcil localizar el libro de Torres, consigno que
dicha investigacin fraudulenta, se public tambin, resumida en
artculos


476
Lo cual, si bien mira, no es de extraar: basta repasar los
diccionarios y manuales de las distintas ciencias y de
investigacin, para apercibirse de que palabras, entradas o
reflexiones en torno al engao, el fraude, o el plagio,
brillan por su ausencia (como si por corporativismo
defensivo se hubiesen convertido en un tema tab). Por ello,
espero que estas lneas sean aclaratorias, al menos como
sntesis.
Quiero tambin aclarar que en la presente
comunicacin, al llegar al aspecto deontolgico, no voy a hablar
de las peculiares implicaciones ticas del evaluador pedagogo
que dependen de la funcin misma-, ni tocar cuestiones tan
importantes como los componentes ticos de la evaluacin
como funcin profesional, en la compleja dialctica de intereses
que se establece entre las partes, o los derechos de acceso a la
informacin. No. Esta es una reflexin ms general que abarca y
sirve a las necesidades de mejora tanto de la investigacin
bsica, como de la evaluativa, pues ambas se realizan desde
criterios cientficos. La investigacin bsica y la investigacin
evaluativa, no slo comparten muchas caractersticas de
enfoque y mtodo, estimulando el desarrollo de teoras
pedaggicas y el conocimiento de la realidad educativa, sino
que participan del mismo grado de exigencia y rigor en el
tratamiento de los datos. An habiendo diferencias entre la
investigacin cientfica sensu stricto y la evaluacin de
programas, el diseo de sus estudios, as como el proceso
riguroso de recogida, tratamiento y anlisis de la informacin,
deben cumplir, en los dos casos, las exigencias de objetividad
metodolgica y tica profesional propias de la bsqueda crtica
de conocimiento. En este sentido, la investigacin evaluativa,
como subconjunto del quehacer cientfico, ha de contemplar y
asumir tambin, an con matices especficos propios, sus
postulados de reconsideracin y autocrtica.
Cuando se trata de que criticar los defectos y lmites de
la Ciencia como saber bsico y hegemnico de nuestra poca, o

de diferentes ttulos, y con la coautora de Juan Jos Llopis Llcer, en
las revistas: Adicciones, I, (1), pp. 37-48; y, Psiquis, X, (3), pp. 20-
28.


477
de investigaciones cientficas concretas, se pueden confundir,
mezclar o no reconocer, tres aspectos, a mi juicio, claramente
demarcables: el epistemolgico, el metodolgico, y el
deontolgico.
Empezar refirindome al aspecto metodolgico o de
competencia tcnica por ser el ms propio de nuestra rea de
conocimiento y en el que el engao ms puede, a veces,
confundirse con el engao desde el punto de vista
deontolgico. En este nivel se reuniran aquellos errores,
deficiencias e incorrecciones que puede contener un trabajo de
investigacin y que, por ellos, dicho escrito debe remitirse al
autor (definitiva o momentneamente) antes de publicarse. En
este punto priman los captulos de la metodologa (diseos
inadecuados u omitidos; muestras reducidas; instrumentos de
medida dbiles; etc.), y de los resultados (no acordes con el
problema, los procedimientos o la hiptesis en curso;
incompletos o sesgados por prejuicios del investigador; no
distinguir normalmente en una presentacin confusa por el
formato- entre datos hallazgos y resumen; un anlisis
estadstico poco claro o desenfocado; etc.). Pero no podemos
olvidar que cualquier detalle de un escrito de investigacin
entra en la valoracin del mismo e incluso es susceptible de
decantar su evaluacin. Desde una discusin errnea (que re-
escriba solamente los resultados numricos en discurso
literario, aporte comentarios desenfocados, o extraiga
conclusiones divagatorias que, aun sin entrar en contradiccin o
falsificar los resultados, son externas: no avaladas por los
datos), hasta el planteamiento ambiguo, ligero o disperso del
problema; y desde el ttulo (que sea demasiado largo o no
refleje el problema tratado), hasta la bibliografa y la propia
redaccin (aspecto este muy olvidado, y que ha llevado a que el
estilo de numerosos estudios de investigacin no slo sea pobre
y obtuso tampoco aqu debe entrar un estilo florido-, sino de
discurso tan mal construido sintcticamente, que genera, al
explicarse, contradicciones con lo que el propio autor quera
decir).
En este primer aspecto de crtica a las deficiencias de
las investigaciones cientficas los errores suelen ser por
negligencia, apresuramiento o por clara incompetencia. Ahora
bien, soy de los que piensan que la ignorancia no es una excusa
aceptable. El investigador tiene la obligacin moral de


478
mantener los estndares metodolgicos ms altos posibles, y a
que su trabajo, no slo sea de rico e interesante contenido, sino
que lo contenga una disciplinada, slida e imaginativa
estructura. Podramos asimismo incluir en este nivel otro matiz:
lo que denominaramos error honesto, que incluso puede ser no
pretendido y que, de hecho, es motor de la ciencia. Nace de las
limitaciones del investigador, pero no de su mala fe. Ms:
trabajos altamente innovadores contenan algunos errores (a
sensu contrario, investigaciones pedestres y absurdamente
repetitivas se han realizado con gran correccin). En efecto, se
han encontrado investigaciones donde existen errores, o
prcticas cuestionables, en el anlisis de datos; no obstante, son
errores que no afectan a las correctas conclusiones del estudio;
tambin distorsiones y manipulaciones (por ejemplo con las
cantidades numricas despreciables) son posibles dentro de
los lmites aceptables, pues pueden ayudar a desatascar una
maraa de datos y centrarnos en un anlisis orientado a un
norte. La mayora de las investigaciones distorsionan un pice
las cosas para encaminarlas por senderos clarificadores. Estos
errores o sesgos sutiles no son ticamente reprensibles: no estn
al margen de lo legtimo (porque no alteran sustancialmente el
resultado el estudio, sino que ms bien lo intentan pulir para
que resalte con ms nitidez lo descubierto, contribuyendo a
construir la teora con las menos fisuras posibles). Vemos, pues,
como desde el punto de vista metodolgico se puede asumir
cierto engao para, precisamente, elaborar, profundizar y hacer
ms inteligibles las investigaciones.
En el nivel epistemolgico se englobaran todos
aquellos problemas previos a la prctica del trabajo cientfico: la
reflexin sobre los problemas relacionados con la naturaleza de
la realidad y verdad, la fundamentacin de este conocimiento,
el anlisis de la estructura formal de las teoras, los principios,
virtualidades y lmites de su mtodo, el significado de los
trminos que constituyen la teora, la verosimilitud de sus
interpretaciones y traducciones de lo emprico a teora... Y, por
supuesto, el crucial problema de qu entendemos por
racionalidad, cules son los lmites de cualquier razn, y las
formas, intercambios de argumentos y mecanismos que nos
llevan a razonar, y si hay diversas maneras sensatas de
comprender el mundo desde la razn como herramienta, o
racionalmente: si las diversas teoras que a partir de aqu se
construyen, son, o no, necesariamente, incompatibles, o


479
inconmensurables, o intraducibles... y si existen
mecanismos que nos permitan preferir unas teoras a otras.
Podramos incluir aqu tambin los problemas relativos a qu
entendemos como ciencia, a la pertinencia/coherencia de
sustantivar, como ciencia, materias y discursos muy dispares, y
a la neutralidad o la impregnacin ideolgica de las ciencias y
de sus aplicaciones tecnolgicas. Pero no me voy a adentrar en
los complejos problemas que subyacen a la reflexin y
desarrollo especializado de estos temas. Lo que me ocupa es
recordar sucintamente lo que todo cientfico debe hoy asumir:
lo precario y provisional de su conocimiento que no es
garanta de verdad, sino congruente auto/engao-. Y, a
rengln seguido, elogiar y comprender la necesidad de esta
impostura, y matizarla con respecto a las que desde otras
perspectivas aqu son tratadas.
Ciertamente, podemos considerar que los cientficos
creadores de teoras son unos impostores geniales, pues
ninguna teora puede demostrar completamente que sea
verdadera, y si as las consideramos es porque el cientfico que
la enunci ha podido convencer a sus colegas de la comunidad
cientfica. El cientfico en este caso engaa porque no tiene
otra forma de convencer al mundo de lo acertado e innovador
de su visin, y del avance que suponen sus descubrimientos y
teoras. El cientfico elabora y enuncia una teora que trata de
aprehender la realidad profunda de ciertos aspectos de la vida,
e intenta hacrnosla ver, y convencernos de su veracidad,
escogiendo unos datos, experimentos y argumentos -y,
necesariamente, desechando otros-. Ahora bien, la realidad
profunda y completa del mundo nunca podr ser demostrada a
travs de teoras cuya verdad nunca podremos afirmar de
forma concluyente. Esto es as, entre otras causas, porque en el
fondo detrs de los conceptos y de las teoras cientficas
palpitan metforas colectivas que, obviando su primigenia
condicin sociolingstica pero ineludiblemente atrapadas en
ella-, terminan imponindose bajo la aparente rotundidad de
su sistema lgico- como la forma indiscutible de decir la
realidad, como la Verdad inconmovible. Lo dicho y pensado del
mundo no depende slo de l, sino de nuestro sistema
conceptual, que lo condiciona, filtra y determina los aspectos a
tener en cuenta y sobre los que podremos elucubrar-. Este
nuestro mundo es la resultante de nuestro sistema conceptual
y el mundo real. De igual modo, tiene que partir tambin de


480
nuestro limitado aparato sensorial, que, seleccionando y
condicionando nuestras percepciones, determina las pautas en
que stas son posibles. A partir de estos factores, estructuramos
nuestro mundo -y nos acercamos y recreamos la realidad-
merced al concurso de otras dos potencialidades del quehacer
cientfico: a) la elaboracin de nuevos conceptos que nos
permitan describir hechos y formular hiptesis de precisin y
universalidad creciente; y, b) la fabricacin de instrumentos que
extiendan las posibilidades de nuestros sentidos y facultades,
transcendiendo sus limitaciones. Mas la realidad es
inaprensible como incomprensible es el ser ontolgico de las
cosas y su porqu. Las teoras que se consideran verdaderas
durante una poca, nacen de teoras anteriores que se modifican
o se reconocen como falsas. Y las nuevas teoras sern ms tarde
o ms temprano consideradas falsas y desplazadas por otras
teoras, y es esta falsedad generadora, la esencia misma de lo
cientfico.
Hoy estamos en disposicin de afirmar que cualquier
teora cientfica que se presenta como verdadera y como tal la
aceptamos durante muchas dcadas, es siempre una
falsificacin de la realidad. Se trata de una acomodacin
utilitaria de la realidad1, mediante los lenguajes, a nuestros
resortes cognitivos, a nuestras posibilidades de comprensin.

1 He dicho acomodacin utilitaria de la realidad, y la palabra
utilitaria no va genealgicamente desencaminada. El filsofo
pragmatisma William James (1984, pp. 155-207), ya explic el origen
de la idea del carcter mitolgico de la comprensin/plasmacin
del mundo. Para James, el estatus tanto de los esquemas conceptuales
de las ciencias, como de los esquemas conceptuales del sentido
comn, es el de teoras instrumentales para manejar y organizar la
experiencia en diferentes mbitos de la vida humana. Las entidades
con las que se compromete el habla del sentido comn objetos
macroscpicos, colores, estados mentales- se remontan a
tiempos inmemoriales, son invenciones annimas de antepasados
prehistricos, y se han conservado, solidificndose, en las estructuras
del lenguaje. Sobre esa base se desarrollan sistemas ms refinados de
interpretacin -los de la ciencia occidental-, cuyo resultado fue poblar
el universo de nuevos constructos, como entes y funciones
matemticas, partculas microscpicas, etc., aunque los nuevos
gneros de la cosa cientfica no sean esencialmente ms verdaderos.


481
Pero la realidad siempre es mucho ms compleja e
innumerables variables que no podemos contemplar podran
hacer cambiar cualitativamente la explicacin de su
funcionamiento y establecer otras leyes. Lo que describimos
como orden lo que ordenamos y encorsetamos- no es si no
una visin o representacin simplificada de un momento de lo
que podramos denominar la historia del caos del cosmos1 (y
que, por supuesto, nunca desentraa el inabarcable y profundo
significado de la vida y las leyes que la rigen).
Por todo ello decimos que toda teora cientfica es una
correcta impostura (una gran ilusin), y todo gran cientfico un
genial impostor. Engaan porque es su estricto deber
profesional para ampliar el conocimiento y porque solo as
pueden hacer progresar la ciencia. Y si cometen la
inescrupulosidad de pasar por alto ciertos datos que no
cuadran o se sirven de algunos trucos es porque slo as
consiguen domesticar una complejidad catica, y generar unos
parmetros con la suficiente regularidad y exactitud que
permite un control del mundo y el desarrollo de aplicaciones
tcnicas slidas y concretas (a sabiendas y esta es la
maravillosa paradoja- de que son construidas a partir de teoras
que ms pronto o ms tarde pueden ser falsadas y
condenadas).
De ah que la propia Ciencia, como retrica de la
Verdad, haya recibido numerosas sospechas e

1 El carcter en el fondo mitolgico de los diferentes esquemas
conceptuales includo el ms sofisticado de la ciencia- y la
ingenuidad de que pretendan desvelar la verdad absoluta, y ser
poseedores de fundamento unvoco en la realidad, fue aceptado por
una autoridad en lgica formal de la talla de Quine (1985, p. 79), con
esta concisa y clara declaracin: creo en los objetos fsicos, no creo en los
dioses de Homero, y considero un error cientfico orientar la creencia de otro
modo. Pero en cuanto a fundamento epistemolgico, objetos fsicos y dioses
difieren slo en grado, no en esencia. Ambos tipos de entidades slo integran
nuestras concepciones como elementos de cultura. El mito de los objetos
fsicos es epistemolgicamente superior a otros muchos mitos porque ha
probado mayor eficacia como procedimiento para elaborar una estructura
manejable en el flujo de la experiencia.


482
impugnaciones1. No obstante, la aceptacin del carcter
mitolgico de la conceptualizacin y explicacin cientfica, y
la consideracin de su generalizacin y elevacin a teora como
impostura, como engao, ni socaba el estatuto
epistomolgico superior de la misma, ni pone en cuestin los
aspectos ticos de la conducta del investigador. La
preeminencia de la metodologa cientfica sobre otras
tradiciones, sobre el pensamiento
simblico/mitolgico/mgico, y sobre los mtodos de
conocimiento revelado- es innegable en cuanto a que es un
saber con vocacin especulativa/contemplativa e instrumental
que permite la prediccin racional de acontecimientos y el
control tcnico de procesos objetivables, mediante la
contrastacin y verificacin de la efectividad de sus resultados..
Y, aunque hoy no es sencillo llegar a un acuerdo con respecto a
lo que se entiende por ciencia, bien vale aplicar para todas las
materias como vlida la sabia generalizacin que hiciera Albert
Einstein (1983, p. 232): Ciencia es el empeo, secular ya, de agrupar
por medio del pensamiento sistemtico los fenmenos perceptibles de
este mundo en una asociacin lo ms amplia posible. Dicho
esquemticamente, es intentar una reconstruccin posterior de la
existencia a travs del proceso de conceptualizacin. En general y

1 Nunca estar de ms reconocernos en la fbula que ide a mediados
del siglo pasado el joven Nietzsche (1970, p. 543): En algn rincn
apartado del Universo rutilante, configurado en innumeros sistemas solares,
hubo una vez un astro donde animales inteligentes inventaron el
conocimiento. Fue aquel el minuto ms arrogante y mendaz de la Historia
Universal; pero tan solo un minuto, en fin. Al cabo de pocas respiraciones
ms de la Naturaleza se petrific el astro en cuestin, y perecieron los
animales inteligentes.- Pudiera uno inventar tal fbula, y sin embargo, no
alcanzara a ilustrar cabalmente lo pobre, precario y efmero, lo ftil y
contingente, del intelecto humano dentro de la Naturaleza. Han transcurrido
eternidades sin que l existiera; cuando se haya extinguido, no habr pasado
nada. Pues no hay para este intelecto ninguna misin ulterior que apunte a
ms all de la vida humana. Es cosa del hombre, y nicamente su dueo y
progenitor lo considera con tal pathos y se siente el centro volante del
Universo. Nada hay en la Naturaleza tan subalterno y vil que al ms leve
soplo de aqul poder de conocimiento no se inflara al instante cual una
manguera; y as como cualquier estibador quiere ser admirado, el hombre ms
orgulloso, el filsofo, hasta cree que desde todos lados los ojos del Universo
estn telescpicamente fijos en su accin y su pensamiento.


483
para nuestros menesteres puntualicemos dos pormenores a
cumplir, ineludiblemente, por lo que designamos como ciencia:
que sea un conocimiento racional y obtenido ya sea por la
observacin y verificacin experimental, ya sea por
demostracin. Dentro de cada disciplina los cientficos podrn
discrepar discrepan- respecto de la validez de los enfoques, de
los mtodos y tcnicas de investigacin, de las teoras
especficas e, incluso, sobre lo que se pueden considerar como
hallazgos empricos concretos. Mas la racionalidad de sus
discursos contrastados les posibilita llegar argumentativa,
fctica y desprejuiciadamente a un consenso garante de
verdades o certidumbres, y no impuesto. Lo cual no implicar
es preciso volver a recalcarlo- dogma o cerrazn, sino consenso
consciente de la provisionalidad de la verdad: un enunciado no
constituye conocimiento porque en l crea, con suficiente
conviccin, un nmero elevado de personas. La historia del
pensamiento muestra que muchas eminencias intelectuales han
sido creyentes de nociones absurdas. Como seala Lakatos
(1993, p.10): lo que caracteriza a la conducta cientfica es un cierto
escepticismo incluso con relacin a nuestras teoras ms estimadas (...)
El valor cognoscitivo de una teora nada tiene que ver con su
influencia psicolgica sobre las mentes humanas. Creencias,
convicciones, comprensiones... son estados de la mente humana. Pero
el valor cientfico y objetivo de una teora es independiente de la mente
humana que la crea o la comprende. Su valor cientfico depende
solamente del apoyo objetivo que prestan los hechos a esa conjetura.
Quedan as trazados, pues, los vectores de demarcacin entre el
actuar cientfico, y el pseudocientfico o el supersticioso.
Dejamos ya a un lado el tema del engao mediante
el desarrollo de teoras cientficas y entramos en el tercer
aspecto: el deontolgico. Es aqu donde ya s es pertinente
apelar e impugnar- la prctica cientfica por su proceder tico.
Y es aqu donde la palabra engao adquiere su significado
peyorativo. Existen diversas conductas cientficas incorrectas
(algunas claramente inmorales, otras pilleras o trucos de listillo
o simulador): el robo de ideas; el hurto de material
experimental, el hurto de apuntes; la sustraccin de grficas,
fotografas, materiales descubiertos...; tambin son reprobables
conductas como la coautora gratuita, la publicacin duplicada
o la publicacin prematura; la invencin de datos e incluso de
investigaciones inexistentes, claro- enteras; la republicacin
del mismo artculo con el ttulo cambiado en otras revistas...


484
Ahora bien, podemos agrupar y diferenciar claramente, en dos,
las ms graves malas conductas cientficas: el plagio y el fraude
cientfico. Sin embargo, en la comunidad cientfica ambas falsas
conductas suelen confundirse. Se suele sobreentender o
interpretar hoy por hoy, y por mi experiencia- el fraude como
plagiar (quizs porque el fraude es ms infrecuente, y porque
semnticamente el plagio queda subsumido en lo fraudulento:
en propiedad, todo plagio es un fraude... pero no viceversa; por
ello pienso que quizs ayudara a evitar malentendidos llamar
al fraude estafa cientfica). Sucintamente, pues, esto sera lo
diferencial entre ambos:
El Plagio. (El vocablo deriva del latn plagium: retencin o
compra de hombres libres como esclavos). Es el uso extendido
en la generalidad del trabajo del plagiario, o en la conclusin a
la que llega, no solo del trabajo del otro sino tambin de sus
palabras; en definitiva, el que plagia no reconoce a sus
predecesores intelectuales. De aqu la importancia y necesidad
de citaciones ajustadas en la fase de revisin bibliogrfica de
una investigacin. Cabra matizar diferenciando una versin
fuerte y una dbil del mismo, y observar que el afn de
prestigio ms a menudo que el nimo de lucro- es su
desencadenante: lo cual, ni le resta importancia, ni impide que
los intereses econmicos, aunque diferidos, remachen las
chavetas que afianzan la tentacin. A menudo, como carencia
de nobleza y agravio, induce a la suspicacia, frena la
creatividad, disgrega grupos de trabajo, y desanima o margina
a sus vctimas. Pero no siempre es fcil determinar en el autor
del plagio su grado de malevolencia. En su versin fuerte, el
plagio designa la apropiacin de obras ajenas, y la copia, sin
casi ningn rodeo retrico que la maquille, de lo sustancial de
otras obras (o transcripcin total y literal de un texto de otro
autor, sin citarlo). Ni ahora, ni a lo largo de la historia, este
plagio ha sido escaso. A l contribuyen tanto la
sobreabundancia de publicaciones, como las dificultades de
comunicacin o de acceso a todos los papeles cientficos
impresos. Ms difcil y sutil resulta evaluar cundo se traspasa
la difuminada lnea que separa la correcta parfrasis del plagio.
En todo caso, valgan estas apreciaciones de Joan Fuster (1992,
pp. 142-143), quien, sin defender el plagio, se burla de la
pretensin originalista: Ms vale un plagiario positivo que no
un original superfluo. Uno de los secretos de la didctica es la
repeticin (...) para plagiar bien, hace falta mucho talento (...) Se


485
necesita un tacto especial para saber escoger un pasaje digno de ser
plagiado. No todo el mundo lo tiene. El buen plagio slo se justifica
por su utilidad. Conviene repetir, es cierto: pero segn qu. Siempre
he pensado que lo peor del plagio no es que sea un robo, sino que sea
una redundancia. Matizo ahora: lo peor del plagio es que sea o pueda
ser una redundancia sin valor. Adems, la repeticin no ser nunca
escuchada si se reduce a pura y taxativa repeticin. Una repeticin
es honorable y eficiente cuando no solamente reitera una idea o una
advertencia ya hecha, sino cuando la reitera con unos alicientes
nuevos, que la refrescan y la restituyen a un esplendor sugestivo y
fragante1. El ejercicio que ms capacita para parafrasear los
textos sin copiarlos es, tras haberlos comprendido, expresarlos,
al tiempo y a nuestra manera, sin tener el original ante los ojos.
En cuanto a los plagios dbiles son difciles de detectar. No
ataen a todo el meollo del estudio que se presenta.
Comprenden desde la anotacin de teoremas o resultados
parciales, a cambios de formalismo, de estilo o de la
especialidad donde se presentan (publicando el plagiario, a
veces, su trampa, antes o simultneamente que el original que
ha silenciado). Se han detectado otros mtodos de apropiacin
indebida asimilables al plagio. Por ejemplo, el rechazo o retardo
por miembros de comits de redaccin de artculos buenos y
novedosos: el retraso les permite a ellos copiar la idea y
publicar antes diseos o resultados contiguos, pasando
paradjicamente el artculo rechazado si llega a ver la
imprenta- a ser un mero corolario del que le copi. Y no
podemos dejar de citar los casos en que el xito de los
experimentos cientficos se debe a la sagacidad de algunos
colaboradores... que luego no son mencionados con su justo
peso. La necesidad de grupos de trabajo en la investigacin
actual, si va unida a una estructura piramidal, puede conllevar
que alguna cabeza de len lleve aos siendo decorativa...
aunque firme todo lo que en verdad ingenian y realizan sus
ayudantes.
El Fraude. Existiran dos variantes fundamentalmente. En su
manera ms comn consiste en que un cientfico afirma haber
realizado experimentos, hecho observaciones u obtenido
resultados que son totalmente ficticios y hasta perjudiciales.
Estos resultados no necesariamente son errneos, aunque

1 Traduccin propia del cataln.


486
generalmente lo son. Ya en su forma ms ensombrecedora para
el progreso cientfico, se situara el fraude doloso con
descuido inexcusable: se trata de un error deliberado,
intencional, voluntario, producto del rechazo o violacin de
cnones metodolgicos, normas ticas y precauciones
procedimentales. En su estado puro se muestra cuando
reconvierte una investigacin, cuyo resultado o conclusin del
trabajo es que ha dado negativo o es un fiasco, en un resultado
o conclusin que afirma que ha dado positivo o es existoso.
Aun a falta de pruebas, una rplica concienzuda del estudio
cosa que no siempre es posible- pondra al descubierto la falacia
(otras veces, destapados los datos falseados, la patraa salta a la
vista por lo burda). Aplicando estas reiterativas variantes
podemos distinguir entre distintos tipos de fraude: por
supresin, por adicin y por invencin. Obviamente, el fraude
en investigaciones puntuales suele perpetrarse mediante un
inevitable instrumento: la mentira en la consignacin, u
ocultacin, de datos empricos claves. Y es aqu, en la ciencia,
quizs como en ninguna otra faceta de la creatividad humana,
donde faltar a la verdad es negar su propio espritu. La mentira
en la ciencia es el menos tolerable de sus pecados: se est
quebrantando el requisito metodolgico esencial de este saber;
se estn violentando las propiedades singulares
error/rectificacin/verificacin/objetivacin/falsacin- que
posee su sistema lgico de aproximacin al conocimiento
objetivo; y se estn violando sus reglas de juego
imprescendibles, colapsando el funcionamiento correcto de los
criterios valuadores que posibilitan la validez explicativa de
cualquier interpretacin de la realidad. Estos estudios no slo
no son provechosos: son una rmora para la ciencia. Es la peor
conducta pues sus efectos son ms prevalentes y cercena el
avance del conocimiento. Ambas son prcticas manifiestamente
acientficas y que revierten en anticientficas: desacreditan a la
comunidad cientfica ante los ojos escpticos de los legos, y
alimentan la demagogia de los propagandistas de la magia y
otros ocultismos cuando, criticados de estafadores, encuentran
coartada para rebotar esa crtica, acusando a sus impugnadores
los cientficos- con la misma moneda y pretendiendo dar igual
credibilidad, y estatus epistemolgico, a sus pseudosaberes.
Demarcar estos tres aspectos de crtica a lo cientfico;
discriminar lo que denominaramos solapamiento equvoco del
trmino engao en el quehacer cientfico y evaluativo;


487
matizar los diversos modos en que en cada uno de los aspectos
opera el engao, y, por consiguiente, sus distintas
connotaciones e implicaciones; diferenciar entre fraude y
plagio; y hacer una llamada a la deontologa en la investigacin,
aceptando que la falta de tica tambin se representa en el
campo cientfico que evidentemente no es un mundo
inmaculado-, ha sido el propsito de esta comunicacin: porque
en la comunidad cientfica no es infrecuente que estos aspectos
del engao se fundan, confundan, o incluso que se tienda a
no reconocer o silenciar el ltimo.


488
Bibliografa

BUENDIA EISMAN, L.; FERNNDEZ CANO, A.; RUIZ
CARRASCOSA, J. (1995). Estudios evaluativos en diferentes
contextos. Revista de Investigacin Educativa, 26 (2), 159-
184.
DE LA ORDEN, A. (Coor.) (1985). Investigacin Educativa.
Madrid: Ediciones Anaya.
DENDALUCE, I. (1995). Avances en los mtodos de investigacin
educativa en la intervencin psicopedaggica., Revista de
Investigacin Educativa, 26 (2), 9-32
EINSTEIN, A. (1983). Sobre la teora de la relatividad. Madrid:
Sarpe.
FERNNDEZ CANO, A. (1995). Mtodos para evaluar la
investigacin en Psicopedagoga. Madrid: Ed. Sntesis.
FUSTER, J. (1992). Plagi. En Diccionari per a ociosos. (11 Ed.).
Barcelona: Edicions 62.
JAMES, W. (1984). Pragmatismo. Un nuevo nombre para viejos
modos de pensar. Madrid: Sarpe.
JORNET MELI, J. M.; SUREZ RODRGUEZ, J. M. (1996).
Pruebas estandarizadas y evaluacin del rendimiento: usos y
caractersticas mtricas. Revista de Investigacin
Educativa, 14 (2), 141-163.
LAKATOS, I. (1993). La metodologa de los programas de
investigacin cientfica. Madrid: Alianza Universidad.
MARCO, C. (1994). Medidas contraproducentes en la
prevencin escolar de la drogadiccin. En La Comunitat
Valenciana en lEuropa Unida. Tomo XI. (pp. 241-253).
Valencia: Presidencia de la Generalitat Valenciana,
Direccin General de Planificacin y Estudios.
MARCO, C. (1995). Un ejemplo de fraude cientfico en la
prevencin del abuso de alcohol y otras drogas entre
escolares. En A.I.D.I.P.E. (com). Estudios de Investigacin
Educativa en Intervencin psicopedaggica (pp. 85-88).
Valencia: A.I.D.I.P.E. (En este mismo libro, y de la
pgina 75 a la 85, se encuentran otros tres artculos del


489
mismo autor que reflexionan sobre el error, la validez y
el fraude en especial en los estudios sobre drogas y
drogodependencias-).
NIETZSCHE, F. (1970). Sobre verdad y mentira en sentido
extramoral. En Obras Completas, Vol. I. Buenos Aires:
Ediciones Prestigio S.R.L. (Versin original 1873).
QUINE, W. (1985). Desde un punto de vista lgico. Barcelona:
Orbis.
RUSSELL, R. (1975). Los problemas de la filosofa. Barcelona:
Labor.
SANDN ESTEBAN, M. P. (2000). Criterios de validez en la
investigacin cualitativa: de la objetividad a la solidaridad.
Revista de Investigacin Educativa, 18, (1), 223-242.
WITTGENSTEIN, L. (1983). De la certesa. Barcelona: Edicions 62.


490

UN ESTUDIO DIFERENCIAL DE LOS ITEMS DE LA
ESCALA KEY-MATH R

INTRODUCCIN

La presente comunicacin pretende exponer los
resultados obtenidos en un anlisis sobre el Estudio Diferencial
de los Items en la Escala KeyMath-Revised: Inventario para el
Diagnstico de las Matemticas Bsicas (Connolly, 1988),
enmarcado dentro del estudio general de adaptacin de la
prueba al sistema educativo espaol (Mar, R., 1996).
La Escala KeyMath-R, desarrollada en EE.UU. por
Austin J. Connolly, es un instrumento de Referencial Criterial
para evaluar las habilidades y capacidades matemticas, de
administracin individual y que consta de 258 items,
requirindose entre 30 y 50 minutos para completarlo, en
funcin de la edad, el nivel educativo, los hbitos de trabajo y la
aptitud del estudiante. Resulta interesante destacar que la
mayora de los items son ledos a los estudiantes, reduciendo
esto la posibilidad de que puedan ser considerados errores de
tarea debido al formato del test, tales como equivocaciones en la
lectura de los items. El nfasis de la prueba estriba en que es un
sistema que facilitar la evaluacin diagnstica y la
planificacin de la futura instruccin. La prueba presenta unos


491
coeficientes de fiabilidad que oscilan entorno al 090 y el
manual ofrece evidencias de validez de contenido y validez de
constructo.
El KeyMath-R est construido sobre tres reas, todas
ellas con la misma importancia instruccional:
rea de Conceptos Bsicos, formada por 3 subtests:
Numeracin (24 items), Nmeros Racionales (18 items) y Geometra
(24 items). Evala la base del conocimiento sobre la que se
sustenta la matemtica elemental.
rea de Operaciones, formada por 5 subtests:
Suma(18 items), Resta (18 items), Multiplicacin (18 items),
Divisin (18 items) y Clculo Mental (18 items). Evala las
habilidades para las operaciones matemticas de sumar, restar,
multiplicar y dividir, as como la habilidad para el clculo
mental.
rea de Aplicaciones, formada por 5 subtests:
Medida (24 items), Tiempo y Dinero (24 items), Estimacin (18
items), Interpretacin de Datos (18 items) y Solucin de Problemas
(18 items). Evala el uso del conocimiento y las habilidades de
clculo correspondindole el nivel ms elevado de la ejecucin
matemtica.
El anlisis diferencial de los items se puede entender
como una informacin complementaria del parmetro de
validez. Relacionado con la validez criterial del tem, aporta
una informacin sustancial para la utilidad diagnstica de la
prueba.

OBJETIVOS

En esta comunicacin nos centraremos en el estudio
diferencial de los items de la escala KeyMath-R sobre tres
niveles educativos ( 2, 5 y 8 de la extinta E.G.B.) respecto a la
comprobacin de la graduacin de los tems por Nivel de
Habilidad total en cada subprueba, as como el funcionamiento
diferencial de los mismos de acuerdo con el Gnero de los
alumnos.


492
Con el estudio diferencial de ambas variables se
pretende, por una parte, detectar posibles sesgos en algn
elemento, es decir, determinar si la formulacin de los items de
la escala KeyMath-R puede favorecer (o dificultar) el nivel
observado en determinados subgrupos del conjunto de la
poblacin a que va dirigido el test. Por otra parte, se persigue
extraer informacin suficientemente slida sobre el
funcionamiento de los items del KeyMath-R para la
reorganizacin, modificacin y/o sustitucin de partes
especficas de la prueba. Con ello se trata de aportar mejoras
tanto metodolgicas como de utilidad diagnstica de la prueba
para la adaptacin a la Comunidad Valenciana y su utilizacin
por los profesionales del mbito de la educacin.

METODOLOGA

Para la realizacin del estudio se ha tomado en
consideracin la muestra utilizada para la adaptacin del
KeyMath-R a la poblacin espaola, constituida por un total de
1238 sujetos de la Comunidad Valenciana, seleccionados al
azar, comprendidos entre los niveles de Preescolar y 1BUP-FP
(de 5 a 15 aos).
Para la configuracin de dicha muestra se tuvo en cuenta
diversas variables de estratificacin como: edad, sexo, tipo de
colegio, nivel socioeconmico, lengua y zona geogrfica,
tamao de comunidad de los estudiantes y tambin se ha
tenido en cuenta variables relacionadas con los padres, con el
profesor/a de matemticas y con el rendimiento en
matemticas en los ltimos cursos.
Teniendo en cuenta las caractersticas de la prueba, el
objeto de evaluacin y las disponibilidades muestrales, el
anlisis diferencial se ha basado en un anlisis de contraste
mediante la Tcnica Ji-cuadrado, basado en la Correlacin de
Pearson, utilizando la versin 6 del paquete estadstico SPSS.


493
RESULTADOS

Teniendo en cuenta el objetivo presentado se ha
realizado el estudio diferencial a partir del indicador Ji-
Cuadrado tomando como nivel de significacin el 0.01 y el 0.05.
Respecto a la graduacin interna de la prueba para diferentes
niveles de rendimiento, en prcticamente todos los items de los
subtests, no se han encontrado diferencias significativas, en los
niveles educativos estudiados. De este modo, se encuentra una
tendencia de asociacin o patrn de respuestas vinculadas al
nivel de habilidad de los sujetos en la mayora de los items,
concretndose en que los sujetos que aciertan el tem son los
que obtienen mayores puntuaciones en el test. Sin embargo, se
hallan varios casos de significacin a nivel estadstico que a
partir de las evidencias de validez de contenido y validez
curricular (Mar, 1996) se puede decir que se trata de items que
deben ser consolidados en niveles educativos superiores.
As pues, en el rea de Conceptos Bsicos han sido los
items 17 y 18 los que presentan un nivel de significacin
superior al estimado, teniendo en cuenta que se trata de los
ltimos items y por tanto son de mayor dificultad y en opinin
de los jueces expertos deben ser consolidados en niveles
superiores. A nivel de subtests, tanto en el de Numeracin
como en el de Nmeros Racionales y Geometra los items
significativos estadsticamente son por un lado, los situados en
ltimo lugar y que deben ser consolidados en niveles
educativos superiores y, por otro lado, los primeros items, que
presentan porcentajes de fallos muy bajos, siempre inferiores al
10%, por lo que las diferencias pueden deberse al azar.
Del mismo modo, en el rea de Operaciones han sido los
items 17 y 18 los que presentan un nivel de significacin
superior al estimado, teniendo en cuenta que se trata de los
ltimos items y por tanto son de mayor dificultad y en opinin
de los jueces expertos deben ser consolidados en niveles
superiores. Los Subtests Suma, Resta, Multiplicacin, Divisin y
Clculo Mental presentan significaciones a nivel estadstico en
la misma lnea que en el rea anteriormente comentada, siendo
significativos, por un lado, los items situados en ltimo lugar y
que deben ser consolidados en niveles educativos superiores y,
por otro lado, los primeros items, que presentan porcentajes de


494
fallos muy bajos, inferiores al 10%, por lo que las diferencias
pueden deberse al azar.
Finalmente, el rea de Aplicaciones presenta niveles de
significacin estadstica tanto en los items que ocupan las
ltimas posiciones y que deben consolidarse en los niveles
educativos superiores, como en los items situados al principio
de cada subtest. Tanto en el Subtest Medida como en el de
Tiempo y Dinero, Estimacin, Interpretacin de Datos y
Resolucin de Problemas se mantiene la misma tendencia que
en el conjunto del rea.
Por otra parte, respecto a la graduacin interna de la prueba
para la variable Sexo se aprecian efectos de respuesta diferencial
que podran apuntar a la deteccin de posibles sesgos de
contenido.
As pues, en el rea de Conceptos Bsicos se puede
apreciar que los items que obtienen un nivel de significacin
inferior a los tomados en consideracin (0.01 y 0.05) presentan
un mayor porcentaje de aciertos en los hombres que en las
mujeres. A nivel de subtests, tanto el de Numeracin como el
de Nmeros Racionales y Geometra se obtienen los mismos
resultados que en el conjunto del rea.
Del mismo modo, en el rea de Operaciones se puede
apreciar que los items que obtienen un nivel de significacin
inferior a los tomados en consideracin (0.01 y 0.05) presentan
un mayor porcentaje de aciertos en los hombres que en las
mujeres. Los Subtests Suma, Multiplicacin, Divisin y Clculo
Mental presentan items con niveles de significacin estadstico
que obtienen mayor porcentaje de aciertos en los hombres que
en las mujeres, si bien hay que destacar el tem 1 en el subtest
suma, el tem 2 en el subtest multiplicacin y el tem 4 en el
subtest divisin, en los que del total de sujetos que responden,
hay un mayor porcentaje de aciertos en las mujeres que en los
hombres. Asimismo, hay que sealar que en el Subtests Resta
no se obtiene ningn tem significativo estadsticamente
respecto a la variable sexo, por lo que no existen diferencias
significativas.
Por ltimo, en el rea de Aplicaciones se observa que los
items que obtienen un nivel de significacin inferior a los
tomados en consideracin (0.01 y 0.05) presentan un mayor
porcentaje de aciertos en los hombres que en las mujeres. Tanto


495
en el Subtest Medida como en el de Tiempo y Dinero,
Estimacin, Interpretacin de Datos y Resolucin de Problemas,
en lneas generales, se obtienen los mismos resultados que en el
conjunto del rea, si bien cabe destacar el tem 4 del subtest
medida, los items 7 y 9 del subtest tiempo y dinero, los items 1,
3 y 4 del subtest estimacin y el tem 6 del subtest
interpretacin de datos que presentan una mayor proporcin de
aciertos en las mujeres que en los hombres.
Para concluir decir que, a partir de los resultados
obtenidos, se puede estimar que el KeyMath-Revised presenta
niveles adecuados de bondad mtrica para su uso y que aporta
matices interpretativos de inters que puede coadyuvar en la
mejora en la evaluacin y diagnstico del aprendizaje de las
matemticas.


496
Bibliografa

BACHOR, D.G. (1989-90), KeyMath-Revised (KM-R).
Diagnostique, vol. 15, n 1-4, 87-98.
BERK, R.A. (1982). Handbook of Methods for detecting test bias.
Baltimore: Johns Hopkins University Press.
CONNOLLY, A.J. (1988). KeyMath-Revised: A Diagnostic
Inventory of Essential Mathematics. Circle Pines,
Minnesota: American Guidance Service.
HAMBLETON, R.K. (1985). Criterion Referenced assessment of
individual differences. En C.R. Reynolds y V.L. Wilson
(Eds.). Methodolical and Statistical Advances in the study of
individual differences. New York: Plenum Press.
IRONSON, G.H. y SUBKOVIAK, M.J. (1979). A comparison of
several methods of assessing tem bias. Journal of
Educational Measurement, 16, 209-225.
JORNET, J.M. y SUAREZ, J.M. (1994). Evaluacin Referida al
Criterio. En Garcia Hoz, V. (Dir.), Problemas y Mtodos de
Investigacin en Educacin Personalizada. Madrid: Rialp.
MAR, R. (1996). Evaluacin del Rendimiento en Matemticas:
adaptacin de la Escala KeyMath-R. Tesis Doctoral.
Valencia: Universitat de Valncia.
SNCHEZ DELGADO, P. (1999). Estudio diferencial de los
tems en la Escala KeMath-R. Trabajo de Investigacin.
Valencia: Universitat de Valencia.
SCHEUNEMAN, J.D. (1975). A new method of assessing bias in
test items. Paper presented at the annual meeting of the
American Educational Research Association.
Washington, DC. (ERIC Document Reproduction
Service nEd 106 359).
SHEPARD, L.A. et al. (1985). Validity of approximation
techniques for detecting tem bias. Journal of Educational
Measurement, 22, 77-105.
SHEPARD, L.A. et al. (1980). Comparison of six procedures for
detecting test tem bias using both internal an external ability


497
criteria. Paper presented at the annual meeting of the
National Council on Measurement in Education. Boston.


498

MATERIALES, NUEVAS TECNOLOGAS Y EVALUACIN

Belloch, M C.; Bo, R. M; Gonzalo, A.; Orellana, N. y Sez,
A.

La Evaluacin Educativa es un vasto campo de
actuacin que ha recibido una gran atencin social y en el que
se han vertido importantes esfuerzos, tanto en el mbito
internacional como en el Estado Espaol. La magnitud de este
campo que recoge valoraciones sobre cualquier aspecto referido
a los individuos, grupos, instituciones o programas de
intervencin, hace difcil un acercamiento coherente. Por ello,
vamos a referirnos a dos mbitos diferenciados dentro del
mismo, con objeto de vertebrar mejor las referencias al impacto
de las TIC.
Evaluacin referida a los individuos, particularmente los
estudiantes. Esta evaluacin se corresponde con el trmino
valoracin (assessment) en el mbito anglosajn y, aunque
puede referirse tambin a cualquier individuo dentro de un
proceso de educacin-formacin incluidos los profesores,
padres, gestores, etc.-, se concreta muy especialmente en los
alumnos sujetos a tal proceso. Y, evaluacin referida a otras
unidades grupos, servicios, programas, instituciones, etc.-.


499
Este mbito se reconoce usualmente como Evaluacin
Educativa, particularmente en el contexto anglosajn
(evaluation), y su tratamiento diferenciado respecto a la
valoracin de los individuos es algo habitual. Adems,
refirindonos especficamente a la historia del impacto de las
TIC en este mbito y su evolucin se produce un proceso
netamente diferenciado respecto al mbito anterior que se
entiende mejor al analizarlo de forma independiente.
El concepto de evaluacin educativa est
intrnsecamente relacionado con el propio concepto de
aprendizaje, existiendo por tanto considerables diferencias
entre el modelo evaluativo seguido en un aprendizaje basado
en teoras conductistas y el aprendizaje basado en teoras
cognitivistas y/o constructivistas. Carmen Vizcarro (1998)
analiza las diferencias entre la evaluacin tradicional y la
alternativa -ver tabla 1-.
En muchos casos, las diferencias entre ambas
modalidades evaluativas son diferencias de grado, en cuanto a
situar un mayor nfasis, en las dos finalidades descritas por
Scriven propias de la evaluacin educativa:
a) La evaluacin sumativa o evaluacin de resultados
encaminada a determinar el grado o nivel de
conocimientos. En esta lnea se hallan las
evaluaciones realizadas para la admisin o
certificacin, como las pruebas estandarizadas de
capacitacin, muy usuales en otros pases, pero no
en el sistema educativo espaol. Un ejemplo de este
tipo de evaluacin es la prueba de Selectividad que
deben realizar los alumnos para ingresar en la
Universidad.
b) La evaluacin formativa o diagnstica, con la que se
pretende extraer informacin sobre el propio
proceso de aprendizaje para orientar en el proceso
de enseanza. En este sentido, no solo interesa
conocer que conocimientos se han adquirido, sino
que procesos se han llevado a cabo y como puede
facilitarse el proceso. En el sistema educativo
espaol, el concepto de evaluacin continua, tiene
un fuerte componente de evaluacin formativa o
diagnstica, puesto que interesa conocer a partir de
el los conocimientos, procedimientos y actitudes del


500
estudiante, para orientar las subsiguientes
aprendizajes.

Evaluacin
tradicional
Evaluacin alternativa
Objetivos: Sumativo. Formativo.
Dirigida a evaluar: Indicadores de
aprendizaje
(indirecta).
Competencias Complejas
(directa).
Basada en: Normas/Criterio. Criterio/Normas.
Criterio: Externo (profesor). Consensuado,practicado,
analizado.
Naturaleza de los
datos:
Cuantitativos.
nica.
Cualitativos/Cuantitativos.
Perfil de puntuaciones o
valoraciones.
Seleccin de tareas
e tems:
Habilidades
atomizadas que
pueden representarse
en tareas de papel y
lpiz.
Solucin de problemas
de papel y lpiz.
Indicadores.
Tareas complejas
representativas de
actividades tpicas en un
dominio.
Componentes de tareas
complejas.
Procesos
implicados:
Reconocimiento,
recuerdo.
Reconocimiento, recuerdo,
conocimiento
procedimental y estratgico.
Procesos cognitivos
superiores.
Relacin con la
enseanza:
Enseanza al servicio
de la evaluacin.
Evaluacin al servicio de la
enseanza.
Relacin entre
participantes:
Autoritaria. Cooperativa.
Consecuencias: Estresantes. Motivantes.
Tabla 1. Caractersticas y supuestos bsicos de la evaluacin tradicional y
alternativa. Tomado de Vizcarro 1988 (pp. 140).


501

EVALUACIN INFORMATIZADA ORIENTADA AL
DIAGNSTICO (COMPUTER-BASED ASSESSMENT)

Tanto para una evaluacin de corte ms tradicional
como en los nuevos modelos evaluativos, el uso del ordenador
como medio para facilitar el proceso de evaluacin ha sido
utilizado, atendiendo a las potencialidades que brinda este
instrumento, facilitando:

La edicin, administracin y proceso de los datos.

Mediante el uso de programas informticos se editan y
disean, en mltiples ocasiones, los instrumentos de recogida
de la informacin (cuestionarios, tests, escalas de observacin,
etc.). Adems, en un primer momento, la capacidad del
ordenador para procesar grandes cantidades de informacin de
forma rpida, permiti que los ordenadores se utilizaran
principalmente en procesos de correccin y emisin de
informes mecanizados, en los que se interpretan las
puntuaciones obtenidas en las pruebas.

El diseo y presentacin de tems

Es posible, mediante el ordenador, la presentacin de
tems en el que se muestren contenidos a partir de diferentes
modalidades de informacin (textual, grfica, sonora), as como
la presentacin de los componentes que conforman el tem
dinmicamente. Adems, se dispone de un mayor control sobre
la presentacin del test. Estas nuevas potencialidades que
brindan los ordenadores en cuanto al contenido y presentacin
de los tems, amplia sustancialmente los rasgos, conocimientos
y destrezas que pueden ser evaluados y son, adems, la base de
muchos estudios evaluativos sobre los procesos y estrategias
que utilizan los sujetos en la resolucin de problemas.

Sistemas de evaluacin dinmica y adaptada a los sujetos

Los tutoriales inteligentes y los tests adaptativos
informatizados, permiten adaptar los procesos de evaluacin al


502
desempeo de los sujetos. Mediante el uso del ordenador, es
posible analizar no solo los resultados obtenidos, sino el
proceso seguido, de modo que se establece una interaccin
dinmica entre el usuario y el ordenador, adaptndose este
ltimo a las caractersticas del primero. La utilizacin de bancos
de tems, con sus correspondientes valores mtricos (ndices de
dificultad, validez, discriminacin, etc.) permiten establecer
pruebas evaluativas personalizadas, con la posibilidad de la
comparacin entre diferentes pruebas.

Evaluacin de productos y procesos

Una de las posibilidades ms interesantes, en cuanto al
uso del ordenador en los procesos evaluativos, consiste en
analizar no tanto el producto, esto es los resultados obtenidos
en las pruebas evaluativas, sino el proceso que sigue el sujeto
para realizar las distintas tareas, es decir, las estrategias y los
procesos cognitivos que se utilizan ante la tarea o prueba. Este
tipo de anlisis de los procesos cognitivos superiores, sera muy
difcil de llevar a cabo sin el uso del ordenador, por no decir,
imposible, ya que la posibilidad de este medio para almacenar
cualquier tipo de informacin y realizar un seguimiento
puntual de las diversas acciones realizadas por el estudiante,
permite obtener informacin sobre estos procesos y estrategias,
con fines tanto diagnsticos como formativos.

Evaluacin y diagnstico de personas con discapacidad

Diversos autores (Garca Lorente, 1990; Toledo, 1985;
Negre, 1995) sealan las posibilidades de las herramientas
informticas para la realizacin del diagnstico
psicopedaggico en nios que tienen problemas motores y de
comunicacin graves.

Es muy difcil realizar una valoracin psicopedaggica
del nio con PCI, ya que las dos reas ms afectadas son
la de comunicacin verbal y la manipulativa, y son
precisamente stas, las que componen la mayora de tests
y pruebas psicopedaggicas; consecuentemente los
resultados obtenidos no siempre se corresponden con el
estado real del alumno. Por este motivo los ordenadores,
ofreciendo un medio de comunicacin y reduciendo al


503
mnimo las actuaciones motoras, pueden ser de gran
utilidad como fuente de determinadas destrezas.
(Negre, 1995).

Las graves dificultades de comunicacin, que presentan
personas con diferentes patologas, impeda conocer sus
verdaderas capacidades intelectuales y de aprendizaje. La
evaluacin se basaba principalmente en la observacin de sus
acciones, pero, en estos casos, es posible encontrar grandes
capacidades que no se traducen en acciones, dados los
problemas fsicos que padecen. La incapacidad de los mtodos
de evaluacin de lpiz y papel para conocer el estado real de
estas personas, ha podido llevar en el pasado a realizar
diagnsticos equivocados, en donde sujetos inteligentes han
sido considerados poco inteligentes. En este sentido, el
ordenador, y las nuevas tecnologas de ayuda a la
comunicacin, brindan nuevas posibilidades en la evaluacin
de estas personas, ya que es posible tanto llevar a cabo pruebas
psicopedaggicas, como acceder a los procesos mentales y
cognitivos estn implicadas, en la realizacin de las diferentes
tareas.
En la evaluacin informatizada se incluyen las tcnicas
evaluativas que utilizan el ordenador en la estimacin de
niveles de habilidad o destrezas en contextos diagnsticos y de
aprendizaje.
Al igual que ha ocurrido con otras aplicaciones de las
herramientas informticas, la evaluacin informatizada ha
sufrido transformaciones importantes y rpidas debido a los
recientes avances tecnolgicos en el campo de la informtica,
pero esto no podra producirse sin los desarrollos e
innovaciones que se han producido en la Medicin Educativa,
sobre todo los modelos tericos de la Teora de Respuesta al
Item, y la Psicologa Cognitiva. Olea, Ponsoda y Prieto (1999)
reservan el trmino Tests Informatizados a los instrumentos de
evaluacin que cumplen dos requisitos: a) Se conocen sus
propiedades mtricas, obtenidas por un modelo matemtico y
b) Se administran y corrigen mediante el ordenador.
Bunderson, Inouye y Olsen (1989) distinguen cuatro
etapas o generaciones en la evaluacin asistida por ordenador:

1 Generacin: Evaluacin Informatizada. Se desarrollan los
Tests Convencionales Informatizados, administrndose los


504
exmenes tradicionales compuestos por preguntas de
opcin mltiple mediante el ordenador.

Las primeras aportaciones de los tests
informatizados, consistan en aplicar, corregir y emitir
resultados de pruebas, siguiendo los criterios mtricos de la
Teora Clsica de los Tests (TCT) en su aplicacin y
correccin, por medio del ordenador, aunque como indican
Julio Olea y Vicente Ponsoda "algunos se fundamentan en la
calibracin que se realiza a partir de los modelos de la Teora de
Respuesta al Item (TRI)". (1998b: 163)
Bsicamente suponen la traduccin a soporte
informtico de tests de lpiz y papel. La administracin de
las pruebas puede realizarse de forma escrita (pruebas de
lpiz y papel) o directamente sobre el soporte informtico.
Al mismo tiempo, se van creando y diseando nuevos tests
para ser administrados nicamente desde el ordenador.
La administracin de nuevos tests por ordenador,
suponen un salto cualitativo en la aportacin de la
informtica al proceso evaluativo, puesto que en este caso,
el ordenador, adems de ser un instrumento en el que se
utiliza su potencialidad de almacenamiento de datos y
rapidez de clculo, permite medir determinados procesos
que seran difciles de analizar con los test de lpiz y papel
ya que trabaja con diferentes tipos de informacin (visual,
auditiva, imgenes en movimiento, etc.) que enriquecen
profundamente los contenidos a evaluar. Adems, es
posible tener un mayor control tanto en el tiempo de
exposicin de las preguntas o tems como en el
almacenamiento de los procesos y tiempos de la respuesta.
En este sentido, "el ordenador va a permitir utilizar
tems ms complejos y cercanos a la realidad, que incluso se
puede simular, lo que conllevara posibles mejoras en la validez
predictiva, al acercarse ms el test a la realidad criterial que se
pretende predecir". (Muiz y Hambleton, 1999).
Estas nuevas posibilidades, junto con los nuevos
planteamientos e innovaciones en la Psicologa Cognitiva,
han permitido el desarrollo de los TIs. Estas pruebas no
pretenden nicamente obtener una puntuacin del rasgo
medido, sino analizar los procesos cognitivos involucrados
en la solucin de las tareas o tems, partiendo de una idea
fundamental: los procesos cognitivos son la base del nivel


505
de rendimiento, por lo tanto su anlisis nos permitir
conocer el proceso o procesos responsables de un mal
rendimiento. Por tanto estas pruebas tienen una clara
orientacin hacia la evaluacin formativa y diagnstica.
Estos acercamientos enfatizan la importancia de las
estrategias y estilos de resolucin de problemas, haciendo
hincapi en las condiciones que deben incorporarse en los
tems para suscitar determinados procesos cognitivos
(Prieto y Delgado, 1996).

TESTS INFORMATIZADOS
Ventajas Limitaciones o Problemas
Permite evaluar aptitudes no
considerados en los test
tradicionales, como son la
aptitud espacial dinmica, la
habilidad para coordinar
mltiples fuentes de
informacin o la capacidad para
estimar el tiempo.
Permite la presentacin
aleatorizada de los tems.
La generacin de tems con una
dificultad previsible.
Mayor control sobre el objetivo
de la prueba, tanto en la rapidez
de ejecucin como en la
precisin de la respuesta, o bien
en la combinacin de ambas.
El feedback producido a partir
de un determinado resultado es
inmediato.
Tests largos que requieren
muchos tems para alcanzar
el grado de precisin
(fiabilidad) necesaria en la
estimacin de la medida.

Tabla 2. Ventajas y limitaciones de los tests convencionales
informatizados.

Para la gestin del Banco de Items, nicamente se
especifica el nmero de tems que deben conformar el test no
incluyndose algoritmos de seleccin de tems, puesto que en
los TPIs se presentan a todos los sujetos los mismos tems al
igual que sucede con los tests convencionales.


506

2 Generacin: Evaluacin Adaptativa. Se desarrollan los
Tests Adaptativos Informatizados, en los que se presentan
las preguntas, una a una, adaptando las preguntas
siguientes a las respuestas previas del estudiante.
Un Test Adaptitativo Informatizado (TAI) "permite
la aplicacin de tems diferentes a cada evaluando: aquellos que
resultan ms efectivos para estimar de forma precisa su nivel de
habilidad, es decir, los que reducen un mayor grado de
incertidumbre sobre el nivel de rasgo del evaluando" (Olea y
Ponsoda, 1998:167). Este tipo de evaluacin informatizada
y adaptativa parte de los supuestos mtricos que aporta la
Teora de Respuesta al Item,
La base de los TAIs parten del desarrollo de los
Sistemas Integrados de Evaluacin Informatizada (SIEI) en
los que se integran las aportaciones de los modelos basados
en la Teora de Respuesta al Item (TRI) y las avances
informticos. Para llevar a la prctica el modelo de la
Teora de Respuesta al Item, se hace indispensable el uso
del ordenador (Olea, Ponsoda y Prieto, 1999), puesto que se
requiere ejecutar algoritmos matemticos muy complejos
para:
a) los procedimientos de estimacin de parmetros,
b) comprobar en cada caso los supuestos de los
diferentes modelos y el ajuste del modelo a los
datos empricos.
c) analizar la precisin de las estimaciones y la
contribucin de cada tem a dicha precisin.

Los SIEI, son sistemas que pretenden realizar mediante
el ordenador, las distintas tareas relacionadas con un
sistema de evaluacin, desde la creacin del banco de
tems a partir del cual se realizar la construccin del
test hasta la emisin de resultados y estimacin de
parmetros -ver cuadro 1-.


507


508

Sistemas Integrados de Evaluacin Informatizada
Construccin del Test
Administracin del Test
Procesamiento de los datos
Anlisis de las Propiedades mtricas
del Test
Renovacin del
Banco de Items

Definicin de su estructura
Incorporacin y anlisis cualitativo de los tems
Diseo de recogida de los datos
Administracin de los tems
Anlisis de los tems
Ajuste de los datos a un modelo
Calibracin
Almacenamiento de la informacin
BANCO DE ITEMS

Nuevos
Items

Items no
vlidos

Anlisis
cualitativo

Construccin
del
Banco de Items
Construccin y
Aplicacin del Test
Seleccin de Items
Cuadro 1. Actividades de un Sistema Integrado de Evaluacin Informatizada
Actualizacin del
Banco de Items
Estimacin de los Resultados


509

Para poder aplicar un TAI es necesario disponer
de un banco de tems, con sus correspondientes
caractersticas mtricas. De este banco se irn seleccionando
los tems -uno a uno-, que mejor se ajustan al nivel
mostrado por el sujeto en las respuestas previas, de modo
que cada respuesta del sujeto a un tem implica una nueva
estimacin de su nivel de habilidad aumentando
progresivamente la precisin de la estimacin. La
finalizacin del test se produce cuando se cumple un
determinado criterio de parada, generalmente vinculado a
la obtencin de un nivel de precisin adecuado. Como
indican Muiz y Hambleton "la gran ventaja de esta estrategia
de adaptar la prueba al nivel de la persona examinada es que se
mejora la precisin de la medida y se ahorra tiempo de aplicacin
al acortarse los tests" (1999: 27). Los TAIs permiten, adems,
la comparacin entre diferentes tests, pues el resultados de
sus mediciones se expresan en la misma mtrica.
Diversos autores como (Millman, 1984; Renom
1997; Renom y Doval 1999; Muiz y Hambleton, 1999)
sealan ventajas e inconvenientes en el uso de los TAIs -ver
tabla 3-.


510
TESTS ADAPTATIVOS INFORMATIZADOS
Ventajas Limitaciones o Problemas
Los TAIs son las pruebas que
aportan mayor precisin en
la estimacin de la medida.
Se reduce el nmero de tems
en la aplicacin y en
consecuencia el tiempo de
aplicacin.
Permiten la incorporacin de
nuevos contenidos utilizando
formatos de tem
multimedia.
Se reduce el error tpico de
medida a lo largo del
continuo de medida.
No es posible revisar ni
modificar las respuestas
dadas.
Se precisa disponer de
grandes bancos de tems para
mantener la seguridad de los
TAIs.
Es difcil mantener la
seguridad de los tests puesto
que los tems que ms
discriminan son aplicados con
mayor frecuencia que los
otros.
La seleccin de los tems se
realiza a partir de sus
propiedades estadsticas,
siendo difcil realizarla
atendiendo a la validez de
contenido.
Exigen un mayor esfuerzo en
la construccin y aplicacin
que los tests convencionales.
Tabla 3. Ventajas y Limitaciones de los Tests Adaptativos
Informatizados.

3 Generacin: Evaluacin Continua. Se desarrollan los
Sistemas Tutoriales que integran la estimacin de los
cambios en la trayectoria del aprendizaje de los sujetos.

Los tests informatizados que hemos visto hasta este
momento realizan el proceso de evaluacin en un momento
puntual del proceso de aprendizaje, por lo que se trata de
una evaluacin esttica que representa la estimacin de los
niveles de competencia en un momento concreto. Sin
embargo, puede resultar de gran inters para el docente la
estimacin dinmica de los cambios que se van
produciendo en cuanto a los niveles de aprendizaje
conseguido, y las dificultades que el alumno a tenido


511
durante el proceso. Este anlisis permite la orientacin de
los resultados de la evaluacin hacia la deteccin de
problemas en el aprendizaje y la mejora del proceso
educativo, esto es estaramos hablando de la evaluacin
formativa y diagnstica.
La medicin continua utiliza las medidas
calibradas enmascaradas dentro del proceso de
aprendizaje, para que estas no resulten obstrusivas en el
proceso de enseanza, pero permitan estimar de forma
continua y dinmica los cambios que se producen en el
aprendizaje (Bunderson, Inouye y Olsen, 1989). Una gran
ventaja de este tipo de evaluacin es su integracin y
contextualizacin dentro de los procesos de aprendizaje.
Los Sistemas de Evaluacin Asistida por
Ordenador son los sistemas de evaluacin utilizados en los
programas de Aprendizaje Asistido por Ordenador,
principalmente los Tutoriales. Estos sistemas de evaluacin
presentan una serie de caractersticas que les diferencian de
los tests informatizados convencionales:
a) se integran dentro del proceso de aprendizaje,
b) permiten la evaluacin continua y dinmica del
aprendizaje y el proceso seguido, e
c) introducen la retroalimentacin (feed-back) en los
procesos de evaluacin en funcin de los propsitos
del test.
Este ltimo punto, la retroalimentacin, ha llevado
a distinguir entre los diferentes procedimientos utilizados
en la evaluacin asistida por ordenador. As, Nitko (1989)
presenta una distincin entre los diferentes modelos de
retroalimentacin de un test, segn el nivel de feed-back
aportado al alumno. De este modo, podemos encontrar test
de evaluacin asistida por ordenador que permiten conocer
de forma inmediata la puntuacin obtenida, otros aportan
diferentes niveles de ayuda al estudiante y, por ltimo, los
que disponen de un mayor nivel de retroalimentacin
llegan a explicar las razones que han llevado al estudiante a
cometer un error ofreciendo adems informacin
complementaria.
Se han desarrollado diferentes sistemas de
evaluacin asistida por ordenador. El sistema TICCIT
dirigido por MITRE Corporation y la Educational Testing
Service (Merrill, Schneider y Fletcher, 1980) y realizado


512
para el aprendizaje de Matemticas y Gramtica Inglesa en
la enseanza bsica, parte del concepto de leccin -
presentada en video, y con emisin de respuesta mediante
el teclado- organizada en objetivos simples (conceptos,
principios, reglas) evaluados mediante tems prcticos
clasificados por su dificultad.
En esta misma lnea de trabajo, en Espaa se han
desarrollado otros sistemas de evaluacin asistida por
ordenador (Olea y Ponsoda, 1998):
El sistema MET (Colom et al., 1996) diseado para
el entrenamiento y evaluacin de las aptitudes
espaciales, mediante la deteccin de semejanzas
entre figuras tridimensionales rotadas. Pudiendo el
sujeto seleccionar el nivel de dificultad.
El sistema ABRAXAS (Garca et al., 1996) creado
para el aprendizaje y evaluacin de las tcnicas
estadsticas del Anlisis Factorial.

4 Generacin: Evaluacin Inteligente. Se desarrollan los
Sistemas Tutoriales Inteligentes, basados en la Inteligencia
Artificial. Mediante estos sistemas se generan perfiles de
los resultados de los estudiantes con base en los
conocimientos y procedimientos de inferencia.
Con este software educativo se pretende que el
ordenador simule el comportamiento de un tutor humano,
adaptando sus decisiones y acciones a:
los mdulos expertos del programa: temtico,
pedaggico y del alumno, y
las respuestas y acciones del alumno.
De tal modo, que las respuestas y acciones del
alumno son integradas como nueva informacin en los
mdulos expertos del programa, que deducen el nivel de
competencia del estudiante y determinan el siguiente
objetivo en el aprendizaje.
Por tanto, los sistemas tutoriales inteligentes seran
programas adaptativos que parten del perfil del alumno
para la presentacin de contenidos y ejercicios. Estos
sistemas no incorporan una forma de test independiente,
sino que la evaluacin y el diagnstico se fundamentan en
el anlisis de las dificultades propias del sujeto que son
almacenadas en el soporte informtico.


513
El potencial de los sistemas expertos en la
evaluacin educativa, segn sus postulados tericos, es
considerable, puesto que permitira realizar una evaluacin
adaptativa informatizada al mismo tiempo que facilitara el
seguimiento de las estrategias y procesos seguidos por el
alumno en su aprendizaje. Su complejidad de diseo hace que
actualmente existan pocos sistemas tutoriales inteligentes que
puedan ser aplicados en al mbito educativo -ver tabla 4-.

Tutorial Experto Caractersticas
Adaptative Control of
Though (ACT)
(Anderson, Conrad y
Corbett,1989;
Anderson, 1993;
Corbett, Anderson y
O'brien, 1994)
Tutorial experto para el aprendizaje y
evaluacin de la programacin en LISP,
Cobol y Pascal.
Realiza una evaluacin criterial. El
programa plantea como objetivos cada una
de las reglas de programacin, presentando
ejercicios hasta que la probabilidad de
haber aprendido la regla alcanza el valor
criterial del 0,95.
HYDRIVE
(Gitomer et al., 1992)
Sistema Tutorial y de Evaluacin Inteligente
cuyo objetivo es desarrollar habilidades de
bsqueda de averas en los sistemas
hidrulicos de los aviones.
Tabla 4. Ejemplos de Tutoriales Expertos.

En conclusin, podramos decir que el uso del
ordenador ha permitido nuevos enfoques, estrategias y
objetivos en los procesos de evaluacin psicoeducativa.

EVALUACIN EDUCATIVA (EVALUATION)

Al contrario que las actividades evaluativas orientadas
al diagnstico, el mbito de la evaluacin educativa es ms
reciente y su relacin con la tecnologa aparece de forma mucho
ms tarda. Adems, las propias caractersticas derivadas de la
complejidad y diversidad de los objetos de la evaluacin
condicionan de forma decisiva el uso de herramientas
tecnolgicas:


514
Por la falta de referentes tericos y estndares
consistentes.
Por la orientacin hacia la mejora, entendida
como una acentuacin de la especificidad.
En la ltima dcada, la evolucin de las teoras y,
especialmente, los enfoques metodolgicos pragmticos,
impulsada por las corrientes sociales e ideolgicas dominantes,
facilitan la aparicin de diferentes soportes tecnolgicos para
facilitar la actividad evaluadora. Precisamente debido a estas
condiciones contextuales, las primeras aportaciones y la mayor
cantidad de opciones alternativas se deben a la actividad
formativa vinculada al mundo de la empresa y de los negocios.
La aparicin de estndares operacionalizados y de sistemas de
evaluacin y gestin de la calidad conducen a unas necesidades
crecientes de soluciones TIC que faciliten y automaticen estos
procesos. Por ltimo, la necesidad de abordar planes
evaluativos en entidades y organizaciones con una distribucin
territorial muy extensa impulsa, como en otros casos, el
desarrollo de herramientas especficamente basadas en el
entorno Web.
Tradicionalmente se han utilizado herramientas de
produccin tratamientos de texto, bases de datos, etc- para
diversas tareas habituales en la evaluacin (gestin de la
informacin, informes, etc.). Incluso se han incorporado
soluciones provenientes de otros mbitos de actuacin para
propsitos relativamente prximos y que suponan una carga
de trabajo sustancialmente poco especializado, como es el caso
de las tareas de recogida de informacin mediante instrumentos
estandarizados. Por ejemplo, la utilizacin de encuestas en la
valoracin de programas e instituciones de mediano-gran
tamao condujo a la importacin de sistemas de hardware
(lectura ptica, OCR, scanner,...) y de software (aplicaciones
para la captacin y el tratamiento de las informaciones basadas
en encuestas).
Asimismo, se utilizan gran cantidad de programas que
podramos denominar especficos ya que permiten llevar a
cabo las tareas propias de una o varias etapas del proceso de
evaluacin. Estos programas han sido diseados
especficamente para ello, o se enmarcan dentro del mbito de
la investigacin.


515
Instrumentos de recogida de la informacin: Teleform,
Winasks para crear cuestionarios y encuestas
multimedia on-line.
Programas de Medicin educativa, para la construccin
de pruebas como ITEMAN y MICROCAT, este ltimo
contiene dos programas o mdulos como CALIBA y
BILOG, que responden a la teora de respuesta al item
Anlisis de datos Cualitativo: AQUAD, NUDIST
(anlisis del contenido)
Anlisis de datos Cuantitativo: SPSS, BMDP, SAS,
(anlisis estadsticos y representaciones grficas).
Programas que integran una metodologa cuantitativa y
cualitativa de anlisis de la informacin: SPADT.
Recogida para la evaluacin del rendimiento.
PERCEPTION elaboracin de instrumentos de
rendimiento on-line.(web based testing) permite
integracin con herramientas de desarrollo de cursos
como INGENIUM
Diagnstico de Individuos. STAR herramienta para la
gestin de informacin demogrfica y de pruebas
psicoeducativas y profesionales, tambin permite la
redaccin de informes y estudios comparativos. EP es
similar a STAR pero est dirigida a sujetos con
necesidades educativas especiales.. AMSTRATEGY
herramientas de diagnstico educativo as como su
gestin, informes, planes, etc.
Gestin/Rendicin de cuentas. NV REPORT CARD
gestin del sistema de rendicin de cuentas para centros
escolares, de acuerdo con los criterios del Estado de
Nevada. Permite la elaboracin de instrumentos, gestin
de las informaciones, emisin de informes, etc.
SUCCESS FINDER programa utilizado en el sistema
reglado escolar americano, mediante el que se puede
realizar la gestin de informaciones, anlisis e informes
para programas educativos.
La mayora de las aplicaciones han extendido su
mbito de actuacin a la Web, proporcionando herramientas
especficas al respecto y, en muchos casos, estas opciones
soportan funcionalidades Intranet lo que resulta especialmente
til para las grandes corporaciones e instituciones, al permitir
un entorno ms consistente de actuacin- (Surez y Jornet,
2000).


516
La evaluacin se muestra aqu como un servicio ms
en la mayora de los casos y pocos hacen referencia explcita a la
evaluacin educativa. No obstante, dado que buena parte de las
herramientas pretenden soluciones de carcter integral,
incorporando desde el desarrollo de formularios para la
recogida de la informacin hasta el apoyo a la elaboracin de
informes, se puede afirmar que son generalmente aplicables
como soporte de los sistemas evaluativos. En esta direccin
hemos desarrollado un programa informtico dirigido a la
Evaluacin Asistida de la Formacin (EAF), el cual se enmarca
en el proyecto Eurodialogue Evaluation: red europea para
evaluar la calidad de la formacin profesional, ocupacional y
continua del programa Leonardo Da Vinci de la Comunidad
Europea (Jornet, J.M., Surez, J.M. y Belloch, C. (1998).
Adems, algunas de estas herramientas, pocas, ofrecen
soluciones orientadas a la entrevista que pueden complementar
las tcnicas estandarizadas de recogida de informacin. La
mayora de las soluciones integra sistemas computerizados de
recogida de informacin porttiles, palm-tops,...- aportando
escasas herramientas especificas para la codificacin y el
anlisis. En cualquier caso, generalmente preveen un
almacenamiento textual de las respuestas raras veces basadas
en sistemas de captura tecnolgica como el reconocimiento de
voz- que permite su tratamiento posterior mediante un
programa de anlisis de datos de tipo cualitativo.
Por otro lado, se siguen ofreciendo este tipo de
servicios como un sistema centralizado bajo demanda. En algn
caso esta es la nica opcin, como Hosted Survey, y en la
mayora como una opcin para la gran cantidad de situaciones
en las que el cliente no puede costear la gestin de los datos o el
estudio de campo esto est extendindose cada vez ms en el
caso de las encuestas basadas en la Web, especialmente por las
particularidades del acceso a las muestras-. Se han desarrollado
centros que proporcionan servicios de evaluacin,
generalmente provenientes de empresas que ofrecen estos
servicios. En algunos casos, estas empresas ofrecen a los
usuarios herramientas de apoyo a diferentes partes del proceso
de evaluacin. As, se puede ofertar desde formacin respecto a
la evaluacin, asesoramiento, procedimientos de construccin
de instrumentos y recogida de informacin, anlisis de la
informacin, emisin de informes, etc. Dado que estamos
hablando de entidades comerciales la oferta se diversifica y


517
flexibiliza hasta extremos radicales puesto que el mercado de la
evaluacin, especialmente en algunos contextos, est
alcanzando niveles de competitividad verdaderamente
notables.
De todo lo anterior se desprende la dificultad de
conseguir estructurar la cantidad de informacin
verdaderamente til al respecto, dada la carencia de estndares
generalizados y los rpidos cambios que se suceden. Una
caracterstica general es, como en otros casos, el rpido
desplazamiento de todos estos servicios y productos al entorno
web. Podemos sealar como representativos, con orientaciones
diversas:
MGT America Inc. (www.mgtamer.com)
On-Line Evaluation Resource Library
(www.oerl.rsi.com)
NCS-Pearson (www.ncs.com)
Un planteamiento diferente es el desarrollado por
centros oficiales y universitarios que generalmente aportan
informes, llevan a cabo evaluaciones y, al mismo tiempo,
ofrecen formacin, informacin y recursos a los socios y/o
usuarios. En estos casos la utilizacin de la tecnologa se reduce
a la inclusin en el sitio web de todas las informaciones y, en
algunos casos, el establecimiento de servicios de discusin
sobre temticas concretas, asesoramiento por e-mail o servicios
de intercambio de experiencias y/o materiales generalmente
vinculados al mantenimiento de una base de informacin o una
gua de buenas experiencias. Algunos ejemplos al respecto
pueden ser:
The Evaluation Center de la Western Michigan
University (www.wmich.edu/evalctr)
National Center for Research on Evaluation, Standards,
and Student Testing: CRESST
(www.cresst96.cse.ucla.edu)
Centre for Program Evaluation, The University of
Melbourne (www.edfac.unimelb.edu.au/cpe)
Finalmente, existen algunas aplicaciones desarrolladas
como soporte especfico para la evaluacin. En la mayora de
los casos se vinculan a unos estndares o directrices concretas,
de forma que el patrn de evaluacin puede basarse en un
proceso de rendicin de cuentas como en el caso de la
aplicacin NV Report Card de la empresa Evaluation Software
Publishing (www.evalsoft.com) que se adapta al sistema


518
especfico de rendicin de cuentas del estado de Nevada-. Por
otro lado, se ofrecen algunas aplicaciones en las que el apoyo
tecnolgico se basa en personalizar bateras de pruebas y en la
redaccin automatizada de informes, como mucho en el
mantenimiento de una base de informacin y seguimiento
como son los casos de:
los servicios de valoracin y seguimiento de recursos
humanos que ofrece NCS-Pearson,
Success Finder de la empresa Evaluation Software
Publishing para la valoracin de unidades educativas o
centros de acuerdo con pruebas de rendimiento
estandarizadas.
Quality School Portfolio (QSP) desarrollado por el
CRESST que sigue los estndares de carcter federal.
Las aplicaciones ms sofisticadas son las que se integran
en servicios telemticos y permiten una gestin de la
informacin y una colaboracin entre los diferentes agentes
implicados en la evaluacin. No parecen existir, por el
momento, aplicaciones suficientemente estandarizadas al
respecto.


519
Bibliografa

Bunderson, C.V.; Inouye, D.K. y Olsen, J.B. (1989) The four
generations of computerized educational measurement.
En R.L. Linn (ed.), Educational measurement. Londres:
Macmillan.
Colom, B.R.; Crespo, J.; Garca, T.; Prez, N.; Snchez, E. y Villa,
J.L. (1996) "MET, sistema integrado para medir y
entrenar la habilidad para gestionar relaciones
tridimensionales representadas bidimensionalmente: un
prototipo y algunas consecuencias". Estudios de
Psicologa, 55, 75-98.
Garca, O.; Colom, B.R.; Juan-Espinosa, M.; Palacios, A. y De
Juan, P. (1996) "Sistemas de instruccin asistida por
ordenador: el sistema ABRAXAS". Estudios de Psicologa,
55, 99-114.
Garca Lorente (1990) Los recursos materiales. En VV.AA.
(eds.), Las necesidades educativas especiales del nio con
deficiencia motrica. Madrid: C.N.R.E.E., M.E.C.
Jornet, J.M., Surez, J.M. y Belloch, C. (1998). EAF-98, Evaluacin
Asistida de la Formacin (Versin en ingls: AET-98,
Asisted Evaluation of Training) [CD ROM]. Valencia:
ADEIT-Fundacin Universidad-Empresa.
Merrill, M.D.; Schneider, E.W. y Fletcher, K.A. (1980) TICCIT.
Englewood Cliffs, NJ: Educational Technology
Publications.
Millman, J. (1984) Individualized test construction and
administration by computer. En R.A. Berk (ed.), A guide
to Criterion-referenced test construction. Baltimore: John
Hopkins University Press.
Muiz, J. y Hambleton, R.K. (1999). Evaluacin psicomtrica de
los tests informatizados. En J. Olea, V. Ponsoda, y G.
Prieto (eds.), Tests Informatizados: Fundamentos y
Aplicaciones. Madrid: Pirmide.
NEGRE, F. (1995) Posibles aportaciones de la informtica en el
desarrollo de la personalidad del nio con parlisis
cerebral infantil, Revista Pxel-bit, n 5,1.
Nitko, A.J. (1989). Designing test that are integrated with
instruction. En R.L. Linn (ed.), Educational Measurement
(3 ed.). Nueva York: Macmillan.
Olea, J. y Ponsoda, V. (1998a) Presentacin: Tests
informatizados y adaptativos informatizados:


520
investigacin en Espaa, Relieve, v4, n2, presentacin.
http://www.uv.es/RELIEVE/V4N2_PRE.HTM
Olea, J. y Ponsoda, V. (1998b) Evaluacin informatizada en
contextos de aprendizaje. En C. Vizcarro y J.A. Len
(eds). Nuevas tecnologas para el aprendizaje (pp. 161-175).
Madrid: Pirmide.
Olea, J. Ponsoda, V. y Prieto, G. (1999) Tests Informatizados:
Fundamentos y Aplicaciones. Madrid: Pirmide.
Prieto, G. y Delgado, A.R. (1996) Construccin de los tems. En
J. Muiz (coord.), Psicometra (pp. 105-138). Madrid:
Universitas.
Renom, J. (1997) Retos y perspectivas de los tests adaptativos
informatizados. En A. Cordero (coord..), La evaluacin
psicolgica en el ao 2000. Madrid: TEA.
Renom, J. y Doval, E. (1999). Tests adaptativos informatizados:
Estructura y desarrollo. En J. Olea, V. Ponsoda, y G.
Prieto (ed.), Tests Informatizados: Fundamentos y
Aplicaciones. Madrid: Pirmide.
Surez, J.M. y Jornet, J.M. (2000) Diseo y Evaluacin de
Programas de Teleformacin. Comunicacin presentada en
el Congreso La Formacin Virtual en el nuevo milenio
(pp.305-311). Celebrado en Junio, Madrid: Ediciones
UNED.
Toledo, M. (1985) Trastornos de la comunicacin en el nio con
parlisis cerebral. Ponencias del seminario
"Normalizacin escolar de nios y jvenes con
disfunciones cerebrales de aprendizaje. Caja de Ahorros
de Madrid. Instituto de ciencias del hombre.
Vizcarro, C. (1998) La evaluacin como parte del proceso de
enseanza y aprendizaje: la evaluacin tradicional y sus
alternativas. En C. Vizcarro y J.A. Len (eds.), Nuevas
Tecnologas para el aprendizaje (pp.129-160). Madrid:
Pirmide.

Problemas de La Medición y Evaluación Educativas PDF

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Problemas de La Medición y Evaluación Educativas PDF

Caricato da

Copyright:

Formati disponibili

Problemas de la Medicin y Evaluacin Educativas

Potrebbero piacerti anche