Riesgos de los Sistemas de Evaluacin y Acreditacin de la Educacin Superior1 ngel Daz Barriga2 Algunas notas de contexto Para analizar

el impacto que se han generado en las Instituciones de Educacin Superior a partir del establecimiento de lo que podramos denominar la era de la evaluacin es necesario tener en cuenta algunos de los elementos del contexto donde estas estrategias se han estado impulsando. Denominamos era de la evaluacin a un conjunto de acciones que se han derivado de las polticas para la educacin superior que se han generalizado a nivel mundial en la dcada de los aos noventa. Polticas que en su conjunto han realizado una apuesta a mejorar la calidad de la educacin, trmino que no es muy claro que pueda significar en los procesos acadmicos de la educacin superior. Esto es trmino que en general ha adquirido concrecin en una serie de indicadores: nmero de doctores, nmero de publicaciones, nmero de graduados, tasa de eficiencia terminal, nmero de egresados que obtiene empleo en los seis meses de egreso, nmero de volmenes y de consultas en la biblioteca, etc. Esto es, calidad es la capacidad institucional de mostrar el incremento de una serie de indicadores. No hay forma hasta el momento, de que calidad sea una explicacin de procesos de trabajo escolar con mayores elementos pedaggicos o de procesos de aprendizaje de carcter ms procesual y/o constructivista. Calidad de la forma, con dificultad para reconocer la calidad de los procesos acadmicos. El conjunto de polticas de la calidad se dio en un contexto de crisis fiscales. El gasto en la educacin superior empez a adquirir un significado relevante en economas, como las latinoamericanas, afectadas enormemente por sus dificultades fiscales y frente a una demanda creciente de abrir el acceso a la educacin superior. Las tasas de cobertura del grupo de edad en el conjunto de la regin se encuentran bastante alejadas de las que existen en los pases del mundo desarrollado. En este contexto las polticas de evaluacin se establecieron para atender distintos fines: a) movilizar un sistema que haba sido bastante reactivo a los cambios, en ocasiones usando como escudo el concepto de autonoma; b) al mismo tiempo establecer nuevas regulaciones sobre los mecanismos de financiamiento de la educacin superior. La evaluacin se convirti en la llave que permita el acceso a nuevas bolsas econmicas, los gobiernos nacionales se cuidaron de dejar claro que los recursos econmicos obtenidos por esta va no formaran parte del financiamiento ordinario que concedan a las instituciones pblicas, esto es, que estos recursos no formaran parte del presupuesto regular. Ms an, en la
Documento preparado para Seminario Regional: Las nuevas tendencias de la evaluacin y acreditacin en Amrica Latina y el Caribe organizado por la Comisin Nacional de Evaluacin y Acreditacin Universitaria (CONEAU) y el Instituto Internacional para la Educacin Superior en Amrica Latina y el Caribe (IESALCUNESCO). Buenos Aires, junio de 2005 2 Investigador Titular del Centro de Estudios sobre la Universidad (UNAM) y actualmente Director de Estudios Estratgicos de la Asociacin Nacional de Universidades e Instituciones de Educacin Superior (ANUIES)
1

2 realidad se hicieron de lado las normas instituciones que establecan que era facultad del mximo rgano de gobierno colegiado de las universidades: Consejo Universitario, Colegio Acadmico o Consejo Superior, para aprobar el presupuesto universitario. Los recursos obtenidos por bolsas resultados de la evaluacin no son sujetos de este mecanismo, porque incluso la autoridad gubernamental los entrega en un convenio institucional que fija con claridad su destino. Son recursos etiquetados que no se pueden emplear en otra cosa. En tercer lugar, es necesario considerar que la evaluacin es una prctica educativa y social y una disciplina que se desarroll en los pases sajones, particularmente en los Estados Unidos. Fue en su modelo educativo donde se gener la teora de la medicin y la teora de los test que ha dado origen a las llamadas exmenes a gran escala (o pruebas masivas), donde se generaron los programas de pago al mrito para retribuir el trabajo docente de acuerdo a resultados, donde a mediados de los aos veinte se establecieron los primeros rankeos sobre los programas educativos que hoy definimos como acreditacin de programas. La nica evaluacin que se conoca en Amrica Latina hasta los aos setenta y ochenta era la referida al aprendizaje. La evaluacin institucional en la forma que actualmente se presenta en la regin: evaluacin de instituciones de educacin superior, evaluacin y acreditacin de programas y evaluacin de actores de la educacin (investigadores, docentes y estudiantes) es una prctica reciente en la regin. Una prctica que en el marco de las polticas para la educacin superior se ha internacionalizado, pero una prctica que para nuestros sistemas educativos se puede considerar como transplantada. Por esta razn, en varios pases de la regin, las tcnicas de evaluacin se han copiado, de aquellas que son relativamente dominantes en los Estados Unidos, incorporndoles un ingrediente que las rigidiza. Dejando de lado, todo el debate conceptual y tcnico que sobre las mismas existe en aquel pas. Un caso relativamente arquetpico en la regin es el mexicano, donde se han establecido una multiplicidad de programas de evaluacin, en ocasiones dirigidos al mismo sector pero que simultneamente operan con criterios diversos. Las Universidades invierten seis meses para proveer la informacin que se requiere en la evaluacin, cuando simultneamente tienen que estar operando los recursos de los proyectos extraordinarios aprobados, en una prctica simultnea de planeacin (para el siguiente ao), realizacin (de lo que se aprob el ao anterior) y evaluacin. Cuadro 1 Programas de evaluacin de la calidad educativa establecidos en Mxico
Nivel del programa de evaluacin

Nombre del programa

Propsito

Instancia que lo opera

Periodo de vigencia ?

Resultado se traduce en financiam iento

3
Institucio Fondo para la nal Modernizacin de la Educacin Superior (FOMES) Impulsar la adopcin de las estrategias de evaluacin institucional y apoyar con recursos econmicos los programas de modernizacin de las universidades
SESIC

1990 1999

Programa Integral Fortalecimiento Institucional (PIFI)

Programas

de Impulsar la adopcin de las estrategias planeacin institucional y su vinculacin con procesos de evaluacin y apoyar con recursos econmicos los programas de desarrollo de las universidades que muestren que han asumido compromisos por la calidad Comits Evaluar programas de Interinstitucionales de licenciatura y posgrado por Evaluacin de la pares acadmicos Educacin Superior (CIEES) Consejo de Acreditacin Acreditar programas de de Programas de la licenciatura Educacin Superior (COPAES) Padrn de Posgrados de Evaluar programas de Excelencia posgrado del Evaluar y posgrado de al programas de

SESIC

2000 - a la fecha

CONAEVA

1990 Indirect - a la amente

fecha

COPAES/ORGANI SMOS ACREDITAROS CONACYT

1998 Indirect amente 1990 1999 2000 S S

Acadmicos

Padrn Nacional Posgrado (PNP) Programa Fortalecimiento posgrado (PIFOP) Sistema Nacional Investigadores Becas al docente

CONACYT

de Evaluar la produccin de los investigadores y establecer un estmulo econmico a su desempeo desempeo Evaluar el trabajo acadmico y establecer un estmulo econmico a su desempeo

CONACYT

1984 1990 1992 1992 -

SECRETARIA DE HACIENDA/SECR ETARIO EDUCACION SUPERIOR SECRETARIA DE HACIENDA/SECR ETARIO EDUCACION SUPERIOR ANUIES/SESIC

Carrera Docente Evaluar el trabajo acadmico (Programas de Estmulos) y establecer un estmulo econmico a su desempeo con becas la Programa para el Apoyar Mejoramiento del obtencin de grado y apoyar la infraestructura que Profesorado (PROMEP) requieren los acadmicos

1996 Indirect amente

4
Estudiantes

Examen de Ingreso a la Educacin Media Superior (EXANI-1) Examen de Ingreso a la Educacin Superior (EXANI-2) Examen de Egreso de la Educacin Superior (EGEL)

Centro 1993 Nacional de Evaluacin de la Educacin Superior (CENEVAL) Permitir la titulacin de los Asociacin egresados Civil Dar informacin sobre rendimiento acadmico de los estudiantes para decidir su ingreso a educacin media superior o superior

No

Un cuarto rasgo de los programas de evaluacin de la educacin superior es su compulsividad. Esto es muy claro en el caso mexicano y no s hasta donde se pueda generalizar a Amrica Latina. Si bien los modelos de evaluacin se retomaron del modelo estadounidense, de ninguna manera se parecen a los que se realizan en aquel pas. En mi opinin las prcticas de evaluacin que se realizan en el sistema de educacin superior estadounidense son suaves frente a las prcticas mexicanas que son no slo rgidas, encimadas unas con otras, sino que han logrado que las instituciones funciones para el llenado de informacin. Porter las denomina Universidades de Papel porque en los documentos son una cosa que no necesariamente sucede en la realidad. En ningn pas desarrollado la evaluacin tiene: tantos programas, reclama tanto tiempo institucional para su realizacin, tiene tal impacto econmico en las instituciones o en los sujetos. Hay universidades en Mxico que obtienen por recursos extraordinarios ms del 200% de su gasto de operacin (el gasto de operacin en general es el 10% del presupuesto total) pero es el que permite establecer diversos programas acadmicos, porque el 90% del presupuesto representa gastos comprometidos (salarios, pago de luz, agua, telfono, etc). O en el caso de los acadmicos que pueden obtener hasta un 300% sobre su salario de acuerdo a como resulten evaluados en los diversos programas. (Evidentemente los salarios acadmicos se encuentran muy bajos). En el pas de origen, el pago al mrito no representa ms del 5% de su salario. Cantidad de programas, recursos financieros ligados a los programas dificultan que las instituciones y los acadmicos puedan analizar cul es el sentido de su accin. La compulsin a actuar, llenar informacin, dedicar tiempo a la evaluacin son los determinantes de su accin. En estricto sentido un rasgo de la evaluacin aplicada en Mxico es su compulsin que se caracteriza los proyectos de evaluacin en el pas.3

Esta compulsin para la evaluacin la hemos desarrollado con mayor detenimiento en el trabajo La era de la evaluacin en Mxico Captulo primero del informe preliminar del proyecto de Impacto de la Evaluacin en la Educacin Superior que realizamos con auspicio de la ANUIES. Para el caso de los acadmicos, para los cuales el gobierno mexicano ha establecido varios programas simultneos de evaluacin y retribucin econmica. El salario de los acadmicos de la instituciones pblicas se ha convertido en un mnimo pago contractual dejando su posibilidad real de incremento a los resultados de varias evaluaciones simultneas y con criterios diversos: Sistema Nacional de Investigadores (SNI), Programa de Estmulos al Desempeo Acadmico y Programa de Mejoramiento del Profesorado (PROMEP) Cfr. Daz Barriga, A Polticas de deshomologacin salarial y carrera acadmica en Mxico. Entregado al Centro Interdisciplinario de Investigacin en Ciencias y Humanidades (CEIICH-UNAM) para su publicacin.

ALGUNOS PROBLEMAS DE LA EVALUACIN A partir de esta breve caracterizacin de los programas de evaluacin que se estn aplicando en el pas, y con base en los resultados preliminares de la investigacin que sobre el impacto que ha tenido la evaluacin en la educacin superior mexicana, presentar algunos de los principales problemas que observamos en su aplicacin4. 1. La ausencia de una teorizacin sobre la evaluacin, un empirismo entre los evaluadores. Una discusin en el campo de la evaluacin educativa es hasta donde sta constituye un mbito disciplinario con saberes y tcnicas propias o bien hasta dnde es slo un mbito de prcticas. El primer planteamiento remite a lo que denominamos teorizacin, mientras que el segundo conlleva a una perspectiva tcnica. El debate sobre esta cuestin es relativamente largo, se encuentra inscrito en nuestros desarrollos5 sobre el sentido de la evaluacin impulsar la comprensin del acto educativo, esto es constituirse en un medio que posibilite dar un sentido a la educacin o por el contrario percibirse slo como un problema tcnico. De alguna forma lo clarific Sttuflebeam en 1987, cuando se pregunt si la evaluacin podra considerarse como una actividad de investigacin y en ese sentido estaba en libertad para construir su objeto de estudio, asumir sus categoras y establecer sus estrategias, o bien la evaluacin era slo un problema tcnico, donde el evaluador se limita a aplicar las tcnicas que han sido definidas previamente. La necesidad de impulsar la evaluacin en el sistema educativo, llev a los responsables de la poltica educativa a implantar en un tiempo muy corto una serie de estrategias de evaluacin. En el caso de la Evaluacin y Acreditacin de Programas esta actividad se dio en dos tiempos. Inicialmente a principios de la dcada de los aos noventa se establecieron los Comits Interinstitucionales de Evaluacin de la Educacin Superior, se busc desarrollar un modelo de pares acadmicos. Fue slo al final de la dcada que se generaron los organismos acreditadores. La diferencia con los pases de origen de estas propuestas es que fue el Estado y no los gremios profesionales los que impulsaron la realizacin de esta actividad. El modelo de evaluacin de pares, estaba mucho ms centrado en el carcter formativo y de retroalimentacin de la evaluacin. Meta que no necesariamente cumpla, al no existir un mecanismo en las instituciones para conocer y para discutir los resultados de la evaluacin.
Varios de los planteamientos que presentamos en esta seccin son el resultado de una investigacin que actualmente desarrollamos junto con Frida Daz Barriga-Arceo y Concepcin Barrn Tirado titulada: Impacto de la evaluacin en la educacin superior en Mxico, en la cual se han realizado 97 entrevistas: 21 a rectores y funcionarios responsables de programas de evaluacin, 69 a directivos de las Universidades (secretarios generales, directores de planeacin, directores de facultades y escuelas, divisiones acadmicas o centros universitarios), 4 a personal acadmico y 3 a expertos 5 Varias de estas preguntas se encuentran en el ensayo "Tesis para una teora de la evaluacin y sus derivaciones para la Docencia" en Revista Perfiles Educativos. no 15. Enero-Marzo, CISE-UNAM, Mxico, 1982, pp. 16-37. Sttuflebeam, D. Shinkfield, A. (1987) Evaluacin sistmica Barcelona, Piados, Serie Temas de Educacin.
4

6 Por mucho tiempo, estos resultados fueron de consumo slo para la administracin central de la Universidad y para las autoridades locales de cada entidad acadmica (Facultad, Escuela, o Departamento) Su legitimacin estuvo dada, por el reconocimiento del trabajo de los pares acadmicos, por el papel que tiene una mirada externa en el trabajo institucional. Pero la ausencia de un debate acadmico con relacin a los fundamentos y a las experiencias de evaluacin, origin que las tcnicas para sugerir la realizacin de la llamada autoevaluacin y las acciones en las visitas de los evaluadores estuvieron signadas, desde el punto de vista del campo de la evaluacin, por elementos completamente empiristas. De un da a otro, acadmicos con trayectorias reconocidas en su disciplina de origen (bilogos, arquitectos, socilogos, literatos, etc) se convirtieron en evaluadores, bajo el lema todos sabemos de evaluacin, porque todos hemos sido evaluados alguna vez surgi una amplia generacin de expertos en evaluacin de programas, de los cules no se puede esperar ms que la aplicacin, en el mejor de los casos, de los conocimientos profesionales en los cuales han destacado con un sentido comn en la evaluacin. La evaluacin dej de ser un reto conceptual, la posibilidad de una mnima teorizacin en el campo qued marginada. De alguna manera se puede afirmar que priv la perspectiva instrumentalista y empirista en la conformacin de las estrategias de evaluacin y acreditacin de programas. Ms an, ante la evidencia de esta situacin, varios organismos acreditadores han establecido talleres de evaluacin o talleres de autoevaluacin que ofrecen a diversas instituciones y/o acadmicos para formar a la generacin de evaluadores en la mirada emprica que ha desarrollado.6 Un libro7 recientemente editado para apoyar estos talleres tiene una bibliografa de 60 autores. 40 se refieren a temas como tutora, elaboracin de planes y programas, orientacin escolar. Los otros 20, los que se refieren a evaluacin slo 4 son libros, 5 son artculos y 11 reportes de evaluacin nacionales y del extranjero. De estos 20, cinco son trabajos del autor del libro de referencia. El mensaje que se ofrece en esta perspectiva es cualquier acadmico puede evaluar, as como cualquier profesor califica a sus alumnos. Las diferencias de interpretacin, las diferencias en las entrevistas, diferente concepcin de entrevista (abierta, semiestructurada) hasta entrevistadores que regaan a los entrevistados, diferente concepcin de los datos que se obtienen en la entrevista (verdades, evidencias para construir interrogantes, sntomas de un problema) son manejados de muy diversa manera por cada uno de los evaluadores. Entonces el dato duro, esto es el dato cuantitativo
6

Me correspondi estar en el inicio de un taller de evaluacin. El nuevo experto en evaluacin present tres diapositivas con esta afirmacin: Hay tres paradigmas en evaluacin, el de Tyler, el de Sttuflebeam y el mo. Slo aclarara que este sujeto no tiene ningn escrito sobre el campo. Si el tema hubiese sido de qumica, biologa o fsica este acadmico destacado en su campo no se hubiera atrevido a realizar esta doble afirmacin. Taller de Evaluacin del Posgrado. 4 de febrero de 2005. Benemrita Universidad Autnoma de Puebla. Puebla. 7 Gonzlez, J et al (2004) Los paradigmas de la calidad educativa Mxico. Unin de Universidades de Amrica Latina (UDUAL)

7 se tiende a imponer. En muchas ocasiones la argumentacin es completamente referida a la experiencia personal en mi universidad le hacemos as. Mi experiencia es la vlida, este programa tiene insuficiencias porque no se adapta a mi experiencia. En todo caso constituyen un reflejo de la ausencia de formacin en el campo de la evaluacin. Ante la ausencia de una mnima formacin en el campo de la evaluacin, la experiencia personal es la base de los criterios para realizar esta actividad. Este es a grandes rasgos uno de los problemas que enfrenta la acreditacin y evaluacin de programas en nuestro medio. 2. Dos organizaciones que simultneamente realizan una tarea similar En la actualidad funcionan dos sistemas paralelos en el proceso de evaluar los programas acadmicos de las instituciones de educacin Superior. Los Comits Interinstitucionales de Evaluacin de la Educacin Superior (CIIES) creados en 1990 y el Consejo de Acreditacin de Programas de la Educacin Superior (COPAES) establecido en 1998. En ambos casos la evaluacin tiene un carcter voluntario, esto es se realiza a solicitud del programa que aspira a ser evaluado. Los CIEES iniciaron su actividad bajo la concepcin de funcionar con un esquema de evaluacin de pares acadmicos. Tuvieron una importante legimidad pues sus informes de evaluacin eran realmente considerados como un instrumento de retroalimentacin del programa, aunque dichos informes en esos aos en general tuvieron un carcter restringido. Esto es slo eran conocidos por las autoridades centrales de la Universidad y por el cuerpo directivo de la entidad acadmica donde funcionaba el programa. En un inicio esta evaluacin no afectaba la participacin de la Universidad en la oferta de bolsas de financiamiento que se establecan a las universidades para impulsar la asuncin del proyecto modernizador bajo las reglas de la calidad. A finales de la dcada de los aos noventa, se establecen los primeros organismos acreditadores. La relacin CIEES con estos nuevos organismos se volvi compleja, pues cada quin necesitaba definir su territorio y su rea de accin. Ambos evaluaban los mismos programas slo que uno daba un informe de retroalimentacin y otro conceda una acreditacin formal del programa. Podramos afirmar que en el caso de la educacin superior, salvo la conformacin de algunos programas como el de Becas para Estudiantes de bajos recursos, las lneas que caracterizan la polticas para la educacin superior responden a una perspectiva de mediano plazo. Claramente establecidas a principios de los aos noventa en la perspectiva de la Modernizacin de la Educacin. Estas polticas que en conjunto buscaron impulsar la calidad de la educacin sin necesariamente lograr una precisin conceptual de lo que esto puede significar y estableciendo una serie de indicadores cuantitativos como logros de la calidad. El conjunto de estas polticas de calidad se apoy en dos acciones: establecer programas de evaluacin y vincular bolsas de financiamiento a los resultados de las evaluaciones obtenidas. La primera etapa de los CIEES se movi en otro esquema: impulsar una evaluacin con fines formativos, un lema implcito en sus acciones era la evaluacin no puede convertirse en un acto por medio del cual se desahucie a las instituciones.

A partir del ao 2000, con la llegada de un nuevo grupo en el gobierno nacional, que no necesariamente signific un nuevo grupo en el sector educativo, se exigi en este proceso de diferenciacin de las actividades de los CIEES y de los organismos acreditadores, y en clara vinculacin con las polticas de financiamiento que el resultado de esa evaluacin fuera calificado de acuerdo al grado de calidad que haba logrado cada programa en especfico. De esta manera se empez a asignar en la evaluacin el nivel 1, 2 y 3 a cada programa, informacin que se entrega junto con el reporte de retroalimentacin del programa. Paulatinamente los CIEES fueron definiendo los indicadores que permitan asignar un nivel a cada programa. De esta manera pasaron de ser instancias que realizaban una evaluacin formativa, a instancias que elaboran un juicio sobre el programa. Este juicio, expresado en una asignacin de nivel, es utilizado por las autoridades gubernamentales para la asignacin de recursos. Los programas que se encuentran en el nivel 1 y 2 tienen derecho a presentar proyectos de trabajo para que mediante una evaluacin puedan obtener recursos extraordinarios. Los programas calificados en el nivel 3 estn prcticamente desahuciados pues no pueden participar en los mismos. La autoridad federal considerara, aunque no lo expresa en estos trminos, que deben ser cerrados. Para esta decisin no se analiza ni la historia de la institucin, ni el contexto regional donde opera el programa. Tampoco se valoran los esfuerzos que en forma particular se estn realizando para remediar los problemas que enfrenta un programa. Evidentemente tampoco es valorada la funcin social de la educacin superior pblica, ni la responsabilidad del Estado frente a ciertos sectores de la sociedad. En estricto sentido, slo aquellos programas que han sido evaluados en el nivel 1 por los CIEES pueden solicitar su evaluacin para efectos de acreditacin, cuestin que no necesariamente se respeta. Pues existen programas que han recibido una evaluacin de nivel 2 e incluso de nivel 3 que no slo han solicitado su evaluacin a los organismos acreditadores. Sino que el resultado de este ejercicio ha sido la declaracin por parte de estos organismos que cumplen con los requisitos para ser acreditados. Elemento que es reflejo de una poltica de evaluacin que tiende a multiplicar instancias y espacios para realizar esta actividad, pero que tambin es reflejo de la falta de consistencia en las acciones de evaluacin. Esta falta de consistencia tiene su origen en la inadecuada formacin de los evaluadores, pero tambin la diferencia de criterios existentes (VER ANEXO) en la definicin de indicadores y en su interpretacin, as como la existencia de sesgos en la evaluacin derivados de la posicin gremial que cada grupo evaluador tiene respecto del programa evaluado.

9
ORGANISMOS EVALUADORES Y DE ACREDITACIN DE PROGRAMAS FECHA DE SU CONSTITUCIN

Institucin CIEES

Fecha Junio 1991

Enero 1993

COPAES

Junio 1994 6 Junio 2002

Organismos Comit de Administracin Comit de Ciencias Agropecuarias Comit de Ingeniera y tecnologa Comit de Ciencias Naturales y Exactas Comit de Ciencias de la Salud Comit de Ciencias Sociales y Administrativas Comit de Educacin y Humanidades Comit de Difusin y Extensin de la Cultura. Comit de Arquitectura, Diseo y Urbanismo Consejo de Acreditacin de la Enseanza de la Ingeniera. A.C. (CACEI) Consejo Nacional de Educacin de la Medicina, Veterinaria y Zootecnia A.C. (CONEVET) Consejo Mexicano para la Acreditacin de la Educacin Mdica. A.C. (COMAEM) Asociacin Nacional de Profesionales del Mar. A.C. (ANMPROMAR) Comit Mexicano de Acreditacin de la Educacin Agronmica. A.C. (COMEAA) Consejo Mexicano de Acreditacin de la Enseanza de la Arquitectura. A.C. (COMAEA) Consejo Nacional para la Enseanza e Investigacin en Psicologa. A.C.(CNEIP) Consejo de Acreditacin de la Enseanza en la contadura y Administracin. A.C. (CACECA). Consejo Nacional de Educacin Odontolgica. A.C.(CONAEDO) Consejo Nacional de Acreditacin en informtica y computacin. A.C. (CONAIC) Asociacin para la Acreditacin y Certificacin de Ciencias Sociales. A.C. (ACCECISO) Consejo Mexicano de Acreditacin y Certificacin de la Enfermera. A.C. (COMACE) Consejo Mexicano para la Acreditacin de Programas de Diseo. A.C. (COMAPROD) Consejo Nacional de Enseanza y del Ejercicio Profesional de las Ciencias Qumicas. A.C. (CONAECQ) Consejo Nacional para la Calidad de la Educacin Turstica. A.C. ( CONAET)

9 de Octubre del 2002

28 de enero 2002

01 JULIO 2003

23 de abril del 2004

Fuente: http://www.copaes.org.mx/oar/oar.htm#fecha http://www.ciees.edu.mx/que_son_ciees/que_son_los_ciees.htm 25 / Mayo/ 2005

10

3. La cantidad de evaluaciones como resultado de una alta demanda y su impacto en los resultados de la evaluacin. Un tercer problema que aparece con toda claridad es consecuencia del nmero potencial de programas que pueden ser evaluados. El problema nmero es arduo porque en un sistema tan grande y diverso como el sistema de la educacin superior en Mxico8, la cantidad de programas es en s misma elevada, dado que las 2 274 instituciones que tienen una oferta de formacin profesional integran cerca de 11 442 programas de licenciatura9. En el actual modelo de evaluacin y acreditacin un programa para ser acreditado tendra que ser previamente evaluado por los organismos evaluadores. En trminos numricos esto duplica el nmero de evaluaciones a realizar. A ello habra que agregar que un programa puede recibir una o dos evaluaciones previas, antes de solicitar su acreditacin. En este momento se cuentan con reportes nmeros con relacin al nmero de programas que cada organismo a evaluado o acreditado desde el inicio de sus actividades. A grandes rasgos se han evaluado 2713 programas en un lapso de 11 a 14 aos, mientras que se han acreditado 556 programas en un lapso de 2 aos.(VER CUADRO ). Reconocemos que el nmero de evaluaciones realizadas depende en alguna medida del nmero de programas que se estn impartiendo. Sin embargo, no deja de llamar la atencin algunas situaciones. A simple vista y, utilizando uno de los criterios que actualmente se emplean en el campo de la evaluacin, muestran mayor eficiencia los organismos acreditadores pues en 2 aos han concedido la acreditacin a 556 programas, mientras que en un promedio de 12 aos los Comits de Pares han evaluado a 2713 programas. Otros datos llaman la atencin, as mientras el Comit de Ciencias Sociales y Administrativas ha evaluado a 825 programas, en el mismo lapso prcticamente, el de Arquitectura, Diseo y Urbanismo lo ha hecho en 101 programas, 8 veces menos que el
8

En 2004 funcionaron 2,274 instituciones de educacin superior, de las cuales 833 fueron pblicas y 1,441 particulares. El subsistema de universidades pblicas se compone de 117 universidades, 21 universidades pblicas estatales con apoyo solidario (UPEAS), 58 universidades tecnolgicas y la recientemente creada Universidad Autnoma de la Ciudad de Mxico. El subsistema tecnolgico pblico se conforma por 77 institutos tecnolgicos federales, 105 institutos tecnolgicos de estudios superiores, 20 institutos tecnolgicos agropecuarios, 6 institutos tecnolgicos de ciencias del mar y 1 instituto tecnolgico forestal. En este subsistema se ubica tambin el Instituto Politcnico Nacional, el CINVESTAV, el CENIDET y el CIDET. Tambin corresponden al sistema pblico 137 escuelas profesionales administradas por entidades gubernamentales, como es el caso de la Escuela Nacional de Antropologa e Historia, las escuelas del Instituto Nacional de Bellas Artes, las IES agropecuarias, las escuelas profesionales de las Fuerzas Armadas y las escuelas del sector salud. En el Subsistema pblico tambin funcional 278 escuelas normales para formacin de maestros. Datos elaborados por Javier Mendoza. Cfr. Panorama de la Educacin Superior en Mxico (versin 2.0) ANUIES, Febrero 2004 Documento de trabajo
9

De los cuales 5049 son de instituciones pblicas y 6393 corresponden a instituciones privadas. Cfr. http://ses.sep.gob.mx/site04/index.htm

11 anterior. Las diferencias entre el conjunto de programas son grandes: 470 evaluados en el rea de las ciencias de la salud y 461 en Ingeniera y Tecnologa. En el caso de la acreditacin de programas nos encontramos ante el hecho de organismos acreditadores que han concedido la acreditacin a menos de 10 programas (9 Medicina Veterinaria y Zooctenia, 3 Ciencias Qumicas, 2 Profesionales del Mar) frente a organismos acreditadores que han reconocido la acreditacin a un importante nmero de programas (231 el de ingeniera, 105 el de contadura y administracin. La diferencia entre el ms bajo y el ms alto es de ms mucho muy alta. Pese a este enorme esfuerzo en la actualidad slo se reconocen 556 programas de calidad, 412 de instituciones pblicas y 114 de privadas10. Una pregunta desde el punto de vista acadmico es de qu hablan estos datos?, qu significan estos datos?. Aunque el tema reclama una investigacin mucho ms acuciosa, la informacin de la que disponemos en este momento nos permite esbozar algunas interpretaciones. Cada organismo evaluador y/o acreditador ha establecido en el marco de una normatividad general una serie de criterios, indicadores, atributos para llevar a cabo su tarea. Pero tambin ha asumido una posicin gremial frente a la evaluacin. La evaluacin como un mecanismo indirecto para buscar el reconocimiento del esfuerzo de algunas disciplinas acadmicas o grupos de trabajo al interior de una institucin o de un gremio. Aunque no es fcil contar con evidencia al respecto. Existen acadmicos que consideran que a travs de la evaluacin se est promoviendo alguna tendencia dentro de un gremio profesional. El otro problema guarda relacin con la posibilidad misma de la evaluacin. No slo por el tiempo que reclama que dedique cada programa para elaborar su reporte de autoevaluacin. Los talleres de autoevaluacin que previamente se realizan, sino por las dificultades de tienen los organismos evaluadores para atender una demanda que es creciente y geomtrica. Lo que genera que en algunos programas exista un lapso de hasta 24 meses entre el momento que se solicita la evaluacin y la evaluacin misma. Hay una lista de espera relativamente enorme. Lo cual hace a los organismos evaluadores tambin susceptibles a otro tipo de presiones a travs de la influencia que profesionistas dentro del gremio y/o funcionarios acadmicos puedan realizar para adelantar la evaluacin. El nmero de programas a evaluar guarda una estrecha relacin con la capacidad de realizar evaluaciones que sean consistentes entre s. El problema no es slo la aplicacin de criterios, sino la necesidad de interpretarlos de acuerdo a las condiciones de cada programa particular. La ausencia por lo menos desde el punto de vista declarativo de una mnima formacin en evaluacin de los evaluadores, de esta manera en un organismo acreditador se exige al evaluador: pertenecer al padrn nacional de evaluadores de programas

10

Cfr. http://ses.sep.gob.mx/site04/index.htm

12 acadmicos .... tener reconocimiento acadmico de experiencia docente y experiencia profesional .... asumir la compromiso y responsabilidad la evaluacin11 Si existe una importante presin cuantitativa por realizar la evaluacin, si los organismos evaluadores slo pueden responder la demanda de la evaluacin a mediano plazo por la cantidad de trabajo que esta actividad conlleva, es conveniente tambin preguntarse como afecta esta situacin a los resultados de la evaluacin. Una vez realizada la visita de evaluacin la actividad de evaluacin no ha concluido. Es necesario elaborar el reporte de evaluacin que ser entregado a la institucin, as como dar un resultado. Esto es asignar un nivel al programa o conceder la acreditacin del mismo. Ante la cantidad de trabajo existente la elaboracin del reporte se convierte tambin en una tarea ardua. Con el tiempo los organismos han conformado una serie de patrones de recomendaciones para aplicarlas en los distintos casos que se requiriese, en ocasiones estableciendo las mismas recomendaciones para programas que son calificados de manera distinta, o confundiendo el dato de un programa con otro. Aunque existe un mecanismo de revisin por parte de la institucin, en la que puede sealar, fundamentar o establecer lo que convenga a su caso. En los hechos, cuando acontece esta situacin los directivos y, sobre todo el personal acadmico, suele desconfiar del profesionalismo con el que se ha realizado la tarea de la evaluacin. En estos ltimos aos, se ha avanzado y eso debe reconocerse, en que un grupo mayor de acadmicos de un programa se interesen por conocer, y en pocos casos participar, en el informe de auto-evaluacin del programa, o recibir la informacin del reporte elaborado por el organismo evaluador. En los primeros aos de funcionamiento del programa estos reportes se les dio un tratamiento de informacin confidencial, hoy el tema es ms abierto en las instituciones. Aunque en pocos casos se da un acceso abierto a toda la comunidad, en ocasiones se entrega un resumen o un fragmento de las observaciones que hay que atender.

11

Comit Mexicano de Acreditacin de la Educacin Agrcola, AC (2004) Cdigo de tica y reglamente para los evaluadores de programas acadmicos en Sistema Mexicano de Acreditacin de Programas Acadmicos para la Educacin Agrcola Superior. Mxico, COMEAA, p 69

13

NMERO DE PROGRAMAS EVALUADOS O ACREDITADOS A PARTIR DE LA CONFORMACIN DE CADA ORGANISMO

Institucin CIEES Al 30 abril 2005

Organismo Comit de Arquitectura, Diseo y Urbanismo Comit de Ciencias Agropecuarias Comit de Ciencias de la Salud Comit de Ciencias Naturales y Exactas Comit de Ciencias Sociales y Administrativas Comit de Educacin y Humanidades Comit de Ingeniera y Tecnologa Asociacin para la Acreditacin y Certificacin de Ciencias Sociales Asociacin Nacional de Profesionales del Mar Consejo de Acreditacin de la Enseanza en la contadura y administracin Consejo de Acreditacin de la Enseanza de la Ingeniera Consejo Nacional para la Enseanza de la Investigacin en Psicologa Consejo Mexicano de Acreditacin y Certificacin de la Enfermera Consejo Mexicano de Acreditacin de la Enseanza de la Arquitectura Consejo Mexicano para la Acreditacin de la Educacin Mdica Consejo Mexicano para la Acreditacin de Programas de Diseo Comit Mexicano de Acreditacin de la Educacin Agronmica Consejo Nacional de Acreditacin en Informtica y Computacin. Consejo Nacional de Educacin Odontolgica Consejo Nacional de la Enseanza y el Ejercicio Profesional de las Ciencias Qumicas Consejo Nacional de Educacin de la Medicina, Veterinaria y Zootecnia Consejo Nacional para la Calidad de la Educacin Turstica

Fecha Junio 1994 Junio 1991 Enero 1993 Junio 1991 Enero 1993 Enero 1993 Junio 1991 01 julio 2003 9 de octubre 2002 28 enero 2002 6 junio 2002 9 de octubre 2002 01 julio 2003 9 de octubre 2002 06 junio 2002 23 abril 2004 9 octubre 2002 28 enero 2002 28 enero 2002 23 abril 2004 06 junio 2002 23 abril 2004

TOTAL COPAES 31 marzo 2005

No. de programas 101 277 470 264 825 315 461 2713 19 2 105 231 29 23 15 38 11 22 13 26 3 9 10 556

TOTAL Fuente: http://www.ciees.edu.mx/programas_evaluados/programas_evaluados.htm. 16/05/2005 http://www.copaes.org.mx/oar/oar.htm#Programas%20Acreditados. 16/05/2005

14

4. El financiamiento y los costos de la evaluacin Los costos de la evaluacin y acreditacin de programas son diversos. La evaluacin de pares no tiene un costo directamente asociado al servicio de evaluacin, aunque la institucin tiene que sufragar una serie de costos indirectos, para cubrir: el traslado y estancia de los evaluadores. El material especfico que cada uno de ellos solicite. Y los asociados a la elaboracin del informe institucional de autoevaluacin. En el caso de la acreditacin la cuestin es diferente. Los organismos acreditadores no slo conciben su tarea como una actividad acadmica que puede contribuir al mejoramiento de la calidad de la educacin, tambin la conciben como las ganancias de una empresa de evaluacin. En la investigacin de campo que hemos realizado a nivel nacional tambin encontramos diferencias significativas de los costos de la evaluacin con fines de acreditacin. Estos costos se dividen en tres rubros: directos e indirectos. Los directos se refieren al contrato que los organismos acreditadotes hacen con la institucin para revisar su programa, stos costos son altamente variables oscilan entre 3 mil dlares hasta 15 mil dlares. Entre los costos directos existen otros ms difciles de calcular que implica el traslado de los evaluadores y el cumplimiento de las condiciones que solicitan para realizar su trabajo (un espacio con computadora, secretaria, etc). A ello, hay que aadir una serie de costos indirectos como son: contratar un taller de autoevaluacin que en general es impartido tambin por el organismo acreditador (con un costo de 3 mil dlares), preparar el informe de autoevaluacin lo que significa juntar la diversa informacin que los evaluadores piden que se lleve a cabo antes de realizar la evaluacin. En opinin de algunas instituciones una acreditacin tiene un costo global de 50 mil dlares. Costo que es subvencionado con dinero pblico para financiar el desarrollo de un conjunto de asociaciones que se van conformando como empresas de evaluacin. De esta manera el beneficio inicial que se aduce para que los organismos acreditadores no sean parte directa de alguna instancia gubernamental, bajo la perspectiva de poder realizar su trabajo con independencia, pero al mismo tiempo, estos organismos son concebidos y funcionan como pequeas empresas, con los criterios especficos de ellas. De alguna manera, este s sera el caso de la creacin de un espacio abierto al libre mercado, con la limitacin que su actividad se encuentra relativamente protegida y regulada por el mismo Estado. Al mismo tiempo se debe reconocer que un buen nmero de sus integrantes forman parte de las plantas acadmicas de las instituciones de educacin superior. Pero cul es el origen de los fondos para realizar la tarea de la evaluacin. En las instituciones pblicas es dinero fiscal. Dinero que las instituciones solicitan como parte de un apoyo presupuestal extraordinario, cuando se han convertido en instituciones que son susceptibles de recibir este apoyo.

15 5. La ausencia de una evaluacin de la evaluacin Las instancias de evaluacin de han multiplicado, han crecido en los ltimos 14 aos de una manera significativa. Las prcticas de evaluacin se han transplantado de las experiencias que se generaron en su origen en los EEUU. Aunque el tema es objeto de discusin, Llarena sostiene que los primeros organismos acreditadores en los Estados Unidos empezaron a funcionar desde 1885 (Middle States Asociation for Coleges and Schools) con la existencia actual de ms de 60 organismos acreditadores.12 Mientras que Jos Gins Mora atribuye a Hugues el primer ejercicio de acreditacin institucional en 1925.13 En ambos casos se trata de una tradicin prcticamente centenaria. El sistema de acreditacin establecido en Mxico, no slo es muy joven, tambin cuenta con pocos fundamentos conceptuales, la gua de la experiencia es la que ha permitido establecer, y en ocasiones de manera muy acelerada una generacin de evaluadores, una generacin de pares acadmicos. El tema es complicado, porque mientras en la evaluacin de pares en el mbito de la investigacin existen regulaciones mucho muy claras para reconocer quin es investigador y asignarle el rol de par acadmico (publicaciones en revistas arbitradas e indexadas), en el campo acadmico no queda claro quien es un lder profesional. Esto es, no queda claro como se cumplen con las normas para ser reconocido como evaluador14. En este contexto, los evaluadores evalan, aplican de acuerdo a su criterio, formacin, sano juicio, una serie de reglas o indicadores para realizar la evaluacin, emiten juicios y recomendaciones, pero no son objeto de una evaluacin. No son objeto de una auditoria acadmica ni sobre el proceso por el cual fueron declarados pares acadmicos. Ni los organismos evaluadores como sujetos que realizan evaluaciones especficas. Es necesario en este momento impulsar una actividad de evaluacin de las actividades que se realizan en este rubro con la finalidad de adelgazar el sistema de evaluacin, impulsar no slo una mirada acadmica, sino una necesaria vinculacin con diversos sectores de la sociedad, donde el egresado tendr incidencia en tareas productivas, sociales y culturales. A manera de conclusiones
Cfr. Llarena, R (2004) La educacin superior en Mxico. Vocal Ejecutiva del Comit de Administracin y Gestin Institucional de los CIEES. Ponencia presentada en el Seminario La educacin Superior en Mxico ANUIES-SESIC-IESALC-UNESCO. Ciudad de Mxico. 29 y 30 de marzo de 2004. Documento versin Power Point. 13 Mora, Jos Gins (1991) Calidad y rendimiento en las instituciones universitarias. Madrid, Consejo de Universidades. Secretaria General. En particular Captulo 5 Valoracin de la calidad en las universidades estadounidenses 14 Cmo es difcil encontrar en una sola persona todas las cualidades exigidas a un evaluadro( competencia tcnica en el rea de medicin y mtodos de investigacin, comprensin del contexto social y del objeto de la evaluacin, habilidad en la relacin con las personas, integridad personal, objetividad y responsabilidad), la solucin ha sido trabajar con un equipo de evaluadores o seleccionar las personas ms indicadas para tareas especficas....se observa que la evaluacin no es hecha por profesionales, con capacitacin especfica en evaluacin de Oliveira, A Spagnolo, F Veinte aos de evaluacin de posgrados en Brasil: la experiencia del CAPES en Martnez, E. Letelier, M (ed) (1997) Evaluacin y acreditacin universitaria. Metodologas y experiencias. Caracas. Nueva Sociedad-UNESCO-OUI-U de Santiago de Chile. p 162
12

16

Se considera que hay un avance en el sistema de educacin superior porque hay evaluaciones. Incluso se llega a reconocer que se est avanzando en establecer una cultura de la evaluacin. En los ltimos aos se han establecido mejores espacios acadmicos para realizar una discusin sobre el campo de la evaluacin. No basta con establecer programas de evaluacin, ni con precisar indicadores que sern tomados en cuenta en la actividad evaluadora. Todo ello puede llevar a formalizar los procesos de evaluacin de tal suerte que se dificulte la comprensin de lo que acontece en la educacin. Las prcticas de evaluacin no estn exentas de riesgos, no estn exentas de vicios. Difcilmente pueden convertirse en una actividad reguladora de la vida acadmica y de la dinmica social cuando no se puede dar cuenta de los procesos cognitivos que se desarrollan en el mbito de la educacin superior. La educacin superior tiene mltiples finalidades, formar profesionistas es una de las ms importantes, pero no es la nica. La educacin superior enfrenta un ineludible compromiso con el desarrollo de la ciencia y tecnologa del pas, pero tambin tiene un compromiso con la conformacin de una visin de pas, con una visin de futuro, a la vez que con el legado cultural que preserva. Pasado, presente y futuro se conjugan de manera especfica en la educacin superior. Los indicadores cuantitativos no pueden dar cuenta cabalmente de esta situacin. Es urgente no slo impulsar la evaluacin, sino impulsar mejores condiciones para realizarla. No slo elaborar reportes de evaluacin, ni mucho menos asignar ponderaciones a los programas, sino promover una redaccin ms cuidadosa de estos resultados, y al mismo tiempo, establecer medidas para que no slo sean conocidos por los acadmicos. Sino establecer talleres, para que funcionen como un sistema de retroalimentacin efectivo. Los evaluadores deben ser objeto de una atencin particular. As como en el mbito de la investigacin no se permite que un evaluador permanezca de manera indefinida en su actividad de evaluacin, es necesaria una rotacin de los grupos de evaluacin para evitar la rigidizacin de criterios para realizar esta actividad. Los evaluadores deben ser formados en tareas de evaluacin. La evaluacin no es una panacea para la educacin superior, ni tampoco el mecanismo para lograr la calidad de la educacin. As como un reporte clnico no mejora al enfermo, un reporte de evaluacin no mejora el desempeo educativo. Es solo reestableciendo una dinmica de trabajo pedaggico en el mbito de la educacin superior como se establecern las condiciones para su mejor desempeo.

17
CATEGORAS, CRITERIOS, INDICADORES Y ESTNDARES DE REFERENCIA PARA ACREDITARSE. Categora Organizacin Criterios Programa autorizado por autoridades de la Institucin y registrado DGP de la SEP Documento aprobado que especifique la misin del programa. Contener un plan de desarrollo vigente. Programa con procesos de planeacin, seguimiento y evaluacin para docencia, investigacin, difusin y evaluacin. Contar con un organigrama de la institucin, reglamentos y mecanismos funcionales para la actualizacin de la normatividad. Currculum Propuesta con contexto institucional. Perfil de ingreso y egreso en trminos de conocimientos, habilidades y valores. Plan de estudios que incluya estructuracin de los conocimientos y organizacin de la experiencia. Plan flexible. Mnimo de 20% de cursos. Horas o crditos optativos. Contar con la totalidad de los programas de los cursos previstos que contengan y describan claramente: Objetivos, contenidos, actividades, bibliografa actualizada, formas de evaluacin, recursos necesarios, cronograma de actividades e indicaciones especiales. 40% de cursos prcticos. Realizar una evaluacin integral cada cinco aos. Alumnos Presentar un examen de admisin cuyos resultados fungirn como indicadores de diagnstico. Reglamento de ingreso, permanencia y titulacin. Al menos 50% de los egresados debern estar titulados. Expedientes integrados de todos los estudiantes. Estadsticas sistematizadas de los ltimos diez aos. Registro de asistencia de alumnos Profesores Informacin actualizada y disponible sobre diferentes aspectos que tienen que ver con el personal acadmico y Expediente actualizado de cada uno de los profesores Procedimientos claros y bien definidos de ingreso, promocin, estmulos y permanencia del profesorado. Documentacin que especifique los mecanismos para verificar el cumplimiento de las responsabilidades cotidianas de los profesores y personal acadmico. Registro de asistencia y estadsticas de profesores. Por lo menos 70% de la planta acadmico debe tener estudios de posgrado y 80% participar en programas de estmulos a la productividad. Educacin continua Contar Con un rea de educacin continua Investigacin Programas y lneas registrados y aprobados ante el rgano colegiado que corresponda. Pertinencia de las lneas de investigacin planteadas en su marco de referencia o en algn documento especfico. Infraestructura Instalaciones y recursos fsicos. (laboratorios, talleres, aulas suficientes, cubculos para profesores, instalaciones para actividades culturales, recreativas o deportivas) Materiales educativos. (biblioteca, cmputo, materiales audiovisuales, etc.)Biblioteca con un mnimo de diez ttulos actualizados por cada materia, diez suscripciones a publicaciones peridicas. Una coleccin de obras de consulta formadas por un mnimo de 300 ttulos. Registro actualizado y estadsticas de los servicios utilizados y usuarios atendidos en la biblioteca. Centro de cmputo con servicios de Internet. Materiales audiovisuales Recursos Humanos Normas que rigen la funcin de los recursos humanos Vinculacin y Mecanismos institucionales para el control de la calidad de los servicios que ofrece el programa servicios a la acadmico. comunidad Estudios de diagnstico Estudios de seguimiento de egresados Finanzas Criterios establecidos para la determinacin de gastos de mantenimiento y operacin Sistema de auditoria institucional. Tomado de Comit Mexicano de Acreditacin de la Educacin Agronmica, A.C. (2004) Sistema Mexicano de acreditacin de programas acadmicos de la educacin agrcola superior. Mxico. Pp 33-43