La evaluacin externa de carreras universitarias.

La experiencia en Argentina
Dra. Marcela Zeballos

RESUMEN Se aborda, en primer lugar la sistematizacin de conocimientos ya existentes de distintos autores, de investigaciones y de anlisis de distintos informes sobre evaluacin de la calidad de carreras universitarias en argentina. A continuacin se analizarn los siguientes ejes: Primer eje: La evaluacin y acreditacin de carreras universitarias Segundo eje: Cules son las caractersticas del modelo evaluador de carreras universitarias en Argentina?, Tercer eje: Qu nos dicen los informes de la CONEAU y las investigaciones sobre la evaluacin de carreras en distintas universidades argentinas?, Cuarto Eje Cul es el impacto de las polticas y procesos de evaluacin y acreditacin de carreras universitarias en Argentina?.

Palabras preliminares Como acotacin previa a mi exposicin quiero decir que la eficacia de la evaluacin nicamente se logra si se dispone de una cultura evaluativa a nivel institucional. En este sentido, la realizacin de procesos de evaluacin representa un camino para lograr el mejoramiento de la calidad. La cultura de una institucin debera centrarse en el inters colectivo y en construir una institucin unificada a travs de compartir valores, y tradiciones y hbitos. A respecto, L Ecuyer (1995) afirma que una organizacin que tiene una cultura evaluativa, se distingue por interpretar la evaluacin como un desafo que le permite mejorar su quehacer. Y como una oportunidad de crecimiento institucional. La autoevaluacin como modalidad de evaluacin como la concrecin de una reflexin permanente y compartida, puede calificarse al mismo tiempo de interna y externa en la medida que pueden intervenir agentes externos que faciliten el proceso de autorreflexin. Desde una perspectiva pedaggica la evaluacin debe tener un fuerte componente tcnico para que puedan hacerse realidad los grandes aportes a la mejora. A las evaluaciones externas cabe exigirles (adems de un conjunto de cualidades ticas), las repercusiones que de ellas se pueden derivar para las instituciones. Lo que voy a presentar hoy en este espacio de encuentro es la sistematizacin de conocimientos ya existentes de distintos autores, de investigaciones y de anlisis de distintos informes sobre evaluacin de la calidad de carreras universitarias en argentina. La exposicin estar relacionada con la reorganizacin del conocimiento. Entonces, vamos analizar la presentacin que prepar para ustedes. Cules seran mis ideas ejes para la exposicin de hoy? El primer objetivo de esta ponencia es compartir con ustedes mis conocimientos y experiencia en este tema. El segundo objetivo es que logremos la reflexin. Cules son los interrogantes que resultaron fundamentales para este tema? Se los anticipo para que ustedes tengan presente la organizacin de mi presentacin:

Captulo: La evaluacin externa de carreras universitarias. La experiencia en Argentina

ESTRUTURA DE LA CONFERENCIA Y EJES CENTRALES Voy a exponer sobre Primer eje; La evaluacin y acreditacin de carreras universitarias Segundo eje: Cules son las caractersticas del modelo evaluador de carreras universitarias en Argentina?, Tercer eje: Qu nos dicen los informes de la CONEAU y las investigaciones sobre la evaluacin de carreras en distintas universidades argentinas?, Cuarto Eje Cul es el impacto de las polticas y procesos de evaluacin y acreditacin de carreras universitarias en Argentina?.

PRIMER EJE: LA EVALUACIN Y ACREDITACIN DE CARRERAS UNIVERSITARIAS Desde la segunda parte de la dcada de 1980 y en el transcurso de 1990 se puedo observar que uno de los cambios ms notables en los sistemas de Educacin Superior, apareci expresado en el inters de los gobiernos por la introduccin de sistemas y procedimientos de aseguramiento de la calidad (Cinda, 2007). La creacin en 1995 de la Comisin Nacional de Evaluacin y Acreditacin Universitaria -CONEAU-, (la cual es un organismo descentralizado que depende del Ministerio de Educacin, Ciencia y Tecnologa). Y a travs de la Ley de Educacin Superior 24.521 que en su artculo N 44 orden que las instituciones universitarias debieran asegurar el funcionamiento de instancias internas de evaluacin institucional, llamadas autoevaluaciones, las cules se complementaran con evaluaciones externas, realizadas cada seis aos y ejecutadas por la CONEAU. Desde entonces, las funciones que abarca la evaluacin son: docencia, investigacin y extensin y en el caso de las universidades nacionales, tambin la gestin institucional. Con el surgimiento de la CONEAU en Argentina, las polticas de evaluacin y acreditacin de la calidad universitaria se podran ubicar en la llamada segunda generacin de reformas del Estado (que se ocup principalmente de las mejoras en trminos de calidad institucional). Los conceptos de calidad, evaluacin y acreditacin segn Rollin Kent, son recientes en la educacin superior latinoamericana. Ahora bien qu se entiende por calidad?: todos sabemos o percibimos que es, pero nos cuesta definirla. En lo que respecta a la calidad de la educacin superior, el Documento de Polticas de la Unesco nos dice que es un concepto multidimensional, que depende de gran medida del marco contextual de un sistema determinado, de la misin institucional o de las condiciones o normas de una disciplina. Considerar la calidad de la universidad, implica plantearse la clarificacin de lo que debe ser una universidad. Para las universidades argentinas, estos cambios representaron un importante desafo. Han debido adaptarse, adems, a nuevas reglas del juego en su relacin con el gobierno, que desde la Ley de Educacin Superior sancionada en 1995 increment la autonoma de las universidades, implement nuevos mecanismos de financiamiento y comenz a evaluar a las instituciones. Estos cambios las obligaron a invertir tiempo, energa y recursos para llevar adelante procesos de autoevaluacin, sujetarse a procedimientos de evaluacin externa y, en general, hacer ms transparentes sus modalidades de organizacin, gestin y enseanza. En un primer momento las prcticas evaluativas fueron consideradas por muchas instituciones como un mecanismo encubierto para conocer la situacin de las instituciones de las universidades y, a partir de esos datos, para establecer una especie de ranking de calidad. Ahora bien: Por qu la evaluacin institucional en nuestro pas, qued instalada bajo sospecha?. Se le dio participacin a la comunidad universitaria en su conjunto? Sin embargo, poco a poco las instituciones fueron adoptando la prctica de evaluacin externa, como una instancia de diagnstico a partir de la cual se pudiera reflexionar sobre su propia situacin e introducir cambios para la mejora. La evaluacin institucional tiene como objetivo primario el mejoramiento de la calidad de las instituciones universitarias. Sin embargo, este concepto de mejoramiento va adquiriendo mayor relevancia tambin en los procesos de acreditacin de carreras. Para ejemplificar podemos citar el caso de la acreditacin de carreras de grado de inters pblico. En la Argentina, es aqu donde aparece claramente la necesidad de reconocer la tensin entre la acreditacin orientada fundamentalmente al aseguramiento

Captulo: La evaluacin externa de carreras universitarias. La experiencia en Argentina

de la calidad, y la evaluacin para el mejoramiento de la calidad. El trabajo de CONEAU hasta el momento ha estado orientado a que el objetivo de aseguramiento de la calidad, est en concordancia con el objetivo de poltica educativa de producir mediante la acreditacin, diagnsticos detallados y planes de mejoramiento crebles y realizables en las instituciones. De este modo se busca producir un tipo de cambio institucional, orientado a lograr la mejora. Por lo tanto, la relacin entre evaluacin institucional y la acreditacin de carreras deben poder ser pensados y puestos en prctica de modo que permitan la complementacin mutua (Guerrini, Rasseti, Jeppesen, 2002: 3). Al respecto la CONEAU sostiene: ...la evaluacin institucional supone un proceso complejo para determinar el valor de algo que implica una delicada tarea de interpretacin de un conjunto de elementos, que interactan configurando una realidad particular y significativa (LINEAMIENTOS 10). Pretende conocer interpretativamente los hechos, ya que ellos constituyen una trama cargada de significado Esto ya estaba planteado en la Ley de Educacin Superior en su artculo 44, al hablar de autoevaluacin, como un proceso que deber ser completado por evaluaciones externas, y en el hecho de que la misma debe realizarse en el marco de los objetivos de la propia institucin. Este encuadre legal, privilegia el papel de los involucrados, al otorgarle a la evaluacin externa un papel complementario. Para Comprender su realidad (la de la universidad) no basta evaluar sus resultados. Hay que comprender los procesos que llevan a esos resultados desde la perspectiva de los diversos actores involucrados en el proceso...Se deben tomar en cuenta las diferentes opiniones, interpretaciones y perspectivas de los participantes, ya que son ellos quienes conocen los hechos desde adentro, los que tienen las claves para su interpretacin.(LINEAMIENTOS, 14,15). La CONEAU tiene como objetivo el mejorar la comprensin que los actores tienen de su propia institucin, estimulando la reflexin sobre el sentido y el significado de las tareas que se realizan. Siguiendo lo establecido por la Ley de Educacin Superior, los LINEAMIENTOS ponen permanentemente nfasis en la necesidad de que toda evaluacin debe tener en cuenta la particularidad de la institucin a evaluar. Se parte... de una premisa bsica: el respeto irrestricto a la autonoma universitaria. ...ste valor subraya el respeto por el proyecto institucional que cada institucin determine por s misma. Se desprende necesariamente de ello, que no es posible concebir un modelo irrestricto o predeterminado, fundamentalmente porque las instituciones son diversas Una revisin de las objeciones de las autoridades universitarias a los dictmenes elaborados por la CONEAU en cada caso particular, tanto frente a las evaluaciones institucionales (en las denominadas Carta del Rector), como a la acreditacin de carreras, muestra los problemas de rigurosidad observada en estos procesos. Recurdese los casos de cuestionamientos ms conocidos pblicamente a travs de los medios, como los de la Universidad de Buenos Aires, frente a la no acreditacin de varios postgrados solicitada oportunamente. Las mismas consideraciones que se tenan en cuenta para acreditar algunos postgrados, no se las tomaban en cuenta en otros y por lo tanto no acreditaban a pesar de que los estndares eran los mismos. Se observa entonces, cmo el problema de la evaluacin y acreditacin de la calidad universitaria es un problema de profundas implicancias culturales, polticas, ideolgicas, sociolgicas y econmicas. Se vincula con las diferentes cosmovisiones, con intereses especficos, con proyectos polticos y modelos econmicos. Se relaciona con la vinculacin entre el Estado y la universidad, el poder central y las instituciones universitarias; con el proceso de distribucin de autoridad y de poder (Mrquez y Marquina: 32).

SEGUNDO EJE: CULES SON LA CARACTERSTICAS DEL MODELO EVALUADOR DE CARRERAS UNIVERSITARIAS EN ARGENTINA?

Captulo: La evaluacin externa de carreras universitarias. La experiencia en Argentina

La CONEAU presenta elementos del modelo mixto ya que combina por un lado, la autoevaluacin institucional, a cargo de las universidades y, por el otro, la evaluacin externa a cargo del gobierno. Con respecto a los alcances y lmites del modelo se detect falta de formacin, y participacin de las personas. Ms an: faltan datos claves, pero que escapan a la presente exposicin. Busca ser un modelo de asesoramiento y apoyo para la puesta en marcha de los procesos de evaluacin de cada universidad. El primer gran desafo que tuvo que afrontar la CONEAU fue el de construir y legitimar su lugar como agencia evaluadora y acreditadora, en un medio universitario que al principio no recibi con beneplcito, su creacin. Otro gran desafo para la Comisin ha sido y lo sigue siendo, disear y aplicar herramientas tcnicas que sean justas y objetivas, es decir que reduzcan las las subjetividades En Argentina, los procedimientos y las pautas para la acreditacin de las carreras por parte de la CONAEU estn normados. El marco regulatorio establece que los procesos de acreditacin de grado comprenden tres fases: 1) Autoevaluacin de las instituciones, 2) Evaluacin externa a travs de la actuacin de los comits de pares y 3) Decisin final con recomendaciones por parte de la CONEAU La autoevaluacin se realiza durante un perodo de hasta cuatro meses de acuerdo con las caractersticas de cada universidad. El producto de esta etapa es un informe que incluye una descripcin general de la organizacin institucional, su historia, estructura, visin y misin y un anlisis de las condiciones de los acadmicos y alumnos, y la situacin en que se desarrollan las carreras y sus resultados. En algunos casos incluye la formulacin de planes de mejoramiento mediante los cuales la universidad explicita como alcanzar los requisitos de calidad previstos por los estndares. La evaluacin externa se lleva adelante mediante la intervencin de un comit de pares evaluadores, externos a las instituciones. En esta fase los pares analizan el informe de autoevaluacin y visitan las sedes de las carreras controlando tems acordados (tales como estado de la biblioteca, y condiciones generales de los materiales de trabajo para los acadmicos y alumnos). Luego elaboran un dictamen que contiene un juicio evaluativo seguido por recomendaciones. Los comits de pares pueden recomendar tanto la acreditacin por el perodo que corresponda, como la no acreditacin de la carrera. Finalmente, la tercera fase corresponde a la decisin de la CONEAU. Los resultados posibles para una acreditacin son los siguientes: 1. La acreditacin por un perodo de seis aos, para aquellas carreras que cumplan con el perfil previsto por los estndares. 2. La acreditacin por un perodo de tres aos para aquellas carreras que renan el perfil previsto, pero no tengan un ciclo completo de dictado, y por lo tanto carezcan de egresados.

Los procedimientos de acreditacin en el marco de la convocatoria CONEAU, son los siguientes: 1. Autoevaluacin. 2. Visita de evaluadores externos para verificar la parte edilicia, laboratorios, biblioteca, equipamiento informtico, redes, sistemas informticos. 3. Presentacin de informe de Autoevaluacin en base a estndares y gua de Autoevaluacin de las carreras. 4. Actuacin de los Comits de Pares. Visita a la facultad de evaluadores externos designados por CONEAU: Uno por cada carrera que acredita. Uno para ciencias bsicas. Y un tcnico coordinador. 5. Evaluacin de los pares, observaciones al informe de autoevaluacin, y establecimiento de nuevos requerimientos y recomendaciones. 6. Proceso de toma de decisiones por parte de la CONEAU.

Captulo: La evaluacin externa de carreras universitarias. La experiencia en Argentina

TERCER EJE: QU NOS DICEN LOS INFORMES Y LAS INVESTIGACIONES SOBRE LA EVALUACIN DE CARRERAS EN LAS UNIVERSIDADES ARGENTINAS? A lo largo de su existencia y a partir de la sancin de la Resolucin Ministerial 1168/97 la CONEAU realiz varias rondas de acreditacin de posgrados. En una primera etapa y apelando al grado de generalidad de la norma, los procesos de acreditacin se implementaron a travs del funcionamiento de comits de pares, reunidos por disciplinas y subdisciplinas que deban producir las adaptaciones necesarias de los criterios generales a las especificidades propias de cada rea. Las sucesivas convocatorias fueron introduciendo diferentes modificaciones, tanto de tipo instrumental (guas y manuales para la solicitud y para la evaluacin de las carreras) ,como de tipo conceptual a travs del desarrollo de criterios comunes de trabajo en las diferentes reas disciplinarias (documentos de apoyo de las Comisiones Asesoras en las reas de Ciencias Bsicas, Ciencias Sociales, Ciencias Humanas, Ciencias Aplicadas y Ciencias de la Salud, con sus respectivas subcomisiones). La experiencia desarrollada permite sealar distintos problemas surgidos de la implementacin de los procesos: a) ponderacin: Problemas vinculados con la definicin de variables, indicadores y su

b)

Problemas derivados de la actuacin de los evaluadores:

La metodologa de evaluacin por pares disciplinarios ha sido suficientemente analizada y la abundante literatura sobre el tema, seala claramente los problemas inherentes a su utilizacin. Se han dado en la experiencia concreta comits de pares que han actuado reflejando en sus juicios una orientacin terica determinada en forma excluyente, intereses acadmicos y/o institucionales particulares, y tambin simples arbitrariedades, sesgos, juicios evaluativos sin adecuada fundamentacin. Se trata de corregir dichos problemas a travs del perfeccionamiento de los mecanismos tcnicos y la garanta de transparencia de los procedimientos de la agencia evaluadora. c) Problemas relativos a los criterios e indicadores de calidad propios de cada disciplina o grupo de disciplinas: En aquellas reas disciplinarias tales como las ciencias bsicas y biomdicas, en las que el sistema de posgrados est consolidado en formas que han adquirido estabilidad y prestigio, no existen mayores divergencias en los distintos comits de pares en cuanto a los criterios especficos y el uso de indicadores. En cambio, en reas como las ciencias sociales se han observado notorias diferencias de aplicacin de criterios e indicadores, ente un comit a otro, an dentro de un mismo campo disciplinario. El Taller para el Intercambio Crtico de Experiencias de Evaluacin de Posgrados en el Mercosur llevado a cabo en Julio de 2000, seal: Considerar al proceso evaluativo como un mecanismo para el mejoramiento de la calidad de los posgrados, y no como un mecanismo de exclusin institucional o personal. Es importante sealar que existe un trabajo realizado por Alejandra Brito en el que se llega a conclusiones similares. Resulta pertinente, por lo tanto transcribir dichas conclusiones:

Captulo: La evaluacin externa de carreras universitarias. La experiencia en Argentina

La definicin tcnica de las dimensiones y variables de evaluacin (ms all que escasea la definicin de indicadores), es un tanto despareja y repetitiva. Asimismo, en la normativa no se enunci la ponderacin factible de aplicar a las dimensiones de acuerdo con el perfil de especialidad, maestra y doctorado. Por ejemplo, tiene el mismo peso la actividad cientfica y tecnolgica a la hora de evaluar una especializacin, una maestra o un doctorado? Es esta ponderacin diferente segn la disciplina o la especialidad?

Del anlisis de los Informes de Evaluacin de Carreras de Doctorado en distintas disciplinas, y sobre la base de perfiles y estndares aprobados en Argentina, comparndolos respectivamente con resoluciones de acreditacin de carreras (similares al rea o disciplina) se observan distintos criterios de evaluacin con diversas interpretaciones, que los integrantes de los Comits de Pares han dado a la Resolucin MCE 1168/97, de las cuales, por su generalidad, cabe la posibilidad de tales disentimientos. En los casos estudiados, del informe de evaluacin con recomendacin de no acreditacin, se observa que se desmerece indiscriminadamente la totalidad de una carrera, haciendo hincapi en las imperfecciones halladas, y esgrimindolas como falencias irremediables, que le impediran acceder a la misma al nivel pretendido. En varios informes se observa que varan segn los pares evaluadores. As se encuentra que los informes de la universidad Nacional de Comahue acompaan sus apreciaciones con elogiosas sobre lo que consideran fortalezas del proyecto. No sucede lo mismo con los pares de la Universidad Nacional de Tucumn que se limitan a informar. Continuemos. Es importante el rol del evaluador ya que debe ajustar su funcin y desempeo a la legislacin vigente. Es decir que el par evaluador debera ajustarse a criterios preestablecidos y no a parmetros personales. No existe un mecanismo de evaluacin de evaluadores, ni tampoco hay un sistema de formacin sistemtica de evaluadores, sino que son los integrantes del equipo tcnico de la CONEAU los que garantizan que una evaluacin se realice de acuerdo a parmetros legales vigentes y adems, con calidad. Con respecto a las caractersticas del cuerpo docente, se analizaron 485 carreras, en donde todas las reas tienen docentes en todas sus carreras, con ttulo de grado y de posgrado. En todos los casos la cantidad de docentes con posgrado, supera a los que no lo tienen; la diferencia radica en la proporcin entre las distintas reas. Otro aspecto que se ha elegido para caracterizar a la planta docente es la experiencia en la direccin de tesis. En trminos generales, menos de la mitad de los docentes (que se desempean en las 485 carreras de especializacin, maestra y doctorado), no tienen experiencia en direccin de tesis de maestra y/o de doctorado. De los que s la tienen, hay una proporcin que vara entre el 8% y el 17% (segn el rea) que recin se inicia en las actividades. Esto podra indicar que esa proporcin de docentes se estara incorporando como tal, dada su reciente graduacin pero, de todos modos, cabe indagar si en realidad no se estara produciendo, en algunas disciplinas, una subutilizacin de los docentes con capacidad de dirigir tesis por la escasa cantidad de alumnos. Importa tambin destacar que en la oferta de ttulos o carreras o programas hay una llamativa repeticin o superposicin de los mismos, es decir, aquellas que se dan en ms de una universidad. Para ilustrar este hecho se puede sealar que: la carrera de Administracin se dicta en 43 universidades de gestin privada y en 34 de gestin estatal; y la de Abogaca se dicta en 46 de gestin privada y en 26 de gestin estatal; (CINDA, 2007). Los datos sobre la relacin productividad/egresos, (particularmente en maestras y doctorados), son preocupantes. En algunas resoluciones de la CONEAU aparecen comentarios de los evaluadores en relacin a la productividad de algunas maestras y doctorados en funcionamiento. Sin embargo, no parece constituir una cuestin de peso en las acreditaciones. Tal vez solicitarle a las universidades que publiquen las listas de tesis defendidas, sera una interesante manera de conocer la productividad de las carreras de este nivel. Algunas universidades las publican. Otras muchas, no.

CUARTO EJE: CUL ES EL IMPACTO DE LAS POLTICAS Y PROCESOS DE EVALUACIN Y ACREDITACIN DE CARRERAS UNIVERSITARIAS EN ARGENTINA?

Captulo: La evaluacin externa de carreras universitarias. La experiencia en Argentina

La evaluacin de la calidad universitaria como objeto de estudio tiene un desarrollo relativamente reciente en el pas. Se estn desarrollando proyectos de investigacin que intentan medir, de diversas maneras, el impacto de las evaluaciones institucionales y los efectos derivados de la acreditacin de carreras de grado y posgrado. Entre ellos, destacamos tres tesis de Maestras avanzadas-, pertenecientes a la Escuela de Educacin de la Universidad de San Andrs: a) Acreditacin de las carreras de Medicina: formalismo o mejora institucional, de M. Soledad Campos. b) Impacto de las polticas de evaluacin en universidades nacionales argentinas, de Cecilia Vzquez c) Procesos de evaluacin institucional en la Educacin Superior en Argentina. Una mirada desde la Gestin Privada. Estudio de caso, perteneciente a M. Genoveva Mujica Cabe, de todas maneras, hacer una referencia al impacto de esta poltica. Este aspecto ha sido poco estudiado si bien el Ministerio de Educacin Ciencia y Tecnologa realiz un estudio con motivo de la finalizacin del programa PRES. Entre los hallazgos de este estudio se pueden mencionar los siguientes puntos sobresalientes: - dada la masiva cobertura de los procesos de acreditacin, se concluye que la acreditacin es aceptada por las instituciones y utilizada como indicador de la calidad frente a la sociedad - se ha logrado establecer un piso mnimo de calidad que vara de acuerdo al rea y a la disciplina - los resultados son utilizados por los organismos directamente vinculados con la actividad de ciencia y tcnica, como es el caso del CONICET que otorga becas a alumnos que cursen doctorados acreditados De todas maneras, la instrumentacin de los procesos de acreditacin fue conflictiva. Por lo tanto la agencia tuvo que recurrir, en varias ocasiones, a la elaboracin de documentos de apoyo y a la modificacin de manuales y guas. Tambin se hallaron otros estudios que reflejan el impacto de estos procesos. Los ms destacados son el Estudio sobre algunos resultados de la labor de la Comisin Nacional de evaluacin y Acreditacin Universitaria Argentina (CONEAU) de Ernesto Aldo Isuani (2003); Evaluacin integral de procesos en la acreditacin de grado de Victoria Guerrini, Carlos Prez Rasetti y Cynthia Jeppesen (2002); Contribuciones para una anlisis de impacto del sistema de evaluacin y acreditacin documento de CONEAU (octubre de 2002). Los trabajos arriba mencionados indagan sobre lo que sucede en las instituciones, (entre sus actores, culturas, programas), como consecuencia de la implementacin de la poltica de evaluacin y acreditacin universitaria argentina plasmada en la Ley de Educacin Superior 24.521 y ejecutada a partir de la creacin de la CONEAU, desde mediados de los noventa. En todos los casos prevalece un diseo metodolgico cualitativo utilizando tcnicas de anlisis documental y entrevistas con actores claves

Captulo: La evaluacin externa de carreras universitarias. La experiencia en Argentina

Captulo: La evaluacin externa de carreras universitarias. La experiencia en Argentina