Boletn N8, Noviembre 2008

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

NOTICIAS BREVES
CONTENIDOS DE ESTE NMERO Evaluacin en el Mundo: LOS MAPAS DE PROGRESO: UNA NUEVA HERRAMIENTA PARA ACOMPAAR LOS APRENDIZAJES Sistemas Nacionales de Evaluacin en Amrica Latina: EL ESTADO DE SAN PABLO EN BRASIL debates: EL INFORME McKINSEY Libros: LA EVALUACIN EN EL AULA
4Los das 6 y 7 de noviembre se reuni en la ciudad de Cusco, en Per, el Comit Gestor del

Grupo de Trabajo sobre Estndares y Evaluacin de PREAL. Participaron en este encuentro Patricia Arregui, Mariana Aylwin, Felipe Martnez Rizo, Pedro Ravela, Gilbert Valverde, Laurence Wolff y Richard Wolfe. Durante la reunin se revisaron las actividades realizadas por el Grupo en los ltimos dos aos y se esbozaron las lneas de trabajo para el prximo bienio.
4Patricia Arregui,

Felipe Martnez Rizo, Pedro Ravela y Gilbert Valverde, miembros del Comit Gestor del GTEE, participaron en una Mesa Redonda en el marco del Primer Seminario Nacional de la Sociedad de Investigacin Educativa Peruana (SIEP), que se realiz en la ciudad de Arequipa los das 10 y 11 de noviembre. Aprovechando la visita a la ciudad, mantuvieron una reunin de trabajo sobre temas de evaluacin y polticas educativas con las ms altas autoridades del Gobierno Regional. das 22, 23 y 24 de octubre se realiz en Santiago de Chile la XXIII Reunin de Coordinadores Nacionales del LLECE. Durante la reunin se analizaron los prximos reportes del SERCE y se anunci que a partir del 15 de diciembre estar disponible la base de datos del Estudio. Se iniciaron tambin las conversaciones sobre la realizacin de un Tercer Estudio, que tendra lugar en 2011, con pruebas comparables a las del SERCE.

4Los

4La Direccin de Investigacin y Evaluacin de la ANEP (Uruguay) public en la web el

Informe Nacional PISA 2006, al tiempo que inici una nueva serie de boletines sobre PISA en Uruguay. El Informe Nacional puede descargarse de la siguiente direccin: http://www.anep.edu.uy/sitio/anep.php?identificador=214 Los boletines pueden descargarse de la siguiente direccin: http://www.anep.edu.uy/sitio/anep.php?identificador=262
4Est

"El Programa de Promocin de la Reforma Educativa en Amrica Latina y el Caribe - PREAL es un proyecto conjunto del Dilogo Interamericano, con sede en Washington, y la Corporacin de Investigaciones para el Desarrollo, con sede en Santiago de Chile. Su objetivo central es contribuir a mejorar la calidad y equidad de la educacin en la regin mediante la promocin de debates informados sobre temas de poltica educacional y reforma educativa, la identificacin y difusin de buenas prcticas y la evaluacin y monitoreo del progreso educativo. Sus actividades se realizan a travs de Centros Asociados de Investigacin y Polticas Pblicas en diversos pases de la regin y comprenden la realizacin de estudios, la organizacin de debates y la promocin de dilogos pblicos sobre temas de poltica educacional y reforma educativa. El Grupo de Trabajo sobre Estndares y Evaluacin del PREAL fue creado con el propsito de informar, legitimar y utilizar espacios de la labor de medicin de resultados del aprendizaje y promover un debate informado sobre el tema de la formulacin de estndares. Se coordina desde el Grupo de Anlisis para el Desarrollo -- GRADE -- de Lima, Per, y cuenta con una amplia red de participantes con los que se vincula a travs de un sitio virtual desde el cul tambin divulgan los resultados de estudios realizados en el marco de sus actividades y promueven foros y debates sobre su contenido. Ver: http://www.preal.org/Grupo2.asp?Id_Grupo=3 Las actividades del PREAL son posibles gracias al apoyo de la United States Agency for International Development (USAID), el Banco Interamericano de Desarrollo (BID), la International Association for the Evaluation of Educational Achievement (IEA), GE Foundation, The Tinker Foundation, entre otros.

disponible en Internet la Memoria del Encuentro Nacional de Calidad Educativa realizado en Guatemala entre el 27 y el 29 de agosto. En la siguiente direccin se pueden encontrar las presentaciones realizadas en el evento: http://www.encuentrocalidadeducativa.org/memorias.php

4El

Instituto Nacional para la Evaluacin de la Educacin de Mxico (INEE) acaba de publicar su Informe Anual 2008 titulado Avanza o retrocede la calidad educativa? Tendencias y perspectivas de la educacin bsica en Mxico. Se puede acceder al mismo en la siguiente direccin: Http://www.inee.edu.mx/images/stories/documentos_pdf/Publicaciones/Libros_I nformes/Informe2008/informeanual2008.pdf

EVALUACIN EN EL MUNDO

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

UNA NUEVA HERRAMIENTA PARA ACOMPAAR LOS APRENDIZAJES: LOS MAPAS DE PROGRESO
La utilizacin de mapas de progreso surge en los aos 90 en Inglaterra y en Australia, como respuesta a la preocupacin de los docentes en relacin a la diversidad de los estudiantes, sus diferentes ritmos y estilos de aprendizaje y sus diferencias culturales y sociales. La idea de progreso de los estudiantes y la necesidad de reducir la brecha entre alumnos de altos y bajos rendimientos deberan ser preocupaciones centrales de los docentes. Los mapas de progreso, denominados as porque sealan la ruta por la que se espera avance el aprendizaje de los estudiantes a lo largo de su trayectoria escolar dentro de una misma competencia o dominio, tienen la capacidad de ayudar a describir y a interpretar los distintos niveles de logro por los que van pasando los estudiantes.

La esencia de un sistema referenciado por mapas de progreso es su capacidad para interpretar el desempeo de los alumnos en trminos de una jerarqua de conocimientos, habilidades y comprensin, que tpicamente o normalmente demuestran los estudiantes en diferentes niveles de logro Los estndares de contenidos, organizados en forma de mapas de progreso, ofrecen un marco para responder preguntas tales como: Cul es el nivel actual de logros de ese alumno? y qu tipos de habilidades y comprensin se asocian normalmente con dicho nivel? Sin embargo, no responden preguntas acerca de cun adecuados son los logros del alumno: es suficientemente bueno este nivel de logros? Qu debieran poder lograr los alumnos de esa edad o nivel escolar? Para responder estas preguntas se necesita fijar expectativas de desempeo o 'benchmarks' en lugares especficos del mapa de progreso .

Margaret Forster ejemplifica los conceptos de mapa de progreso y estndar de desempeo a travs de las figuras 1 (mapa de progreso que describe y ejemplifica el creciente control del estudiante sobre las estructuras lingsticas y particulares de la escritura) y 2 (estndar de desempeo o benchmark que define lo que se espera de los estudiantes en escritura al cabo del tercer ao de educacin bsica) (ver pgina siguiente). En este punto resulta conveniente realizar una advertencia de carcter ideolgico: es previsible que muchos educadores interpreten esta herramienta como un nuevo intento por uniformizar los procesos de aprendizaje de los estudiantes y como un desconocimiento a la diversidad individual y cultural e, incluso, como una limitante a la autonoma del docente. Sin duda este es un riesgo real del instrumento. Toda herramienta puede ser bien o mal utilizada y sta no escapa a esta regla, pero esto no invalida la herramienta. Bien utilizada, la herramienta permite establecer un marco de referencia orientador para docentes, estudiantes y familias, de modo de que la diversidad de estilos de aprendizaje y de enfoques de enseanza no lleve a perder de vista el rumbo definido por el currculo nacional y no termine en rebajar expectativas y en una peor educacin para los ms pobres y por lo tanto en una mayor desigualdad. Los mapas de progreso no establecen un itinerario pedaggico acerca de cmo se debe ensear, sino fijan puntos de referencia en el camino a los que se puede llegar de diversas maneras. Buscan asegurar que todos lleguen. Un mapa de progreso, al igual que una evaluacin estandarizada, es una herramienta razonable en el marco de sistemas educativos que asumen el papel rector del Estado en el aseguramiento del derecho a la educacin y que, para ello, cuentan con un currculo nacional. Resulta comprensible que quienes defienden a ultranza la libertad de eleccin de los padres y la no intervencin del Estado en la educacin puedan oponerse tanto al currculo nacional como a este tipo de herramientas. Lo que resulta contradictorio, en cambio, es que muchos educadores que defienden un papel rector del Estado y un currculo nacional, se opongan luego a instrumentos que tienen por finalidad llevar esos principios a la prctica.

Margaret Forster. Australian Council for Educational Research. 9 Conferencia Internacional UKFIET sobre Educacin y Desarrollo 11 a 13 de septiembre del 2007.

EVALUACIN EN EL MUNDO

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

Escritura (estructuras y particularidades lingsticas)

5 Controla las estructuras y particularidades lingsticas necesarias para comunicar claramente ideas e informacin en textos escritos de cierta longitud y complejidad. (Ejemplos: usa encabezamientos y subttulos adecuados en textos informativos fundamentados, tales como proyectos o tareas; usa prrafos para indicar una secuencia de ideas en textos informativos y narrativos; controla secuencias de causas y efectos en narrativas para que el lector tenga plena claridad acerca de qu es lo que est pasando y por que; controla los tempos verbales y la concordancia sujeto-verbo y sustantivo-pronombre) 4 Controla las estructuras y particularidades lingsticas mas distintivas de tipos bsicos de texto, tales como historias, procedimientos, informes y argumentos. (Ejemplos: adopta convenciones organizacionales cuando se le proporciona un formato estructurado para escribir un tipo especfico de texto; reconoce divisiones significativas entre secciones de texto y los organiza en forma de prrafos; utiliza un rango de conjunciones para indicar relaciones entre ideas en la escritura; emplea la puntuacin ms comun en fomra consistente)

3 Controla la mayora de las particularidades bsicas del lenguaje escrito y experiemnte con algunas particularidades organizacionales y lingsticas de diferentes tipos de texto. (Ejemplos: controla la estructura bsica de la frase e intenta variar el inicio de la frase y las estructuras de las clusulas; deletrea correctamente muchas palabras comunes en su propia escritura; en la mayora de las ocasiones escribe en forma legible; utiliza ciertas convenciones de esquema; utiliza un orden de tiempo para organizar la escritura de recuentos e historias; emplea tiempos verbales correctos para el tipo de texto; escribe con un inicio, desarrollo y fin claramente discernible 1 Emplea algunas estructuras y particularidades lingsticas bsicas del lenguaje escrito para que la escritura pueda ser fcilmente interpretada por los dems. (Ejemplo: siempre escribe de arriba hacia abajo, de izquierda a derecha y deja un espacio entre palabras; normalmente utiliza un orden correcto de palabras en las frases; vincula las ideas en la escritura empleando pronombres para referirse a los sustantivos anteriores, enlaza ideas usando y, luego, y a veces porque o pero; utiliza correctamente algunos marcadores de puntuacin, tales como maysculas al inicio de los nombres; deletrea correctamente algunas palabras comunes; forma correctamente la mayora de las letras del alfabeto).

Figura 1 Ejemplo de mapa de progreso

Benchmark de Escritura de 3er Ao Bsico (Australia) Lo alumnos producen trabajos escritos sencillos, lgicos para el lector, que demuestran una comprensin bsica de la tarea de escritura. Los trabajos escritos contienen algunas ideas relacionadas a la tarea y al tema. Normalmente las ideas se expresan brevemente. Los trabajos escritos evidencian alguna organizacin del tema en cuestin (es decir, un inicio, desarrollo y fin sencillo en una historia). Sin embargo, tambin pueden incluir detalles irrelevantes o ideas inadecuadamente relacionadas en el trabajo escrito. En estos trabajos escritos, los alumnos usan: Frases sencillas y algunas frases ms largas empleando palabras de enlace tales como y, pero, entonces, porque Frases y palabras que entregan informacin acerca del lugar y la hora de los eventos (es decir, en el porque, en la tapa, el lunes, hoy), y los medios con los que se hace algo (es decir, en bus, con una cuchara) Palabras apropiadas al tema, incluyendo algunas palabras especficas del tema Maysculas y puntos usados correctamente en la mayora de los casos

Figura 2 Ejemplo de estndar de desempeo 3

EVALUACIN EN EL MUNDO

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

En Chile, el Sistema Nacional de Medicin de Resultados de Aprendizaje SIMCE introdujo Mapas de Progreso en la devolucin de resultados en el ao 2007. Un aporte sustantivo de estos mapas es que permiten vincular los resultados de la evaluacin externa nacional con los correspondientes a las evaluaciones implementadas por las propias escuelas. A travs de este referente comn, los centros educativos pueden visualizar de qu manera los logros de sus estudiantes, observados por los profesores con sus propios instrumentos y referidos a los niveles descritos por los Mapas de Progreso, se relacionan con los logros reportados por el SIMCE. Los mapas de progreso elaborados por el SIMCE tienen 7 niveles, correspondientes a la trayectoria de los estudiantes desde primero ao de educacin bsica hasta cuarto ao de educacin media (12 grado), en cada uno de los principales dominios de aprendizaje. Cada nivel se relaciona con las expectativas de desempeo de los estudiantes al cabo de perodos de dos aos de escolaridad. Por ejemplo, el nivel 1 corresponde al logro que se espera que alcance la mayora de los nios al trmino del 2 ao de enseanza bsica; el nivel 3 corresponde al final de los grados quinto y sexto grado; y as sucesivamente. El nivel 6 corresponde a tercero y cuarto grados de educacin media. Define el nivel de logro con que deberan egresar los jvenes de la enseanza media. El nivel 7 define los logros que pueden alcanzar los estudiantes ms avanzados. La forma en que estn descritos los aprendizajes del Mapa y su progresin es en trminos de competencias, entendidas como la capacidad de movilizar conocimientos, habilidades y actitudes en contextos determinados. Los Mapas no buscan observar conocimientos puntuales, aislados unos de otros, sino conocimientos puestos en accin y, por ende, articulados Se trata de competencias clave, aquellas que estn a la base de muchos desempeos. Para observar el crecimiento del aprendizaje se hace necesario identificar dominios o competencias clave de aprendizaje, cada uno de los cuales constituye un Mapa. stos, entonces, describen la progresin de los aprendizajes de cada una de las competencias clave de un subsector. Por ejemplo, en Lenguaje y Comunicacin se ha definido que las competencias clave son Lectura, Produccin de textos escritos y Comunicacin oral; en Matemtica, las competencias clave son Nmeros y Operaciones, Datos y Azar, lgebra y Geometra. Para cada una de estas competencias se describe un Mapa de Progreso . A modo ilustrativo, en la pgina siguiente se presenta el Mapa de Progreso de Lectura, una de las tres competencias centrales definidas para el sector de Lenguaje y Comunicacin, que describe la progresin de la competencia considerando tres dimensiones: a. Tipo de textos que se leen. En esta dimensin el progreso est dado por la capacidad de leer una variedad cada vez mayor de textos literarios y no literarios de creciente extensin, complejidad, variedad de propsitos, estructuras y modalidades discursivas. Se espera, por ejemplo, que los nios y nias de 1 bsico comiencen leyendo textos breves y simples sobre temas que les son familiares, y terminen su enseanza media siendo capaces de leer textos de temas diversos y estructuras textuales complejas. b. Construccin de significado. Esta dimensin se refiere a la capacidad de construir el significado de los textos a travs del uso de diversas estrategias que se orientan a lograr una comprensin cada vez ms profunda y detallada de los mismos. Incluye las siguientes habilidades: hExtraer informacin explcita literal o parafraseada. hRealizar inferencias sobre aspectos formales o de contenido, estableciendo relaciones entre informacin explcita y/o implcita. hInterpretar el sentido de diferentes partes del texto y de su globalidad. c. Reflexin y evaluacin de textos. La tercera dimensin se refiere a la reflexin que los estudiantes son capaces de hacer sobre los textos y a la apreciacin y evaluacin de los mismos en sus aspectos formales, de contenido y contextuales, a partir de sus propias ideas, sus experiencias, conocimientos previos y la utilizacin de diversas fuentes.

2 3

Nuestros Temas N 28 | Trabajando con los Mapas de Progreso. Material de apoyo para Profesores y profesoras. Ministerio de Educacin de Chile. Mapas de Progreso del Aprendizaje. Sector Lenguaje y Comunicacin. Unidad de Curriculum, UCE, Ministerio de Educacin Chile. Marzo 2007.

EVALUACIN EN EL MUNDO

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

EVALUACIN EN EL MUNDO

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

Como se puede apreciar, el mapa tiene la virtud de describir un proceso que se desarrolla a lo largo de toda la escolaridad, de modo que puede servir como herramienta de articulacin del trabajo en los diferentes grados por parte de diferentes docentes. Asimismo, los Mapas de Progreso constituyen una herramienta que facilita la comunicacin con las familias acerca de los procesos de aprendizaje de sus hijos. Sirven tambin para otorgar un significado sustantivo a las calificaciones que asignan los docentes a sus estudiantes. La Unidad de Curriculum del Ministerio de Educacin de Chile ha elaborado Mapas de Progreso para Lectura, Matemtica, Ciencias Naturales, Historia y Ciencias Sociales e Ingls. Cada uno de estos documentos incluye: a. La explicacin de la competencia caracterstica del nivel, presentando de modo conciso la respuesta a la pregunta qu saben, comprenden y son capaces de hacer los estudiantes en esta etapa de su aprendizaje dentro de su trayectoria escolar? b. Ejemplos de desempeo, o diversas manifestaciones de actividades que son capaces de realizar los alumnos cuando han alcanzado cada nivel especfico en la evolucin de su aprendizaje, lo que puede orientar al profesorado, a los alumnos y a los padres en la observacin y reconocimiento del logro. c. Ejemplos de trabajos de alumnos reales frente a tareas especficas. Estos ejemplos ofrecen orientaciones respecto a cmo observar y juzgar el nivel de aprendizaje descrito en el enunciado.

Estos mapas se pueden consultar en: Http://www.curriculum-mineduc.cl/curriculum/mapas-de-progreso/educacion-basica-y-media/ 6

SISTEMAS NACIONALES DE EVALUACIN EN AMRICA LATINA

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

SARESP Sistema de Evaluacin del Rendimiento Escolar del Estado de San Pablo
El sistema escolar del Estado de San Pablo, uno de los ms grandes de Amrica Latina, atiende a cinco millones de estudiantes con 250.000 profesores y 5.000 escuelas. Es un sistema educativo que, histricamente, ha tenido un pobre desempeo (los resultados de los estudiantes en pruebas estandarizadas estn muy por debajo de los niveles aceptables), con un alto ausentismo docente y un marco jurdico que no promueve la innovacin, la calidad ni la rendicin de cuentas. En los ltimos tiempos este Estado ha introducido un conjunto de reformas escolares que apuntan a elevar el nivel de educacin impartido y mejorar la calidad de las escuelas. Hoy San Pablo tiene uno de los ms sofisticados sistemas de evaluacin de alumnos de la regin. El Sistema de Evaluacin del Rendimiento Escolar del Estado de San Pablo (SARESP), aplica pruebas de Matemticas y Lengua Portuguesa (lectura y escritura) a todos los nios de 1, 2, 4, 6, 8 grado de Enseanza Fundamental y 3 grado de Enseanza Media. SARESP 2007 En el ciclo 2007 del SARESP, cuyas pruebas fueron aplicadas los das 28 y 29 de noviembre de dicho ao, se introdujeron importantes modificaciones en los procedimientos de aplicacin de las pruebas, en el tratamiento de los datos y en el uso de los resultados, con el objetivo de asegurar una mayor credibilidad de la evaluacin. Los principales cambios implementados en el sistema fueron: h La comparacin de los resultados del SARESP (en 4to y 8vo grados de la Educacin Fundamental y en 3er grado de Educacin Media) con los resultados del Sistema Nacional de Evaluacin (SAEB/ Prova Brasil). h La presentacin de los resultados del SARESP empleando la misma escala de puntajes y los mismos niveles de desempeo que el SAEB. h La participacin de los profesores de la Red Estadual en la aplicacin de las pruebas (en escuelas en las que no imparten enseanza). h La presencia de observadores externos a las escuelas para verificar la uniformidad en las condiciones de aplicacin. h La aplicacin de cuestionarios sobre la gestin escolar, con el fin de lograr una caracterizacin ms detallada de los factores asociados al desempeo escolar. h La utilizacin de los resultados de las pruebas como uno de los criterios a tener en cuenta por las escuelas en el momento de evaluar el logro de sus metas.

Tomado de la columna de Jeffrey Puryear en The Latin America Advisor.

SISTEMAS NACIONALES DE EVALUACIN EN AMRICA LATINA

LOS INSTRUMENTOS UTILIZADOS PRUEBAS

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

CUESTIONARIOS

MAYOR INVOLUCRAMIENTO Y PARTICIPACIN En la aplicacin 2007 se introdujeron importantes cambios en los procedimientos de aplicacin de los instrumentos. Con el objetivo de mejorar la credibilidad en el estudio, los aplicadores fueron los docentes de la propia Red Estadual (aplicando en escuelas distintas de aquella en la que desempeaban sus funciones). Los profesores aplicadores enseaban disciplinas que no formaban parte de la evaluacin (con excepcin de 2 grado de Enseanza Fundamental, en que los aplicadores fueron los profesores de la propia escuela, cambiando de aula). Para asegurar la homogeneidad en las condiciones de aplicacin, representantes de los padres de los alumnos, elegidos por los Consejos Escolares de cada establecimiento, actuaron como observadores externos en una muestra de escuelas. La participacin de los alumnos del turno diurno fue superior al 90%; en tanto en el nocturno, la participacin fue de alrededor del 70%. Adems, se destac el alto nivel de involucramiento de los profesores, de los directores y de los profesores-coordinadores de las escuelas.

Actores involucrados en el SARESP 2007

Para los alumnos de Educacin Media el cuestionario incluy preguntas sobre su futura insercin en el mundo del trabajo con el objetivo de verificar las posibles relaciones de esos factores con los aprendizajes y el rendimiento escolar de los estudiantes.

SISTEMAS NACIONALES DE EVALUACIN EN AMRICA LATINA

EQUIPARACIN CON LA ESCALA DE PUNTAJES DEL SAEB

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

Por primera vez los resultados del SARESP pudieron ser comparados con los resultados de las evaluaciones nacionales (SAEB 2005), tanto en Lengua Portuguesa como en Matemtica. La comparacin de puntuaciones promedio se puede apreciar en el grfico 1. Sin embargo, ms importante que las puntuaciones medias, es la distribucin de los estudiantes por niveles de desempeo. Los datos del SARESP 2007 adoptaron los mismos puntos de corte y niveles de desempeo que el SAEB, para poder realizar comparaciones, segn se puede apreciar en el grfico 2. Grfico 1: Medias de desempeo en Lengua Portuguesa

Grfico 2: Niveles de desempeo en Lengua Portuguesa

NIVELES DE DESEMPEO ESTADUALES Adems de la comparacin con los resultados del SAEB, se definieron niveles de desempeo propios, a partir de las expectativas de aprendizaje (contenidos, competencias y habilidades) establecidas para cada grado y disciplina en la Propuesta Curricular del Estado de San Pablo (ver grfico 3). De este modo, el SARESP permite, por un lado, apreciar la situacin relativa de San Pablo en el conjunto de Brasil y, simultneamente, tener una mirada ms detallada y profunda acerca de los logros en los contenidos y competencias definidas en el currculo estadual.
9

SISTEMAS NACIONALES DE EVALUACIN EN AMRICA LATINA

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

4 Avanzado: conocimiento y dominio de los contenidos, competencias y habilidades por encima de lo requerido para el grado escolar en que se encuentran. 4 Adecuado: dominio de los contenidos, competencias y habilidades deseables para el grado escolar en que se encuentran. 4 Bsico: dominio parcial de los contenidos, competencias y habilidades requeridos para el grado escolar en que se encuentran. 4 Debajo del bsico: dominio insuficiente de los contenidos, competencias y habilidades requeridos para el grado escolar en que se encuentran. Grfico 3: Distribucin de los alumnos en los niveles de desempeo - Matemtica

El resumen ejecutivo con los resultados del SARESP 2007 puede consultarse en: Http://saresp.edunet.sp.gov.br/2007/DivulgacaoDados/sumario.asp

AMPLIA Y MASIVA DIFUSIN DE LOS RESULTADOS Otro cambio importante en el SARESP 2007 fue la amplia difusin de los resultados. La evaluacin tuvo carcter censal, de modo que cada una de las escuelas del Estado recibi un informe que tiene como objetivo apoyar el trabajo pedaggico de los maestros, a partir del anlisis del desempeo de sus estudiantes. Los datos incluidos en estos informes permiten la comparacin de la escuela con el desempeo del conjunto de las escuelas del Estado y de su municipio, as como con el conjunto de las escuelas del pas. La informacin se presenta a travs de puntuaciones medias, porcentajes de alumnos en cada uno de los niveles de desempeo estaduales, as como en los correspondientes al SAEB. Toda la informacin se entrega diferenciada para cada grado y disciplina evaluados

10

SISTEMAS NACIONALES DE EVALUACIN EN AMRICA LATINA

Niveles de desempeo del Estado

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

Niveles de desempeo del SAEB

Los informes completos que reciben las escuelas se encuentran disponibles en los boletines que aparecen en: http://saresp.edunet.sp.gov.br/2007/DivulgacaoDados/consultapublica.asp

Informes a las familias de los estudiantes Finalmente, es importante destacar que todas las familias tambin reciben informes individuales de los resultados de sus hijos. La informacin por escuela est a disposicin del pblico a travs de Internet (en la direccin anterior se puede descargar el reporte de cualquier escuela individual, conociendo su nombre), si bien no se publican rankings explcitos de escuelas. Por otra parte, los resultados generales han sido ampliamente informados en la prensa.

11

DEBATES
EL INFORME McKINSEY:

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

POLTICAS EDUCATIVAS Y CONSTRUCCIN DE CONOCIMIENTO A PARTIR DE LA EVALUACIN

Uno de los estudios ms recientes y enriquecedores en el campo de la reflexin sobre las polticas educativas, es el denominado Informe McKinsey, resultado de un trabajo de investigacin realizado entre marzo de 2006 y mayo de 2007. El objetivo del estudio fue comprender cules han sido las claves de poltica educativa comunes a pases muy diferentes entre s como, por ejemplo, Finlandia, Singapur, Australia, Corea del Sur y Canad-, que tienen en comn el hecho de haber logrado resultados destacados y/o mejoras importantes en los estudios internacionales como PISA y TIMSS. El estudio est basado en la revisin de informes de investigacin, entrevistas en profundidad a ms de cien expertos y responsables de polticas educativas y visitas a escuelas en 25 pases. La principal virtud del Informe es que plantea, en forma lcida y contundente, un conjunto de claves de poltica educativa que, por un lado, tienen mucho sentido y, al mismo tiempo, ponen en cuestin algunas de las reformas que han sido impulsadas en las ltimas dos dcadas y que han tenido un impacto muy limitado. Segn el Informe McKinsey, tres principios clave estn en la base de las polticas educativas de los pases con buenos resultados en los estudios internacionales: 1. 2. 3. la calidad de un sistema educativo no puede ser superior a la calidad de sus docentes; el nico camino para mejorar los aprendizajes es mejorar la enseanza; un buen desempeo como pas requiere que todos los estudiantes aprendan.

El primer principio abre la puerta para el debate en torno a uno de los temas menos atendidos por las reformas educativas en nuestra regin: la calidad de los docentes. La idea es simple y debera ser obvia: no hay mejora posible de la calidad educativa sin una inversin sostenida para contar con un excelente elenco docente, inversin que necesariamente debe realizar y regular el Estado. Este aspecto ha sido sistemticamente defendido en las propuestas del GTEE, que siempre se ha opuesto al uso de los resultados de las evaluaciones para culpabilizar a los docentes o para establecer incentivos econmicos, sin realizar una inversin en la creacin de nuevas capacidades profesionales. En este sentido, el Informe McKinsey afirma: Si bien algunas reformas incrementaron los mecanismos de rendicin de cuentas o introdujeron incentivos basados en el desempeo para mejorar la motivacin, lo hicieron sin brindar a los docentes oportunidades para darse cuenta de sus debilidades o conocer mejores prcticas (Barber y Mourshed, 2007, p. 27). La puesta en prctica de este principio en los pases con buenos desempeos educativos implica: a. ofrecer buenos salarios iniciales, para hacer de la docencia una profesin atractiva; b. seleccionar los candidatos a la formacin docente entre los buenos egresados de la secundaria; c. ofrecer una formacin docente inicial exigente y prestigiosa, de excelente calidad; d. ofrecer a los docentes, a lo largo de toda su carrera profesional, mltiples oportunidades de formacin en servicio, con nfasis en la mejora de las prcticas de enseanza. El segundo principio pone el nfasis en el carcter prctico de la formacin docente, tanto la inicial como la que se ofrece en servicio. Seguramente este aspecto generar debate con muchos formadores de docentes, generalmente ms inclinados al nfasis en los discursos tericos sobre la educacin que al desarrollo de capacidades prcticas para la enseanza que suelen ser calificadas peyorativamente como recetas- .
Barber, M. y Mourshed, M. (2007); How the world's best-performing school systems come out on top. Londres: McKinsey & Company. Ha sido traducido al castellano y publicado por PREAL (2008); Cmo hicieron los sistemas educativos con mejor desempeo del mundo para alcanzar sus objetivos. Santiago de Chile: PREAL, Documento de trabajo N 41.
1

12

DEBATES

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

La puesta en prctica de este principio en los pases con buenos desempeos educativos implica: a. un nfasis en la construccin de habilidades prcticas para la enseanza desde la formacin inicial; b. la existencia en el sistema educativo de cuerpos de expertos que orientan y/o supervisan el desempeo de los docentes en las escuelas, modelan la enseanza y promueven el aprendizaje continuo; c. la preocupacin por la seleccin y desarrollo, a travs de procedimientos apropiados, de profesionales con capacidad de liderazgo para desempear las funciones indicadas en el tem anterior; d. la construccin de espacios de trabajo colectivo al interior de las escuelas, que forman parte del trabajo normal de los docentes, y que facilitan el intercambio de experiencias y el aprendizaje mutuo. ...algunos de los mejores sistemas han encontrado vas para hacer posible que los docentes aprendan unos de otros. En la mayora de las escuelas los docentes trabajan en forma aislada. En varios de los mejores sistemas educativos, especialmente en Japn y Finlandia, los docentes trabajan en forma conjunta, planifican sus clases juntos, se observan mutuamente en el aula y se ayudan a mejorar unos a otros. Estos sistemas crean una cultura en sus escuelas segn la cual la planificacin colectiva, la reflexin sobre la enseanza, y el acompaamiento entre pares constituyen la norma y una caracterstica constante en la vida escolar. Esto permite a los docentes aprender en forma continua (Barber y Mourshed, 2007, p. 28). El tercer principio pone en cuestin uno de los temas que no termina de ser adecuadamente resuelto en nuestra regin: el de la reprobacin. El estudio muestra que los pases con buenos resultados educativos no reprueban a sus alumnos, pero tampoco los promueven en forma automtica. Lo que hacen es definir altas expectativas de desempeo para todos los estudiantes, establecer mecanismos para identificar tempranamente a los estudiantes con dificultades para alcanzar dichas expectativas e instaurar procedimientos adecuados y sistemticos para ofrecerles enseanza adicional, de modo que no queden rezagados respecto a sus compaeros. Lo interesante del caso es que, si uno mira con detalle el panorama de Amrica Latina, estos tres principios caracterizan al sistema educativo cubano, que justamente logra resultados destacados en las pruebas regionales SERCE (vanse las ediciones Nos. 5 y 7 de este Boletn). Finalmente, el Informe McKinsey abre otro frente para el debate: el metodolgico. El Estudio se caracteriza, segn se indic al comienzo, por el trabajo con datos secundarios (otros informes de investigacin) y por una aproximacin predominantemente cualitativa (si bien incorpora datos cuantitativos seleccionados y, obviamente, toma como base para la seleccin de los pases, datos cuantitativos de las evaluaciones internacionales). Pero no se trata, en absoluto, de uno de los tpicos estudios de factores asociados a los que estamos acostumbrados en la regin, que suelen apoyarse en procesamientos estadsticos sofisticados y en la descripcin de los datos resultantes, y que terminan repitiendo ms o menos las mismas conclusiones (lo cual es consecuencia de que mediante cuestionarios autoadministrados slo es posible medir unas pocas variables relevantes). El Informe McKinsey, en cambio, apuesta a la reflexin y a la construccin de sentidos sobre las polticas educativas, a partir de un abordaje integral y apoyado en mltiples fuentes de informacin.

La versin original en ingls est disponible en: http://www.mckinsey.com/clientservice/socialsector/resources/pdf/Worlds_School_Systems_Final.pdf La traduccin al castellano de PREAL est disponible en: http://www.preal.org/Biblioteca.asp?Id_Carpeta=64&Camino=63|Preal Publicaciones/64|PREAL Documentos

13

LIBROS
LA EVALUACIN EN EL AULA

OBSERVATORIO REGIONAL DE POLTICAS DE EVALUACIN EDUCATIVA

Lorrie Shepard, Universidad de Boulder, Colorado Traduccin al castellano del captulo 17 del libro Educational Measurement, ACE/Praeger Westport, 2006, realizada con autorizacin de la editorial, por el Instituto Nacional para la Evaluacin de la Educacin (INEE) de Mxico. 51 pginas.
Disponible en: http://www.inee.edu.mx/index.php?option=com_content&task=blogcategory&id=342&Itemid=1024

Este texto, traducido y publicado como libro por el INEE, constituye un aporte a la reflexin acerca de la evaluacin en el aula y sus exigencias propias, distintas de aquellas que caracterizan a la evaluacin estandarizada. La intencin del INEE con esta publicacin ha sido, justamente, ofrecer elementos de reflexin apropiados para enriquecer los procesos de evaluacin que los docentes llevan a cabo en las aulas. Luego de una breve introduccin a la historia de la evaluacin de aprendizajes, la obra se estructura en dos captulos principales, uno referido a la evaluacin de carcter formativo y otro a la evaluacin con fines de calificacin. De acuerdo con la autora, la investigacin muestra que la evaluacin formativa, eficazmente implementada, puede hacer tanto o ms para mejorar la realizacin y los logros, que cualquiera de las intervenciones ms poderosas de la enseanza. Sin embargo, afirma la autora, la mayor parte de los docentes tiene un conocimiento limitado de estrategias de evaluacin formativa, y sigue pensando en la evaluacin como un proceso que sirve principalmente para calificar. Slo los docentes expertos muestran capacidad para utilizar la evaluacin formativa de manera adecuada. Un modelo de evaluacin formativa puede estructurarse en torno a tres preguntas principales: a) adnde te propones ir?; b) dnde ests ahora?; y, c) cmo puedes llegar all?. La evaluacin formativa no consiste, pues, simplemente en indicarle al estudiante si sus respuestas y tareas son correctas o incorrectas sino, ante todo, en clarificar adecuadamente las metas de aprendizaje, para luego ayudarle a ver por s mismo dnde se encuentra respecto de ellas y cmo puede avanzar. Establecer objetivos claros para el aprendizaje por parte del estudiante implica mucho ms que anunciar una finalidad de la enseanza para que los estudiantes la contemplen. Tambin requiere la elaboracin de criterios mediante los cuales ser juzgado el trabajo del estudiante... p.ej., cmo se evaluar la capacidad del estudiante para defender un argumento?. La explicitacin de metas de aprendizaje y de criterios de valoracin es una de las principales debilidades de la enseanza y la evaluacin en el aula. Los docentes deberamos planificar de adelante hacia atrs, es decir, deberamos comenzar por pensar en cmo vamos a evaluar el curso y cul ser la evidencia de que los estudiantes han comprendido lo que nos propusimos como aprendizaje. Recin entonces deberamos preguntarnos qu temas y actividades proponer a lo largo del curso. A lo largo del texto la autora describe y ejemplifica el uso de herramientas de evaluacin tales como los mapas de progreso y las rbricas. Destaca, adems, la importancia de promover la autoevaluacin del estudiante. Con respecto a la evaluacin para calificar, la autora advierte que el uso excesivo de calificaciones puede pervertir la finalidad formativa de la evaluacin, por lo que recomienda calificar de manera espordica. Las evaluaciones sumativa y formativa tienen finalidades diferentes. Una hace posible el aprendizaje y, la otra, ilustra la realizacin y los logros. En vista de los conocidos efectos negativos de la calificacin, una pregunta crucial sera la siguiente: cun a menudo deberamos recurrir a la evaluacin sumativa?... para conseguir que la evaluacin formativa sea realmente para el aprendizaje, tal vez los maestros necesiten posponer otorgar calificaciones o usarlas slo cuando el estudiante se auto-evale, y como calificaciones hipotticas que ayuden a los estudiantes a permanecer centrados en la retroalimentacin sustantiva... los maestros deben evitar interrumpir y juzgar como si ya estuviera terminado el aprendizaje que an est en marcha. Este Boletn ha sido elaborado por Pedro Ravela, Beatriz Picaroni y Graciela Loureiro del Insitituto de Evaluacin Educativa (Facultad de Ciencias Humanas, Universidad Catlica del Uruguay). El diseo grfico fue realizado por Mara Fernanda Argenti