Taller Reactivos DGEE

Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa
Departamento de Elaboracin de Instrumentos de Evaluacin Agosto 2008
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa
Presentacin La Direccin General de Evaluacin Educativa de la Secretara de Educacin Jalisco, cuenta entre sus tareas, con la de reforzar el trabajo del maestro fortaleciendo su capacidad para aprovechar los resultados de las evaluaciones, las que l mismo formule y las que se apliquen en gran escala, para retroalimentar su esfuerzo y para informar a los alumnos y sus padres, de manera entendible, sobre el nivel de aprendizaje que cada uno ha alcanzado y acerca de la forma de trabajar para mejorarlo. Estamos convencidos de que la evaluacin es una herramienta potencialmente valiosa para mejorar la educacin, sobre todo si se precisa el significado de los niveles de logro de los alumnos, representado por el nmero con el cual se les califica (evaluacin sumativa) y se realiza el seguimiento del proceso (evaluacin formativa), se tendr una idea ms clara acerca de los caminos ms adecuados para elevar la calidad educativa de nuestros alumnos. Es por esa razn que el Departamento de Elaboracin de instrumentos de Evaluacin elabora el presente documento para proporcionar herramientas terico metodolgicas para que a partir de los resultados que se obtengan de las evaluaciones con los alumnos de los planteles de educacin bsica, poder capacitar a un conjunto de profesionales de la educacin en la construccin de reactivos de opcin mltiple. Para contribuir en apoyo de los docentes, a lograr una cultura del mejoramiento de la Calidad Educativa, entendiendo sta como: aquella que se propone objetivos de aprendizaje relevantes, de competencias, de destrezas y de habilidades; y consigue que los alumnos los alcancen en los tiempos previstos. (SEP, 2005: 5).
Introduccin La bsqueda de una mejor educacin ha sido, desde tiempos inmemoriales, la expectativa central del avance de una sociedad; que se ha visto en ella la base de la formacin de los seres humanos, de su convivencia, cultura y de sus artes, as como del desarrollo de habilidades para insertarse al mundo laboral. La transformacin en la interaccin entre los pases, generada por intereses polticos y econmicos en la segunda mitad del siglo XX y las posibilidades de comunicacin e interaccin creadas por los avances tecnolgicos; han cuestionado el papel de los sistemas educativos, desde su objetivo fundamental: qu saberes (cognitivos, procedimentales o valorales) debemos formar en nuestros alumnos para que se desempeen exitosamente donde quiera que stos se desenvuelvan?, qu actitudes y competencias para que continen aprendiendo a lo largo de su vida? Los programas de la reforma curricular intentan responder a un nuevo perfil de egreso de los alumnos de la educacin bsica, reorganizando los saberes y sugiriendo formas de trabajo que fortalezcan la interaccin consciente y sistemtica entre los alumnos, as como el fortalecimiento de los procesos de reflexin acerca de lo que saben, cmo es que lo saben y en qu mbitos de realidad son aplicables dichos conocimientos. Con el reto de transformar las formas de enseanza, se cuestiona tambin a los procesos de evaluacin; se le exigen otros retos. La evaluacin se extiende a otros mbitos de actividad y ha de centrarse en la obtencin de evidencias de las competencias que el alumno ha logrado desarrollar. Los exmenes, como un recurso de la evaluacin, han evolucionado en desarrollo. Algunas pruebas internacionales y nacionales1 han dado a conocer reactivos que utilizan y puede verificarse al estudiarlos que, efectivamente enfocan a la valoracin de algunas competencias que debieran formarse en alumnos, durante el proceso educativo. su los se los
La reforma curricular nos impulsa a transformar nuestra forma de enseanza y paralelamente, a crecer en los procesos de la evaluacin. Los avances en la investigacin y en la evaluacin de los sistemas educativos, nos muestran tcnicas para elaboracin de instrumentos de evaluacin y ejemplos de buenas pruebas de las que podemos aprender, no slo aplicando sus reactivos como ejercicios; sino tambin analizando su estructura y su tcnica, para mejorar las propias prcticas en el aula de clase.
La prueba PISA (Programme for International Student Assessment) de la OCDE as como la prueba ENLACE de la SEP, son ejemplos de la evaluacin de competencias en pruebas objetivas.
II
Estte material, que se ha elaborado en seis secciones. En la primera se retoman algunos elementos del perfil de egreso de la educacin bsica y de las competencias para la vida, la segunda presenta algunos conceptos generales del sentido de la evaluacin en el proceso educativo, la tercera introduce al uso de las pruebas como instrumentos de evaluacin, la parte cuatro se centra en las normas para la estructuracin de los reactivos, la seccin cinco, retoma la taxonoma de Bloom como un recurso de apoyo para valorar la complejidad de los reactivos y algunos lineamientos para identificar su nivel de dificultad. La parte seis se describe una tabla para especificar los contenidos de la prueba que se planea.
Ofrecemos este material como un avance de los trabajos del Departamento de Elaboracin de Reactivos de la Secretara de Educacin Jalisco y esperamos que los docentes que lo consulten, tambin se transformen en orientadores de la evaluacin educativa, hacindonos llegar sus aportaciones a: roberto.krumm@jalisco.gob.mx o al telfono 3824-0920.
Roberto Krumm Guzmn Jefe del Departamento de Elaboracin de Instrumentos de Evaluacin
III
Presentacin Introduccin ndice Objetivo del curso-taller 1. Plan de estudios (reforma educativa). 1.1 Perfil de egreso de la educacin bsica. 1.2 Competencias para la vida. 2. La evaluacin: sus niveles, dimensiones e instrumentos. 2.1 Caractersticas de una buena evaluacin. 2.2 Propsitos de la evaluacin. 3. Las pruebas como instrumentos de evaluacin. 3.1 Pruebas estandarizadas y no estandarizadas. 3.2 Caractersticas de las pruebas. 3.3 Duracin de la prueba. 4. Elaboracin de reactivos. 4.1 Propsitos generales. 4.2 Estructura de los reactivos segn su tipo. 4.3 Ejemplo estructural de multirreactivos en base a comprensin lectora. 4.4 Ejemplo de reactivos estructuralmente a los de analogas 4.5 Ejemplo de reactivos estructuralmente a los de sinnimos y antnimos 4.6 Ejemplo de reactivos estructuralmente a los de com pletamiento. 4.7 Ejemplo de reactivos estructuralmente a los de cuestionamiento directo. 4.8 Ejemplo de reactivos estructuralmente a los de Jerarquizacin u ordenamiento. 4.9 Ejemplo de reactivos estructuralmente a los de relacin de columnas. 4.10 Reglas para el diseo de reactivos. 4.11 Recomendaciones para la seleccin de materiales. 5 Niveles de desarrollo cognitivo como base para clasificar el contenido del reactivo y su complejidad. 5.1 La Taxonoma de Bloom. 5.2 Procesos de pensamiento clasificados en la Taxonoma de Bloom 5.3 Procedimiento del Instituto de Evaluacin de Ingeniera Avanzada (IEIA) para clasificar a los tems en tres niveles de complejidad. 6. Especificaciones del contenido Qu debo incluir en la prueba? 6.1 Tabla de especificaciones Anexo Informacin General sobre PISA Bibliografa
I II IV V 1 1 1 4 4 5 7 7 7 9 10 10 12 13 15 15 16 16 17 17 18 20 21 21 22 26 27 28 29 53
Cuadros
1. 2. 3. 4. 5 1. 2.
ndice de cuadros e imgenes

2 3 5 11 25 10 21
Tabla de perfil de egreso de la educacin bsica. Tabla de competencias para la vida. Dimensiones de la evaluacin escolar. Ventajas y desventajas de diversos tipos de reactivos Resumen de contenidos por categora y un ejemplo de objetivo Imgenes Factores implicados en la elaboracin de reactivos Taxonoma de Bloom
IV
Objetivos del curso-taller

Los resultados del sistema educativo en Jalisco, visibles en los niveles de logro alcanzados en las pruebas de espaol y matemticas de Enlace y en la Olimpiada del conocimiento dan cuenta de la necesidad de fortalecer los procesos de actualizacin de los docentes en servicio; as como, de manera preventiva, profundizar la formacin en habilidades para el aprendizaje y la enseanza, de los nuevos docentes de todas las licenciaturas y especialidades, encaminadas a la atencin de la educacin bsica (preescolar ,primaria, secundaria, educacin especial y educacin fsica). Por esta razn se les solicita a los docentes su participacin para la construccin de reactivos en el diseo de un instrumento (prueba objetiva) de evaluacin que mida en especial los dos rasgos donde se requiere mayor fortalecimiento, en el nivel de logro del perfil de egreso siendo stas, las habilidades intelectuales especficas y las de competencias para la vida; as como tambin. Proporcionar a los asistentes elementos de carcter terico y metodolgico que faciliten la elaboracin de instrumentos de evaluacin, a partir de la planeacin de los contenidos, Conformar un banco de reactivos al interior de la institucin, para la integracin de pruebas objetivas, vlidas y confiables. Unificar criterios sobre la elaboracin de reactivos de opcin mltiple, susceptibles de ser utilizados en la construccin de pruebas estandarizadas en educacin bsica. Proporcionar informacin sobre el trabajo con los alumnos en base a las competencias, acorde con el nuevo plan de estudios para el nivel de secundarias.
1. PLAN DE ESTUDIOS (reforma educativa) Desde 1993 la educacin bsica fue declarada componente fundamental y etapa de cierre de la educacin obligatoria. Mediante ella la sociedad mexicana brinda a todos los habitantes de este pas oportunidades formales para adquirir y desarrollar los conocimientos, las habilidades, los valores y las competencias bsicas para seguir aprendiendo a lo largo de su vida; enfrentar los retos que impone una sociedad en permanente cambio, y desempearse de manera activa y responsable como miembros de su comunidad y ciudadanos de Mxico y del mundo. Durante ms de una dcada la educacin bsica se ha beneficiado de una reforma curricular que puso nfasis en el desarrollo de habilidades y competencias bsicas para seguir aprendiendo. 1.1 El perfil de egreso de la educacin bsica El perfil de egreso plantea un conjunto de rasgos que los estudiantes debern tener al trmino de la educacin bsica, para desenvolverse en un mundo en constante cambio. Dichos rasgos son resultado de una formacin que destaca la necesidad de fortalecer las competencias para la vida, que no slo incluyen aspectos cognitivos sino los relacionados con lo afectivo, lo social, la naturaleza y la vida democrtica, y su logro supone una tarea compartida entre los campos del conocimiento que integran el currculo a lo largo de la educacin bsica (Ver tablas adjuntas a este documento del perfil de egreso.
1.2 Competencias para la vida En todo el mundo cada vez son ms altos los niveles educativos requeridos a hombres y mujeres para participar en la sociedad y resolver problemas de carcter prctico. En este contexto es necesaria una educacin bsica integral (que involucre a todas las disciplinas educativas) que contribuya al desarrollo de competencias amplias para mejorar la manera de vivir y convivir en una sociedad cada vez ms compleja. Lograr esto implica plantear el desarrollo de competencias como propsito educativo central. Una competencia implica un saber hacer (habilidades) con un saber (conocimiento), as como la valoracin de las consecuencias del impacto de ese hacer (valores y actitudes). En otras palabras, la manifestacin de una competencia revela la puesta en juego de conocimientos, habilidades, actitudes y valores para el logro de propsitos en un contexto dado. (Ver tabla en pgina 3)
Cuadro 1. TABLA DEL PERFIL DE EGRESO DE LA EDUCACIN BSICA (Rasgos deseables del egresado de educacin bsica)
(COMPETENCIAS GLOBALES)
RASGO
DESCRIPCIN Que lo haga con claridad y fluidez, que sepa interactuar con distintos contextos sociales, que reconozca y aprecie la diversidad lingstica y cultural del pas. Que sepa identificar problemas, que formule preguntas y sepa proponer soluciones. Que sepa aprovechar los recursos tecnolgicos a su alcance para profundizar y ampliar sus aprendizajes de manera permanente. Que interprete y explique procesos sociales, econmicos, culturales y naturales, para tomar decisiones y actuar de manera individual y colectiva, para mejorar la calidad de vida. Que los ponga en prctica al analizar situaciones y sepa tomar decisiones con responsabilidad y apego a la ley. Que contribuya a la convivencia respetuosa, que asuma la intelectualidad con sencillez y como riqueza y forme parte de convivencia con la diversidad social, tnica, cultural y lingstica. Que se identifique como parte de un grupo social, que emprenda proyectos personales y asuma con responsabilidad las consecuencias de sus acciones. Que integre conocimientos y saberes de las culturas como medio para conocer las ideas y sentimientos de otros, as como manifestar las propias. Que le permitan mejorar su capacidad motriz, favorecer un estilo de vida activo y saludable.
1. Utilice el lenguaje oral y escrito adecuadamente. 2. Emplee la argumentacin y el razonamiento al analizar situaciones. 3. Seleccione, analice, evale y comparta informacin de diversas fuentes. 4. Emplee los conocimientos adquiridos a fin de interpretar y expresar procesos. 5. Conozca los derechos humanos y los valores que favorecen la vida democrtica. 6. Reconozca y valore distintas prcticas culturales. 7. Conozca y valore las caractersticas y potencialidades del ser humano. 8. Aprecie y participe en diversas manifestaciones artsticas 9. Reconocerse como un ser con potencialidades fsicas.
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa Las competencias que aqu se proponen contribuirn al logro del perfil de egreso y debern desarrollarse desde todas las asignaturas, procurando que se proporcionen oportunidades y experiencias de aprendizaje para todos los alumnos.
Cuadro 2. TABLA DE COMPETENCIAS PARA LA VIDA

(COMPETENCIAS GLOBALES)
COMPETENCIA 1. Para el aprendizaje permanente.
DESCRIPCIN
APRENDIZAJE
Sabindose integrar a una cultura Aprender, asumir y dirigir el escrita y matemtica permanente. propio aprendizaje a lo largo de la Poniendo en prctica (movilizar) los vida. diversos saberes, culturales, cientficos y tecnolgicos para comprender la realidad. Sabiendo Pensar, reflexionar, argumentar y expresar juicios crticos. Saber Analizar, sintetizar y utilizar informacin. Integracin, manejo y dominio del manejo de la lgica de la construccin del conocimiento.
2. Para el manejo de informacin.
Bsqueda, evaluacin y sistematizacin de la informacin.
3. Para el manejo de situaciones.
Organizar y disear proyectos de vida considerando aspectos: sociales, culturales, econmicos.
Saber administrar el tiempo; y tomar decisiones. Llevar a buen trmino alternativas para la solucin de problemas. Saber manejar el fracaso y la desilusin.
Saber trabajar en equipo. Saber tomar acuerdos y negociar con otros Que sepa manejar armnicamente las relaciones personales y emocionales. Que sepa desarrollar su propia identidad personal. Que sepa entender y valorar la diversidad tnica, cultural y lingstica del pas. Proceder a favor de la democracia, la paz, el respeto a la legalidad y a los derechos humanos. Participar tomando en cuenta las forma de trabajo en la sociedad, el gobierno y las empresas. Actuar con respeto ante la diversidad sociocultural.
4. Para la convivencia
Relacionarse armnicamente con otros y con la naturaleza.

5. Para la vida en sociedad Capacidad para decidir y actuar con juicio crtico frente a los valores y las normas sociales y culturales.

2. LA EVALUACIN: SUS NIVELES, DIMENSIONES E INSTRUMENTOS 2.1 Caractersticas de una buena evaluacin. La evaluacin es el proceso de reunir, interpretar y sintetizar informacin para facilitar la toma de decisiones sobre las adecuaciones que se debern de hacer en el saln de clases, es decir, no es un fin en s misma, sino que proporciona informacin al docente para identificar los logros alcanzados frente a los objetivos iniciales y reconsiderar aquellos aspectos que deben reforzarse en el aprendizaje. En otras palabras la evaluacin tiene sentido en la medida en que contribuye a mejorar la calidadno es suficiente para lograrlo, pero si indispensable: si no sabemos si algo est bien o mal, en qu aspecto y medida, no podremos desarrollar estrategias de superacin. Si se cuenta con buena informacin para evaluar, se tendrn elementos para tomar decisiones acertadas. A partir de lo anterior, se puede precisar que un sistema de evaluacin para cualquier escuela, deber de tener en cuenta, por lo menos tres niveles: El currculo prescrito (planes y programas oficiales, polticas y objetivos). El currculo implementado (programas efectivamente desarrollados en el aula). El currculo logrado (rendimiento del alumno).
El grado en que se desarrollan el currculo implementado y el currculo logrado, se valora a travs de un proceso con tres dimensiones: La evaluacin diagnstica: nos permite analizar los conocimientos previos del alumno para enfrentar una nueva situacin de aprendizaje. La evaluacin formativa: tiene el propsito de retroalimentar a los maestros y, sobre todo, a los alumnos, durante un proceso educativo, para que la enseanza y el aprendizaje se puedan mejorar. La evaluacin sumativa: es la que se realiza al final de un proceso (un tema, un bimestre, un ciclo escolar), con el objetivo de decidir si un alumno cumpli o no con los objetivos estipulados; para tomar decisiones sobre su acreditacin.
Estas tres dimensiones de la evaluacin son complementarias para obtener informacin del alumno y de su avance a lo largo del ciclo escolar; sin embargo, la evaluacin sumativa, adquiere importancia en tanto establece cortes con la finalidad de otorgar una calificacin al alumno, para mayor informacin sobre estas tres dimensiones de la evaluacin a continuacin se presenta una tabla comparativa de caractersticas muy especficas:
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa Cuadro 3.
Caractersticas
Dimensiones de la evaluacin escolar

Diagnstica Ofrecer al maestro una percepcin rpida y un conocimiento prctico de las caractersticas de su grupo. En las primeras semanas de clase o al iniciar un nuevo tema. Principalmente Pruebas, preguntas dirigidas, observaciones. Formativa Sumativa Proporcionar elementos al maestro para otorgar una calificacin en el proceso de acreditacin de estudios. Peridicamente durante el ao lectivo. Pruebas formales, trabajos escritos, reportes, problemas y tareas.
Propsito
Planear las actividades docentes y vigilar el avance de la instruccin.
Tiempo
Diariamente durante el ao lectivo. Observacin formal e informal, trabajos escritos individuales y de grupos de los estudiantes a fin de planear; y dar seguimiento. En su mayora cognitiva y afectiva
Instrumentos y tcnicas
Tipo de informacin recabada
Cognitiva, afectiva y psicomotriz.
Principalmente cognitiva y afectiva. Se conservan registros formales en listas, expedientes y boletas de los alumnos.
Registros
Informacin Logro del alcance programtico.
Planes escritos de Avances programticos.
FUENTE: Adaptacin a partir de la propuesta de Airasian, Peter W., 2002: 100.
2.2 Propsitos de la evaluacin Los maestros evalan con muchos fines, pues se ven obligados a tomar multitud de decisiones. Si revisamos las decisiones de un maestro en un saln de clases durante un da de trabajo, nos haremos una idea general del gran nmero de objetivos que cumple la evaluacin, nicamente nos centraremos en los problemas y estrategias de la evaluacin para los siguientes propsitos: Establecer el equilibrio en el grupo: Planear y conducir la enseanza, asignar lugares a los alumnos, ofrecer retroalimentacin e incentivos, diagnosticar los problemas de los alumnos, juzgar y calificar el aprendizaje y el avance acadmico. Establecimiento del equilibrio en el aula: Un propsito a menudo olvidado en el aula consiste en crear y conservar el equilibrio social en el saln de clases. El aula es un complejo ambiente social donde las personas interactan en incontables formas. Para que los salones de clases sean entornos sociales positivos que propicien el aprendizaje debe haber orden, disciplina y cooperacin. As pues, existe una estrecha conexin entre ayudar a los alumnos a aprender y mantener el orden; 5
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa Se requiere cierto orden para que la enseanza y el aprendizaje se lleven a cabo en forma eficiente. Planeacin y conduccin de la enseanza: Muchas de las decisiones de un maestro se centran en planear y conducir la enseanza siendo sta la actividad ms importante en el saln de clases, las decisiones que se pueden adoptar se pueden dividir en dos categoras: las referentes a la planeacin y las referentes al proceso de la enseanza. Adems de las decisiones de la planeacin, el proceso mismo de impartir una clase exige hacer evaluaciones y tomar decisiones en forma constante. La primera y la ms importante, consideracin es la situacin y necesidades de los alumnos. Qu pueden aprender en el estado actual de su desarrollo? Qu temas de la asignatura dominan ya? Qu complejidad tienen los materiales didcticos que utilizan? Con qu eficiencia trabajan en grupos? Aprenden por su cuenta? Presentan necesidades especiales? Qu adaptaciones es preciso realizar para los alumnos con diferentes clases de deficiencias? Las respuestas a las preguntas anteriores ofrecen la perspectiva requerida de ideas sobre cmo y que ensear. Al planear las clases se advierte la importancia de hacer antes una evaluacin diagnstica, vlida y confiable Ofrecimiento de retroalimentacin y de incentivos. Otro motivo importante de la evaluacin escolar consiste en dar retroalimentacin e incentivos a los alumnos cuando estos alcanzan calificaciones sobresalientes, pero tambin siendo de igual importancia recomendar a los alumnos trabajar ms duro cuando no alcanzan buenas calificaciones. En los casos anteriores sirve para suministrar a los alumnos retroalimentacin acerca de su desempeo acadmico. Diagnstico de los problemas de los alumnos. El maestro debe estar siempre alerta en los casos de los alumnos que presentan problemas de aprendizaje, emocionales o sociales en el saln de clases. Una vez identificados los problemas, a veces lleva a cabo las acciones correctivas requeridas, pero a veces debe enviarlos a que reciban un diagnstico ms especializado y tratamiento fuera del saln de clases. As el docente crea su propio grupo dentro de la clase para mejorar las habilidades bsicas. Juicio y calificacin del aprendizaje y del avance acadmico: Varias de las decisiones que toma el docente se refieren a su juicio y apreciacin sobre y para apoyar el aprendizaje y el avance acadmico de sus alumnos. Califica los exmenes de sus alumnos para decidir sobre la acreditacin del curso, llena el informe mensual del avance de cada alumno, para determinar la calidad del proceso educativo decide elaborar su propia prueba para una unidad en vez de utilizar la que vena en el libro de texto, corrigi sus proyectos de la planeacin, y se reuni con los padres de familia; los maestros usan gran parte del tiempo a recabar la informacin que usan para calificar o emitir juicios definitivos del avance acadmico con la expresin evaluacin sumativa o final se designa la calificacin o los juicios finales sobre el aprendizaje al terminar un periodo de enseanza. 6
3. LAS PRUEBAS COMO INSTRUMENTOS DE LA EVALUACIN. 3.1 Pruebas estandarizadas y no estandarizadas. La informacin que renen los maestros y que emplean en el aula proviene de procedimientos evaluativos que son estandarizados y no estandarizados. Las pruebas no estandarizadas. Se elaboran para utilizarlas en un saln de clases con un solo grupo de alumnos. La mayora refleja las reas particulares de enseanza a que se da preferencia en cada caso. El maestro no tiene la intencin ni el deseo de administrar el mismo instrumento a los integrantes de otros grupos con fines comparativos. Las pruebas estandarizadas. Son las que se administran, califican e interpretan del mismo modo en todos los casos, sin que importe dnde ni cundo se apliquen. Estn diseadas para aplicarse a muchas escuelas de un pas. Tambin estn destinadas para estudiantes de varios salones de clases, pero siempre en condiciones idnticas de aplicacin, calificacin e interpretacin. Este tipo de pruebas se elabora principalmente para hacer comparaciones objetivas entre alumnos de diversas escuelas y estados, sin que la forma de aplicarlas, de calificarlas e interpretarlas distorsione la comparacin. Pocas evaluaciones hechas por el maestro son estandarizadas. Las pruebas estandarizadas suelen ser un apoyo en las evaluaciones diagnsticas y sumativa, pues permiten valorar, con referencia a una sola medida, el nivel de avance o de rendimiento de cada alumno y contrastar el desarrollo educativo de los niveles de avance entre diferentes grupos. Una condicin imprescindible para que una evaluacin, con base en pruebas estandarizadas sea til, es que las pruebas sean de calidad: que sean elaboradas, aplicadas y corregidas; que sus resultados sean analizados para determinar las habilidades y fortalezas del alumno para reafirmar el proceso formativo. y aplicar los estndares de calidad ms exigentes. De lo contrario no aportaran elementos valiosos y, en el peor de los casos, podran dar pie a decisiones inadecuadas o injustas basadas en sus resultados. Para que las pruebas estandarizadas sean vlidas, deben tener concordancia con el currculo, pues solamente as nos ofrecen informacin en verdad relevante y apropiada para la toma de decisiones. 3.2 Caractersticas de las pruebas. Una prueba objetiva ya sea estandarizada o no estandarizada, debe tener tres caractersticas: validez, confiabilidad, facilidad en la aplicacin y calificacin. VALIDEZ: Es la condicin que se cumple cuando una prueba mide aquello para lo que fue creada. Para lograrlo, debe ser: 7
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa a) Univoca: Cada pregunta o reactivo ha de tener una sola respuesta precisa e inconfundible. b) Inequvoca: Su lenguaje debe ser tan claro y preciso que evite interpretaciones falsas. c) Adaptada: De acuerdo con los mtodos y programas de las materias de acuerdo al nuevo currculo, as como a la altura y capacidad de alumno. d) Suficiente: Ha de tener todos aquellos aspectos considerados como fundamentales. e) Econmica: En su resolucin se ha de emplear el tiempo prudente sin alargarla innecesariamente. CONFIABILIDAD: Esta condicin descansa en la propia validez. Una prueba es confiable cuando los resultados que se obtienen de ella, corresponden en realidad a los conocimientos que posee el alumno. La exactitud en la medicin est dada por: a) El cuidado de y en su elaboracin debe ajustarse en todo a las normas exigidas, (que ms adelante se describirn), para que est a la altura de las capacidades del alumno. b) La prueba ha de estar de acuerdo con la naturaleza del conocimiento que se trate de medir. La elaboracin de la prueba ha de estar precedida por un anlisis del contenido que se desea examinar para determinar con cuidado en cada caso, el tipo de prueba ms conveniente. c) Objetividad en la calificacin, si la opinin del maestro juega papel importante en la calificacin, la confiabilidad es nula. FACILIDAD EN LA APLICACIN Y CALIFICACIN: Las caractersticas de una buena prueba, se cuidan valorando que sea accesible tanto al aplicador, como al nivel de los alumnos. Deben cuidarse las indicaciones globales para el proceso de aplicacin (sobre todo en una prueba estandarizada) como las orientaciones que se ofrecen a los sustentantes, para que se desarrolle de la manera apropiada y se conteste en los espacios dispuestos para cada respuesta, evitando tachones, borrones u ocupar espacios destinados a datos diferentes de los que proporciona el alumno. a) Aplicacin: Despus de distribuidas las pruebas, el maestro debe de dar las indicaciones pertinentes a efecto de que todos los alumnos comprendan con claridad lo que tienen que hacer. Las indicaciones de cada parte de la prueba deben ser claras y sencillas, que no necesiten explicaciones complementarias. La prueba pedaggica debe estar destinada a medir conocimientos o habilidades de los alumnos, no a la comprensin de las instrucciones. b) Calificacin: Esta se simplifica si al hacer el arreglo de la prueba se procura que todos los lugares que se destinan a las respuestas queden colocadas en una 8
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa columna vertical ya sea al margen izquierdo o derecho o en una hoja de respuestas.
3.3 Duracin de la prueba. Como se dispone de poco tiempo para realizar la prueba, deben tenerse presentes varios factores para decidir la duracin: por lo regular, consideraciones prcticas como la edad de los alumnos y la duracin de la clase son las ms importantes. Una estrategia que se recomienda, consiste en administrarles pruebas con bastante frecuencia mediante exmenes breves que evalen unos cuantos objetivos segn el grado y el grupo de aproximadamente de 15 a 30 minutos. Los programas de estudio de algunas materias como historia, ciencias sociales, lengua extranjera, as como la de matemticas, el conocimiento se construye en una secuencia jerrquica. A diferencia de historia, que se puede impartir de una manera diferente, los temas de matemticas y de lengua extranjera no se entienden si no se dominan las lecciones anteriores. En consecuencia cuando se ensea una materia de sucesin jerrquica conviene efectuar exmenes ms frecuentes para que los alumnos estudien as como para cerciorarse de que tienen ideas claras que sentarn la base de ideas subsecuentes ms complejas El tiempo disponible para la evaluacin en los planteles de educacin bsica y en los bachilleratos suele estar limitada a la duracin de las clases. En general los maestros de estos niveles planean los exmenes de modo que dure casi lo mismo que una clase completa. Al decidir cuantas preguntas se deben incluir para cada objetivo se deben conciliar dos factores: El tiempo de enseanza dedicado a cada objetivo y actividad. Su importancia. Algunos contenidos suelen ser ms importantes o ms extensos que otros; stos ltimos tienden a ser los que exigen el desarrollo de varios objetivos con contenidos menos globales.
4. ELABORACIN DE REACTIVOS A travs de los reactivos se concreta la solicitud de informacin acerca del rendimiento del alumno en las diversas reas curriculares. Obtendremos tanta informacin relevante como reactivos bien diseados integremos en la prueba. 4.1 Propsitos generales
Obtener evidencias tangibles acerca del grado de dominio que muestra una
persona sobre un contenido disciplinar.
Obtener evidencias tangibles acerca del nivel de desarrollo de habilidades que

muestra una persona.
Obtener evidencias tangibles acerca de los errores conceptuales o de

procedimiento en que incurre una persona al abordar la solucin de problemas que implican contar con el dominio de un contenido disciplinar o cierto desarrollo de una habilidad. Por lo anterior, el constructor de reactivos debe garantizar que, ya sea que el sustentante acierte o falle al resolver el reactivo, las conclusiones que puedan hacerse sobre su desempeo sean razonablemente vlidas.
Imagen 1. Factores implicados en la elaboracin de reactivos

Necesidad de medir y evaluar
Competencias (conocimientos, habilidades y actitudes) indicadas por los planes y programas
Factores externos al constructor
Sustento terico de la medicin
Elaboracin de reactivos Avance programtico Procedimientos de la medicin y la evaluacin
Factores propios del constructor
Habilidades para la comunicacin y la creatividad
10
Cuadro 4. Ventajas y desventajas de diversos tipos de reactivos Tipo Ventajas Desventajas Reactivos de Pueden aplicarse un gran Se requiere de mayor tiempo opcin Mltiple nmero de reactivos en poco para redactar los reactivos.
tiempo. Pueden evaluarse objetivos de alto y bajo nivel. La calificacin suele ser rpida y objetiva. Menor influencia del hecho de adivinar. Da confianza al alumno porque tiene la certeza de que la respuesta correcta est entre las opciones. Pueden aplicarse muchos reactivos en poco tiempo. La calificacin suele ser rpida y objetiva.
No son tiles cuando es necesario demostrar el trabajo. A menudo es difcil encontrar las opciones adecuadas. La habilidad de lectura puede influir en el desempeo.
Reactivos de falso verdadero
Adivinar la respuesta correcta representa un problema... Es difcil encontrar enunciados que sean evidentemente verdaderos Los reactivos tienden a conceder mucha importancia a la memoria. Se centran en reactivos de nivel bajo. Se requieren temas homogneos.
Reactivos de correlacin
Son una forma eficiente de obtener abundante informacin. Son fciles de construir. La calificacin suele ser rpida y objetiva. Se reduce la posibilidad de adivinar los estudiantes deben construir una respuesta. Es fcil escribir los reactivos. Puede evaluarse una amplia gama de respuesta. Se evalan directamente resultados complejos de alto nivel. Su construccin tarda menos tiempo que las preguntas de otros tipos. Se evalan resultados interactivos y holsticos.
Reactivos de respuesta breve
La calificacin puede ser lenta No son tiles cuando se buscan resultados complejos o extensos.
Preguntas de ensayo
La calificacin es lenta y difcil. Ofrece una muestra profunda pero pequea del desempeo de los estudiantes. La simulacin y la calidad de la redaccin influye en calificacin
Fuente: Adaptacin a partir de la propuesta de Peter W. Airasian, 2002: 100
11
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa 4.2 Estructura de los reactivos segn su tipo Aunque los reactivos pueden presentar una estructura diferente segn su tipo; comparten entre ellos ciertos elementos. Algunos presentan alguna base o pregunta que se ofrece a travs de un texto, imagen o grfica, que da contexto a la informacin que se pretende tratar y, sobre la cual, el alumno trabajar para resolver algn problema cognitivo. Otros parten solamente del planteamiento o pregunta y pueden ofrecer o no, opciones de respuesta. Entre los tipos de reactivos que presentan opciones, se encuentran los reactivos de opcin mltiple, los de falso y verdadero y los de correlacin. Los reactivos que evitan ofrecer opciones, entre ellos los de respuesta breve y los de ensayo, es posible que partan de una base informativa a partir de la cual realicen el cuestionamiento. Entre las estructuras ms comunes de reactivos, suelen usarse las siguientes:
Reactivos de correlacin:
1. Planteamiento 2. Planteamiento 3. Planteamiento ( ) Planteamiento ( ) Planteamiento ( ) Planteamiento ( ) Planteamiento
Reactivo de falso y verdadero:

Planteamiento ( ) F o V (Clave de respuesta)
Reactivo de respuesta breve (de completar):

Planteamiento Espacio para respuesta
Reactivo de opcin mltiple:

Base Planteamiento?
A) Opcin B) Opcin C) Opcin D) Opcin
Opciones
Clave Distractores
Pregunta de ensayo:
Planteamiento Espacio para que el alumno desarrolle el tema. 12
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa 4.3 El siguiente reactivo corresponde estructuralmente a los multirreactivos de comprensin lectora: Multirreactivo Base (texto, grfico,tabla, etc.) Planteamiento Parte del texto_________________________ complemento del texto
Opcines
A) Opcin------------------------- distractor B) Opcin ----------------------- distractor C) Opcin ----------------------- clave D) Opcin------------------------ distractor
Esta forma de preguntar se basa en la lectura de un texto, del cual se desprenden varias preguntas que exploran tu nivel de comprensin. Para responder a este tipo de preguntas debes tomar en cuenta nicamente la informacin contenida en la lectura y no otro tipo de elementos o consideraciones ya que se trata de evaluar qu tan bien comprendes su contenido. Se usa el texto como una herramienta, leyendo sin distraerte puedes subrrayar palabras claves y escribir notas al margen; es importante que tengas en cuenta las siguientes implicaciones textuales. a) La situacin entre un pasaje concreto y su reflexin. b) La ilacin del prrafo de la lectura con el siguiente. c) La decodificacin de los patrones grficos y textuales. d) El acceder al significado de todas las palabras y expresiones. e) La implicacin coherente de la representacin de la informacin. f) La comprensin del mensaje del autor del texto. Ejemplo de dos reactivos basados en un texto: Desde que en el mundo occidental desapareci la idea de que el Sol era un dios, se ha buscado una explicacin cientfica que nos permita entender el porqu de su brillo constante. Ya los antiguos griegos haban sugerido que el Sol no era ms que un cuerpo incandescente, formado por algn material combustible (carbn por ejemplo). Esta explicacin era adecuada cuando se crea que el mundo tena unos cuantos miles de aos de antigedad. Sin embargo, los descubrimientos de los gelogos y bilogos del siglo pasado mostraron que la tierra era mucho ms antigua. Hoy sabemos que el sol ha brillado casi de manera constante por cada 5000 millones de aos. Sabemos tambin que cualquier cuerpo incandescente, se habra consumido hace muchos millones de aos. Los datos obtenidos sobre la antigedad de la tierra obligaron a fsicos y astrnomos a buscar una nueva explicacin para el brillo del Sol. Esta nueva explicacin tuvo su origen en las investigaciones en fsica atmica y nuclear de principios de siglo. En 13
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa efecto, durante la dcada de los treinta se lleg a la conclusin de que el sol era un gigantesco rector nuclear. Existen dos tipos fundamentales de reacciones nucleares: la fisin, en la que tomos de gran tamao (como el uranio) se rompen en trozos ms pequeos, y la fusin, donde tomos pequeos (hidrgeno) se juntan para formar tomos ms grandes. Ambos procesos liberan enormes cantidades de energa, muchsimo ms energa que la combustin ordinaria.
Si el sol fuera un cuerpo__________________ ya se hubiera extinguido hace mucho tiempo
1.
A) Inanimado B) Icandescente C) Incoloro D) Incombustible
La opcin correcta es (B), porque al final segundo prrafo se afirma que cualquier cuerpo incandescente se habra consumido. Los trminos dados en las otras opciones no tienen nada que ver con el contenido del texto.hace muchos millones de aos.
A) Inanimado lo que no tiene vida. B) Incandescente lo que tiene calor
C) Incoloro lo que no tiene color D) Incombustible lo que no se puede quemar
2.
A) B) C) D)
La conclusin de que el Sol es un gigantesco reactor nuclear se debe a:
La nueva explicacin de los gelogos y bilogos La idea de los antiguos griegos Las investigaciones en fsica atmica y nuclear Los artculos de Miguel Alcubierre
La opcin correcta es (C ). En el tercer prrafo del texto se dice que en los aos treinta se lleg a la conclusin de que el Sol era un gigantesco reactor nuclear, por las investigaciones en fsica atmica y nuclear de principios de este siglo. Los gelogos y bilogos fueron los que mostraron que la tierra era mucho ms antigua de lo que se haba pensado antes. Pero el texto nada dice de una explicacin de ellos acerca del Sol. Entonces, si marcaste la opcin (A) como correcta, confundiste dos investigaciones mencionadas en el texto: las relacionadas con la Tierra y las relacionadas con el Sol. La opcin (B) no es correcta, ya que en el primer prrafo se afirma que los antiguos griegos haban sugerido que el Sol era una masa incandescente compuesta de algun matreial combustible. La opcin (D) no es correcta, ya que en sta se encuentra el autor del artculo.
14
4.4 El siguiente reactivo corresponde estructuralmente a los de analogas :

En las preguntas de este tipo encontrars dos palabras (en maysculas) Que establecen una relacin, la cual puede ser de grado, pertenencia, cusa-efecto, principio-fin, etc. T tendrs que identificar la relacin existente entre ellas, para luego reconocer el mismo tipo de relacin en algunas de las opciones de respuesta. Ejemplo: selecciona las parejas de palabras cuya relacin sea similar a la que se observa entre las palabras dadas en maysculas.
ESCENARIO es a ACTOR como:
A) B) C) D) E)
Pista a bailarin Mar a astillero Pincel a escultor Alumno a profesor Hoja a cuaderno
Para responder la pregunta, intenta determinar la relacin que existe entre los conceptos representados por el par de palabras en maysculas, y aplica el mismo criterio para en contrar la respuesta correcta. La relacin que existe entre ESCENARIO Y ACTOR es de un espacio fsico y la persona que en l desarrolla su actividad.
Entre pista y bailarin (opcin A) reconocemos el mismo tipo de relacin, espacio fsico y la persona que ah desarrolla su actividad, por lo que decimos que la opcin (A) es la correcta. En la opcin (B), la relacin que observamos es la de un espacio fsico (el mar) y un establecimiento donde se construyen y reparan barcos (astillero). La opcin (C), el pincel no es el espacio fsico en el que el escultor desarrolla su actividad. La opcin (D), establece una relacin entre dos personas y no hace referencia a ningn espacio fsico. La opcin (E), establece una relacin entre dos objetos.
4.5 El siguiente reactivo corresponde estructuralmente a los de SINNIMOS Y ANTONIMOS : En este tipo de preguntas se te pide que selecciones la opcin que contenga una palabra con significado similar (sinnimo) u opuesto (antnimo) al de una palabra dada. Ejemplo: selecciona la palbra cuyo significado sea similar al de la palabra que aparece en mayscula.
El discurso del director fue REDUNDANTE
A) B) C) D) E)
Repentino Reducido Reiterativo Redondeado resistente
REDUNDANTE significa que repite innecesariamente varaias veces lo mismo. La opcin que contiene una palabra con significado similar es la opcin C). Las palabras de las dems opciones tienen significado bastante alejados de la palabra REDUNDANTE.
15
4.6 El siguiente reactivo corresponde estructuralmente a los de COMPLETAMIENTO :

Los reactivos de este tipo adoptan la forma de enunciados en los que se han omitido una o dos palabras. Las omisiones pueden estar al principio, en medio o al final. En la opciones de respuesta se encuentran palabras que pueden completar dichos enunciados. Antes de decidir cul de las cinco opciones de respuesta contiene las palabras que encajan de mejor forma en los espacios en blanco de la oracin, debes observar cuidadosamente cada una de las opciones.
El ro_____________ es el lmite de Mxico con Estados Unidos, y el ro_______________ es el lmite con Belice
A) B) C) D) E)
Bravo-Hondo La opcin correcta es la (A). Habr que recordar cules son los ros principales Mayo-Papaloapan que se encuentran en las fronteras norte y sur de la Repblica Mexicana. Bravo-Suchiate Al norte se encuentra el bravo y al sur se hallan el Hondo y el Suchiate; sin Bravo-Usumacinta embargo, este ltimo colinda con Guatemala y no con Belice. Colorado-Balsas Ninguno de los ros mencionados en la opcin (B):
EL Mayo, en Sonora, y el Papaloapan, en Veracruz, sirve como divisin poltica entre Mxico y algn otro pas. El ro Suchiate, sealado en la opcin (C),colinda con GUATEMALA pero no con Belice.En la opcin (D) se menciona el ro Usumacinta (que divide a Chiapas y Guatemala), pero no se encuentra en Belice. Finalmente, la opcin (E) no es correcta, ya que el ro Colorado divide a Sonjora y Baja California, el ro Balsas divide a Guerrero y Michoacn.
4.7 El siguiente reactivo corresponde estructuralmente a los de CUESTIONAMIENTO DIRECTO En este tipo de reactivos se te presenta un enunciado interrogativo. Lo reconoceras fcilmente por que siempre empieza y termina con un signo de interrogacin. Ejemplo:
Cul es el resultado de - (- 5)?
A) B) C) D) E)
25 15 5 -5 -25
Para obtener el resultado de la operacin dada en el enunciado, hay que multiplicar primero (-5 ) por (-5 ), como lo indica la expresin (-5 ) . El resultado de esa multipli cacin es 25, de acuerdo con las reglas de la multiplicacin de dos nmeros negativo Puesto que la expresin (-5 ) est precedida por un signo menos, el resultado final de la operacin indicada debe ser -25, y la opcin correcta ser la (E).
16
4.8 El siguiente reactivo corresponde estructuralmente a los de JERARQUIZACIN U ORDENACIN:

En los reacTivos de este tipo, vas a encontrar un listado de elementos que tienes que ordenar de acuerdo con un criterio determinado. La tarea consistira en seleccionar la opcin en la que los elementos (todos y cada uno de ellos) aparezcan en el orden solicitado. Ejemplo:
Las capas de la atmsfera ordenadas de abajo hacia arriba son:
A) ionosfera, troposfera, estratosfera B)estratosfera, troposfera, ionosfera
C) troposfera, estratosfera, ionosfera D) ionosfera, estratosfera, troposfera
La opcin correcta es la (C). La troposfera es la capa de la atmsfera que se extiende desde el suelo hasta 12Km. La-estratosfera se situa entre los 12 y 50 Km. De altura mientras que la ionosfera se extiende desde los 80 a 500 Km.
4.9 El siguiente reactivo corresponde estructuralmente a los de RELACIN DE COLUMNAS:

En los reactivos de relacin de columnas se presentan dos listados de elementos.La tarea consistrir en relacionar- de acuerdo con el criterio especificado- los elementos de un listado con los del otro.Deberas de seleccionar la opcin que contenga exactamente el conjunto de relaciones que identifiques como correcto. Para auxiliarte en la tarea de seleccionar la opcin correcta, conviene que unas con lineas cada elemento de la primera columna con el elemento (o los elementos)de la segunda que, de acuerdo con la condicin que se te da, estn relacionadas. Esto te permitir ver con mayor claridad las relaciones. Ejemplo:
Relaciona cada unidad de medida de la columna izquierda con su correspondiente magnitud en la columna derecha UNIDADES 1. coulomb 2. volt 3. ampere 4. ohm 5. watt CONCEPTOS a) corriente elctrica b) diferencia de potencial c) potencia d) carga elctrica e) resistencia
A) 1a, B) 1b, C) 1e, D) 1d, E) 1d,
2b, 2d, 2c, 2b, 2c,
3c, 3c, 3d, 3a, 3e,
4d, 5e 4e, 5 4a, 5b 4e, 5c 4a, 5b
La opcin correcta es (D).El coulomb es la unidad con la que se mide la carga elctrica por lo cual la primera relacin es 1d . La diferencia de potencial se mide en volts la relacin es 2b. El ampere es la unidad usada para medir corriente electrica la relacin es 3a. La unidad para medir la resistencia elctrica es el ohm la relacin es 4e. Finalmente la unidad para medir la potencia es el watt, la relacin es 5c.
17
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa 4.10 Reglas para el diseo de reactivos Entre las normas que deben respetarse para la construccin de reactivos, la Direccin General de Evaluacin de Polticas de la SEP (Silva, 2005: 7-19), ofrece una serie de recomendaciones generales a todos los tipos de reactivos y especifica algunas de acuerdo a cada tipo de reactivo: Normas Generales: (18) Sujetarse a los lineamientos de la tabla de especificaciones, tabla de contenidos o plan de instrumento, para organizar la cantidad de reactivos y su distribucin temtica de acuerdo al periodo que se pretende evaluar; es decir, abordar de manera equilibrada los diversos temas que conforman el bloque a evaluar. Cuidar la organizacin de las indicaciones y la ubicacin de las series de reactivos en el instrumento, evitando secciones muy densas y otras con poca informacin, dejando claros los espacios en que debe responderse a cada reactivo. Anteceder los reactivos con indicaciones claras para su resolucin. Cada vez que se inicia una secuencia de reactivos de diferente tipo, es pertinente sealar especificaciones para su resolucin. Verificar que los grficos, dibujos, smbolos y otros estmulos, sean claros, congruentes con el reactivo y con la construccin total del instrumento. Seleccionar cuidadosamente el tipo de reactivo para cada seccin de la prueba, pues cada tipo de reactivos representa un criterio de ensamblaje del instrumento. Disear reactivos con diverso grado de dificultad, para evitar que el instrumento sea excesivamente sencillo o pesado. Conocer y familiarizarse con los niveles cognitivos segn Bloom (o segn otros autores), puede involucrar ms de un nivel cognitivo en la resolucin de un reactivo y determinar el grado de dificultad del reactivo. Considerar el tratamiento que se hace de la informacin en los documentos que se utilizan como fuente. Incorporar ejercicios novedosos y creativos, evita soluciones aprendidas de memoria. No incluir trampas o sutilezas en las preguntas o en las respuestas. La redaccin de reactivos responde a la redaccin general del instrumento. Redactar de manera distinta a la informacin que se incluye en las fuentes. La expresin citada textualmente debe ser justificada. Redactar cada reactivo con independencia de los dems para evitar que uno conteste a otro(s) o cause confusiones o contradicciones. Redactar en forma afirmativa. Cuidar la coherencia gramatical.
18
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa Evitar la mencin de marcas de productos y/o situaciones que fomenten el consumismo y los vicios de cualquier ndole. Evitar la mencin irnica de nombres de funcionarios o instituciones pblicas. Evitar el manejo de personajes ficticios que son promovidos por los medios masivos de comunicacin.
Normas Especficas para:
Reactivos de correlacin. Ofrezca instrucciones claras. Utilice un tema homogneo. Coloque las opciones ms largas en la columna de la izquierda. Utilice un nmero desigual de entradas en las columnas. Reactivos de verdadero-falso. Formule enunciados claramente verdaderos o falsos. Evite usar trminos especficos. No disponga las respuestas en un patrn. No seleccione oraciones del libro de texto, puede redactar enunciados semejantes parafrasendolos. Reactivos para completar y de respuesta breve. Indique claramente el tipo de respuesta deseada. No proporcione pistas gramaticales. Coloque los espacios en blanco al final del reactivo. No seleccione oraciones del libro de texto. Reactivos de opcin mltiple. La base del reactivo debe de estar definida con precisin de modo tal que tenga sentido propio, esto es, que la comprensin del problema a resolver no dependa de la lectura de las opciones de respuesta. La base plantea slo un problema central, bien definido. La informacin necesaria debe ser completa, obviar informacin innecesaria. Redactarse con sencillez y correccin, evitando problemas excesivamente largos. Entre la base y las opciones de respuesta debe haber coherencia gramatical. Una excepcin a esta norma se da cuando se explora correspondencia gramatical.
19
El reactivo debe considerar una opcin de respuesta correcta y N opciones de
respuestas incorrectas (3 distractores). Enfatizando, solo una de las opciones debe responder correctamente al problema planteado. La respuesta correcta (clave) debe resolver correcta y completamente el problema planteado. D la mayor importancia a los distractores. Defina lo que plantearn los distractores antes de redactarlos. Tenga cuidado con los sinnimos. Las alternativas deben ser tan breves como sea posible. Todas las opciones deben tener similar extensin. Evitar opciones como: ninguna de las anteriores o todas las anteriores. En los ejercicios de matemticas colocar alternativas en un orden numrico ascendente o descendente. Los distractores numricos similares deben colocarse juntos. Los distractores deben presentar los errores ms frecuentes.
4.11 Recomendaciones para la seleccin de materiales. Cinco recomendaciones para el uso de textos Considere que los lineamientos para la seleccin de textos, son sugerencias y no camisas de fuerza. Siempre busque textos en fuentes de autoridad conocida. Cuide la correspondencia: extensin del texto-cantidad de reactivos. En los textos expositivos y noticiosos la actualidad es importante. Nunca mutilar los textos. Cinco recomendaciones para el uso de grficos Seleccione grficos que no se degraden durante la edicin. Evite detalles innecesarios en los grficos seleccionados. No parta del supuesto de que alguien mejorar la calidad del grfico. Evitar el uso de imgenes estereotipadas, humorsticas o a la moda. Cuide la precisin en las figuras y cuerpos geomtricos, as como en esquemas, mapas, smbolos y formulas. Cualquier alteracin puede ser la causa de planteamientos confusos o respuestas incorrectas.
20
5. NIVELES DE DESARROLLO COGNITIVO COMO BASE PARA CLASIFICAR EL CONTENIDO DEL REACTIVO Y SU COMPLEJIDAD. 5.1 La Taxonoma de Bloom Uno de los grandes retos de la evaluacin es especificar los aspectos que se intenta medir, con respecto al dominio en conocimientos, procedimientos y actitudes desarrollados por alumno y con relacin al currculo. La clasificacin de los niveles de este desarrollo fue elaborada sistemticamente, por primera vez, en la taxonoma de Benjamn Bloom en 1956, con la intencin de describir los procesos de pensamiento desde niveles inferiores del conocimiento (memoria y evocacin), hasta el ms alto orden (anlisis, sntesis y evaluacin). Bloom consider seis categoras o niveles, divididos a su vez en subcategoras; relacionados entre s de manera que una categora avanzada, involucra a todas las anteriores. Las seis categoras se dividen en dos tipos: la primera categora refiere todo aquello que puede ser evocado como conocimiento; y las otras cinco que clasifican habilidades y capacidades intelectuales u operacionales del pensamiento hasta un orden superior. Imagen 2. Taxonoma de Bloom
6.2 Juicios con criterios externos. 6 Evaluacin 6.1 Juicios segn coherencia interna. 5.3 Derivar desde relaciones abstractas. 5 5.2 Producir un plan de accin. Sntesis 5.1 Producir comunicacin efectiva. 4.3 Principios implcitos de la organizacin. 4 4.2 Relaciones, coherencia y pertinencia entre las partes. Anlisis 4.1 Elementos implcitos. 3.3 Disposicin de actitudes adecuadas para el trabajo intelectual. 3 3.2 Manejo de mtodos propios para resolver problemas. Aplicacin 3.1 Transferencia a situaciones diferentes. 2.3 Extrapolacin (estimaciones, predicciones, implicaciones y consecuencias). 2 2.2 Interpretacin o reorganizacin. Comprensin 2.1 Traduccin o parafraseo. 1.3 Conocimiento de abstracciones (principios, generalizaciones, teoras, modelos, esquemas, estructuras). 1 1.2 Conocimiento de modos y medios para tratar los datos (organizacin y clasificacin). Conocimiento 1.1 Conocimiento de datos (terminologa, hechos).
21
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa 5.2 Procesos de pensamiento clasificados en la Taxonoma de Bloom
1. Conocimiento Integra conocimientos y aprendizajes con base en el recuerdo de ideas, objetos o fenmenos, ya sea como reconocimiento o como evocacin; entre ellos: 1.1. Conocimientos de datos especficos. 1.2. Conocimientos acerca de formas para organizar y clasificar informacin. Terminologa especial de las disciplinas. Convenciones, como los perodos histricos. Clasificacin de animales y vegetales. Trminos de los diferentes pasos de un proceso. 1.3. Conocimientos de elementos abstractos: ideas, modelos, esquemas, estructuras, teoras y generalizaciones. Teoras, leyes y principios ms importantes. Partes de un organismo o sistema, como una clula o del sistema digestivo. Los reactivos que pertenecen a este nivel taxonmico pueden responder a las siguientes preguntas para pruebas de opcin mltiple: Qu palabra significa lo mismo que? Qu enunciado define mejor el trmino? En el siguiente contexto, Qu significa la palabra? Qu nombre recibe el principio de? (descripcin de algn proceso) Dnde se encuentra? Cul es la forma correcta de? Cul de las siguientes reglas se aplica a? Cul de los siguientes mtodos se usa comuncate para? Cules son las caractersticas de? Qu enunciado expresa mejor el principio de? Qu principios son esenciales en la teora de?
2. Comprensin Se refiere a la capacidad para proporcionar respuestas que indican que un mensaje se ha comprendido y que puede transformarse o parafrasearse. Se consideran tres tipos de aprendizaje de tipo conceptual: 2.1. Traduccin: El significado de la palabra en otro idioma o parafraseado en el propio en trminos distintos a los originales. 2.2. Interpretacin: Reorganizar la informacin en una nueva configuracin, reordenarla, presentarla en otra forma. 2.3. Extrapolacin: Hacer estimaciones o predicciones, inferencia de implicaciones, consecuencias o conclusiones implcitas. 22
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa Los reactivos que pertenecen a este nivel taxonmico pueden responder a las siguientes preguntas: Qu significa la palabra? Qu tipo de grfico esta empleado en? Cul es el orden de los pasos del procedimiento? Cul es la trayectoria de un hecho descrita en el siguiente mapa? Cul es el procedimiento ms adecuado a este caso? Qu elementos estn inmersos en diferentes clasificaciones?
3. Aplicacin Capacidad para transferir la informacin, conceptos o abstracciones a condiciones o situaciones diferentes de aquellas en que fueron aprendidos. Se considera el manejo de mtodos propios para resolver un problema, disponer de actitudes apropiadas ante un trabajo intelectual, confianza en s mismos y control de las reacciones. La aplicacin de diferentes procedimientos en la realizacin de algo. Aplicacin del mtodo de la simplificacin para resolucin de ecuaciones. Elaboracin de un poema empleando los criterios del verso AABB. Reconocer excepciones en la aplicacin de un proceso. Identificar los casos en que un fenmeno o problema no puede resolverse mediante procedimiento. Determinar o justificar cursos de accin. Elegir el procedimiento idneo o ms adecuado en la resolucin de un problema. Seleccionar el principio correcto y demostrar cmo se aplica al problema. 4. Anlisis Examinar y fragmentar la informacin en sus partes constitutivas, identificando de qu manera estn relacionados. Incluye distinguir entre causas y motivos, entre hechos e hiptesis, entre las conclusiones y razones para sustentarlas, diferenciar entre el material pertinente y el accesorio, entre las ideas dominantes y las subordinadas, as como identificar postulados supuestos o implcitos. 4.1. Anlisis de los elementos: Identificar elementos no explcitos dentro de un mensaje o situacin. 4.2. Anlisis de las situaciones: Determinar las principales relaciones entre las ideas o partes de la informacin, la coherencia de cada parte con las dems, la pertinencia de las mismas respecto de la idea o tesis central. 4.3. Anlisis de los principios de la organizacin: Inferir el propsito, puntos de vista y actitudes de un autor, interpretar una situacin a partir del anlisis de una comunicacin dada. Los reactivos que pertenecen a este nivel taxonmico pueden referir tareas de los que se enuncian en los siguientes vocablos. Analizar, categorizar, clasificar, comparar, contrastar, descubrir, disecar, dividir, examinar, inspeccionar, 23
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa simplificar, tomar parte en, examinar para, encuestar, distinguir, listar, relacionar, funcionar, motivar, diferenciar inferir, asumir, concluir, componer. Y responden a las siguientes preguntas: Cules son las partes o caractersticas de? Cmo es__ en relacin a.? Por qu cree usted? Cmo se compone? Qu razones, motivos existen para? Puede listar los componentes? Qu inferencias puede hacer usted? A qu conclusiones puede llegar? Cmo clasificara usted...?
5. Sntesis. Capacidad para trabajar con elementos y partes para que constituyan una estructura que antes no estaba presente, combinar experiencias previas con materiales nuevos para construir modelos. Dicha estructura o modelo no resulta evidente hasta que se realiza el proceso de sntesis. Este nivel taxonmico contempla: 5.1. Produccin de una comunicacin efectiva: Comunicar, con argumentos coherentes orales o escritos, ideas, sentimientos o experiencias. 5.2. Produccin de un plan de accin: Construir o elaborar un plan o producto basado en ideas propias (Determinar un mejor procedimiento para solucionar un problema en funcin del estudio de diferentes procedimientos presentados, proponer formas de comprobar las hiptesis en una investigacin x). 5.3. Derivar desde un conjunto de reacciones abstractas: Producir relaciones para clasificar o explicar datos o fenmenos concretos con base en un esquema coherente, as como deducir nuevas proposiciones o relaciones desde generalizaciones o descubrimientos. Los reactivos de este nivel taxonmico pueden presentarse de la siguiente manera: A partir de los procedimientos conocidos de la destilacin del alcohol plantear un procedimiento alternativo posible. Proponga el diseo de investigacin para comprobar la siguiente hiptesis: A mayor nivel de intensidad de luz, mayor nivel de atencin en los alumnos. Determina una posible causa del fenmeno cuyos datos se presentan. 6. Evaluacin Habilidad para formular juicios de valor o dictmenes sobre ideas, objetos, obras, soluciones, mtodos, materiales, etc. Involucra el uso de criterios y normas para establecer la medida con base en la cual se emite el juicio y la argumentacin de 24
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa la decisin: razones para utilizacin de ciertos mtodos, criterios o procedimientos para determinados propsitos o para solucin de problemas. Este nivel taxonmico contempla: 6.1. El dictamen de juicios en funcin de evidencia interna: Evaluar a partir de la exactitud lgica, coherencia y otro criterio interno. 6.2. Juicios formulados en trminos de la criterios externos: Evaluar aplicando criterios externos como los institucionales o curriculares, identificando que tanto se cumplen los fines, objetivos, procedimiento y resultados esperados. A partir de los siguientes documentos o situaciones determinar la pertinencia de criterio empleado para la realizacin de algo. El dictamen de juicios en funcin de evidencias externas. Comparar las bondades de la aplicacin de teoras o corrientes.
Cuadro 5. Resumen de contenidos por categora y un ejemplo de objetivo Conocimiento Habilidades y capacidades intelectuales
1.00 2.00 Conocimiento/ Memoria Comprensin -Terminologa - Traduccin Contenidos -Interpretacin -Hechos especficos (Subcategoras) -Clasificaciones -Extrapolacin -Criterios -Convenciones -Tendencias y Inferir secuencias Traducir -Metodologa Exponer -Principios y Discutir generalizaciones Describir Definir Reconocer Enumerar Explicar Sealar Expresar Repetir Identificar Relatar Localizar Nombrar Informar Memorizar Revisar Llamar 5.00 6.00 Sntesis Evaluacin -Produccin -Juicios en de un plan base a -Derivacin evidencias de relaciones internas abstractas -Juicio en base a Solucin de Distinguir criterios problemas Analizar externos Componer Diferenciar Juzgar Clasificar Planear Calcular Valorizar Aplicar Proponer Probar Evaluar Emplear Disear Comparar Tasar Usar Formular Contrastar Comparar Demostrar Ordenar Criticar Corregir Practicar Reunir Debatir Escoger Ilustrar Colecciona Solucionar Calcular Operar Construir Examinar Distribuir Catalogar Crear Categorizar Poner en Delinear Organizar Experimenta cuenta Preparar Juzgar la Identificar las Interpretar Emplear Distinguir los Deducir la Ejemplos de calidad de caractersticas de los obras de diversos elementos intencin objetivos: diferentes gneros y diferentes recursos que comunicati una obra subgneros literarios. gneros literarios en componen va de literaria en El alumno podr. literarios. la una obra autores base a elaboracin literaria literarios en criterios de un base a la establecidos. escrito. lectura de sus obras. Fuente: Agustn Tristn y Deyanira Molgado, Compendio de Taxonomas, IEIA
Categoras
3.00 Aplicacin -Empleo de mtodos para la solucin de problemas
4.00 Anlisis -Elementos -Relaciones -Principios organizadores
25
5.3 Procedimiento del Instituto de Evaluacin de Ingeniera Avanzada (IEIA) para clasificar a los tems en tres niveles de complejidad. Niveles utilizados para clasificar la dificultad de los reactivos:
Nivel 1 Comprensin de un componente Nivel 2 Comprensin de la interaccin Entre componentes Nivel 3 Anlisis de relaciones
El estudiante ser capaz de.

Nivel 1 Nivel 2 Nivel 3 Proporcionar soluciones a situaciones problemticas que se le plantean. Identificar la relacin entre procesos Identificar las implicaciones que tienen los aspectos tericos con la prctica, de e interpretar las conexiones entre la acuerdo con los diversos enfoques teora y las tcnicas aplicadas. educativos (constructivista, Interpretar situaciones, reconocer y estructuralista, conductista, etc.) desglosar sus elementos Aplicar principios y teoras, con criterios (conceptos, teoras, tcnicas, etc.) que permitan explicar y justificar identificando sus implicaciones. soluciones a un problema dado, evaluar Comprender el planteamiento de las implicaciones de los diversos situaciones en las que debe enfoques pedaggicos, en el proceso diferenciar la aplicacin de mtodos de informacin docente y tcnicas, cotejando conceptos y Establecer las relaciones o modelos tericos. implicaciones que tiene el proceso de formacin con los procesos de mediacin pedaggica.
Contar con el conocimiento de hechos y de conceptos de una competencia. Comprender los elementos tericos de una competencia e identificarlos dentro de situaciones que se le presenten. Hacer el planteamiento de solucin ante situaciones que se le propongan incluyendo elementos de informacin, conceptos y modelos tericos.
Tablas de apoyo para la clasificacin de los reacrtivos. El tem es de nivel 1 si:

Pide reconocer un elemento de manera natural similar a como presenta en un curso, libro o proceso acadmico Puede contestarse sin necesidad de leer o comprender un texto, grfica tabla u otra informacin Solo requiere conocer o comprender un concepto, formula o expresin Pide reconocer o interpretar un elemento similar a un concepto pero con algunas modificaciones en su redaccin. Solo pide escoger un concepto, un dato, un hecho, un personaje, una frmula, etc. Se propone dentro de una situacin, contexto, caso o problema, pero puede responderse sin usar dicha situacin. Est incluido en un caso, texto, situacin, o contexto, pero dicho caso es relevante para responder el tem
26
Secretara de Educacin Jalisco Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa El tem es de nivel 2 si:
Requiere de conocimientos adicionales o elementos no contenidos en la pregunta para poder responder. Requiere dar una interpretacin real a un conjunto de datos, elementos de una tabla de una grfica. Requiere que se lea o comprenda un texto, un esquema, una tabla o una grfica para contestar. La respuesta se obtiene a partir de los datos incluidos explcita o implcitamente en el enunciado. Pide hacer un diagrama, mapa conceptual, tabla o cuadro, con un criterio dado, pero no tomar decisiones ni juicios sobre ellos. Pide justificar la respuesta usando un concepto, elemento o informacin conocidos de antemano. Solicita conclusiones siguiendo un mtodo, procedimiento, tcnica o criterios dados. Pide reconocer elementos, tendencias, frecuencias, dentro de grficos sin requerir Conclusiones o juicios externos. Pide ordenar siguiendo un esquema dado, sin requerir verificar los pasos, ni incluir criterios adicionales. Interpreta resultados siguiendo un mtodo, procedimiento o tcnica definidos en el enunciado Pide construir un procedimiento o algoritmo, que deber elegir entere opciones `posibles.
El tem es de nivel 3
El caso o situacin propuestos no incluyen los elementos de solucin y requiere aplicar juicios o criterios adicionales. Requiere generar nuevas frmulas, nuevos esquemas, mapas conceptuales, etc. No estudiados acadmicamente. Para obtener tendencias, predecir comportamientos, deducir efectos se requieren criterios no explcitos en el caso. Necesita elegir entre opciones que cuenten con justificaciones, juicios o evaluaciones. Requiere evaluar consecuencias, dictaminar resultados, definir nuevos caminos de solucin o de trabajo. Pide ordenar o jerarquizar a partir de un caso, pero requiere elementos o criterios no explcitos. Solicita encontrar errores o deficiencias en deducciones, jerarquizaciones, ordenamientos o soluciones. Interpreta resultados sin que el enunciado indique un procedimiento o tcnica.
6. ESPECIFICACIONES DEL CONTENIDO QU DEBO INCLUIR EN LA PRUEBA? Al prepararse para evaluar el aprovechamiento, la primera y ms importante decisin es determinar la informacin, los procesos y habilidades que sern sometidos a prueba. Una prueba vlida es aquella que brinda a los estudiantes una oportunidad justa de mostrar lo que aprendieron en la clase. Por tanto, al decidir que material incluir, el docente debe de concentrarse en sus objetivos y en la enseanza que haba impartido. 27
6.1 Tabla de especificaciones Una tabla de especificaciones bien elaborada funciona eficientemente como un plano o gua para el elaborador de reactivos, ya que muestra claramente qu resultados de aprendizaje se deben determinar, cuantos reactivos es necesario establecer por cada resultado y qu nivel taxonmico se requiere en cada resultado. EJEMPLO DE TABLA DE ESPECIFICACIONES ESPAOL, 1er. Grado de Secundaria, Bloque I
MBITOS CONTENIDOS TEMTICOS Modos de presentar las ideas en prrafos. Formas de citar textos. Estudio Etimologa y ortografa de vocabulario. Propsitos y caractersticas de los resmenes. Caractersticas del mito. Diferencias y semejanzas del mito y leyenda. Significado del mito. Versiones de un relato mtico y una leyenda. Participacin ciudadana Formas de redactar obligaciones y derechos. Funciones semnticas del infinitivo y el imperativo. Total IMPORTANCIA (escala 1 - 3) 1 2 2 3 2 3 2 2 2 3 # TEMS 1 2 2 3 2 3 1 2 1 3 20 GRADO DIFICULTAD (escala 1 - 6) 2 1, 3 2,3 3,4,6 2, 5 2, 3, 5 4 2, 3 4 1,3, 4 100 Ponderaciones
Literario
28
ANEXO
29
INFORMACIN GENERAL SOBRE PISA2
QU ES PISA? PISA es un proyecto comparativo de evaluacin impulsado por la Organizacin para la Cooperacin y Desarrollo Econmicos (OCDE) y diseado para aportar datos, informes, anlisis y reportes dirigidos a la sociedad en general y a quienes toman las decisiones en asuntos relevantes de la poltica educativa. Su objetivo principal es la evaluacin de las aptitudes o competencias que los estudiantes necesitarn a lo largo de la vida y su grupo objetivo es la poblacin de 15 aos que se encuentra en el momento de ingresar a la educacin postsecundaria o estn a punto de incorporarse a la vida laboral. Dado que los grados escolares no son comparables internacionalmente, con el fin de garantizar que los resultados del desempeo educativo sean comparables, PISA define su poblacin objetivo con referencia a una edad: estudiantes de entre 15 aos tres meses y 16 aos dos meses al momento de la evaluacin, sin importar el grado o tipo de institucin que estn cursando. Utiliza muestras representativas que oscilan entre 4 mil 500 y diez mil estudiantes de un mnimo de 150 escuelas por cada pas, de manera que es posible realizar inferencias para el pas en su conjunto, no as para regiones o estados. El contenido de la evaluacin de PISA abarca reas o dominios clave para el aprendizaje en todos los sistemas educativos: lectura, matemticas y ciencias, pero su rasgo caracterstico es que la evaluacin no es curricular, sino basada en competencias. El estudio de PISA se basa en dos conceptos clave: alfabetizacin y competencia. El de alfabetizacin se refiere a un tipo de formacin que dota a los estudiantes de un bagaje intelectual suficiente para afrontar los retos de la vida real y de la edad adulta y el de competencia a la capacidad para poner en prctica de manera integrada habilidades, conocimientos y actitudes para enfrentar y resolver problemas y situaciones. PISA tiene un carcter cclico que permite a los pases monitorear su sistema educativo. La evaluacin se repite cada tres aos y en cada ciclo se evalan las tres reas o dominios, pero se enfatiza uno de ellos; durante el 2000 el dominio principal fue lectura; en el 2003, matemticas, y en el 2006 se centr en ciencias. Adicionalmente, PISA recaba informacin sobre factores contextuales del estudiante y de la escuela, que sirven para relacionar los resultados con las caractersticas del entorno inmediato
Elaborado por la Direccin General de Evaluacin Educativa, con base en los libros: PISA para docentes y PISA 2006 en Mxico. Ambos disponibles en: www.inee.edu.mx
30
PERSPECTIVA GENERAL DE LO QUE SE EVALA EN CADA REA DE PISA. En el Cuadro B se presenta la definicin de las tres reas de PISA 2006. Todas las definiciones ponen especial nfasis en los conocimientos y las habilidades funcionales que hacen posible una participacin activa en la sociedad. Tal participacin no se limita a ser capaz de llevar a cabo unas tareas impuestas externamente, como las que pueda exigir un jefe a un empleado. Tambin implica que se est pertrechado de los recursos necesarios para participar en un proceso de toma de decisiones. En las tareas ms complejas de PISA se pidi a los alumnos que reflexionaran y evaluaran determinados materiales, en lugar de limitarse a responder unas preguntas que poseen una sola respuesta correcta. Cuadro B Definiciones de las reas de evaluacin Competencia cientfica: Hace referencia a los conocimientos cientficos de un individuo y al uso de ese conocimiento para identificar problemas, adquirir nuevos conocimientos, explicar fenmenos cientficos y extraer conclusiones basadas en pruebas sobre cuestiones relacionadas con la ciencia. Asimismo, comporta la comprensin de los rasgos caractersticos de la ciencia, entendida como un mtodo del conocimiento y la investigacin humanas, la percepcin del modo en que la ciencia y la tecnologa conforman nuestro entorno material, intelectual y cultural, y la disposicin a implicarse en asuntos relacionados con la ciencia y con las ideas de la ciencia como un ciudadano reflexivo. Competencia lectora: La capacidad que tiene un individuo de comprender, utilizar y analizar textos escritos con objeto de alcanzar sus propias metas, desarrollar sus conocimientos y posibilidades y participar en la sociedad. Competencia matemtica: La capacidad que tiene un individuo de identificar y comprender el papel que desempean las matemticas en el mundo, emitir juicios bien fundados y utilizar e implicarse en las matemticas de una manera que satisfaga sus necesidades vitales como un ciudadano constructivo, comprometido y reflexivo. La competencia cientfica se define como la capacidad de utilizar el conocimiento y los procesos cientficos, no solo para comprender el mundo natural, sino tambin para intervenir en la toma de decisiones que lo afectan. La competencia cientfica se evala en relacin con las siguientes dimensiones: Los conocimientos o conceptos cientficos: Constituyen los vnculos que facilitan la comprensin de fenmenos relacionados. Aunque los conceptos empleados por PISA son los habituales de los campos de la fsica, la qumica, las ciencias biolgicas y las ciencias del espacio y la Tierra, a la hora de realizar los ejercicios habr que aplicarlos a sus contenidos, no bastando con una mera reproduccin memorstica. Los procesos cientficos: Se centran en la capacidad de asimilar, interpretar y actuar partiendo de pruebas. Estos tres procesos se hallan presentes en PISA y se relacionan con: i) la descripcin, explicacin y prediccin de fenmenos cientficos, ii) la comprensin de la investigacin cientfica, y iii) la interpretacin de pruebas y conclusiones cientficas.
31
La competencia lectora. se define en funcin de la capacidad de los alumnos para comprender, utilizar y analizar textos escritos con objeto de alcanzar sus propias metas. Este aspecto de la competencia lectora ha quedado firmemente establecido en estudios anteriores, como el Internacional Adult Literacy Survey (IALS) (Estudio Internacional de la Competencia Lectora en Adultos); sin embargo, PISA da un paso ms al incluir asimismo un elemento activo: la capacidad, no ya de comprender un texto, sino de reflexionar sobre l a partir de pensamientos y reflexiones personales. La competencia lectora se evala en relacin con: El formato textual: La competencia lectora de los alumnos se evala con frecuencia mediante textos continuos, es decir, pasajes de prosa organizados en oraciones y prrafos. PISA aadir adems textos discontinuos, en los que la informacin se presenta de otras maneras, como son las listas, los formularios, los grficos o los diagramas. Asimismo, distinguir entre un abanico de formas prossticas, como son la narrativa, la exposicin o la argumentacin. Estas distinciones se basan en el principio de que en su vida adulta profesional los individuos se encuentran con una gran variedad de textos escritos (por ejemplo, solicitudes, formularios, anuncios), y que no basta con leer un nmero limitado de tipos de texto, como los que suelen encontrarse en el entorno escolar. Los procesos de lectura (aspectos): Las habilidades lectoras ms bsicas no sern evaluadas, pues se da por supuesto que los alumnos de 15 aos ya las han adquirido. En lugar de ello, se espera que sean capaces de demostrar su aptitud a la hora de obtener informacin, formarse una idea general y amplia del texto y reflexionar sobre su contenido, su forma y los rasgos que lo caracterizan.
Las situaciones: Definen el uso para el que ha sido elaborado el texto. Por ejemplo, una novela, una carta personal o una biografa estn destinadas a un uso privado; los documentos oficiales o los comunicados para un uso pblico; un manual o un informe para un uso profesional; y un libro de texto o una hoja de ejercicios para un uso educativo. Considerando que muy probablemente habr grupos de alumnos cuyo rendimiento ser mejor en una situacin lectora que en otra, se procurar que los ejercicios de evaluacin incluyan una gama muy variada de tipos de lectura. La competencia matemtica hace referencia a la capacidad de los alumnos para analizar, razonar y comunicar ideas de manera eficaz al plantear, formular, resolver e interpretar las soluciones a un problema matemtico en una variedad de situaciones. La competencia matemtica se evala en relacin con: El contenido matemtico: Se define fundamentalmente en funcin de cuatro ideas clave (cantidad, espacio y forma, cambio y relaciones, e incertidumbre) y solo de manera secundaria en relacin con las ramas curriculares (como los nmeros, el lgebra y la geometra). Los procesos matemticos: Vienen definidos por las competencias generales propias de las matemticas, que incluyen el empleo del lenguaje matemtico, la creacin de modelos y las habilidades relacionadas con la solucin de problemas. Tales competencias no aparecen separadas en los distintos ejercicios de prueba, puesto que se asume que la ejecucin de cualquier tarea matemtica requiere la aplicacin de varias de ellas. Por esa razn, las preguntas se organizan en funcin de unos grupos de competencias concretas que definen el tipo de habilidad mental requerido.
32
CMO MIDE PISA? Para la evaluacin de PISA, se han diseado una gran cantidad de reactivos que en total, suman el equivalente a siete horas como tiempo de respuesta; el cual se abrevia por el diseo matricial de la prueba. La metodologa de pruebas matriciales consiste en crear distintas combinaciones de reactivos agrupados en mdulos, garantizndose que cada uno de ellos sea respondido por una muestra representativa de estudiantes. Los cuadernillos de evaluacin estn integrados por cuatro mdulos que incluyen a su vez diversas unidades de reactivos. Estas unidades se componen de un estmulo (por ejemplo, un texto, una tabla, un grfico, figuras, etc.), al que siguen una serie de tareas asociadas a ese estmulo comn. Este rasgo caracterstico tiene su importancia, pues permite una profundizacin mayor de la que se obtendra si cada una de las preguntas introdujera un contexto completamente nuevo. De este modo, el estudiante dispone de ms tiempo para asimilar un material que luego puede ser utilizado para evaluar diversos aspectos de su rendimiento. En cada unidad se presenta un estmulo introductorio (texto, tabla, grfica, figura, etc.) seguido de entre tres y cinco reactivos con diferente formato de respuesta: opcin mltiple, opcin mltiple compleja, respuesta breve o corta y respuesta abierta construida. Distribucin de unidades y reactivos por dominio de PISA 2003
Debido a que PISA evala competencias ms complejas que la memorizacin, existe una alta proporcin de reactivos de respuesta abierta construida. Cada uno de los reactivos incluidos en las unidades evala aspectos de las tres dimensiones explicadas anteriormente: Las habilidades y competencias que se deben activar o demostrar para resolver el reactivo (procesos). Las reas, ideas o temas subyacentes en cada reactivo (contenido).
La situacin que contextualiza y dota de significado a cada reactivo (contexto o situacin). Cada reactivo requiere un mximo de dos minutos en promedio para resolverse, en tanto que cada unidad debe ser resuelta en un mximo de diez minutos; el tiempo de aplicacin de la prueba es de dos horas.
33
LOS CRITERIOS DE CALIFICACIN Cmo codifica pisa? Los instrumentos de evaluacin de PISA integran una alta proporcin de reactivos de respuesta abierta construida, estos casos pueden presentar una gran variedad de respuestas que deben ser revisadas por personal capacitado para realizar la asignacin de cdigos (proceso de codificacin o calificacin). La codificacin involucra tres tipos de crditos para asignar a una respuesta: Crdito total para respuestas completamente aceptables, corresponde al puntaje ms alto. Crdito parcial para respuestas que incumplen con la totalidad de los elementos para ser aceptables, pero s tienen algunos de ellos. Sin crdito para las respuestas no aceptables. Los resultados de PISA se comunican por medio de una escala con puntuacin media de 500 y una desviacin tpica de 100 para las tres reas de evaluacin, lo que significa que las dos terceras partes de los alumnos de los pases de la OCDE obtuvieron entre 400 y 600 puntos. Estas puntuaciones representan diversos grados de aptitud en un determinado aspecto de la competencia. Un reactivo que se clasifica en ms de 600 puntos, significa que es difcil; si tiene una clasificacin menor a 500, tiende a ser fcil. Como la principal rea de la evaluacin de 2000 era la competencia lectora, las escalas de lectura se dividieron en cinco niveles de conocimientos y habilidades. La principal ventaja de este enfoque estriba en que permite describir lo que son capaces de hacer los alumnos, asociando las tareas con los distintos niveles de dificultad. Adems de ello, los resultados se presentaron por medio de tres sub escalas de lectura: obtencin de informacin, interpretacin de textos y reflexin y evaluacin. En el informe de 2000 se ofreca tambin una escala de aptitud para las competencias matemtica y cientfica, aunque sin distintos niveles, lo cual reflejaba el carcter ms limitado de los datos obtenidos en las reas secundarias. PISA 2003 parti de este mismo enfoque, pero introdujo algunas novedades, como fue la especificacin de seis niveles de aptitud para la escala de competencia matemtica, siguiendo un modelo similar al empleado para la lectura. La competencia matemtica comprenda cuatro sub escalas: espacio y forma, cambio y relaciones, cantidad e incertidumbre. El informe sobre la competencia cientfica se estructura de forma similar e incluir tambin los resultados de las distintas reas. Del mismo modo que PISA 2003 ofreci por primera vez la oportunidad de presentar resultados de tendencia para la competencia lectora, matemtica y cientfica, los resultados de PISA 2006 suministrarn informacin adicional para este tipo de anlisis.
NIVELES DE LOGRO DE LAS COMPENTENCIA DE LECTURA, MATEMTICAS Y CIENCIAS
34
LECTURA Y SUS NIVELES DE DESEMPEO

NIVEL TAREAS TPICAS
NIVEL
MATEMTICAS Y SUS NIVELES DE DESEMPEO TAREAS

Los estudiantes que alcanzan este nivel poseen un pensamiento y razonamiento matemtico avanzado. Pueden aplicar su entendimiento y conocimiento, as como su dominio de las operaciones y relaciones matemticas formales y simblicas, y desarrollar nuevos enroques y estrategias para enfrentar situaciones nuevas. Pueden formular y comunicar con exactitud sus estrategias para enfrentar situaciones nuevas. Pueden formular y comunicar con exactitud sus acciones y reflexiones respecto a sus hallazgos, argumentos e interpretaciones y adecuarlas a situaciones originales.
Los estudiantes que dominan el nivel 5 de la escala, son capaces de completar reactivos de lectura sofisticados, tales como los relacionados con el manejo de informacin difcil de encontrar en textos con los que no estn Nivel 5 familiarizados; mostrar una comprensin detallada de dichos textos e inferir qu informacin del texto es relevante para el reactivo; ser capaces de evaluar crticamente y establecer hiptesis, recurrir a conocimiento especializado e incluir conceptos que puedan ser contrarios a las expectativas Los estudiantes que dominan el nivel 4 de la escala, son capaces de Nivel 4 responder reactivos de lectura difciles, tales como ubicar informacin anidada, interpretar significados a partir de sutilezas del lenguaje y evaluar crticamente un texto. Los estudiantes que dominan el nivel 3 de la escala, son capaces de Nivel 3 manipular reactivos de lectura de complejidad moderada, tales como ubicar fragmentos mltiples de informacin, vincular distintas partes de un texto y relacionarlo con conocimientos familiares cotidianos. Los estudiantes que dominan el nivel 2 de la escala, son capaces de responder reactivos bsicos de lectura, tales como ubicar informacin Nivel 2 directa, realizar inferencias sencillas de distintos tipos, determinar lo que significa una parte bien definida de un texto y emplear cierto nivel de conocimientos externos para comprenderla. Los estudiantes que dominan este nivel, son capaces de realizar slo los Nivel 1 reactivos de lectura menos complejos desarrollados para PISA, como ubicar un fragmento de informacin, identificar el tema principal de un texto o establecer una conexin sencilla con el conocimiento cotidiano. Los estudiantes que se encuentran en este nivel, son incapaces de realizar el tipo de lectura ms bsico que PISA busca medir. Esto no significa que no tengan aptitudes para lectura. De hecho, la mayora de estos estudiantes puede probablemente leer en el sentido tcnico de la palabra. Debajo Tienen serias dificultades para emplear la lectura como una herramienta del nivel eficaz para ampliar, y aumentar sus conocimientos y destrezas en otras 1 reas; podran, entonces, estar corriendo el riesgo no slo para enfrentar dificultades en su transicin inicial de la educacin hacia el trabajo, sino tambin de fracasar en beneficiarse de una educacin ms amplia y de las oportunidades para aprender durante toda su vida.
Los estudiantes que logran este nivel pueden desarrollar modelos y trabajar con ellos en situaciones complejas, identificando los condicionantes y especificando los supuestos. Pueden seleccionar, comparar y evaluar estrategias apropiadas de solucin de problemas para abordar problemas complejos relativos a estos modelos. Pueden trabajar de manera estratgica al usar habilidades de pensamiento y razonamiento bien desarrolladas; as como representaciones adecuadamente relacionadas, caracterizaciones simblicas y formales, y entendimiento pertinente de estas situaciones. Pueden reflexionar sobre sus acciones y formular y comunicar sus interpretaciones y razonamientos.
Los estudiantes son capaces de trabajar eficazmente con modelos explcitos en situaciones complejas y concretas que pueden implicar condicionantes o demandar la formulacin de supuestos. Pueden seleccionar e integrar diferentes representaciones, incluyendo las simblicas, asocindolas directamente a situaciones del mundo real. Saben usar habilidades bien desarrolladas y razonar con flexibilidad y con cierta perspicacia en estos contextos.
Los estudiantes son capaces de ejecutar procedimientos descritos claramente, incluyendo aquellos que requieren decisiones secuenciales. Pueden seleccionar y aplicar estrategias sencillas de solucin de problemas. Saben interpretar y usar representaciones basadas en diferentes fuentes de informacin, as como razonar directamente a partir de ellas. Pueden elaborar escritos breves reportando sus interpretaciones, resultados y razonamientos. Los estudiantes pueden interpretar y reconocer situaciones en contextos que slo requieren una inferencia directa. Saben extraer informacin relevante de una sola fuente y hacer uso de su nico modelo representacional. Pueden emplear algoritmos, frmulas, convenciones o procedimientos elementales. Son capaces de efectuar razonamientos directos e interpretaciones literales de los resultados. Los estudiantes pueden contestar preguntas relacionadas con contextos familiares, en los que est presente toda la informacin relevante y las preguntas estn claramente definidas. Son capaces de identificar la informacin y desarrollar procedimientos rutinarios conforme a instrucciones directas en situaciones explcitas. Pueden realizar acciones obvias que se deducen inmediatamente de los estmulos dados.
35
CIENCIAS Y SUS NIVELES DE DESEMPEO
NIVEL
TAREAS Los estudiantes pueden consistentemente identificar, explicar y aplicar el conocimiento cientfico y conocimiento sobre la ciencia en una variedad de situaciones complejas de la vida real. Relacionan distintas fuentes de informacin y explicacin, y hacen uso de evidencias a partir de esas fuentes para justificar sus decisiones. Son capaces de demostrar clara y consistentemente un pensamiento y razonamiento cientficamente avanzado; y pueden usar su comprensin cientfica como apoyo para resolver situaciones cientficas y tecnolgicas poco familiares. Utilizan el conocimiento cientfico y desarrollan argumentos que sustentan recomendaciones y decisiones en contextos personales. Los estudiantes pueden identificar los componentes cientficos de situaciones complejas de la vida, adems implican tanto los conceptos cientficos como el conocimiento sobre la ciencia a esas situaciones; y pueden comparar, seleccionar y evaluar qu tan apropiada es la evidencia cientfica para responder a situaciones de la vida. Los estudiantes pueden usar habilidades de investigacin bien desarrolladas, relacionar apropiadamente el conocimiento y ser capaces de comprender aspectos crticos de las situaciones. Construyen explicaciones basadas en evidencias y argumentos a partir de un anlisis crtico. Los estudiantes pueden trabajar efectivamente con situaciones y temas que les implique explicar un fenmeno y que les requiera realizar inferencias sobre el papel de la ciencia y tecnologa. Seleccionan e integran explicaciones de distintas disciplinas de la ciencia o la tecnologa y las vinculan directamente a situaciones de la vida. Son capaces de reflexionar sobre sus acciones y comunicar decisiones mediante el uso del conocimiento cientfico y de la evidencia. Los estudiantes pueden identificar claramente los temas cientficos descritos en una variedad de contextos. Pueden seleccionar hechos y conocimientos para explicar fenmenos y tambin pueden aplicar modelos simples o estrategias de investigacin. Interpretan y usan conceptos cientficos de diferentes disciplinas y los pueden aplicar directamente. Son capaces de desarrollar oraciones cortas utilizando hechos, y tomar decisiones basadas en el conocimiento cientfico. Los estudiantes tienen un conocimiento cientfico adecuado para proporcionar posibles explicaciones en contextos familiares, o pueden llegar a conclusiones basadas en investigaciones simples. Tienen un razonamiento directo y llegan a interpretaciones literales de los resultados de una investigacin cientfica o de la solucin tecnolgica de un problema Los estudiantes tienen un conocimiento cientfico limitado que slo es aplicable a pocas situaciones familiares. Dan explicaciones cientficas obvias que se obtienen directamente de la evidencia dada.
36
Descripcin de las tareas por subescala y niveles de competencia en lectura

Recuperacin de informacin Se define como la ubicacin de uno o ms fragmentos de informacin en un texto. Localizar y posiblemente ordenar en secuencias o combinar mltiples fragmentos de informacin anidada profundamente, algunos de stos pueden residir fuera del cuerpo principal del texto. Inferir qu informacin del texto es relevante para la tarea. Localizar y posiblemente ordenar en secuencias o combinar mltiples fragmentos de informacin anidada, cada uno de los cuales puede requerir cumplir con varios criterios en un texto de forma no familiar. Inferir qu informacin presente en el texto es relevante para la tarea. Interpretacin de textos Es la capacidad de construir significados y generar inferencias a partir de una o ms partes de un texto. Nivel 5 Establecer el significado presente en un texto expresado con lenguaje muy matizado o bien mostrar una comprensin completa y detallada del mismo. Nivel 4 Utilizar un alto nivel de inferencia basada en el texto para comprender y aplicar categoras en un contexto .no familiar y para interpretar el significado de un fragmento de texto tomando en cuenta el texto en su conjunto. Tratar con ambigedades, ideas contrarias a lo esperado e ideas presentadas en enunciados negativos. Nivel 3 Tratar con la informacin competitiva prominente. Integrar varias partes de un texto para identificar la idea principal, comprender una relacin o interpretar el significado de una palabra o frase. Comparar, contrastar o categorizar tomando en cuenta varios criterios. Tratar con informacin competitiva. Nivel 2 Identificar la idea principal de un texto, comprender relaciones, formar o aplicar categoras simples o interpretar significados dentro de una parte limitada del texto cuando la informacin no est resaltada y se necesita efectuar inferencias de bajo nivel. Nivel 1 Reconocer el tema principal o el propsito de un autor en un texto sobre un tema familiar cuando la informacin requerida en el texto es prominente. Reflexin y evaluacin Se define como la capacidad de relacionar un texto con la experiencia, los conocimientos o las ideas propias. Evaluar crticamente o formular hip tesis a partir del conocimiento especializado. Tratar con conceptos contrarios a las expectativas y apoyarse en un profundo entendimiento de textos largos o complicados.
Utilizar conocimiento formal o pblico para formular hiptesis acerca de un texto o para evaluarlo crticamente. Mostrar una comprensin precisa de textos largos o complicados
Localizar y, en ciertos casos, reconocer la relacin entre fragmentos de informacin, cada uno de los cuales puede requerir cumplir con criterios mltiples.
Realizar conexiones o comparaciones, dar explicaciones o evaluar una caracterstica del texto. Demostrar una comprensin detallada del texto en relacin con conocimientos familia res y cotidianos o recurrir a conocimientos menos comunes.
Localizar uno o ms fragmentos de informacin, cada uno de los cuales puede ser requerido para cumplir criterios mltiples.
Realizar comparaciones o conexiones entre el texto y el conocimiento exterior, o explicar una caracterstica del texto a partir de experiencias o actitudes personales.
Tomar en cuenta un solo criterio para localizar uno o ms fragmentos independientes de informacin expresada explcitamente.
Realizar una conexin simple entre la informacin contenida en el texto y el conocimiento comn y cotidiano.
37
Descripcin de las tareas por subescala y niveles de competencia en matemticas

Cantidad
Se centra en la habilidad de cuantificar como forma de organizar el mundo. Implica la comprensin de los tamaos relativos, el reconocimiento de patrones numricos y el uso de los nmeros para representar cantidades y atributos cuantificables de los objetos del mundo real (cantidades y medidas). Adems, cantidad tiene que ver con el procesamiento y la comprensin de nmeros que se presentan de diferentes maneras. Un aspecto importante es el razonamiento cuantitativo. Componentes esenciales del razonamiento cuantitativo son el sentido del nmero, la representacin de los nmeros mediante diferentes maneras, la comprensin del significado de las operaciones, la nocin de la magnitud de los nmeros, los clculos matemticos, la aritmtica mental y la estimacin. Conceptuar y trabajar con modelos que contengan procesos y relaciones matemticas complejas; trabajar con expresiones formales y simblicas; usar habilidades de razonamiento avanzado para derivar estrategias de solucin de problemas y asociarlas con contextos mltiples; usar procesos de clculo secuencial; formular conclusiones, argumentos y explicaciones precisas. Trabajar de manera efectiva con modelos de situaciones complejas para solucionar problemas; usar habilidades de razonamiento, comprensin e interpretacin bien desarrolladas con diferentes representaciones; realizar procesos secuenciales; comunicar razonamiento y argumentos.
Espacio y forma
Habilidad para identificar semejanzas y diferencias al analizar componentes de una estructura y reconocer formas en diferentes representaciones y dimensiones. Significa que se entiende la posicin relativa de los objetos, se es consciente de cmo se ven las cosas y por qu se ven as. Se saben mover a travs del espacio y de las construcciones y las formas, pues se comprenden las relaciones entre formas e imgenes o representaciones visuales, como la existente entre una ciudad real y las fotografas y mapas de la misma. Se comprende cmo se pueden representar en dos dimensiones los objetos tridimensionales, cmo se forman e interpretan las sombras, se entiende qu es la perspectiva y cmo funciona.
Cambio y relaciones
Capacidad de los alumnos para representar cambios de una forma comprensible; para comprender los tipos fundamentales de cambio y para reconocerlos cuando suceden; para aplicar estas tcnicas al mundo exterior; y para controlar un universo cambiante. Adems, comprende la capacidad de los alumnos para representar las relaciones de diversas mane ras: simblica, algebraica, tabular y geomtrica. Diferentes representaciones pueden servir para varia dos propsitos y tener diferentes propiedades. De esta manera, la capacidad de pasar de un tipo de representacin a otro es a menudo de importancia clave para desenvolverse en situaciones y tareas concretas.
Probabilidad
Implica dos tpicos relacionados: datos y probabilidad, los cuales son objeto de estudio de las matemticas y la estadstica y probabilidad. Los conceptos y actividades matemticas ms importantes en esta rea son la recoleccin de datos, el anlisis de datos y su organizacin o visualizacin, la probabilidad y la inferencia.
NIVEL 6 Resolver problemas complejos que involucren representaciones mltiples y que incluyan procesos de clculo secuencial. Identificar y extraer informacin relevante y asociar diferente informacin relacionada. Razonar, comprender, reflexionar y generalizar resultados y hallazgos; comunicar soluciones y dar explicaciones y argumentaciones Usar comprensin significativa y habilidades de razonamiento y argumentacin abstractas. Tener conocimiento tcnico y de convenciones para solucionar problemas y generalizar soluciones matemticas a problemas complejos del mundo real. Usar habilidades de pensamiento y razonamiento de alto nivel en contextos estadsticos o probabilsticas para creas representaciones matemticas de situaciones del mundo real; comprender y reflexionar para resolver problemas, y formular y comunicar argumentos y explicaciones.
NIVEL 5 Resolver problemas que requieran hacer suposiciones apropiadas o que impliquen trabajar con suposiciones dadas. Usar el razonamiento espacial, argumentar, y la capacidad para identificar informacin relevante; interpretar y asociar diferentes representaciones; trabajar de manera estratgica y realizar procesos mltiples y secuenciales. Resolver problemas, usando el lgebra avanzada, modelos y expresiones matemticas formales. Asociar representaciones matemticas formales a situaciones complejas del mundo real. Usar habilidades de solucin de problemas complejos y de multinivel. Reflexionar y comunicar razonamientos y argumentaciones Aplicar conocimiento probabilstica y estadstico en situaciones problema que estn de alguna manera estructuradas y en donde la representacin matemtica sea parcialmente aparente. Usar el razonamiento y la comprensin para interpretar y analizar informacin dada para desarrollar modelos apropiados y realizar procesos de clculo secuenciales; comunicar razones y argumentos.
38
Cantidad
Trabajar de manera efectiva con modelos simples de situaciones complejas; usar habilidades de razonamiento en una variedad de contextos; interpretar diferentes representaciones de una misma situacin; analizar y aplicar relaciones cuantitativas; usar diferentes habilidades de clculo para la solucin de problemas.
Espacio y forma
Cambio y relaciones
Probabilidad
Usar conceptos bsicos de estadstica y probabilidad combinados con razonamiento numrico en contextos menos familiares para la solucin de problemas simples; realizar procesos de clculo secuencial o de multinivel; usar y comunicar argumentos basados en la interpretacin de datos.
Usar estrategias simples de solucin de problemas que incluyan el razonamiento en contextos familiares; interpretar tablas para localizar informacin; realizar clculos descritos explcitamente, incluyendo procesos secuenciales.
Interpretar tablas sencillas para identificar y extraer informacin relevante; realizar clculos aritmticos bsicos; interpretar y trabajar con relaciones cuantitativas simples.
Resolver problemas del tipo ms bsico, en donde toda la informacin relevante se presenta explcitamente. La situacin est bien dirigida y tiene un alcance limitado, de tal forma que la actividad es obvia y la tarea matemtica es bsica, como una operacin aritmtica simple.
NIVEL 4 Entender y trabajar con representaciones Resolver problemas que impliquen mltiples, incluyendo modelos razonamiento visual y espacial, as como matemticos explcitos de situaciones del la argumentacin en contextos no familiares; relacionar e integrar diferentes mundo real para resolver problemas prcticos. Tener flexibilidad en la representaciones; realizar procesos interpretacin y razonamiento en secuenciales; aplicar habilidades de contextos no familiares; y comunicar las visualizacin espacial e interpretacin. explicaciones y argumentaciones resultantes. NIVEL 3 Resolver problemas que impliquen Resolver problemas que impliquen razonamiento visual y espacial elemental trabajar con representaciones mltiples en contextos familiares; relacionar (textos, grficas, tablas, frmulas) que diferentes representaciones de objetos incluyan cierta interpretacin y familiares; usar habilidades de solucin de razonamiento en contextos familiares, as problemas elementales; disear estrategias como la comunicacin de simples y aplicar algoritmos simples. argumentaciones. NIVEL 2 Resolver problemas de representacin Trabajar con algoritmos, frmulas y matemtica simple, donde el contenido procedimientos simples en la solucin de matemtico sea directo y claramente problemas; asociar texto a una presentado; usar pensamiento matemtico representacin sencilla (grfica, tabla, bsico, as como convenciones en frmula); usar habilidades bsicas de contextos familiares. interpretacin y razonamiento. NIVEL 1 Resolver problemas simples en contextos Localizar informacin relevante en una familiares, usando dibujos de objetos tabla o grfica sencilla; seguir geomtricos familiares; y aplicar instrucciones directas y simples, al leer habilidades de conteo y clculo bsicos. informacin de una tabla o grfica en una forma familiar o estndar; realizar clculos simples que impliquen relaciones entre dos variables familiares.
Interpretar informacin y datos estadsticos y asociar diferentes fuentes de informacin; usar razonamiento bsico con conceptos, smbolos y convenciones simples de probabilidad; y comunicar el razonamiento.
Localizar informacin estadstica presentada en forma grfica; entender conceptos y convenciones estadsticas bsicas.
Entender y usar ideas bsicas de probabilidad en contextos experimentales familiares.
39
Identificar temas cientficos
Habilidades y tareas en los niveles de desempeo de las subescalas de ciencias en PISA 2006
Explicar cientficamente fenmenos

NIVEL 6
Usar evidencia cientfica
Habilidades generales: Los estudiantes demuestran habilidad para comprender y relacionar modelos complejos inherentes al diseo de una investigacin. TAREAS: Relacionar los aspectos de un diseo experimental dado que responda a la intencin de la pregunta cientfica planteada. Disear una investigacin que cumpla adecuadamente las demandas de una pregunta cientfica particular. Identificar las variables a ser controladas en una investigacin y lograr relacionar el mtodo de control. Habilidades generales: Pueden comprender los elementos esenciales de la investigacin cientfica, por lo que logran determinar si los mtodos cientficos son aplicables a una variedad de contextos complejos y a menudo abstractos. Al analizar un experimento dado, pueden identificar la pregunta de investigacin y explicar la relacin entre sta y la metodologa. TAREAS: Identificar, de un amplio rango de contextos, las variables de una investigacin que necesitan ser cambiadas y medidas. Comprender la necesidad de controlar todas las variables extraas en una investigacin. Plantear preguntas cientficas relevantes a un tema dado. Habilidades generales: Los estudiantes identifican en una investigacin qu variables cambiar y medir, por lo menos controlar una. Pueden sugerir formas apropiadas de controlar esa variable, y plantear la manera de relacionar la pregunta que ser sometida a investigacin directa. TAREAS: Distinguir el estudio control de los resultados experimentales. Disear investigaciones que involucren relaciones directas y que omitan abstracciones importantes. Reconocer el efecto de las variables no controladas y tratar de tomarlas en cuenta en la investigacin.
Habilidades generales: Los estudiantes emplean una variedad de conocimiento cientfico abstracto, conceptos y relaciones entre ellos para el desarrollo de explicaciones de procesos sistmicos. TAREAS: Demostrar comprensin de una variedad de sistemas complejos y abstractos de naturaleza biolgica, fsica o ambiental. Explicar las relaciones entre un nmero discreto de elementos o conceptos.
Habilidades generales: Los estudiantes demuestran habilidad para comparar y diferenciar explicaciones opuestas al revisar la evidencia de sustento. Son capaces de formular argumentos por medio de la sntesis de evidencias provenientes de diversas fuentes. TAREAS: Reconocer que la hiptesis alterna se define del miso conjunto de evidencia. Comparar hiptesis opuestas contra la evidencia disponible. Construir argumentos lgicos para una hiptesis mediante el uso de datos de diversas fuentes. Habilidades generales: Son capaces de interpretar datos de diferentes conjuntos de informacin presentados en diversos formatos. Pueden identificar y explicar las diferencias y similitudes de los datos y derivar conclusiones basadas en una combinacin de evidencia dadas para esos datos. TAREAS: Comparar y discutir las caractersticas de diferentes datos presentados en grficas. Reconocer y discutir las relaciones entre datos en los que cambia la variable medida. Realizar juicios sobre la validez de las conclusiones basndose en el anlisis de suficiencia de los datos.
NIVEL 5
Habilidades generales: Los estudiantes emplean el conocimiento de dos o tres conceptos cientficos e identifican la relacin entre ellos para el desarrollo de explicaciones de un fenmeno contextual. TAREAS: Identificar, dado un escenario, sus caractersticas principales, ya sean conceptuales o factuales, y establecer relaciones entre ellas para desarrollar la explicacin de un fenmeno.
NIVEL 4
Habilidades generales: Los estudiantes comprenden ideas cientficas, incluyendo modelos cientficos, con un nivel importante de abstraccin. Aplican conceptos cientficos generales y los emplean en el desarrollo de la explicacin de un fenmeno. TAREAS: Comprender algunos modelos cientficos abstractos, seleccionar uno apropiado del que deriven inferencias para explicar un fenmeno en un contexto especfico. Habilidades generales: Los estudiantes pueden interpretar datos expresados e diversos formatos, como tablas, grficas y diagramas, mediante la sntesis de los datos y la aplicacin de patrones relevantes. Pueden usar los datos para llegar a conclusiones relevantes. Pueden determinar si los datos apoyan las afirmaciones sobre un fenmeno. TAREAS: Localizar partes relevantes de las grficas y compararlas para dar respuesta a preguntas especficas. Comprender como usar un control en el anlisis de resultados de una investigacin y desarrollar una conclusin. Interpretar una tabla que contenga dos variables medidas y sugerir relaciones crebles entre ellas. Identificar las caractersticas de un aparato tcnico simple mediante la representacin en diagramas y conceptos cientficos generales, y as formular conclusiones sobre el mtodo de operacin.
40

Habilidades generales: Los estudiantes pueden realizar juicios sobre si un tema es susceptible de ser medido o investigado cientficamente. Dada la descripcin de una investigacin, son capaces de identificar qu variables se pueden cambiar y medir. TAREAS: Identificar las variables que pueden ser medidas cientficamente en una investigacin. Distinguir entre cambio y medida de las variables en experimentos simples. Reconocer si las comparaciones se hacen a partir de dos pruebas (pero son incapaces de sealar el objetivo del control).

NIVEL 3
Habilidades generales: Los estudiantes pueden aplicar una o ms ideas o conceptos cientficos concretos en el desarrollo de la explicacin de un fenmeno. Esto se mejora cuando se dan indicaciones especficas o cuando hay opciones de respuesta. Al desarrollar una explicacin reconocen las relaciones causa-efecto, y pueden explicitar los modelos cientficos de base. TAREAS: Comprender la caracterstica principal de un sistema cientfico y predecir, en trminos concretos los resultados a partir de los cambios en el sistema. Recordar en un contexto simple y claramente definido varios hechos relevantes y concretos, y aplicarlos en el desarrollo de la explicacin de un fenmeno.

Habilidades generales: Los estudiantes son capaces de seleccionar elementos relevantes de informacin de los datos para dar respuesta a una pregunta o para sustentar a favor o en contra de una conclusin dada. Pueden llegar a conclusiones a partir de un patrn simple o complejo de datos. Pueden determinar, en casos simples, si hay suficiente informacin para sustentar una conclusin. TAREAS: Localizar informacin cientfica relevante en el cuerpo de un texto, dada una pregunta especfica. Seleccionar entre conclusiones apropiadas y no apropiadas, dada una evidencia o dato especfico. Aplicar un conjunto sencillo de criterios en un contexto dado para obtener una conclusin o realizar una prediccin sobre un resultado. Determinar si son aplicables un conjunto de funciones a un aparato especfico. Habilidades generales: Pueden reconocer las caractersticas generales de una grfica, si se les proporcionan las indicaciones apropiadas. Pueden sealar una caracterstica ovbia en una grfica o tabla simple para sustentar una afirmacin dada. Logran reconocer si un conjunto dado de caractersticas puede aplicarse en el funcionamiento de los dispositivos que se utilizan a diario. TAREAS: Comparar dos columnas en una tabla simple de medidas e indicar diferencias. Establecer tendencias en un conjunto de mediciones o en una simple grfica de lnea o barras. Determinar algunas caractersticas o propiedades propias del dispositivo, dado un dispositivo comn y una lista de propiedades
NIVEL 2
Habilidades generales: Los estudiantes logran determinar si una variable dada puede medirse cientficamente en una investigacin. Pueden reconocer la variable a ser manipulada (modificada) por el investigador. Pueden apreciar la relacin entre un modelo simple y el fenmeno que se est configurando. En temas de investigacin, los estudiantes pueden seleccionar apropiadamente las palabras clave para realizar bsquedas. TAREAS: Identificar un rasgo relevante a ser modelado en una investigacin. Comprender lo que puede o no ser medido por instrumentos cientficos. Seleccionar de entre varios objetivos, el ms apropiado para un experimento. Identificar qu cambiar (la causa) en un experimento. Seleccionar de entre varias palabras, la mejor para realizar una bsqueda en Internet sobre un tema particular. Habilidades generales: Los estudiantes pueden recordar hechos cientficos apropiados, tangibles y aplicables a un contexto simple; y los pueden usar para predecir o explicar un resultado. TAREAS: Sealar, con las indicaciones adecuadas y en ciertos casos, el hecho o proceso que caus el resultado, siempre y cuando se trate de un resultado especfico en un contexto simple. Recordar hechos cientficos especficos que sean de dominio pblico.
41

Habilidades generales: Los estudiantes pueden sugerir fuentes adecuadas de informacin sobre temas cientficos. Identifican en un experimento cantidades sujetas a variacin. En contextos especficos, pueden reconocer si una variable puede o no ser medida, mediante la utilizacin de instrumentos de medicin conocidos. TAREAS: Seleccionar, de un nmero de fuentes potenciales de informacin sobre un tema cientfico, algunas fuentes apropiadas., Identificar la cantidad sujeta a cambio a partir de un escenario especfico, pero simple. Reconocer si un instrumento puede usarse para medir una variable de una gama de instrumentos de medida conocidos.

NIVEL 1
Habilidades generales: Los estudiantes pueden reconocer relaciones simples de causa-efecto, dada las indicaciones relevantes. El conocimiento se deriva de un hecho cientfico particular que proviene de la experiencia propia o del dominio pblico. TAREAS: Seleccionar una respuesta adecuada entre varias, dado un contexto simple y que permita recordar un hecho cientfico. Reconocer relaciones simples de causa-efecto, dadas suficientes indicaciones.

Habilidades generales: Pueden extraer informacin de una hoja de datos o de algn diagrama relacionado con un contexto familiar, si se les pide contestar una pregunta. Pueden extraer informacin de una grfica de barras cuando se requiere hacer una simple comparacin de las alturas de las barras. En contextos comunes y en la que los estudiantes tienen alguna experiencia pueden atribuir un efecto a una causa. TAREAS: Realizar comparaciones de las alturas de las barras de una grfica y dar significado a las diferencias observadas cuando se pide resolver a una pregunta especfica. Indicar, en ciertos casos, una causa apropiada, dada la variacin de un fenmeno natural.
42
Ejemplo de reactivo para evaluacin de Ciencias 1: CAPTURAR AL ASESINO
43
Ejemplo de reactivo para evaluacin de Lectura: El GRAFFITI
Estoy hirviendo de rabia mientras limpian y pintan por cuarta vez la pared de la escuela para borrar los graffiti. La creatividad es admirable, pero la gente debera encontrar maneras de expresarse que no causaran costos adicionales a la sociedad. Por qu arruinan ustedes la reputacin de los jvenes pintando graffiti donde est prohibido? Los artistas profesionales no cuelgan sus pinturas en las calles, o s? En cambio, buscan financiamiento y se hacen famosos por medio de exposiciones permitidas por la ley. En mi opinin, los edificios, bardas y bancas de los parques, son obras de arte en s mismas. Es realmente pattico arruinar la arquitectura con graffiti y lo que es peor, destruir con esta tcnica la capa de ozono. Realmente no puedo entender por qu estos artistas criminales se molestan cuando sus "obras de arte" desaparecen de la vista una y otra vez. Helga
En cuestiones de gusto no hay reglas. La sociedad est llena de comunicacin y publicidad. Logotipos empresariales, nombres de tiendas. Carteles grandes e invasivos sobre las calles. Son aceptables? S, en general. Es el graffiti aceptable? Algunas personas opinan que s, otras que no. Quin paga por los graffiti? Quin est pagando a fin de cuentas la publicidad? Correcto: el consumidor. Te pidieron permiso las personas que pusieron los anuncios en las calles? no. entonces, deberan hacerlo los pintores de graffiti? No es entonces slo una cuestin de comunicacin -tu propio nombre, los nombres de las pandillas y las grandes obras en las calles? Piensa en la ropa a rayas y cuadros que sali a la venta en los almacenes Hace algunos aos. Y en la ropa para esquiar. Los motivos y colores fueron robados directamente de las floridas paredes de concreto. Es sorprendente que estos motivos y colores hayan sido aceptados y admirados, pero que el graffiti del mismo estilo se considere horrible. Estos son tiempos difciles para el arte. Sofa
Las dos cartas que aparecen vienen de Internet y hablan acerca del graffiti. El graffiti es pintura y escritura ilegal en las paredes y en cualquier otra parte. Lee las cartas para responder las siguientes preguntas. Pregunta 1: GRAFFITI R081Q01 El propsito de cada una de estas dos cartas es: A. Explicar qu es el graffiti. B. Plantear una opinin sobre el graffiti. C. Demostrar la popularidad del graffiti. D. Decir a la gente cunto se gasta quitando el graffiti. Pregunta 3: GRAFFITI R081Q06A Con cul de las dos personas que escribieron las cartas ests de acuerdo? Explica tu respuesta con tus propias palabras para referirte a lo que se dice en ambas cartas. .............................................................................. .............................................................................. Pregunta 2: GRAFFITI R081Q05 Por qu se refiere Sofa a la publicidad? ------------------------------------------------------------------------------------------------------------------Pregunta 4: GRAFFITI R081Q06B Podemos hablar de lo que dice la carta (su contenido). Podemos hablar de la manera en que est escrita la carta (su estilo). Sin tomar en cuenta con cul de las cartas ests de acuerdo, cul de las dos escritoras crees que escribi una mejor carta? Explica tu respuesta refirindote a la manera en que una o las dos cartas estn escritas. --------------------------------------------------------------------------------------------------------------------------------
44
47
48
49
50
51
52
BIBLIOGRAFA
Alrasian, Peter W., (2002). La evaluacin en el saln de clases, Mxico: Mc Graw Hill. Centro Nacional de evaluacin (CENEVAL) Gua de Examen (2004) [EXANI-I] Daz Gutirrez, Mara Antonieta et al (2007). PISA 2006 en Mxico. Mxico: INEE Direccin General de Evaluacin de Polticas, (2006). Curso Taller para el Banco Nacional de Reactivos, SEP, (30 31 de octubre de 2006). Instituto Nacional para la Evaluacin de la Educacin INEE, (2005). PISA para docentes. Mxico:autor. Len Casales, ngel Gabino y Lic. Silvia Rivera Leonides, (2004). Elaboracin de casos para la evaluacin de habilidades cognitivas, Mxico: CENEVAL. Organizacin para la Cooperacin y el Desarrollo Econmico, OCDE, (2006). PISA 2006. MARCO DE LA EVALUACIN. Conocimientos y habilidades en Ciencias, Matemticas y Lectura. Pars: autor. Tristn Agustn y Deyanira Molgado, Compendio de Taxonomas, Instituto de Evaluacin e Ingeniera Avanzada, S.C.
53

Taller Reactivos DGEE

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Taller Reactivos DGEE

Caricato da

Copyright:

Formati disponibili

Coordinacin de Planeacin y Evaluacin Educativa Direccin General de Evaluacin Educativa

Departamento de Elaboracin de Instrumentos de Evaluacin Agosto 2008

Roberto Krumm Guzmn Jefe del Departamento de Elaboracin de Instrumentos de Evaluacin

ndice de cuadros e imgenes

Objetivos del curso-taller

Cuadro 2. TABLA DE COMPETENCIAS PARA LA VIDA

COMPETENCIA 1. Para el aprendizaje permanente.

2. Para el manejo de informacin.

Bsqueda, evaluacin y sistematizacin de la informacin.

3. Para el manejo de situaciones.

Organizar y disear proyectos de vida considerando aspectos: sociales, culturales, econmicos.

Relacionarse armnicamente con otros y con la naturaleza.

Dimensiones de la evaluacin escolar

Planear las actividades docentes y vigilar el avance de la instruccin.

Tipo de informacin recabada

Cognitiva, afectiva y psicomotriz.

Informacin Logro del alcance programtico.

Planes escritos de Avances programticos.

FUENTE: Adaptacin a partir de la propuesta de Airasian, Peter W., 2002: 100.

Obtener evidencias tangibles acerca del nivel de desarrollo de habilidades que

Obtener evidencias tangibles acerca de los errores conceptuales o de

Imagen 1. Factores implicados en la elaboracin de reactivos

Competencias (conocimientos, habilidades y actitudes) indicadas por los planes y programas

Factores externos al constructor

Sustento terico de la medicin

Elaboracin de reactivos Avance programtico Procedimientos de la medicin y la evaluacin

Factores propios del constructor

Habilidades para la comunicacin y la creatividad

Reactivos de falso verdadero

Reactivos de respuesta breve

Fuente: Adaptacin a partir de la propuesta de Peter W. Airasian, 2002: 100

Reactivo de falso y verdadero:

Reactivo de respuesta breve (de completar):

Reactivo de opcin mltiple:

A) Inanimado B) Icandescente C) Incoloro D) Incombustible

A) Inanimado lo que no tiene vida. B) Incandescente lo que tiene calor

C) Incoloro lo que no tiene color D) Incombustible lo que no se puede quemar

La conclusin de que el Sol es un gigantesco reactor nuclear se debe a:

4.4 El siguiente reactivo corresponde estructuralmente a los de analogas :

Repentino Reducido Reiterativo Redondeado resistente

4.6 El siguiente reactivo corresponde estructuralmente a los de COMPLETAMIENTO :

4.8 El siguiente reactivo corresponde estructuralmente a los de JERARQUIZACIN U ORDENACIN:

A) ionosfera, troposfera, estratosfera B)estratosfera, troposfera, ionosfera

C) troposfera, estratosfera, ionosfera D) ionosfera, estratosfera, troposfera

4.9 El siguiente reactivo corresponde estructuralmente a los de RELACIN DE COLUMNAS:

A) 1a, B) 1b, C) 1e, D) 1d, E) 1d,

2b, 2d, 2c, 2b, 2c,

3c, 3c, 3d, 3a, 3e,

4d, 5e 4e, 5 4a, 5b 4e, 5c 4a, 5b

Normas Especficas para:

El reactivo debe considerar una opcin de respuesta correcta y N opciones de

3.00 Aplicacin -Empleo de mtodos para la solucin de problemas

4.00 Anlisis -Elementos -Relaciones -Principios organizadores

El estudiante ser capaz de.

Tablas de apoyo para la clasificacin de los reacrtivos. El tem es de nivel 1 si:

INFORMACIN GENERAL SOBRE PISA2

NIVELES DE LOGRO DE LAS COMPENTENCIA DE LECTURA, MATEMTICAS Y CIENCIAS

LECTURA Y SUS NIVELES DE DESEMPEO

MATEMTICAS Y SUS NIVELES DE DESEMPEO TAREAS

CIENCIAS Y SUS NIVELES DE DESEMPEO

Descripcin de las tareas por subescala y niveles de competencia en lectura

Descripcin de las tareas por subescala y niveles de competencia en matemticas

Entender y usar ideas bsicas de probabilidad en contextos experimentales familiares.

Identificar temas cientficos