Creacin de reactivos objetivos para el diseo de instrumentos de evaluacin

Instructor: Jess Tnori Quintana tanori@ciad.mx tanori@gmail.com

PROGRAMA
Objetivo General: Al finalizar el curso, el participante habr elaborado reactivos objetivos para instrumentos de evaluacin, considerando implicaciones tericas y metodolgicas. Producto: Conjunto de reactivos objetivos para integrar en instrumentos de evaluacin, fundamentados en los conocimientos de su rea disciplinar. Evidencia y criterios de desempeo: El conjunto de reactivos objetivos deben tener las siguientes caractersticas: - Redactados de manera clara y sin ambigedades. - Con sustento en conocimientos de su rea disciplinar, el plan de estudios y el perfil de egreso. - Creados en base a los criterios mnimos de validez y confiabilidad.

Duracin y sesiones: el taller tiene una duracin 20 horas y la modalidad es presencial. Estrategia didctica: trabajo en equipo, discusin grupal, y presentaciones. Acreditacin: asistencia a todas las sesiones presnciales, participacin en los equipos y discusiones, entrega en tiempo y forma del producto del curso.

Temario
1. Evaluacin educativa 1.1. Definicin 1.2. Objetos y sujetos de la evaluacin 1.3. Tipologa de la evaluacin 2. Tcnicas e instrumentos de evaluacin 2.1. Observacin y registro 2.2. Cuestionarios 3. Creacin de reactivos objetivos 3.1. Definicin 3.2. Caractersticas 3.3. Aspectos tericos 3.4. Ejemplos (y ejercicios) 4. Criterios de la creacin de instrumentos objetivos 4.1. Validez 4.2. Confiabilidad 4.3. ndice de dificultad 4.4. Poder de discriminacin de los reactivos

Preguntas de reflexin:
Qu es evaluar? Para qu evaluar? Es lo mismo evaluar que medir? Qu tipo de instrumentos de evaluacin conoce?

La evaluacin educativa es un proceso, sistemtico y riguroso, a travs del cual se obtiene informacin de las situaciones didcticas (enseanza-aprendizaje), con la finalidad de formar juicios de valor que contribuyan a la toma de decisiones fundamentadas acerca de un proceso o un procedimiento (Domnguez, 2008).

Funcin
-Retroalimentar el desempeo de un estudiante -Orientar la toma de decisiones -Perfeccionar los procesos educativos

La evaluacin involucra todos los elementos del proceso educativo. Docente Estudiante Autoridades Agentes externos (acreditadores) Objetivo Contenido Programacin: Actividades Documentacin y materiales

Participantes:

http://cvc.cervantes.es/obref/formacion_virtual/metodologia/pavon.htm

Tipos de evaluacin

Sumativa Por su funcionalidad Formativa Nomottica Idiogrfica Inicial Por su temporalizacin Procesal Final
Normativa Criterial

Por su normotipo (referente)

Autoevaluacin
Por sus agentes

Co - evaluacin
Heteroevaluacin

Basado en : Casanova, M.A. (2000): Manual de evaluacin educativa. La muralla. Espaa

Uso

Valora procesos y productos terminados No pretende mejoras inmediatas Se aplica al finalizar una programacin

Sumativa

Sirve para tomar decisiones en el rea curricular

Valora procesos Supone la obtencin rigurosa de datos Permite un conocimiento permanente

Formativa:

Reflexiona y ajusta lo planeado

http://www.upsp.edu.pe/descargas/Docentes/Antonio/archivos/tempo/Guiaevaluacion1.doc http://www.ciberdocencia.gob.pe/index.php?id=970&a=articulo_completo

Normotipo

Nomottica. Emplea un referente externo de comparacin.

Normativa Valora al sujeto en comparacin con el nivel o rendimiento de su grupo Criterial Se basa en criterios e indicadores concretos, claros y prefijados

Ideogrfica. Se centra en las capacidades del propio alumno y sus posibilidades de desarrollo.
http://www.upsp.edu.pe/descargas/Docentes/Antonio/archivos/tempo/Guiaevaluacion1.doc http://www.ciberdocencia.gob.pe/index.php?id=970&a=articulo_completo

Temporalidad

Inicial

En la incorporacin al centro educativo

En el inicio de un proceso de aprendizaje

Procesual Carcter formativo

Evaluacin continua Recopilacin sistemtica de datos, anlisis y toma de decisiones Al terminar el ciclo

Final

rea curricular

Unidad didctica
Etapa educativa

http://www.upsp.edu.pe/descargas/Docentes/Antonio/archivos/tempo/Guiaevaluacion1.doc http://www.ciberdocencia.gob.pe/index.php?id=970&a=articulo_completo

Por sus agentes

Autoevaluacin

El agente evaluador es el mismo sujeto y se produce cuando evala sus propios aprendizajes
El agente evaluador es un par y se produce cuando se da la posibilidad a un sujeto que esta dentro de la situacin para que valore a otro dentro del mismo contexto.

Coevaluacin

Heteroevaluacin

El agente evaluador es externo a la situacin.

Ejercicio: mencione algn instrumento de evaluacin que conozca de este tipo.

Instrumentos:

Observacin y registro

Lista de cotejo Rbrica

Ejercicio: Mencione algn tipo de instrumento relacionado con este tipo.

Instrumentos:
Pruebas objetivas Pruebas de ensayo Escalas Diferencial semntico

Cuestionarios

Pregunta generadora
Qu componentes de las competencias se pueden evaluar con reactivos objetivos?

Creacin de reactivos objetivos

- En la educacin de hoy en da es comn que la palabra

evaluacin se asocie, ante todo, a exmenes, cuestionarios o

pruebas.

- Estos instrumentos de evaluacin se componen de un conjunto de preguntas, proposiciones o problemas que se presentan al

estudiante. Estos elementos suelen denominarse reactivos o

tems (Gonzlez y Romero, 2009).

Reactivo:

- Se entiende por reactivo al planteamiento de una situacin que requiere solucin, que propone acciones o suscita reacciones que se traducen en respuestas .

Tipos de reactivo:
- Reactivo tipo ensayo. El evaluado debe construir por s mismo la respuesta. - Reactivo objetivo. El evaluado elige la respuesta dentro de un

rango limitado de posibilidades.

Caractersticas de los reactivos tipo ensayo: - Requieren que el evaluado organice y exprese sus respuestas en sus propias palabras.

- El evaluado interviene la mayor parte de su tiempo pensando y escribiendo.

- Su calidad depende en gran medida de la habilidad de la persona que califica la prueba.

- Son relativamente ms fciles de preparar, pero ms difciles de calificar de

manera adecuada. - Son susceptibles al engao por parte de los sujetos con facilidad de

palabra, pero que carecen de informacin.

- La distribucin de calificaciones puede variar de un corrector a otro.

Caractersticas de los reactivos objetivos

- Requieren de una respuesta corta, se elija la respuesta correcta entre varias alternativas o se identifique la respuesta correcta.

- El evaluado interviene la mayor parte de su tiempo leyendo y pensando.

- Su calidad depende de la competencia de quien la elabor. - Las tareas de los alumnos examinados y los criterios de los calificadores son ms explcitos. - Estn ms expuestos a la adivinanza. - La distribucin de calificaciones la determina casi por completo la prueba. - Permiten un muestreo amplio del conocimiento que se ha de medir.

Tipos de reactivos objetivos

- Completamiento / respuestas simple o breve. Se caracterizan por el establecimiento de una afirmacin incompleta, que a partir de la informacin reportada, se espera el completamiento o respuesta correspondiente.

- Correspondencia / apareamiento / casamiento. Estos reactivos se caracterizan por pedir el establecimiento de relaciones entre elementos de dos grupos o serie.

- Jerarquizacin / ordenamiento. Se caracterizan por ofrecer al examinado una lista de elementos o datos, a los cuales debe dar un orden especfico de acuerdo con el criterio que se indica en las instrucciones (cronolgico, lgico, evolutivo, por rangos, etc.).

- Localizacin / identificacin. Se caracterizan por contener una serie de indicaciones, referidas a conductas que han de verificarse sobre un material esquemtico o grfico dado en el mismo reactivo (mapas, diagramas, representaciones topogrficas, cuadros sinpticos, ilustraciones, modelos, etc.)

- Problemas. A nivel genrico, un problema es una proposicin compleja de elementos a los que corresponden una o varias soluciones o una incgnita a despejar, atendiendo al manejo que se haga de tales elementos.

- Estos reactivos se hallan ligados con la aplicacin de principios, leyes, frmulas, normas o criterios.

- Opcin mltiple. Estn constituidos, en su forma clsica, por un enunciado incompleto o una pregunta y varias posibles respuestas, entre las cuales una responde correctamente al enunciado o pregunta inicial.
- Los reactivos de opcin mltiple tambin pueden tener variantes en su formato: definicin, resultado de formula, asociacin, reconocimiento de error, evaluacin, entre otras. - En todos los casos contienen un enunciado base o postulado y sus opciones, una de ellas es la correcta (clave) y las dems son distractores.

- Los reactivos de opcin mltiple son los ms verstiles y estables de todos los reactivos objetivos. Pueden utilizarse para medir los objetivos de aprendizaje complejos y sencillos en todos los niveles y en cualquier materia .

- Adems, puede obtenerse informacin de diagnstico til a partir de un anlisis de las opciones incorrectas (distractores) que eligen las personas.

- De acuerdo con Gonzlez y Romero (2009), tanto el incremento en el nmero de personas que deben evaluarse como la posibilidad que ofrecen las nuevas tecnologas de calificar en forma automatizada han contribuido a promover el uso de instrumentos con reactivos de opcin mltiple.

- Por otra parte, los procesos de seleccin, egreso, diagnstico, acreditacin y certificacin institucionales suelen depender en gran medida de instrumentos con este tipo de reactivos; como los que utiliza el CENEVAL, por ejemplo.

La Taxonoma de Bloom y Krathwohl - La preparacin de reactivos para medir objetivos especficos de enseanza es ms efectiva cuando los comportamientos a evaluar se definen con claridad en la etapa preliminar. - Desde mediados de los aos 50 se ha prestado mucha atencin a los sistemas formales y estndares para clasificar objetivos . - A pesar de que ha transcurrido ms de medio siglo, la taxonoma de niveles cognoscitivos de Bloom y Krathwohl (1956) sigue vigente y utilizndose como referente bsico en la elaboracin de reactivos y pruebas objetivas.

Tabla Niveles cognoscitivos en la Taxonoma de Bloom y Krathwohl

Conocimiento (Nivel I): Se asocia a la recuperacin de la informacin e implica el recuerdo de hechos especficos, de formas y medios de tratar con stos, de ideas, materiales o fenmenos. Comprensin (Nivel II): Consiste en captar el sentido directo de una comunicacin o de un fenmeno, como la asuncin de una orden escrita u oral, o la percepcin de lo que ocurri en cualquier hecho particular. Representa la clase ms amplia de destrezas y habilidades intelectuales. Aplicacin (Nivel III): Concierne a la interrelacin de principios y generalizaciones con casos particulares o prcticos. Anlisis (Nivel IV): Implica la divisin de un todo en sus partes y la percepcin del significado de las mismas en relacin con el conjunto.

Sntesis (Nivel V): Alude a la comprobacin de la unin de los elementos que forman un todo. Puede consistir en la produccin de una comunicacin, un plan de operaciones o la derivacin de una serie de relaciones abstractas. Evaluacin (Nivel VI): Comprende una actitud crtica ante los hechos. La evaluacin puede estar en relacin con juicios relativos a la evidencia interna y con juicios relativos a la evidencia externa.
Fuente: tomado de Hernndez (2009).

- Las operaciones cognitivas se ordenan en seis niveles, del menos complejo al ms complejo. Estos niveles no son exclusivos, sino inclusivos de manera progresiva (Aiken, 2003).

- Por ejemplo, en la capacidad de evaluar, el nivel cognitivo ms complejo, el estudiante tiene que disponer de la informacin necesaria, comprender esa informacin, ser capaz de aplicarla, de analizarla, de sintetizarla y finalmente de evaluarla.

- Por las ideas de Bloom y Krathwohl, se ha establecido una prctica en los procesos de evaluacin de muchos pases del mundo, incluido el nuestro, donde los objetivos educativos constituyen proposiciones que reflejan conductas observables equivalentes a la manifestacin de procesos cognoscitivos en los distintos niveles taxonmicos.

- Es as como se relacionan tradicionalmente series de verbos para ser utilizados en la redaccin de objetivos y reactivos, con cada nivel cognoscitivo, mismos que son susceptibles de evaluar.

Tabla Conductas que se pueden identificar en cada nivel cognoscitivo de Bloom y Krathwohl.
Conocimiento Comprensin Definir Repetir Registrar Enunciar Nombrar Enlistar Explicar Revisar Diferenciar Clasificar Examinar Reafirmar Aplicacin Resolver Aplicar Demostrar Esbozar Operar Relacionar Anlisis Diferenciar Calcular Comparar Derivar Organizar Deducir Sntesis Planear Formular Reunir Construir Componer Hipotetizar Evaluacin Juzgar Corregir Argumentar Calificar Valorar Estimar

Enumerar

Ubicar

Delinear

Debatir

Concluir

Tasar

Fuente: tomado y modificado de Tristn y Molgado (2006).

Especificaciones de contenido
- Al prepararse para evaluar el aprovechamiento, la primera y ms

importante decisin es determinar la informacin, los procesos y

habilidades que sern sometidos a prueba. Para ello es til elaborar una tabla de especificaciones.

Tabla de especificaciones
- Es una forma de organizar la informacin con la que se elaboran reactivos para el diseo de una prueba objetiva o examen de conocimientos.

- Una

tabla

de

especificaciones

bien

elaborada

funciona

eficientemente como un plano o gua para el elaborador de

reactivos, ya que muestra claramente qu resultados de

aprendizaje se deben determinar, cuantos reactivos es

necesario establecer por cada resultado y qu nivel taxonmico

se requiere en cada resultado.

Tabla Ejemplo de una tabla de especificaciones para una prueba de Trigonometra

Contenidos Objetivos conductuales I Clasificacin de tringulos Clasificar tringulos, analizando sus propiedades, semejanzas y congruencia, para explicar el Teorema de Pitgoras Aplicar el Teorema de Pitgoras, resolviendo tringulos rectngulos, para relacionarlos con las razones trigonomtricas Calcular valores de ngulos, expresando razones y funciones trigonomtricas, para interpretar la Ley de los Senos y Cosenos Resolver tringulos utilizando la Ley de Senos y Cosenos, para aplicarlo a problemas reales y tiles en la vida cotidiana Analizar el crculo, representando arcos y ngulos, para calcular reas y permetros 1 II 1 Taxonoma III IV V VI 2 No. de Reactivos

Solucin de tringulos

El crculo

1 2

1 3

1 4

3 9

Fuente: tomado de Hernndez (2009).

- Los siguientes principios son tiles para todas las formas de reactivos:
1. Hacer apropiada la complejidad de los reactivos para el nivel de los examinados. 2. Definir la tarea, incluso las instrucciones, con la mayor claridad posible. 3. Informar a los estudiantes respecto a las normas para la calificacin, por ej. puntos por tarea. 4. Escribir los reactivos de la manera ms simple y directa posible. 5. Conoces cules procesos mentales se desea que use el estudiante y hacer las preguntas en concordancia.

6. Usar una organizacin o material nuevos para impedir que los estudiantes simplemente reproduzcan los ejemplos de la lectura del texto. 7. Variar la complejidad y la dificultad de los reactivos. Esto probablemente mejorar la capacidad para discriminar todos los niveles de conocimiento. 8. Hacer las preguntas tan independientes como sea posible. 9. Evitar los reactivos redactados de manera negativa tanto como sea posible. Usar unos cuantos es legtimo. De preferencia se debe subrayar la palabra no para mayor claridad.

10. Nunca usar dobles negativos.

Reglas para la utilizacin y elaboracin de los reactivos de opcin mltiple

1. Deben emplearse respuestas que se refieran al contenido del reactivo; por tanto, deben ser lgicas y verdicas. 2. Formular las afirmaciones y las opciones de respuestas con claridad. 3. Utilizar 4 opciones de respuesta.

4. Si las opciones tienen orden natural (fechas, pocas o nmeros), establecerlos de manera ascendente o descendente.
5. Coloque las opciones en formato de grupo (prrafo) en lugar de una tras otra. 6. Utilice nmeros para designar los reactivos y letras para las opciones (ver ejemplos). 7. Utilice poco las expresiones (mximo 2 veces) ninguna de las anteriores o todas las anteriores. Tambin evite los determinantes especficos como siempre o nunca.

8. No utilizar las mismas opciones de respuesta para varias preguntas, ya que se recurre a descartar respuestas.

Ejemplos de reactivos objetivos

- Reactivos de opcin mltiple: Definicin ( ) 1. Tipo de neurona que conduce los impulsos desde el sistema nervioso central hasta una glndula a) Motora b) Deferente c) De relacin d) Aferente Resultado de formula ( ) 2. En un crculo dado, con un dimetro de 12 centmetros, el rea de este crculo mide aproximadamente: a) 0.453 (empleando d2) b) 19 (empleando r) c) 38 (empleando d) d) 113 (empleando r2)

Ejemplos de reactivos objetivos

Asociacin ( ) 3. Fenmeno que tiende a ocurrir cuando se aproxima una tormenta en un rea. a) La temperatura se eleva. b) La presin baromtrica falla. c) Los vientos soplan del Este. d) La actividad elctrica aumenta. Reconocimiento de error ( ) 4. Operacin en la que se ha cometido un error. a) 24 - 12 = 12 b) 24 x 10 = 0 c) 24 (-21) = 12 d) 24 (-12) = 12

Evaluacin ( ) 5. La longitud ms pequea es: a) 2 1/6 pulgadas. b) 1/3 pie. c) 7/2 pulgadas. d) 1/12 yarda.

Ejemplos de reactivos objetivos

Completamiento / respuestas simple o breve En la actualidad, el principal pas productor de petrleo es:___________________________
Correspondencia / apareamiento / casamiento Escriba en el parntesis de la izquierda la letra que corresponda al nombre correcto del autor que se presenta en la columna de la derecha.

A. Bidet
( ( ( ( ( ( ) 1. Prueba de inteligencia de grupo ) 2. Prueba de inteligencia individual ) 3. Inventario de intereses ) 4. Inventario de personalidad ) 5. Correlacin producto-momento ) 6. Pruebas sensoriomotrices B. Darwin C. Galton D. Otis E. Pearson F. Rorschach G. Spearman H. Strong I. Woodworth

Ejemplos de reactivos objetivos

Jerarquizacin / ordenamiento Ordene correctamente la sucesin de planetas que integran nuestro sistema con base en la cercana al Sol.

A. ____ A. Venus B.____ B. Jpiter

C.____ Tierra
D. ____ Mercurio E. ____ Urano F. ____ Marte G. ____ Neptuno H. ____ Plutn I. ____ Saturno

Ejemplos de reactivos objetivos

Localizacin / identificacin - A continuacin se te presenta el esquema de un microscopio con lneas sealadas, escribe la letra correcta que antecede a cada parte indicada de acuerdo a las opciones presentadas.

A. Ocular B. Objetivo C. Condensador D. Soporte E. Platina F. Diafragma

Criterios de la creacin de instrumentos objetivos

REQUISITOS DE UN INSTRUMENTO DE MEDICIN: Confiabilidad y validez. CONFIABILIDAD: El grado en que su aplicacin repetida al mismo sujeto produce iguales resultados. Prueba para demostrarla: Alpha de Cronbach .

VALIDEZ. Grado en el que un instrumento mide la variable que pretende medir. Est midiendo lo que cree que est midiendo?

VALIDEZ DE CONTENIDO.

Grado en el que un instrumento refleja un dominio especfico de contenido de lo que se mide. Una prueba debe contener todos los temas del concepto a medir. Validez predictiva. Como una medida esta relacionada con una precurrente. Por ejemplo; el puntaje obtenido, promedio general de la preparatoria, en una prueba de se seleccin para ingresar a la universidad. En este caso se predice que el alumna permanecer en la universidad. Es obtenida por el; Coeficiente de correlacin de Pearson

VALIDEZ DE CRITERIO. Establece la validez comparndola con un criterio externo. P. ejemplo una medida de motivacin debe relacionarse positivamente con rendimiento acadmico.

VALIDEZ DE CONSTRUCTO.
Grado en el que una medicin se relaciona consistentemente con otras mediciones de acuerdo con hiptesis derivadas tericamente y que conciernen a los conceptos o constructos que estn siendo medidos. Ejemplo Calidad de Vida Subjetiva, Recursos Psicolgicos, Depresin, Estilos paternales Y se obtiene a travs de un anlisis, factorial, por componentes principales.

VALIDEZ CONVERGENTE DE CONSTRUCTO. Verificacin independiente de la existencia de un constructo. Se obtiene cuando esas medidas independientes, que se refieren al mismo constructo, concuerdan.

VALIDEZ DIVERGENTE DE CONSTRUCTO. Se obtiene cuando dos o ms medidas, que en teora miden constructos diferentes, no se correlacionan entre s.

FACTORES QUE AFECTAN LA CONFIABILIDAD Y VALIDEZ

IMPROVISACIN. Desarrollar instrumentos de la noche a la maana. UTILIZAR instrumentos desarrollados en otras culturas o tiempos. Necesidad de validarlos. INSTRUMENTOS INADECUADOS. Lenguaje elevado, diferencias de sexo, edad, conocimientos, memoria, motivacin para contestar. CONDICIONES EN LAS QUE SE APLICA EL INSTRUMENTO. Temperatura, ruido, extensin del instrumento, aspectos mecnicos (espacio para contestar, tamao de letra, etc.). INSTRUMENTOS DE MEDICION. Auto-reportes, pruebas estandarizadas, observaciones, huellas del comportamiento, mtodos psicofisiolgicos.

Trato especficos de los reactivos

Una vez que se ha aplicado un examen y se conocen sus resultados, resulta til y necesario obtener informacin acerca de la eficiencia que cada reactivo mostr para satisfacer los propsitos para los que fue diseado.

ndice de dificultad. Representa la cantidad de alumnos examinados que respondieron adecuadamente al tem. Se simboliza con la letra p y puede expresarse en proporciones o porcentajes, por lo que sus valores pueden fluctuar entre .00 y 1.00, o entre 0% y 100%, respectivamente.

De acuerdo con la psicometra, lo ideal es que cada reactivo posea un mediano ndice de dificultad igual a .5 50%; sin embargo, para considerarse como aceptable, ste puede oscilar entre .35 y .65. Este ndice, de dificultad, se calcula de la siguiente manera:

donde: pi = ndice de dificultad del reactivo i Ai = Nmero de aciertos en el reactivo i Ni = Nmero de aciertos ms nmero de errores en el reactivo i

ndice de discriminacin
Se define como el grado de diferenciacin que un reactivo es capaz de captar mediante la forma correcta o incorrecta en que los alumnos responden; de tal manera que sea respondido mayoritariamente correcto por quienes obtuvieron un puntaje global alto en el examen; y viceversa, mayoritariamente incorrecto por los alumnos con puntuaciones globales bajas en el examen. En sntesis, se espera que los reactivos sean capaces de distinguir, con la mxima nitidez posible, entre los alumnos de alto y bajo rendimientos acadmicos.

Para obtener el ndice de discriminacin utilizaremos la siguiente frmula:

donde: Di = ndice de discriminacin del reactivo i GAaciertos = Nmero de aciertos en el reactivo i del 27% de personas con las puntuaciones ms altas en el examen. GBaciertos = Nmero de aciertos en el reactivo i del 27% de personas con las puntuaciones ms bajas en el examen. Ngrupomayor = Nmero de personas en el grupo ms numeroso (GA o GB).

ndice de confiabilidad. El errores en la medicin ms comin es: la variabilidad en la ejecucin de reactivo a reactivo dentro de un examen. Este error puede ser controlado satisfactoriamente por el coeficiente Alpha de Cronbach (Nunnally & Bernstein, 1999. Los exmenes, por ejemplo, que aplican en la universidades para su ingreso, COSNET, EXHCOBA etc., por presentarse en una misma versin y en un mismo momento, puede estar en esta posicin de error por ende el Alpha de Cronbach resulta un estimador adecuado de su nivel de confiabilidad.