Sei sulla pagina 1di 39

GUIA - TALLER

Análisis de los Resultados de una


Prueba Utilizando los Fundamentos de la
Teoría Clásica del Test.

José Humberto Guerrero Rodríguez Ed. D.


Vicky Ahumada De La Rosa Ed .D.

2014

Bogotá D.C.
Tabla de Contenidos

Preparación de la Plantilla de Calificación para una Prueba Objetiva Cerrada .......... 4

Introducción ............................................................................................................ 4

Propósito del Primer Taller ..................................................................................... 5

Referente Teórico ................................................................................................... 5

Procedimiento ......................................................................................................... 6

Primer Paso. ........................................................................................................ 6

Segundo Paso. ..................................................................................................... 7

Tercer Paso. ........................................................................................................ 7

Cuarto Paso. ........................................................................................................ 8

Quinto Paso. ........................................................................................................ 9

Sexto Paso. .......................................................................................................... 9

Séptimo Paso .................................................................................................... 12

Octavo Paso. ..................................................................................................... 13

Ejercicio de Aplicación ......................................................................................... 14

Primer paso. ...................................................................................................... 14

Segundo Paso. ................................................................................................... 15

Tercer Paso. ...................................................................................................... 16

Análisis de los Resultados de una Prueba Utilizando los Fundamentos de la Teoría


Clásica del Test ..................................................................................................................... 19

Propósito del Taller............................................................................................... 19

La Medición Educativa ......................................................................................... 19

Fundamentos Teóricos de la Teoría Clásica del Test ........................................... 20

Índices de Calidad para las Pruebas y los Ítems ................................................... 21


Índices para la calidad de la prueba. ................................................................. 21

Índices de Calidad para los Ítems. .................................................................... 22

Cálculo de los Índices de Calidad de los Ítems .................................................... 23

Primer Paso. ...................................................................................................... 23

Segundo Paso. ................................................................................................... 24

Tercer Paso. ...................................................................................................... 25

Cuarto Paso. ...................................................................................................... 28

Quinto Paso. ...................................................................................................... 29

Sexto Paso. ........................................................................................................ 30

Séptimo Paso. ................................................................................................... 32

Octavo Paso. ..................................................................................................... 35

Ejercicio de Aplicación ......................................................................................... 36

Interpretación de los Resultados ........................................................................... 37

Referencias ........................................................................................................... 39
4

Preparación de la Plantilla de Calificación para una Prueba


Objetiva Cerrada

Introducción

El trabajo docente de preparar un proceso evaluativo no termina con la


calificación del instrumento (prueba o examen). Es necesario realizar la metaevaluación
del proceso mismo.
¿Qué significa la metaevaluación de la evaluación? Es el proceso de “evaluar” la
evaluación. En otras palabras, es valorar los resultados provenientes de la calificación
para tomar decisiones. Esto no significa que no se haya ya establecido qué estudiantes
aprobaron y quienes no, pues los resultados de la prueba se han comparado con una
escala que tiene un punto de “quiebre”. Los estudiantes que quedan por encima de ese
valor mínimo han aprobado y los que quedaron abajo, no pasaron la prueba. La Figura 1
nos aclara mejor lo anterior:

Figura 1. La evaluación desde el punto de vista del estudiante.


5

La otra decisión se relaciona con el diseño de la enseñanza, el desarrollo del


proceso de aprendizaje, los materiales utilizados durante el aprendizaje e incluso, las
mismas evaluaciones parciales y finales utilizadas. ¿Para qué tanto esfuerzo? Pues,…
para lograr cada vez una enseñanza mucho más eficaz, más efectiva y que el docente
tenga datos para apoyar la afirmación: “en mi curso, todos los estudiantes realmente
aprendieron”.
Así, se han planeado dos talleres para transformar los resultados de los exámenes
que resolvieron los estudiantes en información útil para el docente.
El primer taller permite obtener una hoja de cálculo para “calificar” las
respuestas de los estudiantes y el segundo taller, se aplicarán los fundamentos de la
Teoría Clásica del Test (TCT). En todos ellos se manipularán datos matemáticos nada
complejo puesto que se explicará la estadística utilizada. Se requiere paciencia, un
computador que tenga instalado Excel y los datos que se proveerán en una hoja de
cálculo adicional. Cualquier duda, se sugiere escribir un correo electrónico a su profesor
informando específicamente del problema y enviar una copia del archivo hasta donde lo
haya trabajado para ayudarlo a solucionar su dificultad de aprendizaje.

Propósito del Primer Taller

Diseñar la hoja de cálculo que permitirá transformar las respuestas de los


estudiantes a datos numéricos para su tratamiento estadístico con los fundamentos de
TCT.

Referente Teórico

La hoja de cálculo Excel es una herramienta poderosa que permite organizar


datos alfanuméricos (letras y números) que se pueden transformar. Acá se utilizarán
unas funciones para transformar las respuestas que los estudiantes han dado al aplicar
un examen.
Suponemos que usted ha preparado previamente un examen de digamos 20
preguntas de selección múltiple con única respuesta para aplicarlo a 50 estudiantes.
Como ya se sabe, un ítem de selección múltiple tiene un enunciado y al menos tres
opciones de respuesta unos distractores y la clave o respuesta “verdadera” que es la que
permite medir si el estudiante conoce del asunto expuesto en el enunciado. La Figura 2
presenta el esquema que tiene este tipo de ítems.
6

Figura 2. Estructura de un ítem objetivo de selección múltiple con única respuesta.

Como lo puede observar, el estudiante seleccionará cualquiera de las cuatro


opciones marcando en la hoja de respuestas la letra que él considera es la respuesta
cierta. De hecho que usted al preparar el examen ya tiene indicadas las respuestas
verdaderas y lo ha comprobado con el apoyo de otro colega que le revisó el instrumento
de evaluación, ahora lo que tiene que hacer es “recoger” las letras de esas respuestas en
la hoja de cálculo. Ese es el propósito de este taller.

Procedimiento

A continuación se describen los pasos que se deben seguir para obtener la hoja
de cálculo y los datos necesarios para análisis posterior. Le recomendamos que las siga
en estricto orden y compare los resultados obtenidos con cada una de las imágenes de
apoyo que acompañan el proceso.
En este taller vamos a trabajar un libro de Excel para 20 preguntas y que fue
respondido por 50 estudiantes. Para su caso, ajústelo a las condiciones en las cuales
diseñó, elaboró y aplicó su prueba.
Primer Paso. Abrir un libro de Excel en blanco. Recuerde que ese archivo tiene
tres hojas marcadas abajo como “Hoja 1”, “Hoja 2” y “Hoja 3”. Esto para que lo tenga
presente en trabajo posterior porque vamos a utilizar todo el libro. La Figura 3 muestra
la hoja de Excel en blanco.
7

Figura 3. Aspecto del libro en blanco en Excel.

Segundo Paso. Ahora se va a preparar el libro para la recuperación de los


datos, En la fila 1 de la Hoja 1 escribimos en cada una de las celdas la siguiente
información: CODIGO, P1, P2, P3,… P20. Es decir, escribimos el nombre de cada
columna donde se va a recopilar las letras con las respuestas dadas por cada estudiante
que se ha identificado con su código, no con el nombre para no generar falsas
apreciaciones sobre el resultado del estudiante. P1 hasta P20 identifican cada uno de los
20 ítems que tiene el examen. La Figura 4 muestra la forma que queda la Hoja 1 de su
hoja de respuestas.

Figura 4. Aspecto de la primera fila de la Hoja 1.

Tercer Paso. Ahora escribimos los códigos de los 50 estudiantes que


presentaron el examen. En el ejemplo se hace iniciando en 1 hasta 50, pero si sus
estudiantes han recibido un número de identificación, ese se puede escribir en la hoja de
Excel. La Figura 5 ya nos presenta la forma inicial que tendrá la Hoja 1. Todavía no se
ha incluido la respuesta a cada pregunta por parte del estudiante ya identificado.
8

Figura 5. Presentación de la Hoja 1, antes de incorporar las respuestas.

Cuarto Paso. Ahora vamos a trabajar en la Hoja 2 del archivo en Excel. Para
ello con el puntero del mouse seleccionamos en el extremo inferior izquierdo del libro la
Hoja 2. Al hacerlo, se encuentra una hoja en blanco semejante a la Hoja 1 cuando se
abrió el libro, sólo que en la parte inferior esta resaltada la Hoja 2, como lo muestra la
Figura 6.

Figura 6. Aspecto inicial de la Hoja 2.


9

Quinto Paso. En la Hoja 2 seleccionamos un espacio en las dos primeras filas


para escribir las letras que corresponden a cada una de las respuestas verdaderas y que
la hoja de cálculo va a comparar para poder hacer la calificación, para ello nos ubicamos
en cualquiera de las celdas e identificamos la fila de la pregunta y la fila de la respuesta,
luego la diferenciamos del resto de datos de la hoja al colocarle bordes a ese espacio
seleccionado. La Figura 7 presenta el aspecto que tiene esta parte de la Hoja 2.

Figura 7. Aspecto del espacio para las respuestas ciertas en Hoja 2.

Sexto Paso. Ahora nos ubicamos en la celda B4, es decir, una fila de por medio
de la zona de las respuestas y una columna del borde izquierdo de la Hoja 2, ahora
procedemos a “programar” la celda para que haga la conversión de la primera respuesta
seleccionada por el primer estudiante y compararla con la celda correspondiente a la
primera pregunta de la zona de las respuestas. Lo que se hace acá es ubicarnos en la
barra de funciones, ubicar todas y seleccionar la Función SI. Esta nos permite hacer una
comparación de Falso–Verdadero entre dos valores alfanuméricos; acá vamos a
comparar la respuesta del estudiante con la verdadera, si ambas son iguales se dice que
es verdadero y se asigna un valor de uno (1) –un punto– y si no son iguales, entonces es
falso y se asigna un valor de cero (0) –no tiene punto– Esto nos permite pasar las letras
a números para poder hacer los cálculos posteriores. La Figura 8 muestra este proceso.

Figura 8. Selección de la Función SI en la Hoja 2.


10

Sin embargo no hemos terminado todavía la programación de la máquina. Ahora


tenemos que decirle dónde están los datos que debe comparar, al dar aceptar a la
ventana de la función nos aparece otra donde tenemos que hacer el registro de esa
información, como lo muestra la Figura 9.

Figura 9. Aspecto de la ventana para programar la Función SI.

En la ventana de Argumentos de la Función, nos ubicamos en la celda de


Prueba_lógica y ubicamos el primer valor a comparar que corresponde a la respuesta
literal del estudiante que tenemos ubicada en la Hoja 1, nos vamos a la esquina inferior
izquierda y con el puntero seleccionamos la Hoja 1, y ubicamos la celda B2, dando clic,
como lo muestra la Figura 10.

Figura 10. Inclusión de la primera respuesta a Función SI.


11

Ahora escribimos el signo igual “=” y regresamos a la Hoja 2 usando el puntero


del mouse al cliquear en la esquina inferior izquierda en la Hoja 2, luego ubicamos la
celda donde está la respuesta verdadera, que corresponde a la B2. La Figura 11 muestra
cómo queda registrada la información, que corresponde a =SI(Hoja1!=Hoja2!B2), que
le invitamos a que compruebe en su ejercicio.

Figura 11. Aspecto de la secuencia de programación de la Función SI.

Todavía no terminamos porque tenemos que escribir los números que nos va a
devolver la hoja de cálculo al hacer la comparación. Pasamos a la segunda celda
llamada Valor_si_verdadero y escribimos el uno (1) porque si son iguales el estudiante
ha “atinado” a la respuesta verdadera. Luego bajamos a la última celda llamada
Valor_si_falso y escribimos el cero (0). La Figura 12 presenta ya la ventana
diligenciada y sólo queda aceptar. Al hacerlo la celda B4 de la Hoja 2 tiene un valor de
uno (1) porque tenemos un blanco en la Hoja 1 y un blanco en la Hoja 2, al ser
verdaderos reporta ese valor, siendo la prueba de que nuestro proceso está correcto.

Figura 12. Programación completa de la Función SI.


12

Séptimo Paso. Ahora lo que tenemos que hacer es la activación de las otras
celdas, para ello recurrimos a la propiedad que tiene el Excel de poder copiar el valor de
una celda a las demás.
En este caso lo que hacemos es ubicarnos en la celda B4. Sin embargo debemos
primero “fijar” el valor de la celda B2 porque si no lo hacemos, al aplicar esa
característica de copiado del Excel lo que hace es hacerlo flotante, es decir que “cree”
que también debe mover esa celda y termina comparando otros valores escritos en las
otras celdas de la Hoja 2. Para evitarnos ese “dolor de cabeza” lo que hacemos es irnos a
la barra de funciones de la hoja, y ubicarnos en la escritura de la Función SI indicada
arriba, =SI(Hoja1!=Hoja2!B2;1;0), con el cursor seleccionamos antes de la letra B y se
escribe el signo pesos ($), luego nos vamos delante de la letra B y volvemos y
escribimos el signo pesos ($) en esta forma esta celda queda inmovilizada y no
tendremos errores en la comparación. La escritura de la Función SI quedará finalmente
=SI(Hoja1!=Hoja2$B$2;1;0), como lo muestra la Figura 13.

Figura 13. Forma de inmovilización de la celda con respuesta verdadera.

Realizado este paso, ahora si podremos copiar la función hasta cubrir la


respuesta del último estudiante. Nos ubicamos en la celda B4, colocamos el cursor al
lado inferior derecho de la celda de modo que se tiene una cruz más delgadita de la que
normalmente tiene y comenzamos a moverlo a lo largo de la columna hasta cubrir la
celda B52 que recupera la comparación del estudiante número 50. La Figura 14 nos
muestra el resultado final.
13

Figura 14. Copiado de la Función SI para comparar respuestas.

Aunque aparece en la barra de la función la que se ha copiado, puede mover el


cursor por las otras celdas y se dará cuenta que está comparando cada una de las
respuestas de la Hoja 1 (flotante) con la celda B2 de la Hoja 2 por ello muestran el valor
de uno en cada una de ellas.
Octavo Paso. Bueno, si todavía no ha “salvado” su libro de Excel, es el
momento de hacerlo, En este caso le hemos llamado “Plantillacalificacion” el cual será
también facilitado para su comparación.
Ahora toca volver a repetir en las demás columnas de la Hoja 2 el proceso de
comparación mediante la Función SI que es volver a efectuar los pasos primero a
14

séptimo pero cambiando las celdas de respuesta. La Figura 15 muestra cómo debe
quedar la Hoja 2 luego de “llenar” las celdas P2 a P20.

Figura 15. Aspecto final de la Hoja 2 de la plantilla.

Ejercicio de Aplicación

Ahora, vamos a hacer una utilización de nuestra plantilla, para ello se adjuntan
dos archivos en txt (bloc de notas) el primero tiene las respuestas de 50 estudiantes (se
llama RESPUESTAS) y el segundo las respuestas (se llama CLAVES) para que las
digite en su plantilla y luego compare los resultados que se encuentran más adelante en
la Tabla 1.
Primer paso. Abra su plantilla de calificaciones y verifique que está en la Hoja
1, es decir, debe estar completamente en blanco salvo las identificaciones de código y
de cada una de las respuestas. Debe tener el aspecto indicado en la Figura 5. Abra el
archivo RESPUESTAS.txt y proceda a copiar en cada celda las letras de la respuesta del
estudiante con código 1 hasta llenar la fila con sus veinte respuestas. Continúe con las
otras respuestas hasta llenar la Hoja 1 como lo muestra la Figura 16.
15

Figura 16. Aspecto de la Hoja 1 con las respuestas de los estudiantes.

Segundo Paso. Ahora, usando el cursor, seleccione la hoja 2 en la esquina


inferior izquierda y váyase a la zona de calificación al comienzo de la Hoja 2. Abra el
segundo archivo CLAVES.txt y proceda a copiar las letras de las respuestas verdaderas.
Una vez termine de hacerlo se dará cuenta que los unos iniciales se han cambiado a
ceros y unos. En esta forma la hoja ya ha realizado la calificación de las respuestas de
los estudiantes. La Figura 17 muestra los resultados esperados.
16

Figura 17. Llenado de las claves y aspecto final Hoja 2.

Tercer Paso. Como el ejercicio pide la calificación final, lo vamos a hacer


sobre los 20 puntos. Esto significa que un buen examen tiene 20 puntos, un mal examen
cero puntos y el mínimo aprobatorio es de 12 puntos. Con estos criterios usted puede
determinar cuántos estudiantes perdieron el examen y cuántos lo lograron aprobar. Este
ejercicio es adicional y solamente le dejamos la Tabla 1 donde aparecen los puntajes
totales. Para ello nos ubicamos en la última columna de la Hoja 2, vamos a Funciones,
buscamos suma, seleccionamos el rango de celdas que se debe tener en cuenta para
hacer la suma y luego copiamos hacia abajo de la columna obteniendo los valores
definitivos.
Tabla 1
Resultados de la Calificación de 50 Estudiantes en un Examen B

Código Calificación/20 puntos


1 10
2 8
3 14
4 8
5 8
6 9
7 11
8 13
9 12
10 14
17

Código Calificación/20 puntos


11 12
12 10
13 14
14 11
15 12
16 17
17 15
18 8
19 10
20 20
21 12
22 11
23 13
24 7
25 6
26 9
27 18
28 15
29 12
30 6
31 11
32 7
33 8
34 8
35 15
36 10
37 6
38 12
39 6
40 5
41 14
42 13
43 9
44 7
45 10
46 13
47 10
48 4
49 9
50 10

Esta es la Tabla que se le sugiere que complete con base en los resultados
encontrados.
18

Tabla 2
Balance de los Resultados de la Prueba Aplicada
Nº Criterio Cantidad
1 Exámenes Aprobados.
2 Exámenes No Aprobados.
3 Exámenes en el Criterio Mínimo de Aprobación.

¿Qué puede concluir del ejercicio?


19

Análisis de los Resultados de una Prueba Utilizando los


Fundamentos de la Teoría Clásica del Test

En el taller anterior se tuvo la oportunidad de elaborar un libro en Excel para


calificar una prueba objetiva de selección múltiple y se hizo un trabajo descriptivo
bastante sencillo para determinar los que aprobaron, quedaron en el nivel mínimo de
aprobación y los que no lo lograron.
Esos resultados son interesantes porque ayudan a formarse una imagen más real
de lo que ha pasado luego de efectuar un examen. Sin embargo es necesario efectuar
algunos cálculos estadísticos usando la misma hoja de cálculo en Excel.

Propósito del Taller

Realizar los cálculos de análisis del ítem, el cálculo del coeficiente de


confiabilidad interna del examen y los estadísticos de la calidad del examen utilizando
una hoja de cálculo en Excel.

La Medición Educativa

La psicometría se ha dedicado a la realización de mediciones de los fenómenos


psicológicos humanos utilizando instrumentos que determinen directa o indirectamente
las variables asociadas a una conducta. Medirla requiere establecer una relación válida
entre la variable y su observación, permitiendo inferencias posteriores sobre un sujeto
en particular. En educación esas variables es necesario definirlas y establecer las
unidades de medición más convenientes. Los test más comunes corresponden a los de
selección múltiple al permitir la masificación y a su relativa fácil calificación; en
educación nacieron de la necesidad en los Estados Unidos de valorar la calidad del
sistema educativo, pasando de ser elemento esencial en la enseñanza–aprendizaje a ser
una especialidad relativamente independiente que consideró al currículo y la
formulación de los objetivos de aprendizaje o educativos como criterios de medición del
éxito educativo que luego se complementó con el diseño instruccional requerido para
alimentar a las máquinas de enseñanza. Los objetivos educativos se categorizaron en
taxonomías como las de Bloom permitiendo una mejor valoración de los resultados de
aprendizaje esperados.
Un modelo de medición cumple con: (a) una persona con una habilidad alta,
tiene más probabilidad de éxito en un ítem que la de una con habilidad baja y (b)
20

cualquier persona tiene la más alta probabilidad de responder un ítem fácil que uno
difícil. La habilidad de una persona se debe estimar independiente de los demás
parámetros del test. El puntaje es una suma simple de respuestas correctas.
La evaluación implica la comparación inter e intraindividual conforme a los
resultados del test para hacer inferencias. Esto determinó la necesidad de referirse a una
norma o a un criterio para hacerlo y de determinar índices que ayudaran a esa tarea.

Fundamentos Teóricos de la Teoría Clásica del Test

Como todo examen busca efectuar una clasificación de los sujetos que lo han
respondido, es necesario establecer cuál es el comportamiento que tuvo el instrumento
en la población de estudiantes que lo resolvieron. Por esta razón Charles Edward
Spearman, un psicólogo inglés a comienzos del siglo XX hizo una propuesta sobre el
problema del error que acompaña a cualquier medición, hasta que en el año de 1950
Harold Gulliksen la consolidó cuando publicó su texto Theory of mental tests (Teoría de
los Test Mentales). A continuación se hará una breve presentación de sus fundamentos
para poder comprender el tratamiento matemático que se harán a las respuestas de los
estudiantes que se hizo en el primer taller Apéndice A).
Se basa en la posibilidad de construir formas paralelas de la prueba para medir el
mismo objeto o fenómeno psicológico; los ítems son diferentes pero su dificultad y
capacidad de discriminación son iguales ya que son elaborados con ese propósito.
Deben tener los mismos promedios, varianzas y covarianzas; si no, son pruebas
diferentes y no comparables. El desempeño de quien responde es universal y por ello
conlleva un grado de error dependiendo de las formas que tiene, las condiciones del
evaluado, las condiciones de aplicación y otros factores desconocidos. Si se aplicara
varias veces la misma prueba, los puntajes son diferentes y se podría determinar el error
asociado ya que correspondería a la diferencia entre el puntaje observado y el
verdadero. Acá se tiene una varianza de error para cada examinado cuya raíz cuadrada
es el error estándar de medición o la variabilidad de la distribución que tiene los
puntajes. Los supuestos básicos son: (a) el puntaje individual contiene al puntaje
verdadero y un margen de error, (b) el valor esperado del margen de error es cero, (c) la
correlación entre el puntaje individual y el verdadero es cero, (d) el promedio del
puntaje individual corresponde al del puntaje verdadero, (e) la varianza del puntaje
individual es igual a la del puntaje verdadero más la del error, (f) la regresión del valor
del error en el puntaje verdadero siempre vale cero. Se cumple para la misma población.
21

Se consideran como debilidades: (a) las estadísticas de los ítem y del test
dependen de la muestra, (b) la comparación de examinados es posible al aplicar el
mismo test o uno paralelo, (c) la confiabilidad del test depende de las formas paralelas
del test, (d) asigna la misma varianza para el error para todos los puntajes y (e) no
soluciona el problema del diseño de la prueba, la identificación de ítems diferenciales y
la comparabilidad de los puntajes.
La teoría clásica del test tiene tres parámetros: (a) Dificultad del ítem, es el
grado en que la población lo responde correctamente; varía de 0 a 1 y permite inferir al
desempeño del grupo de personas que lo aplicaron. (b) Discriminación del ítem,
corresponde a la proporción de personas que resolvieron incorrectamente el ítem
determinando una varianza y, (c) validez del ítem, una correlación entre la respuesta
dada y el puntaje obtenido en la prueba, excluyendo el puntaje que aporta al total; se
calcula mediante el coeficiente de correlación de Pearson. Para el test, se tiene el índice
de confiabilidad, la relación entre las varianzas del puntaje individual y la verdadera. Se
determina calculando el alfa de Cronbach que la hace sobre el mismo test dividiendo la
población en mitades simulando el test–retest el caso más puro de las pruebas paralelas.

Índices de Calidad para las Pruebas y los Ítems

Siguiendo a Morales (2012), es necesario analizar los resultados totales


obtenidos en el examen. Esto significa que es necesario calcular dos valores
fundamentales: el Índice de Confiabilidad y el Error Típico.
Índices para la calidad de la prueba. Entre estos se encuentran el Índice de
Confiabilidad, el Error Típico, el Índice de Discriminación de la Prueba y el Índice de
Dificultad de la Prueba. Analicemos el concepto y la fórmula de cada uno de ellos:
El Índice de Confiabilidad. La confiabilidad de una prueba se refiere a la
capacidad que tiene el instrumento de “diferenciar” a quienes resolvieron el examen. Se
relaciona con la consistencia interna que tiene el instrumento; un valor alto indica que
puede diferenciar a quienes pudieron resolver adecuadamente de los que no o que
incluso lo hayan realizado mediante el azar (un factor interviniente inexorable). Se
calcula mediante la fórmula del coeficiente de confiabilidad de Cronbach que tiene
como expresión:
𝑘 ∑𝑛𝑖=1 𝜎𝑖2
𝛼= [1 − ]
𝑘−1 𝜎𝑋2
22

Donde α es el alfa de Cronbach, k es el número de reactivos o ítems de la


prueba, 𝜎𝑖2 es la varianza del puntaje para el reactivo i, 𝜎𝑋2 es la varianza del puntaje
total.
El Error Típico. Corresponde al margen probable de variación o de oscilación
de los resultados obtenidos con la prueba. Por lo general corresponde a la desviación
estándar que tienen esos resultados. Se calcula mediante la fórmula:
𝜎𝑒 = 𝜎𝑡 √1 − 𝛼
Donde σe es el error estándar por calcular, σt es la desviación estándar que tienen
las calificaciones obtenidas con la prueba y α es el coeficiente de confiabilidad interna
de Cronbach.
El Índice de Discriminación de la Prueba. Se relaciona con la capacidad que
tuvo el instrumento para diferenciar entre la población donde se aplicó. Incluso puede
servir para establecer si mantiene un comportamiento similar en otra población o para
comparar entre sí pruebas diferentes que están midiendo en mismo objeto. Se calcula
mediante la fórmula:
𝑃𝑢𝑛𝑡𝑢𝑎𝑐𝑖ó𝑛 𝑚á𝑠 𝑎𝑙𝑡𝑎 − 𝑃𝑢𝑛𝑡𝑢𝑎𝑐𝑖ó𝑛 𝑚á𝑠 𝑏𝑎𝑗𝑎
Í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝐷𝑖𝑠𝑐𝑟𝑖𝑚𝑖𝑛𝑎𝑐𝑖ó𝑛 𝑑𝑒 𝑙𝑎 𝑝𝑟𝑢𝑒𝑏𝑎 =
𝑁ú𝑚𝑒𝑟𝑜 𝑑𝑒 Í𝑡𝑒𝑚𝑠
El Índice de Dificultad de la Prueba. Corresponde a la cantidad de respuestas
que se alcanzaron en la media de los resultados de aplicación del examen. Se calcula
mediante la fórmula:
𝑀𝑒𝑑𝑖𝑎
Í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝐷𝑖𝑓𝑖𝑐𝑢𝑙𝑡𝑎𝑑 𝑑𝑒 𝑙𝑎 𝑃𝑟𝑢𝑒𝑏𝑎 =
𝑁ú𝑚𝑒𝑟𝑜 𝑑𝑒 Í𝑡𝑒𝑚𝑠
Índices de Calidad para los Ítems. Ahora se sigue con el análisis específico
del ítem. En este se determina la relación que tiene con el total de la prueba, en algunos
casos su relación con otros ítems de la misma prueba y los índices de dificultad y de
discriminación.
Correlación Ítem–Total. Se busca determinar cuál fue el aporte que el ítem
hizo a los resultados obtenidos con la prueba. Si se ha logrado la mayor cantidad de
respuestas “buenas” su aporte al total será alto. Por lo general se calcula utilizando el
coeficiente de correlación de Pearson, que tiene como fórmula:
∑𝑛
𝑖=1(𝑋𝑖 − 𝜇𝑋 )(𝑌𝑖 − 𝜇𝑌 )
𝜌= (𝑛−1)𝜎𝑋 𝜎𝑌

Donde ρ es el coeficiente de correlación de Pearson, Xi es el puntaje en la


variable X, μX es la media de X, Yi es el puntaje de la variable Y, μY es la media de Y, σX
es la desviación estándar de la variable X, σY es la desviación estándar para la variable Y
23

y n es el número total de observaciones.


Índice de Dificultad. Se refiere a la posibilidad de solucionar el ítem por parte
de quienes lo respondieron. Es decir, es una medida de si la pregunta es fácil o difícil
teniendo en cuenta la cantidad de quienes respondieron “acertadamente” el ítem. Se
calcula mediante la fórmula:
𝑁º 𝑎𝑐𝑖𝑒𝑟𝑡𝑜𝑠 − 𝑁º 𝑒𝑟𝑟𝑎𝑑𝑜𝑠
Í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝐷𝑖𝑓𝑖𝑐𝑢𝑙𝑡𝑎𝑑 =
𝑛
Se resta de los aciertos los errores y se divide por la cantidad de examinados.
Índice de Discriminación. Corresponde a la forma en que el ítem puede
discriminar los que saben de los que no, incluyendo las respuestas por azar. Se calcula
con el coeficiente de correlación de Pearson.
En todos los casos, es necesario establecer criterios de interpretación de los
valores de cada uno de los anteriores índices. En el procedimiento se darán esos
criterios para poder hacer la interpretación de los mismos y poder elaborar un juicio de
valor, el propósito final de la metaevaluación.

Cálculo de los Índices de Calidad de los Ítems

Para calcular los Índices de Calidad de la Prueba, se debe recurrir a las fórmulas
ya explicadas anteriormente. Para los Índices de Calidad de cada Ítem recurrimos a una
hoja de cálculo programada en Excel de la siguiente manera:
Primer Paso. Se debe abrir un nuevo libro en Excel, esta vez le recomendamos
salvarlo. Un nombre sugerido para este es “Plantilla-TCT”. Como lo puede observar en
la Figura 1, el libro está abierto en la Hoja 1.
24

Figura 1. Aspecto inicial del Libro “Plantilla-TCT”.


Segundo Paso. Procederemos a realizar la identificación de filas y columnas de
la hoja en forma semejante a como se hizo en la “PlantillaCalificacion” del primer
taller. La Figura 2 nos muestra el aspecto de la Hoja 1 antes de su transformación.

Figura 2. Aspecto de la Hoja 1 del libro “Plantilla-TCT”.


Recordemos que tiene en la fila superior los nombres de código y de cada una de
las preguntas de la una (P1) a la veinte (P20).
25

Tercer Paso. Ahora nos vamos a la celda B53 para comenzar a “programarla”
de modo que cuando le incluyamos los datos numéricos (ceros y unos) que logramos de
la plantilla de calificación a la que le hemos cambiado el nombre para mantenerla para
trabajos posteriores. Esa es la finalidad de una “plantilla”. Como se presenta que
algunos estudiantes dejan de responder alguna de las preguntas, la plantilla debe tener
una función de verificación de la cantidad de espacios “en blanco” provenientes de
respuestas no completadas. Nos colocamos en la celda V1 y escribimos la palabra
“FALTANTES”. Bajamos a la celda V2 y buscamos en la barra de funciones la función
CONTAR:BLANCO, como se muestra en la Figura 3.

Figura 3. Programación función de conteo de celdas vacías.

Al dar clic en “Aceptar” aparece una ventana que se debe completar así: en la
celda de Rango, ubicamos en cursor en la celda B3 mantenemos pulsada la tecla
MAYÚSCULAS (↑) hasta la celda U3 como se muestra en la Figura 4:
26

Figura 4. Estableciendo el rango de celdas para conteo de blancos.

Efectuado lo anterior, se da clic en Aceptar para obtener el resultado mostrado


en la Figura 5:

Figura 5. Aspecto de la celda V3 con la función CONTAR.BLANCO.

Si aparece con el número 20 es porque se ha realzado correctamente la


aplicación de la función de conteo de blancos. Esto porque como todavía no se le han
incluido datos a cada celda, todas las 20 de la fila están vacías o en blanco. Ahora
procederemos a copiar la función desde la celda V4 hasta la V51 para que podamos
verificar si hay celdas en blanco cuando se incorporen las respuestas. Recordemos que
una manera fácil de hacerlo es colocando el cursor en la esquina inferior derecha de la
celda para que aparezca la “cruz delgada”, mantenemos hundido el botón derecho del
mouse y bajamos hasta buscar la celda V51, soltamos y vemos que se activan los
27

números de la suma en cada celda, como se ve en la Figura 6:

Figura 6. Resultado de la copia de la fórmula de la Función CONTAR.BLANCO

Es posible que indique al lado izquierdo de la celda que existe un error, por
favor omítalo o no lo tenga en cuenta. En este ejercicio se omitió de cada celda
individualmente.
28

Cuarto Paso. Ahora se procede a activar el cálculo del puntaje que obtuvo el
estudiante en el examen. Para ello nos vamos a la celda W1 y escribimos la palabra
“PUNTAJES”. Luego procedemos a activar la función SUMA dándole el rango de B2
hasta U2 y nos debe aparecer el número que muestra la Figura 7. Si usa el cursor, debe
sumar desde P1 hasta P20 sin incluir la celda de “FALTANTES”.

Figura 7. Aspecto de la celda de suma del puntaje luego de aplicar la Función SUMA.

Ahora procedemos a copiarla a lo largo de la columna siguiendo el


procedimiento que más se le facilite. Al final, la plantilla debe tener el aspecto de la
Figura 8. No olvide guardar el archivo.

Figura 8. Aspecto de la plantilla luego de la copia de la Función SUMA.


29

Quinto Paso. Ahora se va a calcular el Grado de Dificultad (GD) que tiene cada
ítem. Para ello vamos a la celda A53 y escribimos la sigla G.D. Luego pasamos a la
celda B53 para escribir una función del cálculo (SUMA) y un factor. Primero incluimos
la función SUMA como se hizo con el PUNTAJE. La Figura 9 muestra esta parte.

Figura 9. Inicio del cálculo del Grado de Dificultad del Ítem.

Al dar clic tenemos la primera parte de la función. Luego vamos a la barra de


funciones, ubicamos el final derecho de la fórmula, damos clic y procedemos a escribir:
“*100/50” para poder obtener el porcentaje para el ítem. La Figura 10 presenta la forma
en que quedó la fórmula anterior:

Figura 10. Expresión de la fórmula de cálculo del grado de dificultad del ítem.
30

Ahora, copiamos esta fórmula para los ítems P2 hasta P20 con eso se tendrán los
valores de G.D., para cada uno de las preguntas. La Figura 11 muestra el aspecto de la
plantilla con esta función.

Figura 11. La plantilla con el cálculo de grado de dificultad del ítem.

Sexto Paso. Ahora vamos a escribir en la hoja de cálculo la fórmula para


calcular el índice de discriminación (I.D.) del ítem. Para ello vamos a la celda A54 y
escribimos la sigla I.D. Luego pasamos a la celda B54 donde escribiremos la fórmula
para calcular el coeficiente de correlación biseral de Pearson. Vamos a la barra de
función, buscamos y seleccionamos PEARSON, como lo muestra la Figura 12:

Figura 12. Incorporando la función PEARSON para calcular índice de dificultad del
ítem.
31

Damos el clic y comenzamos a diligenciar las ventanas de la función así: en la


Matriz 1 con el cursor va hasta la celda B2, la selecciona, mantiene pulsado el clic
derecho del mouse y baja hasta la celda B51 y lo suelta, luego pasa a la ventana Matriz
2, ubica el cursor en la celda W2, mantiene presionado el botón izquierdo del mouse y
baja hasta la celda W51 como lo muestra la Figura 13.

Figura 13. Programación de la Función de PEARSON en la plantilla TCT.

Se da clic en aceptar. Como tenemos que copiar la fórmula a las celdas contiguas
es necesario “fijar” los valores de la Matriz 2 para ello vamos a la barra de función,
ubicamos la fórmula y colocamos el cursor antes de la letra W y se escribe el símbolo $,
pasamos al frente de la letra y volvemos a escribir el mismo signo. Posteriormente
vamos a la siguiente letra W y repetimos el proceso, en esta forma hemos
“inmovilizado” el rango de comparación que corresponde a la columna de PUNTAJES.
La Figura 14 presenta el resultado con la fórmula:

Figura 14. Forma de ajustar la parte final de la fórmula de Pearson


32

La fórmula en la barra de funciones debe ser


“=PEARSON(B2:B51;$W$2:$W$51), así se puede comparar el aporte del ítem
comparado con el total del examen y determinar con este valor el índice de dificultad
del mismo. Como estamos construyendo la plantilla y no se tienen datos en las celdas
seleccionadas arroja el valor mostrado en la celda B54 como si fuera un error debido a
que está haciendo una operación matemática de dividir por cero que no es válida.
Para finalizar, se copia a las celdas adyacentes teniendo la plantilla la apariencia
que tiene la Figura 15:

Figura 15. Apariencia de la Plantilla-TCT con las celdas G.D e I.D.

Como aparece error por lo ya comentado, los eliminamos uno a uno.


Séptimo Paso. Ahora se va a calcular el coeficiente alfa de Crombach para
medir la consistencia interna del ítem o confiabilidad del instrumento aplicado. Nos
vamos a la celda A56 y escribimos la palabra “VARIANZA”, pasamos a la celda B56 y
en la barra de funciones buscamos la función VAR (varianza), damos clic para que
aparezca la ventana de diálogo que se muestra en la Figura 16:
33

Figura 16. Incorporando la función VARIANZA en la plantilla TCT.

Al dar clic en aceptar aparece otra ventana para definir el rango de cálculo.
Como estamos con la pregunta 1 vamos a la celda B2 la seleccionamos con el mouse,
mantenemos presionado el botón izquierdo y bajamos hasta la celda B51, damos clic en
aceptar y queda lista para hacer el cálculo como se muestra en la Figura 17:

Figura 17. La función varianza aplicada en la plantilla TCT.


34

Como en el caso anterior, la celda marca un error, éste lo debemos omitir por las
mismas razones de la función de Pearson, hay divisiones por cero que “molestan” al
programa. Ahora la copiamos a las demás celdas de la fila como lo hemos venido
haciendo (desde P2 hasta P20). Sin embargo necesitamos la varianza del puntaje,
entonces podemos copiar la fórmula de varianza o generarla para esa columna. Cosa
curiosa, el resultado que señala es cero. Es decir el problema del error se elimina al
tener las celdas datos, como las del puntaje están sumando ceros o vacíos, da ese
resultado.
Finalmente se va a generar la fórmula de cálculo del alfa de Cronbach. Para ello
vamos a la celda A58 y escribimos la palabra “ALFA”, pasamos a la celda B58 para
comenzar a escribir la fórmula. Para ello ubicados en la celda escribimos: “=(20/19)”
esta primera parte corresponde al número de ítems de la prueba (20) dividido por los
grados de libertad del análisis; como estamos analizando preguntas, los grados de
libertad1 corresponde a 20 – 1 que da 19. Después de esta fracción se escribe: “*(1-(” y
haciendo uso de la función suma incorporamos el rango de la suma de las varianzas por
ítem seleccionado de B56 hasta U56, como se muestra en la Figura 18:

Figura 18. Incorporando la suma de varianzas.

Al dar clic marca un error por no tener unos paréntesis cerrados, se da omitir el
error y regresamos nuevamente a la barra de funciones y escribimos “/” y con el mouse
seleccionamos la celda W56 que tiene la varianza de los PUNTAJES. Nuevamente en la
barra de funciones escribimos al final “)” que nos hace falta y damos “enter”. Así

1
Los grados de libertad siempre corresponde al número total de variables menos una: GL = (V – 1).
35

quedará lista la fórmula de cálculo del coeficiente alfa, la celda muestra un error por las
divisiones por cero que le “preocupan”. Como en los casos anteriores omitimos el error.
Guardamos nuevamente el archivo salvando los cambios.
Octavo Paso. Ahora se procede a construir la fórmula de cálculo para valorar el
error estándar de medida (Error de M). Nos ubicamos en la celda A60 y escribimos
“ERROR DE M”, luego pasamos a la celda B60 para escribir la fórmula de cálculo.
Vamos a la barra de funciones para buscar la función RAIZ, damos clic y ubicamos con
el cursor la celda W56 seleccionándola como muestra la Figura 19:

Figura 19. Inicio de escritura de la fórmula para valorar error de medida.

Al dar clic queda incorporada la primera parte de la fórmula, por eso vamos
nuevamente a la barra de funciones y lo colocamos al final de la expresión de la raíz
cuadrada para escribir “*” nuevamente damos clic en la barra de funciones para
seleccionar nuevamente la función RAIZ. La Figura 20 muestra este proceso.

Figura 20. Incorporando la segunda parte de la fórmula de error.


36

En la ventana de Número se escribe “1-” y con el cursor buscamos la celda B58


donde tenemos el valor del alfa de Cronbach. En la celda donde está ubicado ese cálculo
da un valor de cero (0) lo que aparentemente nos está indicando que se hizo
correctamente la plantilla. No olvide guardarla.
Con esto ya tenemos listo el medio electrónico para hacer nuestros cálculos
utilizando los fundamentos de la TCT. A continuación se procederá a realizar una
aplicación utilizando los datos que obtuvieron en el ejercicio del taller uno
anteriormente realizado.

Ejercicio de Aplicación

Si recuerda, usted hizo un ejercicio al finalizar el trabajo del Taller 1 donde hizo
una calificación. Se sugirió que llamara al libro “EJERCICIO1”. Si lo tiene ya ubicado
por favor ábralo y seleccione la “Hoja2” donde usted tiene valores de ceros y unos.
Seleccione únicamente estos valores; es decir, no seleccione la primera fila ni la primera
columna. Para ello ubíquese en la primera celda y con el botón izquierdo del mouse
seleccione toda esa fila hasta la pregunta 20 y comience a bajar hasta la fila 50. En la
Figura 21 encuentra una imagen del proceso realizado.

Figura 21. Selección de los datos del archivo EJERCICIO1.


37

Ahora usando la barra de funciones cliquee “copiar” y ahora en un nuevo


archivo de la “Plantilla-TCT” ubíquese en la celda B2 y seleccione el botón de pegar, de
clic en la etiqueta “pegar” para que despliegue las opciones y busque “pegado valores”
y da clic en el primer ícono como lo muestra la Figura 22.

Figura 22. Proceso de “pegado” de los datos del ejercicio 1 en la plantilla.

Hacemos esta “variación” del cortar y pegar porque recuerda que los datos del
ejercicio 1 fueron generados con fórmulas, al copiarlas se “van” conjuntamente con los
datos, si pegáramos simplemente no nos saldría sino errores complicándonos la vida,
por eso le decimos al Excel que sólo copie los valores y el obedientemente lo hace y nos
hace alegre la vida.
Una vez usted ha pegado los valores, la hoja 1 del libro de Excel hace los
cálculos en milisegundos. Ahora se debe proceder a la interpretación de los datos. Esta
es la tercera parte del Taller.

Interpretación de los Resultados

A continuación se encuentra la Tabla 1 que tiene espacios en blanco para que


usted los tramite con cada uno de los resultados encontrados al aplicar la plantilla que
laboriosamente se ha construido.
38

Tabla 1
Índice de Calidad para el examen o prueba
Indicador Valor
Índice de Confiabilidad (α de Cronbach).
Error Típico.
Índice de Discriminación de la Prueba.
Índice de Dificultad de la Prueba.

Tabla 2
Índice de Calidad del Ítem
Ítem
Índice de Dificultad Índice de Discriminación

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
39

Referencias

Chávez, A.C., & Saade, H. A. (2009). Procedimientos básicos para el análisis de


reactivos. México: Centro Nacional de Evaluación para la Educación Superior
(CENEVAL). Recuperado de: http://www.ceneval.edu.mx/ceneval-
web/content.do?page=1689

Morales, V. P. (2012). Análisis de ítems en pruebas objetivas. Madrid: Universidad


Pontificia Comillas. Recuperado de:
http://web.upcomillas.es/personal/peter/otrosdocumentos/AnalisisItemsPruebas
Objetivas.pdf

Potrebbero piacerti anche