ndices de Dificultad y

Discriminacin
Dra. Noem L. Ruiz Limardo
2011
Objetivos
1. Conocer el significado de los
ndices de dificultad y
discriminacin.
2. Aplicar los ndices de dificultad y
discriminacin en un nalisis de
tem e interpretar los resultados.
Introduccin
Introduccin
Despus de administrar un instrumento
de evaluacin es necesario recopilar
evidencia acerca de la calidad del mismo.
Todo el esfuerzo y trabajo que conlleva
planificar y construir un instrumento no
sera provechoso si no se evala la
efectividad de los temes y se analizan e
interpretan los datos recopilados.
En esta leccin se estudiar cmo se
realiza un anlisis de temes. Ms adelante
se estudiar cmo se realiza un anlisis de
los resultados.
Anlisis de temes
Qu es un anlisis de
temes?
El anlisis de temes es cuando
se examinan las respuestas de los
estudiantes a cada tem o tarea
para determinar su efectividad.
El anlisis de temes es un
procedimiento donde
tradicionalmente se calculan dos
ndices:
ndice de dificultad
ndice de discriminacin
Beneficios de un anlisis
de temes
1. Provee la base para una
discusin efectiva de los
resultados de una prueba
atendiendo aquellos temes que
causaron mayor dificultad y para
aclarar errores en las ideas que se
reflejan en la seleccin de
distractores.
Beneficios de un anlisis
de temes
2. Sirve como un punto de partida
para la planificacin de una
instruccin remediativa que
atienda a aquellos temas y
objetivos que presentaron mayor
dificultad.
Beneficios de un anlisis
de temes
3. Permite revisar aquellos
contenidos y objetivos
relacionados con los temes y
hacer modificaciones en las
tcnicas de enseanza.
Beneficios de un anlisis
de temes
4. Mejora las destrezas
relacionadas con la construccin
de temes, particularmente al
revelar ambiguedades, claves para
la respuesta, distractores
inefectivos y otros defectos
tcnicos.
Beneficios de un anlisis
de temes
5. Apoya o rechaza los juicios
acerca de los resultados y ayuda a
determinar si los estudiantes
respondieron de la manera
esperada y si los temes miden lo
que se pretenda.
Beneficios de un anlisis
de temes
6. Ayuda en la interpretacin de los
resultados y a utilizarlos
apropiadamente.
7. Provee una gua para la revisin de
los temes e indican aquellos que
tienen problemas potenciales.
8. Ofrece informacin acerca de los
temes que pueden repetirse o
reusarse en futuras administraciones.
Beneficios de un anlisis
de temes
9. Aumenta la confianza en las
pruebas en las cuales se basan las
notas o calificaciones de los
estudiantes.
Anlisis de temes:
ndice de Dificultad
Qu es el ndice de
dificultad
Es el porcentaje o proporcin de personas
que contestaron el tem correctamente
(o que obtuvieron una ejecucin aceptable o
esperada).
El ndice de dificultad se denota con la
letra p.
Cuando es un tem de una prueba objetiva,
este ndice indica cun fcil o difcil result
ser un tem para el grupo de estudiantes que
lo contest.
Frmula de ndice de
dificultad
La frmula para calcular el ndice de
dificultad es la siguiente:
Observe que como p es una proporcin,
los valores de p fluctan entre 0 y 1.
Si p est expresado como por ciento,
entonces p flucta entre 0 y 100%.
100
n
c
p
c = nmero de personas que
contest el tem correctamente.
n = total de personas que
contestaron el tem.
Ejemplo para calcular el
ndice de dificultad
En una prueba de 30 temes, uno de los
temes fue contestado correctamente por 24
estudiantes. Calcula el ndice de dificultad
de este tem.
El ndice de dificultad es 80%, veamos:
% 80 100 ) 80 . 0 (
30
24
n
c
p
Interpretacin del ndice
de dificultad
Mientras ms alto es el ndice de dificultad
ms fcil es el tem, porque ms personas lo
contestaron correctamente.
A continuacin aparece una tabla que
desglosa los valores que ayudan a
interpretar el ndice de dificultad.
ndice de Dificultad Interpretacin del tem
p < 0.90 Muy fcil
0.61 > p > 0.89 Fcil
0.40 > p > 0.60 Mediana dificultad
p < 0.40 Difcil
Interpretacin del ndice de
dificultad
Un ndice de dificultad aceptable depende
del propsito de la prueba y de los criterios
establecidos en trminos de la
representatividad del contenido o de los
objetivos.
Para contestar cul sera un ndice
aceptable sera bueno preguntarse: Cul es
la proporcin o por ciento razonable de
estudiantes que se espera que contesten el
tem correctamente?
Esta pregunta se puede contestar individual
o colectivamente.
Ejemplo para interpretar
De los datos a continuacin, cules de los
temes resultaron ser ms fciles, ms
difciles, y cules de mediana dificultad?
tem c p
2 35 0.875
7 25 0.625
10 20 0.50
12 18 0.45
21 6 0.15
Anlisis de temes:
ndice de Discriminacin
Qu es el ndice de
discriminacin de un tem?
Es el grado en el cual el tem discrimina o
diferencia entre los que saben y no saben,
de las personas que lo contestaron.
El ndice de discriminacin se denota con
la letra d.
El ndice de discriminacin aporta
evidencia a la validez de los resultados de
la prueba en el sentido de determinar si el
tem mide o no lo que toda la prueba intenta
medir.
ndice de discriminacin
Hay varios procedimientos para
determinar el ndice de discriminacin.
Algunos de los comunes son:
Mtodo de la correlacin- Se busca la
correlacin entre la contestacin correcta o
incorrecta al tem con algn criterio, que podra
ser la puntuacin total, como por ejemplo: el
punto biserial y la correacin biserial.
Mtodo de la diferencia- Se busca la diferencia
entre grupos de personas que contestaron el
tem correctamente.
El segundo mtodo es un clculo ms
simple que produce un estimado razonable
y aproximado del poder discriminatorio.
Proceso para determinar el ndice de
discriminacin por segundo mtodo
Se ordenan las puntuaciones totales
obtenidas en la prueba de mayor a menor.
Se separan las puntuaciones totales en
dos grupos: las ms altas y las ms bajas.
La mitad del grupo caer en las ms altas
y la otra mitad caer en las ms bajas.
Se calcula el ndice con la siguiente
frmula:
100
2
n
c c
d
B A
c
A
= nmero de personas con puntuaciones
ms altas que contest el tem correctamente.
c
B
= nmero de personas con puntuaciones
ms bajas que contest el tem correctamente.
n = total de personas que contestaron el tem.
Ejemplo
Suponga que en un grupo de 20 estudiantes, se
separan las puntuaciones en 10 estudiantes con
puntuaciones ms altas y 10 estudiantes con
puntuaciones ms bajas. Se obtuvo, que del grupo
de puntuaciones ms altas, 9 estudiantes
contestaron correctamente el tem 1 mientras que
del otro grupo solo 6 estudiantes lo contestaron
correctamente. Determina el ndice de
discriminacin del tem 1.
El ndice de discriminacin del tem 1 sera de 30%.
% 30 100 ) 3 . 0 ( 100
10
6 9
100
2
n
c c
d
B A
ndice de Discriminacin
El ndice de discriminacin d es un nmero
decimal entre -1 y 1.
-G
Si d se est expresado como por ciento,
entonces:
-G
Mientras ms alto es el ndice d, mayor es
la diferencia contestando el tem entre las
personas con puntuaciones altas (los que
saben) y las personas con puntuaciones
bajas (los que no saben).
ndice de Discriminacin
Se espera que este ndice sea un nmero
positivo y alto, si ms estudiantes con
puntuaciones altas lo contestan correctamente
en comparacin con menos estudiantes del
grupo con puntuaciones bajas que contesten
correctamente (c
A
> c
B
).
Cuando c
A
= c
B ,
el poder discriminatorio es 0,
o sea, no discrimina.
Cuando c
A
< c
B ,
significa que las respuestas al
tem fueron contrarias a lo esperado. Esto resulta en
un ndice negativo y significa que debe revisarse la
clave y el tem.
La discriminacin mxima se obtiene cuando d = 1.
Interpretacin del ndice de
Discriminacin
Se puede usar la siguiente escala para
iterpretar los resultados del ndice de
discriminacin:
ndice de Discriminacin Interpretacin del tem
d < 0.40 Discrimina muy bien
0.30 > d > 0.39 Discrimina bien
0.20 > d > 0.29 No discrimina bien pero si
se revisa puede usarse
0.0 > d > 0.19 No discrimina y no debe
usarse
d < 0.0 No discrimina y debe
eliminarse
Ejemplo
En el ejemplo anterior se obtuvo un ndice
de discriminacin del tem 1 de 30%.
Interpreta este resultado.
De acuerdo a estos resultados se puede
decir que el tem 1 discrimina bien.
% 30 100 ) 3 . 0 ( 100
10
6 9
100
2
n
c c
d
B A
Anlisis de temes:
Consideraciones
adicionales para interpretar
los ndices
Consideraciones para la interpretacin
1. Un tem con ndices de dificultad y
discriminacin bajos no debe descartarse en
primera instancia, sino que nos pone en alerta
sobre la posible presencia de defectos
tcnicos.
2. El anlisis de los temes basado en una
muestra pequea y de conveniencia es
tentativo y va a depender del patrn de
respuestas de las personas que componen la
muestra. Los ndices de dificultad y
discriminacin no son caractersticas fijas de
los temes, dependen del grupo y su habilidad,
de su trasfondo educativo y del tipo de
instruccin que reciben.
Consideraciones para la interpretacin
3. Hay una relacin entre ambos ndices de
tal forma que la dificultad puede afectar
la discriminacin del tem. Si un tem es
muy fcil o muy difcil tiende a tener
poca discriminacin. Los temes de
mediana dificultad tienden a tener
discriminaciones ms altas.
Consideraciones para la interpretacin
4. Un nivel de discriminacin bajo no indica
necesariamente que el tem es
defectuoso. Un tem con discriminacin
baja debe ser examinado para determinar
la presencia de ambiguedad, claves para
la respuesta u otros defectos tcnicos. Si
no se encuentra ninguno y el tem
representa aprendizajes importantes,
podra utilizarse en el futuro.
Consideraciones para la interpretacin
5. Cualquier tem que discrimina en direccin
positiva puede contribuir a medir el
aprovechamiento de los estudiantes. Los
ndices de discriminacin bajos a menudo
se obtienen por otras razones que no estn
relacionadas necesariamente con defectos
tcnicos. El tem podra representar un tema
u objetivo que se le dio poco nfasis en la
instruccin y el ndice bajo seala que est
midiendo algo diferente alo que hay en la mayor
parte de la prueba. Removerlo, hara la prueba
ms homognea en contenido pero amenazara
la validez de los resultados.
Consideraciones para la interpretacin
6. Cuando se utilizan temes de alternativas
mltiples es recomendable realizar un
anlisis de las contestaciones a cada
alternativa para determinar no slo los
niveles de dificultad y discriminacin del
tem sino la efectividad de los distractores.
(Ver ejemplo en prxima pantalla)
Ejemplo de Anlisis de Alternativas
Se analiz un tem de alternativas mltiples que fue
contestado por 30 estudiantes. Se colocaron los
resultados en tres partes y se consideraron las dos
terceras partes que corespondan a las
puntuaciones ms altas y ms bajas con 10
estudiantes en cada grupo. Luego se cont el
nmero de estudiantes que seleccion cada
alternativa. Los resultados fueron los siguientes:
* La C es la respuesta correcta.
Grupo Alternativas
A B C* D Total
Alto 1 0 7 2 10
Bajo 2 0 5 3 10
Totales 3 0 12 5 20
Ejemplo de Anlisis de Alternativas
El ndice de dificultad es:
El ndice de discriminacin es:
Grupo Alternativas
A B C* D Total
Alto 1 0 7 2 10
Bajo 2 0 5 3 10
Totales 3 0 12 5 20
% 60 100 ) 60 . 0 (
20
12
n
c
p
% 20 100 ) 2 . 0 ( 100
10
5 7
100
2
n
c c
d
B A
Ejemplo de Anlisis de Alternativas
Un buen distractor debe ser atractivo para ms
estudiantes del grupo con puntuaciones bajas que
para los del grupo de puntuaciones altas.
En este tem se observa que la alternativa B fue un
distractor inefectivo ya que no result atractivo para
ninguno de los grupos. Esto sugiere que esta
alternativa debe revisarse.
Las alternativas A y D resultaron distractores
efectivos al ser seleccionados por ms estudiantes
con puntuaciones bajas.
Grupo Alternativas
A B C* D Total
Alto 1 0 7 2 10
Bajo 2 0 5 3 10
Totales 3 0 12 5 20
Ejemplo de Anlisis de Alternativas
Para que un distractor sea atractivo se espera que
como mnimo 10% de las personas lo seleccionen
y que sea seleccionado con mayor frecuencia por
los estudiantes con puntuaciones bajas.
En este tem la alternativa A fue seleccionada por
3/20 (15%) y la D por 5/20 (25%). Resultaron ser
buenos distractores.
Grupo Alternativas
A B C* D Total
Alto 1 0 7 2 10
Bajo 2 0 5 3 10
Totales 3 0 12 5 20
Consideraciones para la interpretacin
7. Los ndices de dificultad y discriminacin
no necesariamente aplican a pruebas de
criterios. En una prueba de criterios se
espera que el ndice de dificultad sea 0
antes de la instruccin y 1 despus de la
instruccin. El ndice de discriminacin se
determina principalmente a travs de la
diferencia en la ejecucin de los
estudiantes que recibieron o no la
instruccin.
Fin de la Leccin