Departamento de Fsica Tecnolgico de Monterrey

Proyecto de Ingeniera Fsica

Anlisis Psicomtrico del Inventario de Conceptos Qumicos
Por: Eder Alonso Hernndez Vite (A00508858)
Diciembre del 2013

Resumen
El Inventario de Conceptos de Qumica referenciado como CCI en
adelante, como en la literatura es un instrumento creado en el
2002 por Mulford y Robinson, con el propsito de investigar y
atender las concepciones alternativas que tienen estudiantes de
nivel medio superior y primer ao del primer suprior en materia de
qumica bsica. A principios de 2013, Jack Barbera public un
anlisis psicomtrico donde midi algunos criterios de
confiabilidad y reproducibilidad de este instrumento. En el presente
documento, se presenta como prueba y corroboracin de dichos
resultados, por medio de anlisis de curvas IRC adems de los
mtodos utilizados en el trabajo ya mencionado.

1. Introduccin
Como Mulford y Robinson (2002) lo definen, una concepcin alternativa es todo
concepto que no va de acuerdo con lo aceptado por el consenso de la comunidad cientfica,
muy similar a la definicin de preconcepciones, descrita por Nakhleh (1992). Estas
concepciones constituyen una problemtica que ya se est siendo atacada desde hace al
menos 25 aos , y para los cuales se han propuesto algunos
instrumentos, entre los cuales se encuentra el Inventario de Conceptos Qumicos CCI por
Mulford y Robinson (2002). Lo que se busca es atender esta problemtica de concepciones
alternativas en estudiantes de bachillerato y primer ao universitario, mediante preguntas
conceptuales tal y como el nombre del instrumento lo indica. La complejidad de este tipo
de pruebas radica en que, en general, la instruccin escolar est basada en la resolucin de
problemas utilizando algoritmos matemticos mecanizados y dejando el entendimiento
conceptual en segundo plano (Leppvirta, 2011).
Por qu utilizar el CCI? Esa es una pregunta planteada por Barbera (2013), pues,
segn reporta, no existe mucha informacin en la literatura acerca de las propiedades
psicomtricas tanto de cada reactivo en el instrumento, como del instrumento en general. A
pesar de que se presentan datos como la de Cronbach, y otros datos obtenidos en el
estudio de Mulford y Robinson, la informacin que proveen es poca en cuestiones de
confiabilidad y validez (Barbera, 2013). Es por ello que Barbera propone y realiza un
estudio, basado en una combinacin de anlisis estadstico clsico de instrumentos, as
como del modelo Rasch, para dar una evaluacin psicomtrica de la informacin obtenida
del CCI.
Con ello, Barbera presenta resultados que buscan apoyar o debatir algunos de los
puntos propuestos por Mulford y Robinson en su investigacin original. Entre otras cosas,
concluye que algunos datos estadsticos caen en el rango aceptable, mas podra ser
conveniente replantear algunos de los reactivos, pues su dificultad, o su ndice de
discriminacin no son otorgan la informacin necesaria para analizar el desempeo de los
alumnos respecto a sus concepciones alternativas (Barbera, 2013).
En este trabajo se ha hecho una reproduccin de la implementacin y anlisis
estadstico del estudio citado, con la aportacin de algunas tcnicas adicionales que vienen
a complementar la validez de los resultados mostrados por Barbera. Los detalles de la
implementacin y sus condiciones se mostrarn en la seccin siguiente.

2. Metodologa
En primer lugar, se hace hincapi en recordar que el CCI es una prueba de opcin
mltiple de 22 reactivos, orientada al estudio de las concepciones alternativas de los
estudiantes de qumica de bachillerato y primer ao universitario (Barbera, 2013). Esta
prueba fue aplicada a una muestra por conveniencia, no estocstica, de 639 estudiantes
inscritos en la materia de Qumica, correspondiente al primer semestre universitario de los
planes de estudios del Tecnolgico de Monterrey en Mxico. Esta muestra no representa a
toda la poblacin, pues slo se han tomado en cuenta a los alumnos que presentaron
examen diagnstico tanto pre-instructivo como post-instructivo. Fuera de dicho criterio, no
se ha hecho discriminacin alguna al momento de la aplicacin de la prueba.
Es importante mencionar, a su vez, que la prueba fue originalmente diseada en
ingls y, para fines de este estudio, fue aplicada a los alumnos tras un proceso de traduccin
al espaol, ya realizado antes de este estudio.

2.1 Muestra
Los alumnos estuvieron distribuidos en 27 grupos, con un promedio de 24 alumnos
por grupo. Estos grupos no necesariamente tienen sesiones de clase simultneas. Todos los
estudiantes presentaron el pre-test en su primera sesin, en el saln de clases, sin haber
recibido previo aviso de dicho diagnstico. Por su parte, el post-test fue presentado por 24
grupos en la ltima sesin de clase, en horario de clase, mientras otros 3 grupos lo
presentaron en un horario posterior a su examen final del curso, el cual no es
necesariamente en horario de clase, pero s despus del resto de los grupos. Los
implementadores fueron los respectivos profesores de cada grupo. De los alumnos, 468
eran hombres, y 171 eran mujeres.

2.2 Anlisis de datos
En este trabajo, se realizar el anlisis de forma similar a lo reportado por Barbera
(2013) en su estudio, haciendo el estimado de las mismas variables estadsticas de
dificultad de los reactivos (p), discriminacin que cada reactivo ofrece (D) y de
Cronbach. Adems, se incluir una reproduccin de la grfica de discriminacin contra
dificultad, como lo que presenta Barbera (2013) y mapas de Wright. Adicional al trabajo de
Barbera, se ha incluido en este estudio el clculo del ndice de confiabilidad de Kuder-
Richardson, la Delta de Ferguson (Ding, Chabay, Sherwood, & Beichner, 2006), junto con
las conclusiones obtenidas por anlisis de curvas IRC (Alvarado & Zavala, 2009).
Asimismo, cabe resaltar que para el estudio, se ha dividido a la poblacin en seis
bines, o grupos, de acuerdo al nmero total de aciertos obtenidos en la prueba. Para ello, se
ha ordenado a los alumnos en orden ascendente de calificacin, y luego han sido separados
en grupos de 106 o 107, donde la primera seccin correspondera a los 107 alumnos con
ms baja calificacin en la prueba. Tambin se debe aclarar que, para evitar cualquier
tendencia y mantener la aleatoriedad en el anlisis de datos, los alumnos con calificaciones
iguales, que han quedado separados en distintos bines, fueron asignados a sus respectivos
grupos de manera aleatoria, por medio de un programa computacional de anlisis de datos.
Asimismo, se presenta una comparacin breve entre los grupos que han presentado
su diagnstico post-instructivo en la fecha del examen final, respecto a los resultados de la
muestra en general. Esto con la finalidad de observar si influye de alguna forma que el
estudinte v pepd l hbe estudid peviamente para su examen del curso pero
no necesariamente para el diagnstico.
Y finalmente, se presentar el anlisis y los grficos de ganancia por cada grupo,
para evaluar la forma en que la instruccin influy en los resultados de los estudiantes ya
que se ha terminado el curso, respecto al inicio del mismo.

2.2.1 ndice de dificultad (p)
De acuerdo con Ding et al. (2006), la dificultad p
i
de cada reactivo en una prueba
puede ser medido de manera sencilla tan slo viendo la relacin de participantes N
i
que
contestaron la pregunta i de manera correcta, de entre el total de participantes N que
componen a la muestra en la implementacin.

Como es posible observar, este ndice de dificultad tomar valores entre 0 y 1,
donde el 0 significa que nadie ha podido contestar correctamente la pregunta, y 1, que todos
pudieron contestar la pregunta correctamente. En el mayor de los casos, estos dos extremos
deben de ser evitados (Ding et al., 2006). Como lo sugerido por Kline (2005), y utilizado
por Barbera (2013), se considera que el rango sugerido para el ndice de dificultad de un
reactivo se ubica entre 0.25 y 0.75.

2.2.2 ndice de discriminacin (D)
De la mano con el ndice p, el ndice de discriminacin D sirve para evaluar si cada
reactivo de un instrumento cumple con un propsito simple: discernir a los alumnos cuyos
conocimientos estn bien cimentados de aquellos que no (Ding et al., 2006). El ndice de
discriminacin es aceptable siempre y cuando est por encima de un valor de 0.3 (Ebel,
1972), tal y como Barbera (2013) lo reporta. El ndice D se calcula de forma general como:

Donde N
H
es el nmero de estudiantes de la mitad ms alta de la muestra, respecto a
calificaciones, que contest correctamente el reactivo en cuestin, mientras que N
L
, es el
nmero de estudiantes de la mitad ms baja de la muestra, respecto a calificaciones, que
acert en la pregunta. N es el nmero total de estudiantes en la muestra.
Sin embargo, en el presente trabajo, el anlisis de ste ndice se realiz del modo en
que Barbera (2013) lo report, utilizando como la informacin estadstica reportada por
Kelley (1939). En ella se sugiere que si una muestra es mayor a las 200 personas, se deben
utilizar dos grupos para el anlisis: uno inferior (previamente denominado L) y uno superior
(previamente denominado H), los cuales estarn conformados por el 27% de la poblacin
de calificacin ms baja y alta, respectivamente (Kelley, 1939). De nuevo es importante
sealar que este porcentaje de alumnos estara basado en los bines ya presentados con
anterioridad. Debido a esto, es posible afirmar que los grupos para el anlisis fueron
tomados de forma estocstica, dado que se previ que habra estudiantes con calificaciones
similares a los seleccionados, que no quedaron dentro de alguno de esos grupos del 27%
inferior o superior.
Por lo tanto, la manera de calcular este ndice para el presente trabajo, fue de la
siguiente manera:

La forma de seleccionar a los grupos superior e inferior no afecta el rango aceptable
para el ndice en cuestin, por lo que se sigue considerando que D debe tener un valor de
0.3 o mayor.

2.2.3 Coeficientes de confiabilidad
2.2.3.1 Coeficiente de punto biserial
Este ndice permite calcular la consistencia de un reactivo con toda la prueba en su
conjunto. Su funcin es reflejar la correlacin entre los puntajes obtenidos por los
estudiantes en un reactivo en especfico, en comparacin de sus puntajes totales de la
prueba (Ding et al., 2006). Su rango est definido como [-1, +1] y se calcula con la
siguiente formulacin:

Donde

es el promedio de los estudiantes que contestaron correctamente el

reactivo en cuestin;

es el promedio general de todos los estudiantes en toda la prueba;

es la desviacin estndar total de la prueba y p es el coeficiente de dificultad del

reactivo, calculado en la seccin 2.2.1. Un valor por encima de 0.3 s considera aceptable
para el coeficiente r
pbs
(Ding et al., 2006).


2.2.3.2 Coeficiente de Kuder-Richardson
Parecido al coeficiente de punto biserial, el coeficiente de Kuder-Richardson analiza
la consistencia de toda la prueba con ella misma. Se utiliza este coeficiente como una
alternativa equivalente a aplicar dos veces la misma prueba, a la misma muestra estudiantil,
bajo las mismas circunstancias lo cual es considerablemente difcil ya que, por ejemplo, el
estudiante puede estudiar pues ya conoce o recuerda las preguntas de la prueba (Ding et
al., 2006). Utilizando las variables ya mencionadas anteriormente, el valor de este indicador
est definido como:

(
( )

)

2.2.3.3 de Cronbach
L lf de Cnbch es un indicd cuy n v de el cul pvee
informacin acerca de la consistencia y la confiabilidad de todo un instrumento. Como
Bbe 3 cit en su dcument ls vles ceptbles p un de Cnbch vn
desde .7 hst .8 mients que un pueb cn cnsistenci excelente se quell
cuy de Cnbch es my iul .9. L mne de clcul este vl es l
siguiente:
(

) (

)
Donde K es el nmero de reactivos en la prueba; P
i
es la fraccin de alumnos, cuya
respuesta a la pregunta i, fue correcta, lo cual a su vez define que

; y

es la
varianza total de la prueba.

2.2.3.4 Delta de Ferguson
Este indicador tambin analiza un instrumento como un conjunto. Su objetivo es
medir la capacidad de discriminacin de toda la prueba, tomando en cuenta qu tan holgada
es la distribucin de todas las calificaciones dentro del rango probable (Ding et al., 2006).
Su valor depende del nmero N de estudiantes, el nmero K de reactivos en la prueba, y la
frecuencia f
i
con la que se encuentra un puntaje nmero de estudiantes con un mismo
puntaje en el reactivo nmero i y se determina de la siguiente forma:

( )

La delta de Ferguson puede tomar valores en el rango de [0, 1], y se considera que
un valor por encima del 0.9 indica que la prueba ofrece buena capacidad de discriminacin
(Ding et al., 2006).

2.2.4 ndice de Ganancia (G)
El indicador de ganancia ofrece evidencia de la influencia de la instruccin en el
alumno, utilizando sus resultados en la pruebas pre y post-instructivas. Este anlisis se
puede realizar tanto en general para toda la poblacin, como para sub-secciones de la
misma, como lo son los grupos en que tomaron clase los estudiantes a lo largo del periodo
semestral del estudio.

Donde

representan el promedio de los resultados evaluados sobre un

puntaje de 100 de las pruebas post-instructiva y pre-instructiva, respectivamente (Hake,
1999). El ndice G puede tomar valores en el rango [-1, 1]. Sin embargo, en caso de que el
ndice G sea negativo, y denote un dficit de ganancia, se utilizar la siguiente adaptacin
para determinar la prdida en cada grupo:

Donde esta

es necesariamente negativa, con valores en el rango [-1, 0]. Para este

trabajo, se utilizar el indicador de ganancia por cada grupo.

2.2.5 Curvas de IRC
El anlisis por medio de curvas IRC es una tcnica de la que, hasta ahora, se ha
encontrado poca informacin en la literatura, por lo que se asume que es poco usada.
Gracias a estas curvas es posible observar concepciones alternativas existentes antes y
despus de la instruccin (Alvarado & Zavala, 2009), as como determinar cules son las
ms fuertes y comunes en el total de la poblacin estudiada.
Se aade a continuacin la figura 1 como ejemplo de una grfica de curvas IRC, la
cual corresponde a la pregunta 18 del CCI, aplicado para este estudio a los estudiantes. Se
ha elegido esta figura dado que representa claramente el objetivo de este tipo de grficas.
La pregunta 18 es la siguiente:
18. El hierro se combina con el oxgeno y el agua del aire para formar herrumbre
(xido). Si un clavo de hierro se deja oxidar completamente, se debera encontrar
que la herrumbre pesa:
a. Menos que el clavo del que proviene.
b. Lo mismo que el clavo del que proviene.
c. Ms que el clavo del que proviene.
d. Es imposible predecirlo.
No se har el anlisis individual de este reactivo en este punto. La respuesta correcta
es el inciso C.

Figura 1: Ejemplo de grfica de curvas IRC para la pregunta 18 del CCI correspondiente a
la aplicacin pre-instructiva.
Como se puede observar en la grfica, entre ms bajo se encuentren los alumnos en
los bines y por ende, ms baja sea su calificacin, ms frecuente es que contesten la
opcin A, que es un modelo alternativo presentado en las opciones de la pregunta expuesta.
Entretanto, la opcin correcta, en este caso la C, es elegida con ms frecuencia entre ms
alta sea la calificacin de los alumnos que estn contestando la prueba como se puede
apreciar en el bin 6.

2.2.6 Mapas de Wright
Un mapa de Wright permite hacer una comparacin entre la capacidad cognitiva de
los estudiantes de acuerdo a sus resultados en una prueba, y la dificultad de cada reactivo
de la misma. Se utiliza una escala logit del modelo de regresin logstica, la cual se calcula
a partir de los ndices de dificultad, de la siguiente manera:
() (

)
Donde p es el ndice de dificultad de cada pregunta.
Esta escala se ubica de manera vertical a los grupos de estudiantes dependiendo de
su desempeo, en el caso de este estudio, al presentar el CCI. La figura 2 muestra el mapa
de Wright obtenido por Barbera (2013) en su trabajo de anlisis psicomtrico de CCI.
0%
20%
40%
60%
80%
100%
BIN 1 BIN 2 BIN 3 BIN 4 BIN 5 BIN 6
P
o
r
c
n
t
a
j
e

d
e

A
l
u
m
n
o
s

IRC Pregunta 18
A
B
C
D
N

Figura 2: Mapa de Wright presentado por Barbera (2013).
Como se puede observar en la seccin del mapa etiquetd cm pesns ls
numerales (#) indican grupos de 34 personas cuya capacidad intelectual para esta prueba se
encuentra en cierto nivel dentro del rango comprendido, mientras que los puntos () indican
grupos de entre 1 y 33 pesns. Al mism tiemp en l seccin de ectivs se muest
la ubicacin de cada una de las preguntas que comprenden al test por ndice de dificultad en
esta nueva escala. En la lnea punteada, mientras tanto, se ubican la media (M), desviacin
estndar (S), y doble desviacin estndar (T) de las dos variables antes mencionadas.

3. Resultados
Se comenzar hablando de los resultados ms destacables para cada reactivo de
manera individual. El anlisis de ello permitir hacer una comparacin un poco ms
minuciosa respecto a lo reportado en la literatura, con lo cual se corroborar la informacin
encontrada y aadir datos relevantes para este campo de investigacin.

3.1 Diferencias entre los estudios
La principal diferencia entre el trabajo aqu presentado con el trabajo realizado por
Barbera es el tamao de la muestra. Mientras que Barbera (2013) aplic el instrumento a
ms de 3000 estudiantes, en este trabajo la muestra y la poblacin tiene un tamao de
639 estudiantes.
Esto quiere decir que hay una relacin de 5 a 1 alumnos entre ambos trabajos. Esto,
sin duda, llev a que se hicieran algunos ajustes para el anlisis estadstico, como en los
mapas de Wright, que se presentar ms adelante. nicamente se toma como referencia la
muestra estudiantil en el estudio de Barbera por ser del cual se tomaron la mayor parte de
los anlisis a replicar.
Asimismo, otro punto importante a considerar es que esta implementacin de la
prueba fue hecha en espaol, dado que es el idioma mejor dominado por los estudiantes, al
ser una universidad mexicana.

3.2 Anlisis de reactivos individuales
Como punto de partida se presenta la tabla 1, la cual contiene los resultados de
todos los coeficientes presentados en la seccin de metodologa, aplicables para cada
reactivo. Asimismo, se incluye los datos disponibles de los mismos indicadores, tomados
tanto del estudio realizado por Barbera (2013), para las pruebas pre-instructiva y post-
instructiva.

Tabla 1: Tabla de indicadores de cada reactivo calculados para el presente estudio, y
comparado con los datos disponibles en la literatura. L1: Barbera, 2013.
Reactivo
Estudio L1
Pre-test Post-test Pre-test Post-test
P D r
pbs
P D r
pbs
P D* r
pbs
P D* r
pbs

1 0.35 0.38 0.32 0.38 0.23 0.23 0.40 0.45 -- 0.37 0.49 --
2 0.36 0.32 0.29 0.51 0.34 0.28 0.36 0.57 -- 0.40 0.68 --
3 0.39 0.53 0.47 0.48 0.53 0.44 0.54 0.59 -- 0.67 0.62 --
4 0.57 0.48 0.40 0.68 0.55 0.45 0.70 0.58 -- 0.73 0.53 --
5 0.09 0.12 0.21 0.10 0.12 0.22 0.12 0.23 -- 0.11 0.47 --
6 0.35 0.51 0.48 0.40 0.55 0.49 0.48 0.60 -- 0.39 0.67 --
7 0.83 0.33 0.39 0.87 0.24 0.30 0.87 0.35 -- 0.89 0.26 --
8 0.83 0.34 0.39 0.85 0.28 0.34 0.88 0.34 -- 0.88 0.27 --
9 0.28 0.13 0.10 0.37 0.18 0.15 0.30 0.12 -- 0.28 0.19 --
10 0.25 0.31 0.26 0.28 0.31 0.31 0.34 0.30 -- 0.36 0.36 --
11 0.23 0.34 0.29 0.25 0.33 0.33 0.33 0.32 -- 0.35 0.38 --
12 0.56 0.66 0.52 0.61 0.70 0.55 0.68 0.67 -- 0.69 0.60 --
13 0.57 0.68 0.53 0.61 0.67 0.54 0.70 0.68 -- 0.71 0.61 --
14 0.12 0.05 0.08 0.14 0.11 0.17 0.23 0.31 -- 0.25 0.37 --
15 0.63 0.39 0.36 0.68 0.40 0.35 0.66 0.39 -- 0.77 0.38 --
16 0.47 0.28 0.24 0.49 0.41 0.32 0.33 0.42 -- 0.33 0.46 --
17 0.27 0.23 0.22 0.25 0.27 0.29 0.32 0.41 -- 0.29 0.48 --
18 0.38 0.55 0.48 0.43 0.66 0.54 0.50 0.71 -- 0.50 0.74 --
19 0.43 0.60 0.48 0.47 0.67 0.54 0.67 0.58 -- 0.61 0.56 --
20 0.37 0.02 0.05 0.28 0.13 0.13 0.25 0.22 -- 0.32 0.28 --
21 0.08 0.11 0.21 0.09 0.10 0.20 0.14 0.25 -- 0.25 0.36 --
22 0.16 0.17 0.21 0.16 0.16 0.21 0.22 0.19 -- 0.19 0.21 --
*Los valores de discriminacin han sido estimados a partir de la grfica de dificultad contra discriminacin
de Barbera (2013), al no ser encontrados en forma de tabla.
Es posible observar que los valores son semejantes en la mayora de los casos. Con
ello se puede inferir que, a pesar de que al estudiante no le agrada estar sometido a pruebas
de diagnstico, las responde consciente, meditando sus respuestas y permitiendo el estudio
de sus concepciones alternativas.
Aprovechando los valores obtenidos, se ha decidido replicar la grfica de dificultad
contra discriminacin de Barbera (2013), utilizando los resultados del este estudio. De igual
forma, se presenta la grfica mencionada con fines comparativos. Ambas pueden verse en
la figura 3.

Figura 3: Grficas de dificultad contra discriminacin. Arriba, se muestra la grfica con los
resultados de la prueba pre-instructiva; abajo, la grfica con los resultados de la prueba
post-instructiva.
Los reactivos encontrados en las zonas delimitadas en blanco son aquellos cuyos
valores de discriminacin y dificultad son considerados como ideales (Barbera, 2013), los
cuales pueden ser observados del lado derecho. Como se puede ver, es posible buscar
patrones en ambas grficas para poder observar mejor sus similitudes. Las parejas de
preguntas 12 y 13, por ejemplo, se encuentran relativamente cerca una de la otra en ambas
grficas, y con valores muy semejantes de discriminacin y dificultad que, por cierto, caen
en un rango bastante aceptable. Otro caso evidente son las preguntas 7 y 8 que, sin
importar en cul de las dos grficas se observe, es fcil concluir que son preguntas
demasiado fciles y que requeriran ser replanteadas para que sean de mayor utilidad en el
estudio de concepciones alternativas (Barbera, 2013).
Por ejemplo, la pregunta 6 que puede ser consultada en el anexo 6.1, cuya
posicin en ambas grficas es muy similar, puede ser interpretada como un reactivo
bastante til y bien planteado. A continuacin, en la figura 4, se presenta adems la grfica
de curvas IRC para dicho tem.

Figura 4: Grfica de curvas IRC para la pregunta 6.
No es difcil apreciar en la grfica que los estudiantes del bin 6 los de ms altas
calificaciones entre la poblacin eligieron con mayor frecuencia la respuesta correcta, que
en este caso es el inciso E, mientras que se ve una tendencia en la que los estudiantes del
bin 1 seleccionan otras respuestas, sobre todo el inciso D. De entrada, la simple forma de
las curvas muestra que esta pregunta discrimina de una muy buena manera a los estudiantes
por su desempeo en la prueba. Aquellos que mejor puntaje obtuvieron tienen ms
probabilidad de contestar correctamente al reactivo. No obstante, otra ventaja que ofrece el
anlisis por curvas IRC es que muestra cul es la concepcin alternativa dominante para
cada uno de los reactivos y por cada una de las secciones en que se ha subdividido a la
poblacin; esto, por lo tanto, amplia el panorama de qu es lo que el alumno est pensando,
y permite al profesor preparar de una mejor forma su clase para ayudar al estudiante a
superar estas concepciones.
Tomando como base estas propiedades, se muestra la figura 5 la grfica de curvas
IRC para el reactivo 22. Este tem se caracteriz por su alta dificultad y, por ende, baja
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 6
A
B
C
D
E
discriminacin, en ambas grficas de dificultad contra discriminacin. Slo al observar sus
curvas IRC es posible deducir que es un reactivo bastante problemtico, incluso para los
estudiantes que ms han sobresalido por su puntaje en esta prueba bin 6 . La respuesta
correcta para este reactivo es la opcin C, lo cual puede ser deducido por su curva en
terminacin ascendente. No obstante, incluso entre los alumnos ms destacados, las
concepciones alternativas representadas en los dems incisos, en particular el D, causan
conflicto. Esto podra ser un indicativo de que la pregunta debera ser replanteada.

Figura 5: Grfica de curvas IRC para la pregunta 22.
Una diferencia importante, sin embargo, entre ambas grficas de discriminacin
contra dificultad, es la pregunta 14. Como se puede observar en la Tabla 1, el valor de
dificultad es de 0.13, indicando un reactivo difcil, mientras que el indicador de
discriminacin es de 0.11, evidenciando que, dada su dificultad, la gran mayora de los
alumnos no contestar correctamente este tem, sin importar su desempeo en general. Esta
deficiencia en el reactivo fue detectada desde un principio al realizar su respectiva grfica
de curvas de IRC, la cual se muestra en la figura 6.


0%
10%
20%
30%
40%
50%
60%
70%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 22
A
B
C
D
E
Pregunta 14: Cul es el nmero aproximado de tomos de carbono que
tendran que acomodarse uno detrs de otro para hacer una lnea que
cruzara este punto: ?
a. 4
b. 200
c. 30,000,000
d. 6.02 x 10
23



Figura 6: Grfica de curvas de IRC para la pregunta 14.
En la pregunta 14 en particular, la respuesta ms frecuente fue el inciso D, el
nmero de Avogadro. Se plantea la posibilidad de que as haya sido porque es el nmero
ms familiar para los estudiantes (Mulford & Robinson, 2002), a diferencia de las otras
opciones, incluida la correcta, por lo que disminuye la posibilidad de que sean elegidas.
Ante esta situacin se considerar sugerir un replanteamiento de dicha pregunta,
dependiendo de la prueba en etapa post-instructiva, junto con las mencionadas en estudios
anteriores, como el de Barbera.
Las redacciones de todas las preguntas del inventario junto con su respuesta
correcta, as como sus grficas de curvas de IRC pueden ser encontradas en los anexos 6.1
y 6.2 respectivamente.
Por otro lado, Barbera realiza otros dos anlisis estadsticos en su estudio, los cuales
tambin fueron reproducidos. En la figura 7 se presenta el mapa de Wright para el presente
trabajo, utilizando los resultados obtenidos de la aplicacin del CCI. Se ha tratado de
0%
20%
40%
60%
80%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 14
A
B
C
D
utilizar la misma escala que la encontrada en la literatura (Barbera, 2013), cuyo rango
posible es [-4, 4], por lo que es posible hacer una comparacin con la figura 2 en la seccin
2.2.5, y ver que ambos mapas siguen una distribucin muy similar. Cabe mencionar que,
aunque los rangos son tericamente iguales, se ha hecho un recorte de la escala en la
grfica para facilitar su lectura, al no haber necesidad de ubicar valores ms all de [-3, 3];
no obstante, este no es un impedimento para hacer la comparacin de figuras.
A diferencia del mapa de Wright presentado por Barbera, en el del estudio actual se
realizaron grupos de 7 estudiantes, representados por un smbolo de cruz (+). La razn es
simple: los numerales (#) en la figura 2 representan grupo de 34 personas, y la relacin del
tamao de ambas muestras es de 5 a 1, por lo que separar a los estudiantes en grupos de 7
era lgico. Los guiones () representan grupos que contienen entre 1 y 6 alumnos.

Figura 7: Mapa de Wright del CCI aplicado en etapa post-instructiva.
Por otra parte, en la figura 2 tambin se pueden observar que las preguntas
desarrolladas en parejas para el CCI se mantuvieron juntas en la escala de dificultad del
mapa. Sin embargo, esa es una tendencia que slo se sigui para tres de las parejas, lo cual
refleja que el estudiante quizs acierta la respuesta a una pregunta, pero bajo un
razonamiento equivocado, o viceversa. Este punto se deja abierto para anlisis a futuro, una
vez que se incluyan los resultados del post-test.
Para concluir el anlisis individual de cada reactivo, se incluye la tabla 2, en la cual
se muestra directamente la forma en cmo los datos obtenidos en este estudio se ajustan al
modelo Rasch, por medio del anlisis estadstico de residuos por mtodo de mnimos
cuadrados (M. C.). Se incluyen dos columnas: una ponderada y otra no ponderada. El
ndice de dificultad se ha mantenido en la escala de [-4, 4].
Tabla 2: Ajuste al modelo Rasch. Se ha calculado el mtodo de M. C. por medio de los
valores obtenidos de la distribucin
2
, dividida por sus grados de libertad (Barbera, 2013)
Reactivo Dificultad M. C. Ponderado M. C. No Ponderado
1 0.51 1.07 1.02
2 -0.02 0.97 0.92
3 0.08 0.98 0.94
4 -0.74 0.84 0.80
5 2.22 1.40 1.35
6 0.41 1.05 1.00
7 -1.90 0.67 0.64
8 -1.73 0.69 0.66
9 0.52 1.07 1.02
10 0.93 1.15 1.10
11 1.09 1.18 1.13
12 -0.45 0.89 0.85
13 -0.46 0.89 0.84
14 1.80 1.32 1.27
15 -0.74 0.84 0.80
16 0.02 0.97 0.93
17 1.09 1.18 1.13
18 0.27 1.02 0.97
19 0.10 0.99 0.94
20 0.96 1.16 1.11
21 2.28 1.42 1.36
22 1.67 1.30 1.24

3.2.1. Anlisis individual de curvas de IRC para cada pregunta
Una parte fundamental de este estudio consiste en el anlisis individual de cada
pregunta para corroborar su funcionamiento. Como ya se especific anteriormente, el
anlisis de curvas IRC permite visualizar la forma en que cada modelo alternativo inciso
atrae a cierto sector de la poblacin de estudio. Ello abre la posibilidad a una evaluacin
ms precisa de las preconcepciones, as como a distinguir cules son aquellas que ms
arraigadas se encuentran en los estudiantes.
Esta seccin divide a las 22 preguntas del CCI en tres categoras posibles,
dependiendo del anlisis que permiten estas grficas. En cada categora se especifica si una
pregunta es sujeta a ser replanteada, funcional, o de diseo adecuado, y se aclaran los
motivos y datos extrados de cada grfica y pregunta, que conducen a dicha categorizacin.

3.2.1.1 Preguntas sujetas a ser replanteadas
Las preguntas en esta categora son aquellas que se considera que no otorgan la
informacin deseada, y por lo tanto no cumplen con su objetivo dentro del CCI. En su
mayora, son preguntas que coinciden con aquellas cuya posicin en la figura 3 grfica de
dificultad contra discriminacin se encuentran fuera del rango sugerido.
De entrada, la pregunta 5 figura 8 es un caso en el que se hace nfasis por el
fuerte distractor que se puede apreciar en la curva E. La tendencia creciente para la
respuesta correcta D no se hace presente sino hasta el bin 5, por lo cual es posible
interpretarla como una pregunta problemtica. Aunque denote de manera adecuada las
concepciones alternativas que est teniendo el estudiante, no est cumpliendo su objetivo,
pues ni siquiera los alumnos de buen desempeo tienden a contestarla correctamente.

Figura 8: Grfica de curvas IRC para la pregunta 5.
0%
10%
20%
30%
40%
50%
60%
70%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 5
A
B
C
D
E
Asimismo, las preguntas 7 y 8 presentadas como una pareja de preguntas en el
instrumento se consideran las primeras preguntas que podran cumplir mejor su propsito
con una estructura distinta. La pregunta 7, como lo podemos ver en la figura 9, es una
pregunta de falso y verdadero, por lo que su anlisis de curvas IRC se vuelve redundante,
ya que este tipo de preguntas no cumplen con su labor discriminante al slo tener dos
opciones, y ningn modelo alternativo en ellas.

Figura 9: Grfica de curvas IRC para la pregunta 7.
En el caso de la pregunta 8, cuya grfica es mostrada en la figura 10, se puede ver
una clara tendencia hacia la respuesta correcta, el inciso A, incluso entre los alumnos de
ms bajo desempeo en el resto de la prueba. Esto habla, junto con la pregunta 7, de que se
trata de una pareja de reactivos bastante sencillos, como se haba podido ver desde sus
ndices de dificultad p, con 0.83 para la pregunta 7, y 0.82 para la pregunta 8 en la escala
[0, 1] manejada originalmente.
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 7
A
B

Figura 10: Grfica de curvas IRC para la pregunta 9.
La pregunta 10, entretanto, es un reactivo cuyas tres opciones mayor, menor o
igual no son suficientes para ver el entendimiento conceptual que se desea entender por
parte de los alumnos. Como se puede ver en la figura 11, la respuesta correcta C incrementa
su tendencia, pero sigue siendo rebasada por la incorrecta A, salvo en el bin 6, aunque sus
porcentajes son bastante similares tambin ah. Este tem es presentado en el CCI en
conjunto con el nmero 11, el cual se puede observar ms adelante como un reactivo de
diseo adecuado. Quizs una fusin de ambos reactivos en uno solo podra mejorar la
perspectiva del aprendizaje del estudiante y sus preconcepciones.

Figura 11: Grfica de curvas IRC para la pregunta 10.
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 8
A
B
C
D
E
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 10
A
B
C
Como se present con anterioridad, tambin se considera a la pregunta 14 como
necesitada de replanteamiento dada su tendencia no discriminativa y su dificultad elevada,
de acuerdo con los resultados obtenidos de este anlisis. Como se pudo ver en la figura 6, la
tendencia por una respuesta conocida el nmero de Avogadro se mantuvo sin importar el
desempeo en general en la prueba ni que fuera incorrecta.
Por otra parte, otra pareja que carece en el cumplimiento de su funcin
discriminativa son las preguntas 20 y 21, cuyas curvas de IRC podemos observar en las
figuras 12 y 13, respectivamente. No es difcil observar que en ambos casos existen
modelos alternativos que atraen a cierto porcentaje de la poblacin en todo momento, sin
importar si sus conocimientos para el examen en general son buenos. No obstante, la
respuesta correcta de cada una de las preguntas fue elegida con muy poca frecuencia,
evidenciando tambin un reactivo problemtico para los alumnos.

Figura 12: Grfica de curvas IRC para la pregunta 20.
0%
10%
20%
30%
40%
50%
60%
70%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 20
A
B
C

Figura 13: Grfica de curvas IRC para la pregunta 21.
Mientras tanto, la pregunta 22 pasa por la misma situacin que la pregunta 14. El
inciso D es el ms contestado, independientemente del desempeo del estudiante como se
puede observar en la figura 5 ya presentada, por lo que tambin es un reactivo
problemtico para los alumnos, pues no discrimina ni siquiera a los ms destacados en su
desempeo general en la prueba.
Asimismo, se ha dejado para el final de esta seccin la pregunta 15. Como se puede
observar en la figura 3, en ambas grficas de dificultad contra discriminacin, este reactivo
qued ubicado consistentemente en posiciones similares, dentro del rango aceptable
mencionado en la literatura. Aunque est un poco cargado a ser una pregunta fcil con
0.68 de ndice de dificultad, muestra una buena discriminacin de 0.4. No obstante, se
considera que es una pregunta que debera considerarse su replanteamiento debido al
anlisis de curvas IRC. Si se observa la figura 14, es posible apreciar que la respuesta
correcta B, en general, es elegida por encima de todas las dems sin importar el bin en que
el estudiante se encuentre. Entre tanto, las dems opciones tienen una baja tendencia a ser
elegidas, lo que pone en evidencia que no representan modelo alternativo alguno; sin
embargo, si se analiza la suma de los porcentajes de dichas respuestas incorrectas, sta se
asemeja al porcentaje de la respuesta correcta en particular en el primer y tercer bin. Es
decir, que el hecho de tener un porcentaje considerable de alumnos que contestan
incorrectamente en dichos bines, puede dar la apariencia de que la pregunta discrimina de
0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 21
A
B
C
D
forma apropiada. Sin embargo, por anlisis de curvas IRC se puede demostrar que el valor
del ndice por s solo es insuficiente para evaluar la confiabilidad del reactivo.

Figura 14: Grfica de curvas IRC para la pregunta 15.

3.2.1.2 Preguntas funcionales
Entran en esta categora la mayora de las preguntas del instrumento. Tanto en la
figura 3 como en sus curvas de IRC individuales se puede observar que tienen una
tendencia a discriminar de buena manera a los alumnos con conocimientos mejor
fundamentados de acuerdo a su desempeo general en la prueba. Sin embargo, los
modelos alternativos presentados como opciones son insuficientes para mostrar una visin
clara de lo que el estudiante piensa al momento de contestar el reactivo. En la mayor parte
de los casos pertenecientes a esta categora, es posible encontrar preguntas con slo un
distractor fuerte concepcin alternativa, por lo que, en s, no se considera replantear el
reactivo en cuestin, sino las respuestas posibles para los alumnos.
En principio, las preguntas 6, 16 y 18 cumplen con su funcin de discriminar de una
manera bastante aceptable, pues su curva de respuesta correcta mantiene una tendencia a
crecer conforme se avanza a travs de los bines. Sin embargo, su caracterstica principal por
las que no se consideran de estructura adecuada es el hecho de que hay nicamente un
modelo alternativo que sobresale. Esto quiere decir que se tienen en ellas dos incisos que no
estn apoyando en la labor de discriminacin, o que no representan preconcepciones
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 15
A
B
C
D
E
especficas y representativas de los estudiantes. Dicha informacin se puede encontrar en
las figuras 15, 16 y 17 para cada respectiva pregunta mencionada.

Figura 15: Grfica de curvas IRC para la pregunta 6.


Figura 16: Grfica de curvas IRC para la pregunta 16.

0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 6
A
B
C
D
E
0%
10%
20%
30%
40%
50%
60%
70%
80%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 16
A
B
C
D

Figura 17: Grfica de curvas IRC para la pregunta 18.
Por otra parte, similar a las anteriores, las preguntas 4, 12 y 13 tienen una buena
discriminacin nicamente con alumnos de bajo desempeo. Como se puede observar en
las figuras, 18, 19 y 20, las curvas de respuesta correcta acentan su crecimiento despus
del segundo bin, lo que denota un grado de dificultad de pregunta no tan alto, aunque sea
capaz de diferenciar a los estudiantes de bajo rendimiento.

Figura 18: Grfica de curvas IRC para la pregunta 4.

0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 18
A
B
C
D
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 4
A
B
C
D
E

Figura 19: Grfica de curvas IRC para la pregunta 12.


Figura 20: Grfica de curvas IRC para la pregunta 13.
De una forma no tan distinta, las preguntas 2, 9 y 19 son buenas discriminando
estudiantes de ms bajo rendimiento, en los primeros dos bines, adems de contar con un
modelo alternativo slido que represente las preconcepciones de dichos alumnos. No
obstante, existe algo que caracteriz a estos tres reactivos, como se puede observar en las
figuras 21, 22 y 23, respectivamente: existe un modelo alternativo que atrae a un bin en
particular para cada pregunta. Es decir, se podra estudiar estos modelos para corroborar si
en verdad son preconcepciones presentes en los estudiantes en general, y con ello
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 12
A
B
C
D
E
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 13
A
B
C
D
E
estructurarlos o redactarlos de tal forma que los alumnos vean en ellos un modelo atractivo
y ayude a los reactivos a ser aun ms discriminativos.

Figura 21: Grfica de curvas IRC para la pregunta 2


Figura 22: Grfica de curvas IRC para la pregunta 9

0%
10%
20%
30%
40%
50%
60%
70%
80%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 2
A
B
C
D
E
0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 9
A
B
C
D
E

Figura 23: Grfica de curvas IRC para la pregunta 19

3.2.1.3 Preguntas de diseo adecuado
Estos reactivos son los ms destacados tanto por el anlisis de sus grficas de curvas
de IRC, como por sus ndices de dificultad y discriminacin bastante aceptables. Una
caracterstica importarte en estos tems es que tienen por lo menos dos modelos alternativos
que permiten conocer el pensamiento del alumno, adems de observar la clara tendencia de
los estudiantes con mejor resultados hacia contestar correctamente.
Como se puede apreciar en las figuras 24, 25 y 26, las preguntas 1, 11 y 17,
respectivamente, tienen entre sus opciones tres modelos alternativos cuyas curvas no
permanecen constantes entre los bines. Ellas ayudan a diferenciar cul es la preconcepcin
ms fuerte dependiendo del desempeo del alumno. Y al mismo tiempo, la tendencia a
elegir la respuesta correcta va siempre en ascenso conforme se va avanzando a lo largo de
los bines, lo cual es un patrn deseable.
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 19
A
B
C
D
E

Figura 24: Grfica de curvas IRC para la pregunta 1.


Figura 25: Grfica de curvas IRC para la pregunta 11.

0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 1
A
B
C
D
E
0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 11
A
B
C
D
E

Figura 26: Grfica de curvas IRC para la pregunta 17.
La pregunta 3 mostrada en la figura 27 es un reactivo que tiene dos modelos
alternativos bien definidos, los cuales decaen conforme las calificaciones de los alumnos
van mejorando. Quizs el inciso B pueda ser replanteado pues, aunque su tendencia es ir a
la baja mientras mejor desempeo tengan los alumnos, es un distractor de un porcentaje
casi constante de estudiantes. A pesar de ello, se considera que la pregunta tiene buena
estructura.

Figura 27: Grfica de curvas IRC para la pregunta 2.

0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 17
A
B
C
D
E
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 3
A
B
C
D
3.3 Anlisis de la prueba
El anlisis de toda la prueba es mucho ms sencillo y menos tedioso que el anlisis
individual de los reactivos. A continuacin, en la tabla 3 se presentan las variables
calculadas con la informacin se la seccin 2.2, comparadas con la literatura encontrada tal
y como se hizo en la tabla 1.

Tabla 3: Tabla de indicadores de la prueba calculados para el presente estudio, y
comparado con los datos disponibles en la literatura. L1: Barbera, 2013.
Indicador
Estudio L1
Pre-test Post-test Pre-test Post-test
Alfa de Cronbach () 0.78 0.80 0.73 0.76
Coeficiente de Kuder- Richardson 0.59 0.64 -- --
Delta de Ferguson 0.95 0.95 -- --

Como es posible ver, la alfa de Cronbach se encuent en un n ceptble l
estar por encima de 0.70 (Barbera, 2013). Esto quiere decir que, en materia de consistencia,
el CCI es un instrumento de confiabilidad aceptable, pero que definitivamente tiene puntos
por trabajar para volverlo el idneo, pues aunque es el ms conocido en el rea de
educacin en qumica, es uno de los menos estudiados (Barbera, 2013). Lo esperado, por su
parte, era que a partir de los datos que se recabaron en la aplicacin de la prueba en etapa
post-instructiva, el valor subiera, tal y como lo hizo. Por su parte, para el coeficiente de
confiabilidad de la prueba, Kuder-Richardson, se prefiere que su valor est en valores de
0.7 o superiores (Ding et al., 2006). Esto es de cierta manera consistente con la alfa de
Cronbach, ya que 0.80 no es un valor idneo aunque sea aceptable. Con esto
definitivamente se muestra que el instrumento tiene amplias reas de oportunidad en las
cuales se puede trabajar a futuro. Entre tanto, se espera que el valor de la delta de Ferguson
se mantenga, pues sta indica que, en general, la prueba tiene una buena capacidad de
discriminacin, pero ello se puede mejorar sin duda al hacer una revisin de los reactivos
mencionados.



3.4 Anlisis de resultados grupales
En esta seccin se presenta un breve anlisis de algunos datos interesantes en
distintas agrupaciones de estudiantes que conforman esta muestra. En primer lugar, se
puede encontrar el clculo de la ganancia ponderal del aprendizaje de cada grupo de la
materia de Qumica General de los que se tiene registro, lo cual da una imagen clara de la
influencia que se tuvo en los estudiantes de cada grupo a lo largo del semestre de
instruccin. Luego se analizar el caso de los tres grupos cuya prueba post-instructiva no
fue en su ltima sesin de clase, sino en la sesin del examen final del curso, con la
finlidd de bsev si el hech de hbe estudid p un pueb hi lun
diferencia respecto al desempeo global del resto de los estudiantes. An as, cabe resaltar
que la decisin de implementar en este tiempo la prueba post-instructiva qued nica y
exclusivamente en los profesores de cada grupo.

3.4.1 Ganancia
Utilizando las ecuaciones de la seccin 2.2.4, se han calculado las ganancias para
cada uno de los grupos en los que se aplic el CCI. Como se mencion en la metodologa,
la muestra est conformada por 27 grupos. Sin embargo, como se podr ver en la tabla 4,
existen grupos cuyos renglones estn ensombrecidos y su ganancia es tomada como cero.
Esto se debe a que los grupos con esos respectivos nmeros no fueron tomados en cuenta
para el CCI porque falt la aplicacin de alguna de las implementaciones ya sea por
cuestiones administrativas u otras causas ajenas a este estudio. Dichos grupos tampoco han
sido considerados para el clculo de la ganancia general de toda la muestra, como se
presenta en la tabla 5.
En la tabla 4 se puede observar que la primera columna corresponde a la seccin de
la poblacin evaluada, su ganancia ponderal en el rango [-1, 1] y su ganancia convertida a
aciertos considerando el total de 22 reactivos en la prueba para que puedan ser tomados
como referencia. Se puede observar a su vez que para los grupos 3, 6, 13, 28 y 31, el ndice
arroj un valor negativo, por lo que fue calculada con la frmula para

tambin
presentada en la seccin 2.2.4. Esto representa en realidad una prdida, o dficit de
ganancia, que puede deberse a muchos factores, siendo uno muy probable la falta de inters
del estudiante para realizar la prueba post-instructiva.

Tabla 4: Relacin de ganancia ponderal por cada grupo donde se implement el CCI tanto
en etapa pre-instructiva como post-instructiva.
Grupo Ganancia Aciertos Grupo Ganancia Aciertos
1 0.049 1.067 18
0.00 0.00
2 0.083 1.824 19
0.00 0.00
3 -0.05 -1.03 20 0.026 0.581
4 0.057 1.257 21 0.101 2.233
5 0.064 1.413 22 0.048 1.051
6 -0.03 -0.57 23
0.00 0.00
7 0.071 1.571 24 0.145 3.196
8 0.056 1.226 25 0.108 2.373
9 0.105 2.316 26
0.00 0.00
10 0.069 1.525 27
0.00 0.00
11 0.176 3.871 28 -0.03 -0.73
12 0.079 1.729 29 0.062 1.358
13 -0.03 -0.58 30
0.00 0.00
14
0.00 0.00 31 -0.07 -1.64
15 0.042 0.921 32 0.003 0.062
16 0.016 0.353 33 0.101 2.214
17 0.061 1.336 34 0.152 3.354

Tabla 5: Anlisis de ganancia para toda la muestra. Los promedios se muestran sobre 100.
Promedio pre-test Promedio post-test Ganancia Aciertos
38.16 41.73 0.058 1.270

Estos resultados slo pueden ser indicativos de que, a pesar de la instruccin y
como se menciona en la literatura el estudiante mantiene sus concepciones alternativas
cuando se le pide contestar preguntas que no involucren operaciones aritmticas o
algoritmos matemticos. Es probable que el motivo no sea enteramente del estudiante, sino
que sea compartido por el instructor, dado que algunos de ellos podran considerar esta
parte de la enseanza de la qumica como difcil, y asociarla a la memorizacin de datos
(Kruse & Roehrig, 2005). En la figura 28 se muestra de manera ms grfica las ganancias
observadas por cada grupo.


3.4.2 Comparacin de acuerdo al momento de implementacin
Por otro lado, fue interesante ver la comparacin entre los alumnos que presentaron
su examen post-instructivo durante su ltima sesin de clases nombrado como Grupo A en
la tabla 6, y los que tuvieron dicha implementacin en el horario posterior inmediato al
examen final Grupo B. Como se puede apreciar, el desempeo de los alumnos del grupo
B es considerablemente ms bajo. La razn que se supone es que el alumno no estaba
interesado ya en presentar un diagnstico despus del desgaste que representa un examen
final, lo cual era esperado.
Es posible ver que, a diferencia del grupo A, el grupo B presenta menores
coeficientes de dificultad por reactivo, en su mayora, lo cual en realidad denota que para
ellos dichas preguntas fueron ms difciles de contestar. Esto se ve reflejado en su
promedio general de la prueba, as como la posible ganancia que pudieron haber obtenido
de la instruccin que en este caso fue prdida.


Tabla 6: Comparacin de ndice de dificultad (P), promedio general y ganancia de acuerdo
al momento de la implementacin de la prueba post-instructiva.
Grupo A Grupo B
Pregunta Dificultad (P)
1 0.34 0.35
2 0.50 0.47
3 0.44 0.38
4 0.69 0.60
5 0.07 0.06
6 0.34 0.26
7 0.90 0.83
8 0.88 0.82
9 0.36 0.43
10 0.28 0.22
11 0.26 0.17
12 0.65 0.47
13 0.66 0.52
14 0.14 0.05
15 0.67 0.57
16 0.54 0.32
17 0.25 0.18
18 0.37 0.17
19 0.44 0.31
20 0.31 0.23
21 0.08 0.10
22 0.14 0.14
Promedio y ganancia generales de cada grupo:
Promedio (Aciertos) 42.31% (9.31) 34.83% (7.66)
Ganancia (Aciertos) 0.065 (1.44) -0.028 (-0.611)

4. Conclusiones
Es posible concluir que la intervencin de este estudio fue exitosa, con una buena
cantidad de informacin, bastante valiosa, la cual permiti una comparacin completa con
literatura previamente encontrada.
Desde un principio, el reactivo 14 llam la atencin, y se predijo que sera problemtico
para los estudiantes como termin sindolo. Se enfatiza esta pregunta fue la nica que
rompi con todos los pronsticos encontrados en artculos y estudios previos. Sin embargo,
de antemano es un reactivo que se presta a confusiones, demostrado por sus curvas de IRC
que no siguen el patrn deseado y, por lo tanto, demuestran que es necesario un
replanteamiento de la pregunta al confirmarse su falta de funcionalidad tanto en el pre-test
como en el post-test.
Y continuando con dicho punto, las grficas de curvas de IRC muestran su
eficiencia y utilidad, no slo al dar informacin sobre el entendimiento de un tema por parte
del alumno, sino adems explorando su pensamiento. La pregunta 15 fue el ejemplo ms
evidente aunque no el nico de que esta herramienta podra volverse mucho ms
importante en un futuro. Adems de mostrar a detalle qu tn eles sn ls ndices
calculados respecto al verdadero desempeo de los alumnos, permiten saber cules son
exactamente las preconcepciones ms fuertes en los alumnos, que ameriten un esfuerzo
adicional por parte de los educadores para corregirlo y apoyar al estudiante en su
entendimiento conceptual total de la qumica.
Finalmente, fue posible apreciar que los estudiantes mantienen muchas
concepciones alternativas sin importar el lugar de implementacin. Varias de stas fueron
consistentes con las encontradas en universidades fuera de Mxico, lo que habla que es
posible generar un instrumento universal que permita analizarlas y atacarlas. Dicho
instrumento podra ser el CCI, con la reestructuracin adecuada y estudios psicomtricos
como el presente.

5. Bibliografa
Alvarado, C., & Zavala, G. (2009). Anlisis de curvas IRC de Exmenes Finales de Fsica
I, Fsica II y Electricidad y Magnetismo. Recuperado el 12 de Mayo de 2013, de
Grupo de Investigacin e Innovacin en la Educacin de la Fsica:
http://per.mty.itesm.mx/proyectosc.html

Barbera, J. (2013). A Psychometric Analysis of the Chemical Concepts Inventory. Journal
of Chemical Education , 90, 546-553.

Ding, L., Chabay, R., Sherwood, B., & Beichner, R. (2006). Evaluating an electricity and
magnetism assessment tool: Brief electricity and magnetism assessment. Physical
Review Special Topics - Physics Education Research , 2, 010105-7.

Ebel, R. L. (1972). Essentials of educational measurement. Oxford, Inglaterra: Prentice-
Hall.

Hake, R. R. (13 de marzo de 1999). Analyzing change/gain scores. Recuperado el 15 de
diciembre de 2013, de Indiana University, Bloomington: Department of Physics:
http://www.physics.indiana.edu/~sdi/AnalyzingChange-Gain.pdf

C. . . Cnceptul uestins nd Lc f ml esnin Ae
They Mutually Exclusive? Journal of Chemical Education , 89, 1243 - 1248.

Kelley, T. (1939). The selection of upper and lower groups for the validation of test items.
The Journal of Educational Psychology , 17-24.
Kline, T. (2005). Psychological Testing: A Practical Approach to Design and Evaluation.
(SAGE, Ed.) Canada.

Kruse, R., & Roehrig, G. (2005). A comparison study: Assessing teachers' conceptions with
the chemistry concepts inventory. Journal of Chemical Education , 82, 1246-1250.

Leppvirta, J. (2011). The Impact of Mathematics Anxiety on the Performance of Students
of Electromagnetics. Journal of Engineering Education , 100, 424-443.

Mulford, D. R., & Robinson, W. R. (2002). An Inventory for Alternate Conceptions among
First-Semester General Chemistry Students. Journal of Chemical Education , 79,
739-744.

Nakhleh, M. (1992). Why some students don't learn chemistry: Chemical misconceptions.
Journal of Chemical Education , 69, 191-196.


6. Anexos
6.1 Inventario de Conceptos Qumicos (CCI) en espaol, implementado a los
alumnos. Las respuestas correctas estn marcadas en rojo.

Inventario de conceptos qumicos.

Este inventario consta de 22 preguntas de opcin mltiple. Considere
cuidadosamente cada pregunta e indica la mejor respuesta para cada una de ellas.
Algunas de las preguntas estn apareadas. En estos casos la primera pregunta se
refiere a un efecto qumico o fsico y la segunda se refiere a la razn por la que se
presenta el efecto observado.

1. Cul de los siguientes conceptos deber ser igual antes y despus de una
reaccin qumica?
a. La suma de las masas de todas las sustancias involucradas.
b. El nmero de molculas de todas las sustancias involucradas.
c. El nmero de tomos de cada tipo involucrados.
d. Ambas (a) y (c) deben ser iguales.
e. Cada una de las respuestas (a), (b) y (c) debe ser iguales.

2. Asuma que se tiene un vaso de precipitados con agua pura que es estado hirviendo
durante 30 minutos. Qu hay en las burbujas de agua hirviendo?
a. Aire.
b. Oxgeno gaseoso e hidrgeno gaseoso.
c. Oxgeno.
d. Vapor de agua.
e. Calor.

3. Se observa que un vaso con leche fra a veces forma una capa de agua en la parte
extei del vs se suele deci que el vs sud Cm lle el u ll?
a. El agua se evapora de la leche y se condensa en la parte exterior del vaso.
b. El vaso acta como una membrana semipermeable y permite que el agua
pase, pero no la leche
c. El vapor de agua se condensa del aire.
d. El fro causa que el oxgeno y el hidrgeno del aire se combinen en el vaso
formando agua.

4. Cul ser la masa de una solucin cuando se disuelve 1 kilogramo de sal en 20
kilogramos de agua?
a. 19 kilogramos.
b. 20 kilogramos.
c. Entre 20 y 21 kilogramos.
d. 21 kilogramos.
e. Ms de 21 kilogramos.

5. El siguiente diagrama representa una mezcla de tomo de S y molculas de O
2
en
un recipiente cerrado:


molcula



tomo

Cul diagrama muestra los resultados despus de que la mezcla reacciona
completamente, tanto como es posible de acuerdo con la ecuacin:

2S + 3O2 2SO3


(d)

6. El crculo de la izquierda muestra una vista en aumento de una muy pequea
porcin de agua lquida en un recipiente cerrado.
Clave
Agua
Oxgeno
Hidrgeno





Agua lquida Agua evaporada

Cul sera la vista en aumento despus de que el agua se evapora?


(e)

7. Verdadero o falso: Cuando se quema un cerillo, alguna materia se destruye.
a. Verdadero
b. Falso

8. Cul es la razn para tu respuesta a la pregunta 7?
a. Esta reaccin qumica destruye materia.
b. La materia es consumida por la flama.
c. La masa de ceniza en menor que la del cerillo del que proviene.
d. Los tomos no se destruyen, solamente se rearreglan.
e. El cerillo pesa menos despus de quemarse.

9. Se desprende calor cuando el hidrgeno se quema en el aire de acuerdo con la
ecuacin:
2H2 + O2 2H2O

Cul de los siguientes fenmenos es responsable del calor?
a. La ruptura de los enlaces del hidrgeno desprende energa.
b. La ruptura de los enlaces del oxgeno desprende energa.
c. La formacin de enlaces hidrgeno-oxgeno desprende energa.
d. Ambos (a) y (b) son responsables.
e. (a), (b), y (c) son responsables.

10. Dos cubos de hielo estn flotando en agua:

Hielo




Agua





Despus de que el hielo se funde, el nivel del agua ser:
a. Mayor
b. Menor
c. Igual

11. Cul es la razn para tu respuesta a la pregunta 10?
a. El peso del agua desplazada es igual al peso del hielo.
b. El agua es ms densa en su forma slida (hielo)?
c. Las molculas de agua desplazan ms volumen que las molculas de hielo.
d. El agua del hielo fundido cambia el nivel del agua.
e. Cuando el hielo se funde, sus molculas se expanden.

12. Se coloca una muestra de yodo slido de 1.0 gramos, en un tubo. El tubo se
sella despus de sacar todo el aire.El tubo y el yodo slido juntos pesan
27.0.gramos.




Yodo slido

El tubo se calienta hasta que todo el iodo se evapora y queda completamente lleno
de yodo gaseoso. El peso despus del calentamiento ser:
a. Menos de 26.0 gramos.
b. 26.0 gramos.
c. 27.0 gramos.
d. 28.0 gramos.
e. Ms de 28.0 gramos.

13. Cul es la razn para tu respuesta a la pregunta 12?
a. Un gas pesa menos que un slido.
b. La masa se conserva.
c. El yodo gaseoso es menos denso que el yodo slido.
d. Los gases se elevan.
e. El yodo gaseoso es ms ligero que el aire.

14. Cul es el nmero aproximado de tomos de carbono que tendras que
acomodarse uno detrs de otro para hacer una lnea que cruzara este punto:
a. 4
b. 200
c. 30,000,000
d. 6.02 x 10
23


15. La figura 1 representa 1.0 L de solucin de azcar disuelta en agua. Los puntos
en el crculo de aumento representan molculas de agua. Para simplificar el
diagrama las molculas de agua no se muestran.


Figura 1 Figura 2

Cul de las respuestas representa la vista despus de que se agrega 1.0 L de agua
(Figura 2)?


(b)
Figura 2


16. Se calientan 100 mL de agua a 25C y 100 mL de alcohol a 25C a la misma
velocidad bajo condiciones idnticas. Despus de 3 minutos la temperatura del
alcohol es de 50C. Dos minutos ms tarde la temperatura del agua es de 50C.
Qu lquido recibi ms calor para llegar a los 50C?
a. El agua.
b. El alcohol.
c. Ambos recibieron la misma cantidad de calor.
d. Es imposible determinarlo con la informacin de que se dispone.

17. Cul es la razn para tu respuesta a la pregunta 16?
a. El agua tiene un punto de ebullicin ms alto que el alcohol.
b. El agua toma ms tiempo para cambiar su temperatura que el alcohol.
c. Ambos incrementaron su temperatura en 25C.
d. El alcohol tiene una densidad menor y menor presin de vapor.
e. El alcohol tiene un calor especfico mayor por lo que se calienta ms
rpido.


18. El hierro se combina con el oxgeno y el agua del aire para formar herrumbre
(xido). Si un clavo de hierro se deja oxidar completamente, se debera encontrar
que la herrumbre pesa:
a. Menos que el clavo del que proviene.
b. Lo mismo que el clavo del que proviene.
c. Ms que el clavo del que proviene.
d. Es imposible predecirlo.

19. Cul es la razn para tu respuesta a la pregunta 18?
a. La oxidacin hace al clavo ms ligero.
b. El xido contiene hierro y oxgeno.
c. El clavo se descama.
d. El hierro del clavo se destruye.
e. Las escamas de xido pesan menos que el hierro.

20. Se agrega sal en agua y se agita la mezcla hasta que no se disuelve ms sal. La
sal que no se disolvi se deja asentar. Qu le sucede a la concentracin de sal en la
disolucin si el agua se evapora hasta que el volumen de la solucin es la mitad del
volumen original? (Asuma que la temperatura se mantiene constante)


La mitad del agua
Disolucin
se evapora
Disolucin



Sal slida Sal slida

La concentration:
a. Aumenta.
b. Disminuye.
c. Se mantiene igual.

21. Cul es la razn para tu respuesta a la pregunta 20?
a. Hay la misma cantidad de sal en menos agua.
b. Se forma ms sal slida.
c. La sal no se evapora y se queda en la disolucin.
d. Hay menos agua.
22. La siguiente es una lista de propiedades del azufre slido:
i. Slido cristalino quebradizo.
ii. Punto de fusin de 113 C.
iii. Densidad de 2.1 g/cm3.
iv. Se combina con el oxgeno para formar dixido de azufre.

Cules de estas propiedades, si hay alguna, seran las mismas para un solo
tomo de azufre obtenido de la muestra?
a. i y ii solamente.
b. iii y iv solamente.
c. iv solamente.
d. Todas estas propiedades seran iguales.
e. Ninguna de estas propiedades seran iguales.


Copyright 2001 Division of Chemical Education, Inc., American Chemical
Society.
All rights reserved.

6.2 Grficas de IRC de todas las preguntas con datos del anlisis de la
implementacin en etapa post-instructiva.



-10%
0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 1
A
B
C
D
E
0%
10%
20%
30%
40%
50%
60%
70%
80%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 2
A
B
C
D
E


0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 3
A
B
C
D
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 4
A
B
C
D
E



0%
10%
20%
30%
40%
50%
60%
70%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 5
A
B
C
D
E
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 6
A
B
C
D
E
0%
20%
40%
60%
80%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 7
A
B


0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 8
A
B
C
D
E
0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 9
A
B
C
D
E


0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 10
A
B
C
0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 11
A
B
C
D
E


0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 12
A
B
C
D
E
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 13
A
B
C
D
E


0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 14
A
B
C
D
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 15
A
B
C
D
E


0%
10%
20%
30%
40%
50%
60%
70%
80%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 16
A
B
C
D
0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 17
A
B
C
D
E


0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 18
A
B
C
D
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 19
A
B
C
D
E


0%
10%
20%
30%
40%
50%
60%
70%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 20
A
B
C
0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 21
A
B
C
D

0%
10%
20%
30%
40%
50%
60%
70%
1 2 3 4 5 6
P
o
r
c
e
n
t
a
j
e

d
e

a
l
u
m
n
o
s

IRC Pregunta 22
A
B
C
D
E