2013 2014

371.271 LB2353.4.M4
C46 C46

Centro Nacional de Evaluación para la Educación Superior. Dirección General Adjunta

de Programas Especiales

Manual técnico ENLACE Media Superior 2013-2014. Evaluación Nacional de Logro Académico
en Centros Escolares de Educación Media Superior / Dirección de Programas para la Administración
Pública. -- México : Ceneval, 2015.

107 p. : tablas, gráficas, diagrs.

1. Evaluación Nacional de Logro Académico (ENLACE) - Diseño y construcción - Manuales 2.

Estudiantes universitarios - Evaluación - México 3. Mediciones y pruebas educativas - México - Manuales

I. CENEVAL. DGAPE. Dirección de Programas para la Administración Pública

Coordinación técnica y realización

Dirección de Programas para la Administración Pública

Dra. Alejandra Zúñiga Bohigas

Coordinación del proyecto ENLACE MS

Mtra. Sandra Patricia Reyes Lüscher
Mtra. Araceli Castillo Núñez
Lic. Rubén Lugo Campos

Equipo de colaboración
Alba Cruz Escalera
Lía Escobar Acosta
Georgina Elizabeth Sánchez Chávez
Janette Vázquez García

Manual Técnico ENLACE Media Superior 2013-2014

Manual Técnico de la prueba Evaluación Nacional de Logro Académico
en Centros Escolares de Educación Media Superior (ENLACE MS)

D.R. © 2015, Centro Nacional de Evaluación

para la Educación Superior, A.C. (Ceneval)
Av. Camino al Desierto de los Leones 19,
Col. San Ángel, Deleg. Álvaro Obregón,
C.P. 01000, México, D.F.
www.ceneval.edu.mx

Diseño y formación: Álvaro Edel Reynoso Castañeda

Diciembre de 2015
 Directorio del Ceneval

Dr. en Quím. Rafael López Castañares

Director General

Dr. Oscar Olea Cardoso

Secretario Particular

L.C. Saúl Moisés López Medina

Encargado del Despacho
de la Dirección General Adjunta de Administración

Mtra. Gabriela Legorreta Mosqueda

Abogada General

Dra. Rocío Llarena de Thierry

Directora General Adjunta de Programas Especiales

Mtra. Lucía Monroy Cazorla

Directora General Adjunta
de los Exámenes Nacionales de Ingreso

Lic. Catalina Betancourt Correa

Directora General Adjunta
de los Exámenes Generales para el Egreso de la Licenciatura

M. en A. Francisco Javier Apreza García Méndez

Director General Adjunto de Operación

C. Rolando Emilio Maggi Yáñez

Director General Adjunto de Difusión

Act. César Chávez Álvarez

Director Técnico y de Investigación

Mtra. María del Socorro Martínez de Luna

Directora de Procesos Ópticos y Calificación

Ing. Oscar Miranda Robles

Director de Tecnologías de la Información y la Comunicación

Mtro. Juan Carlos Rivera López

Director de Relaciones Interinstitucionales
 Índice

Prefacio 11

1. Introducción 13

2. Antecedentes 15
2.1 Instrumentos y diseño de recolección de datos 17
2.2 Cuerpos colegiados 19

3. Características de la prueba 21
3.1 Especificaciones técnicas 21
3.2 Alcances y limitaciones 23

4. Adaptación y diseño de la prueba alineada a la RIEMS 25
4.1 Delimitación del objeto de medición y referentes del examen 25
4.1.1 Comunicación (Comprensión Lectora) 27
4.1.2 Matemáticas 31
4.2 Estructura global de la prueba 35

5. Elaboración de reactivos 2013-2014 37
5.1 Plan general de elaboración de reactivos 37
5.2 Capacitación a colaboradores 38
5.3 Revisión cualitativa 39
5.3.1 Revisión técnica 39
5.3.2 Validación con especialistas 40
5.3.3 Revisión de estilo 41

6. Verificación cuantitativa 43
6.1 Calibración de reactivos 44

7. Ensamble de versiones 47
7.1 Especificaciones estadísticas de ensamble 50

8. Aplicación 55
8.1 Diseño muestral 57
8.2 Diseño de equiparación 58

9. Calificación 61
9.1 Algoritmo de calificación 2008-2014 61
9.2 Procedimiento de equiparación 62
9.3 Emisión de resultados 63
9.3.1 Niveles de dominio Comunicación (Comprensión Lectora) 65
9.3.2 Niveles de dominio Matemáticas 65
9.4 Segundo estudio de factibilidad de mantenimiento de puntos de corte 66
9.5 Complementos 67
9.5.1 Cuestionario de contexto 67
9.5.2 Manual para docentes y directivos 68

10. Estudios adicionales 69

10.1 Análisis exploratorio de Ciencias 2013 y 2014 69
10.2 Estudios de ganancia educativa 2010-2013 y 2011-2014 71
10.2.1 Participantes 73
10.2.2 Materiales 73
10.2.3 Procedimiento 74
10.2.4 Resultados 76

11. Reflexiones acerca de la prueba 79

Referencias 82

Anexo A Consejo Técnico 85
Anexo B Grupos de trabajo: delimitación del objeto de medida 87
Anexo C Diseño muestral. Levantamiento de datos 89
Anexo D Estudios acerca de la estabilidad de la escala 97
 Índice de Tablas y Figuras

Tablas

Tabla 1: Características técnicas de la prueba ENLACE MS 22

Tabla 2: Definición de niveles de complejidad por grupo de proceso cognitivo
Comunicación (Comprensión Lectora) ENLACE MS alineada a la RIEMS 30
Tabla 3: Definición de niveles de complejidad por grupo de proceso cognitivo
Matemáticas ENLACE MS alineada a la RIEMS 34
Tabla 4: Estructura ENLACE MS alineada a la RIEMS 36
Tabla 5: Productos de la elaboración de reactivos ENLACE MS 2013-2014 38
Tabla 6: Reactivos validados 2012-2014 ENLACE MS alineada a la RIEMS 40
Tabla 7: Número de reactivos piloto y promedio de participantes 2012 y 2013 43
Tabla 8: Dictamen de reactivos de acuerdo con los parámetros estimados en el estudio piloto 46
Tabla 9: Distribución de reactivos para el ensamble de la prueba operativa 48
Tabla 10: Participantes aplicación ENLACE MS 2013 y 2014 56
Tabla 11: Niveles de desagregación de la muestra 58
Tabla 12: Rangos de habilidad (θ) utilizados en Comunicación (Comprensión Lectora) 61
Tabla 13: Rangos de habilidad (θ) utilizados en Matemáticas 61
Tabla 14: Resultados nacionales ENLACE MS 2013 y 2014 63
Tabla 15: Estadísticos descriptivos estudio de Ciencias 2011-2014 70
Tabla 16: Estructura de la prueba ancla (reactivos semejantes) 74


Figuras
Figura 1. Diseño matricial del pretest 2013 49
Figura 2. Diseño de ensamble del pretest 2014 50
Figura 3. Funciones de información ENLACE MS Operativa 2013-2014 Comunicación 51
Figura 4. Curvas características ENLACE MS Operativa 2013-2014 Comunicación 52
Figura 5. Funciones de información ENLACE MS Operativa 2013-2014 Matemáticas 52
Figura 6. Curvas características ENLACE MS Operativa 2013-2014 Matemáticas 53
Figura 7. Ejemplo de administración de la prueba ENLACE MS por sesión y días de aplicación 55
Figura 8. Aplicación de las pruebas ENLACE MS utilizando la técnica de contrabalanceo 56
Figura 9. Esquema de aplicación para la equiparación de la prueba ENLACE MS 59
Figura 10. Diseño de recolección de datos de las pruebas ENLACE 3º
de secundaria y media superior 72
Figura 11. Ganancia educativa nacional 2010-2013 Comprensión Lectora 77
Figura 12. Ganancia educativa nacional 2011-2014 Comprensión Lectora 77
Figura 13. Ganancia educativa nacional 2010-2013 Matemáticas 78
Figura 14. Ganancia educativa nacional 2011-2014 Matemáticas 78
 Prefacio

E
l Centro Nacional para la Evaluación de la Educación Superior (Ceneval) es una
asociación civil no lucrativa, cuya misión es contribuir a mejorar la calidad de la educa-
ción media superior y superior en México mediante el diseño y aplicación de instrumen-
tos de evaluación válidos, confiables y pertinentes. Estos exámenes proporcionan información
acerca de conocimientos, habilidades y competencias que las personas adquieren al participar
en procesos formales o informales de aprendizaje. Para dar a conocer los procedimientos y las
evidencias que sustentan la confiabilidad y validez de los instrumentos que genera el Ceneval,
cada uno de ellos se acompaña de un manual técnico que especifica detalladamente los elemen-
tos involucrados en su construcción y aplicación.
El presente es el tercer y último Manual Técnico que se publica en torno a la Evaluación
Nacional de Logro Académico en Centros Escolares de Educación Media Superior (ENLACE
MS), instrumento de diagnóstico de cobertura nacional en cuya elaboración y seguimiento
participó el Ceneval a petición de la Subsecretaría de Educación Media Superior (SEMS) y de la
Dirección General de Políticas Educativa (DGEP) de la Secretaría de Educación Pública (SEP).
El primer Manual describió de manera sintética los procesos que se siguieron en la etapa de di-
seño y de aplicación comprendida entre 2008 y 2010, mientras que en el segundo se explicaron
las actividades realizadas para adaptar la prueba y evaluar a los sustentantes en congruencia con
la Reforma Integral de la Educación Media Superior (RIEMS) durante 2011 y 2012.
En este tercer Manual, además de la información relacionada con el proceso de construc-
ción, aplicación y calificación del examen en 2013 y 2014, año en que se aplicó por última vez
ENLACE MS, se describen algunos estudios realizados aprovechando los datos de la prueba.
Los resultados de estos estudios pueden ser de interés para los medios de comunicación y para
el público en general atento a los resultados nacionales de instrumentos estandarizados que se
aplican a los alumnos año con año.

ENLACE MS · 2013 · 2014

11
 1. Introducción

D
e 2008 a 2014, la prueba ENLACE MS constituyó un instrumento diagnóstico para la
evaluación de los estudiantes con el objetivo de brindar una fuente de información
fiable para la medición de indicadores de logro relacionados con el perfil de egreso
de los alumnos que cursan la Educación Media Superior (EMS). A lo largo de las diferentes
aplicaciones, la prueba se ajustó a los propósitos de las autoridades educativas en el marco
de la construcción de un Sistema Nacional de Bachillerato en un contexto de diversidad que,
mediante la implementación gradual de la Reforma Integral de la EMS, atendió la necesidad de
hacer cambios a nivel nacional en el currículo, la oferta educativa y la gestión escolar.
El tercer eje de la RIEMS contempla, dentro de sus mecanismos de gestión y en su ámbito
estratégico número seis denominado Evaluación Diagnóstica de los alumnos, la evaluación de des-
empeño y resultados en términos de los aprendizajes obtenidos por los estudiantes gracias a la
transformación del sistema. Para conocer el impacto de la RIEMS, se busca integrar los resulta-
dos de pruebas estandarizadas, entre ellas ENLACE MS, a la evaluación formativa-sumativa que
se realiza en el aula. El examen se aplica de manera censal, con una frecuencia anual, a todas las
escuelas que manifiesten su deseo de participar.
De 2011 a 2014 ENLACE MS emitió un diagnóstico individual del nivel de dominio de los
sustentantes del último ciclo de bachillerato en dos campos disciplinares básicos: Comunica-
ción (Comprensión Lectora) y Matemáticas. Cada alumno recibió un reporte personalizado
que indica si su desempeño fue excelente, bueno, elemental o insuficiente; asimismo, el reporte
permite conocer sus fortalezas y debilidades en los diferentes temas evaluados con el objetivo
de establecer estrategias de mejora (cursos de regularización, estudio dirigido, investigación,
etcétera).
Por el impacto que tienen sus resultados en la planificación de campañas al interior de las
escuelas y en las políticas públicas, en el presente documento se considera prioritario dar a
conocer al público en general y a otros evaluadores la información relacionada con la cons-
trucción y el mantenimiento de la prueba. Además, mediante este Manual Técnico se da cum-
plimiento a los lineamientos exigidos en la Metodología Ceneval, que contempla normas y
estándares de calidad para los procesos de medición y las pruebas de aprovechamiento.
Al inicio se describen algunos antecedentes del examen, las instancias que promovieron el
proyecto de ENLACE MS y su adaptación al marco curricular común (MCC) de la RIEMS. Es
importante mencionar que el instrumento que se aplicó de 2011 a 2014 retoma únicamente
los aspectos del MCC que pueden ser evaluados mediante una prueba diagnóstica, objetiva, estan-
ENLACE MS · 2013 · 2014

darizada, de bajo impacto y con reactivos de opción múltiple, considerando que su aplicación es censal y
se realiza en sesiones de 50 minutos. De manera adicional y considerando que las autoridades
educativas solicitaron mantener la comparabilidad de los resultados con los de las aplicaciones
de 2008 a 2010, el diseño de recolección de datos incluyó la distribución matricial de un pretest,
instrumento que permitió igualar la escala de calificación año con año.

13
 En los apartados tres y cuatro del presente Manual se reseñan las características generales de
la prueba ENLACE MS que se aplicó de 2011 a 2014, además de la estrategia con que se modi-
ficó su estructura para apoyar la evaluación de una muestra representativa de las competencias
disciplinares básicas que promueve la RIEMS. En los siguientes capítulos se pueden revisar los
procedimientos específicos que se llevaron a cabo durante 2013 y 2014 para la construcción,
aplicación, calificación y mantenimiento de la prueba.
Después de informar acerca de las diversas fuentes que tienen los sustentantes, docentes,
directivos y padres de familia para conocer y utilizar adecuadamente los resultados de ENLACE
MS, al llegar al décimo apartado se describen cuatro estudios que se realizaron en los dos últi-
mos años de aplicación del instrumento aprovechando los datos.
Como en los manuales anteriores, se concluye el documento con una discusión de los al-
cances de la prueba y su comparación con otros exámenes similares con el fin de motivar la
reflexión y retroalimentación que apoye el mejoramiento y el desarrollo de los diversos proce-
sos de evaluación.
ENLACE MS · 2013 · 2014

14
 2. Antecedentes

E
n su origen, la prueba ENLACE MS se inscribió dentro del Programa Sectorial de
Educación 2007-2012, cuyos objetivos particulares, asociados al propósito general
de elevar la calidad de la educación, eran:
1. ampliar las oportunidades educativas;
2. impulsar el desarrollo de tecnologías de la información y de la comunicación en el sistema
educativo;
3. ofrecer una educación integral basada en competencias;
4. ofrecer servicios educativos de calidad que formen personas con sentido de responsabilidad
social y permitan competir en el mercado laboral y
5. fomentar una gestión escolar responsable que asegure la transparencia y la rendición de
cuentas a la sociedad sobre el funcionamiento del nivel educativo.

Entre otras líneas de acción, el programa sectorial incluía la necesidad de “diseñar, aplicar y
consolidar los instrumentos de evaluación del desempeño académico de los estudiantes, como
insumo para reorientar la acción pedagógica y para integrar los programas de nivelación acadé-
mica”.1 Por lo anterior, en febrero de 2007 la SEMS y la DGEP de la SEP solicitaron el apoyo
del Ceneval para la elaboración de la prueba ENLACE MS.
El reto era elaborar una prueba criterial que permitiera emitir un diagnóstico a cada alumno
sobre su nivel de desempeño al finalizar la educación media superior; además, debía ser posible
entregar los resultados en un periodo corto de tiempo. Considerando las restricciones ante-
riores, se decidió construir una prueba diagnóstica, de bajo impacto, objetiva, estandarizada
y compuesta por reactivos de opción múltiple. Así, ENLACE MS se diseñó y desarrolló con
el fin de generar información para cada estudiante acerca de su capacidad de respuesta ante
exigencias de la vida cotidiana al egresar de la EMS, de tal forma que se cuente con elementos
de retroalimentación individual, así como información que apoye a los padres, maestros, direc-
tivos y autoridades para que contribuyan a la mejora del sistema educativo.
Debido a la diversidad de subsistemas que hay en el bachillerato y a la existencia de más de
200 currículos en el ámbito nacional, desde el inicio de las actividades de diseño se estableció
la conveniencia de construir y aplicar un instrumento enfocado en las habilidades generales
que son parte fundamental en la educación media superior y de todos los perfiles de egreso:
Habilidad Lectora y Habilidad Matemática. Estas habilidades son transversales, es decir, se
desarrollan a lo largo de la historia escolar y fuera de ella, además se manifiestan de modo di-
ENLACE MS · 2013 · 2014

ferencial en los individuos, lo que permite identificar diferentes niveles de dominio. Así, entre
2008 y 2010, ENLACE MS significó un diagnóstico del desarrollo de los sustentantes en esas
dos áreas de habilidad.

1
Disponible en http://www.sep.gob.mx/wb/sep1/programa_sectorial.

15
 Posteriormente, con la oficialización de la RIEMS2 se hizo necesaria la adaptación de la
prueba ENLACE MS para su aplicación a partir del 2011.
La RIEMS establece que todos los planteles deben adoptar un MCC cuya orientación peda-
gógica corresponde con el aprendizaje por competencias, centrado en el desarrollo personal y
social de los estudiantes. Los conjuntos de competencias que promueve el MCC son de tipo:
• genérico, con aplicación en diversos contextos académicos, laborales y sociales;
• disciplinar, que corresponden directamente con los diferentes campos del conocimiento, y
• profesional, orientados al desarrollo de capacidades específicas para facilitar la inserción en
el mercado laboral.

Cuando se enseña y se aprende bajo este esquema la intención es que el estudiante adquiera
autonomía para resolver problemas, por lo que cuando actúa de manera efectiva se dice que “es
competente”. La RIEMS aprehende y particulariza estos significados para incluir en el MCC los
conocimientos, habilidades y disposiciones particulares que los alumnos de bachillerato deben
ser capaces de articular para responder a situaciones académicas, personales y laborales. Para
orientar el currículo hacia esta perspectiva, toma la definición de competencia de Perrenoud
(2004, citado en Acuerdo Secretarial 442), quien la concibe como la capacidad de movilizar
recursos cognitivos para hacer frente a diferentes situaciones, a lo que agrega que:

Las competencias no son en sí mismas conocimientos, habilidades o actitudes, aun-

que movilizan, integran, orquestan tales recursos, [además de que] el ejercicio de la
competencia pasa por operaciones mentales complejas, sostenidas por esquemas de
pensamiento, los cuales permiten determinar (más o menos de un modo consciente y
rápido) y realizar (más o menos de un modo eficaz) una acción relativamente adaptada
a la situación.

Para responder a este contexto y, a la vez, dar continuidad al proceso de evaluación que se
venía desarrollando desde 2008, se decidió que el objetivo de la prueba ENLACE MS a partir
de 2011 fuera brindar un diagnóstico del nivel de dominio de los sustentantes en dos de los
campos disciplinares básicos incluidos en la RIEMS: Comunicación (Comprensión Lectora) y
Matemáticas. Asimismo, la evaluación de los campos disciplinares de Ciencias se comenzó a
planificar con miras a realizar un estudio exploratorio del desempeño de los alumnos una vez
ENLACE MS · 2013 · 2014

que se contara con un instrumento consolidado.

2
Diario Oficial de la Federación (2008). Acuerdo 442 por el que se establece el Sistema Nacional de Bachillerato en un marco de
diversidad. Disponible en: http://dof.gob.mx/nota_detalle.php?codigo=5061936&fecha= 26/09/2008/.

16
 Una característica básica de la adaptación que se realizó al instrumento original fue recono-
cer los indicadores concretos y medibles de que el sustentante posee o no de una competencia,
tomando en cuenta los rasgos y las limitantes de una prueba diagnóstica, con reactivos de
opción múltiple y de aplicación censal, como los de ENLACE MS. Por un lado, esto implicó
dejar fuera de la prueba la evaluación de competencias genéricas (ya que su naturaleza exige
de instrumentos de medición cualitativa para establecer un diagnóstico) y las competencias
profesionales (ya que cada alumno desarrolla distintos grupos de competencia de acuerdo
con sus intereses laborales). Además, esto quiere decir que, del universo amplio de conceptos,
conocimientos, habilidades y competencias que se promueven mediante el MCC de la RIEMS,
la prueba retoma únicamente un conjunto de atributos típicos susceptibles de medición bajo
las condiciones específicas del instrumento. Por lo mismo, ENLACE MS evalúa solo una mues-
tra representativa de indicadores de competencias básicas que fueron definidos operacionalmente para
que el instrumento permitiera seguir obteniendo información diagnóstica para los estudiantes
de la EMS.
La adaptación del examen implicó retomar algunos aspectos del primer instrumento de
ENLACE MS y los combinó con atributos medibles, relacionados con las competencias disci-
plinares básicas definidas por la RIEMS en el MCC, y compatibles con las habilidades que se
evaluaban anteriormente. En general, y para permitir la comparabilidad con años anteriores,
los contenidos y procesos de las pruebas se conservaron aproximadamente en un 70%.
La construcción del instrumento implicó, en diferentes años, diversos procesos integrados
y sistematizados mediante diez fases propias de la Metodología Ceneval: diseño, delimitación
del objeto de medida, construcción, verificación cuantitativa, ensamble, aplicación, calificación,
emisión de resultados, mantenimiento del examen y elaboración del material complementario
(Ceneval, 2011). El desarrollo de casi todas las tareas fue responsabilidad del Centro, con ex-
cepción de aquellas asociadas a la aplicación, calificación y emisión de reportes, que estuvieron
a cargo de la DGEP-SEP.

2.1 Instrumentos y diseño de recolección de datos

Para cumplir con los propósitos de ENLACE MS y con la obligación de transparencia guberna-
mental que exige a la SEMS publicar año con año la prueba en su totalidad, como parte del plan
ENLACE MS · 2013 · 2014

de evaluación se contempló la elaboración de los siguientes instrumentos y un diseño particular

para la recolección de los datos.

17
 Instrumentos

• Prueba operativa: de aplicación censal a los alumnos de último año de bachillerato, con-
formada por reactivos que se hacen públicos después de la aplicación. Con ella se cumple el
objetivo de generar información, para cada alumno, acerca de su nivel de desempeño en los
campos disciplinares evaluados, y se provee de elementos que pueden contribuir a la mejora
del sistema educativo mediante información útil para los docentes, directores, autoridades
y los padres de familia.
• Versión pretest: de aplicación matricial a una muestra representativa de los alumnos que
responden la prueba operativa. La muestra considera las modalidades y subsistemas de la
EMS. La versión sirve de elemento para equiparar las pruebas ENLACE MS cada año y está
compuesta por reactivos que conformarán la siguiente prueba operativa. El control de la
aplicación se asegura mediante la capacitación de personal externo a los planteles y la su-
pervisión de la DGEP-SEP.
• Cuestionarios de contexto: Se administran a muestras de alumnos y docentes. Además,
los directivos de las escuelas que participan en la aplicación de la prueba ENLACE MS tam-
bién responden un cuestionario vía internet. Su propósito es contar con información rela-
cionada con variables de contexto que permitan explicar los resultados y derivar estudios
sobre la prueba.

Diseño de recolección de datos

• Diseño muestral: Para cada aplicación se selecciona una muestra representativa de la po-
blación que responde el cuestionario de contexto y a la cual se distribuye, de manera matri-
cial, la versión pretest y otros instrumentos que apoyan la realización de investigaciones de
interés para la SEMS. La concentración de los datos de estos sustentantes recibe prioridad
ya que se utilizan como punto de partida para la estimación de los parámetros de los reac-
tivos y para los procesos de equiparación año con año. Una condición muy importante en
la muestra es que los cuadernillos siempre se recuperan en su totalidad para evitar la expo-
sición de su contenido.
• Distribución de sesiones y reactivos: La prueba operativa se aplica en sesiones de 50
ENLACE MS · 2013 · 2014

minutos, cada una integrada por reactivos de alguno de los campos que evalúa la prueba
que se van intercalando para su aplicación. Este instrumento se administra de manera censal
durante dos días. En cuanto a la versión pretest y el cuestionario de contexto, los partici-
pantes de la muestra participan en dos sesiones adicionales, lo que implica un tercer día de
aplicación. La logística respectiva considera una técnica de contrabalanceo para controlar

18
 el efecto que pudiese generar el orden de la presentación de los diferentes cuadernillos e
instrumentos.
• Diseño matricial para la aplicación pretest: El diseño matricial implica dividir los reacti-
vos que integran la estructura de una prueba en conjuntos o bloques, los cuales se ensamblan
para conformar los cuadernillos o formas que son presentados a los alumnos. Se recurre a
este tipo de diseño para disminuir el tiempo de aplicación y evitar que los alumnos contesten
al azar o no contesten a causa de la fatiga provocada por responder gran cantidad de reactivos.
• Análisis estadísticos: Para la equiparación de las pruebas y la calificación de los alumnos
se utiliza el modelo de tres parámetros de la teoría de respuesta al ítem (TRI) considerando
la naturaleza del objeto de medida de la prueba, además de que, de acuerdo con Kolen y
Brennan (1995) es uno de los más recomendables cuando las muestras son grandes y se
requiere que los resultados se distribuyan a lo largo de la escala de puntuaciones.
• Método de equiparación: Para igualar las escalas de uno y otro año, el pretest se aplica
junto con la prueba operativa y, dado que los alumnos que contestan ambos instrumentos
son los mismos, es posible situar los parámetros de los reactivos en la misma métrica. Pos-
teriormente, los reactivos del pretest se utilizan para conformar la prueba operativa del año
siguiente, por lo que ambos instrumentos se integran con los mismos reactivos, aspecto
que permite colocar en una escala común los puntajes de los alumnos que contestan las
versiones operativas en los diferentes años.

2.2 Cuerpos colegiados

Debido a la importancia de asegurar la validez y pertinencia del proceso evaluativo, de acuerdo

con la metodología institucional, en diferentes momentos se cuenta con la participación de
cuerpos colegiados que avalan y legitiman cada fase de construcción y mantenimiento de la
prueba. Los cuerpos colegiados que trabajan en los diferentes procesos de la prueba ENLACE
MS están conformados por expertos en el ámbito educativo nacional e internacional, y en la
evaluación de los campos disciplinares que integran la prueba.
A continuación se detallan las funciones de los grupos de trabajo que, en seguimiento de la
metodología institucional, intervienen en las distintas etapas de construcción del instrumento:
• Consejo técnico: asesora a las autoridades educativas y al personal encargado del diseño,
ENLACE MS · 2013 · 2014

análisis y seguimiento de la prueba impulsando acciones que permitan respaldar su transpa-

rencia y confiabilidad; valida su estructura y sus contenidos; propone modificaciones para
potenciar la utilidad de la prueba; evalúa técnica y académicamente los informes que se pro-
ducen y define los usos apropiados. Además, colabora en la elaboración de los cuestionarios
de contexto y aprueba el esquema de aplicación.

19
 • Comité académico de delimitación del objeto de medida: es el responsable de la defi-
nición de los contenidos por evaluar, los grupos de procesos cognitivos y niveles de com-
plejidad que explora la prueba y determinan su estructura. A partir de ello, se elaboran las
especificaciones que son revisadas por el comité académico validador de especificaciones y del objeto
de medida.
• Comité académico de elaboración de reactivos: está conformado por docentes del nivel
medio superior y especialistas en los contenidos de la prueba que elaboran los reactivos con
base en las especificaciones de la prueba.
• Comité académico de validación externa: garantiza que los reactivos elaborados corres-
pondan con lo que se desea evaluar, sean accesibles para los diferentes grupos de alumnos
que responden la prueba y representen de manera clara y precisa los elementos necesarios
para asegurar la validez de la evaluación.
• Comité académico de puntos de corte: sus miembros son expertos en las áreas de eva-
luación que revisan los parámetros de los reactivos, obtenidos después de la aplicación de
la prueba, identifican las puntuaciones de corte y definen los niveles de dominio en que se
categorizarán los resultados de los sustentantes.
• Asesores externos: se cuenta con la participación de especialistas reconocidos en Latino-
américa, Estados Unidos y Europa, que establecen estándares técnicos, evalúan distintos
indicadores de los instrumentos y hacen recomendaciones para el mejoramiento de los
procesos de diseño, elaboración, calificación y administración de las pruebas.

La decisión de integrar tantos y tan diversos cuerpos colegiados deriva de la importancia

que da el Ceneval al hecho de contar con diferentes puntos de vista que avalen la validez y
calidad del instrumento de evaluación.
ENLACE MS · 2013 · 2014

20
 3. Características de la prueba

E
l objetivo de ENLACE MS es determinar el nivel de dominio que los sustentantes poseen
para poner en práctica, en situaciones de la vida real, diferentes competencias básicas
asociadas a los campos disciplinares de Comunicación (Comprensión Lectora) y Mate-
máticas. Estas competencias están determinadas en el MCC como parte fundamental del perfil
de egreso de bachillerato. Su evaluación se realiza con el propósito de:
• generar información diagnóstica para cada alumno,
• proveer elementos que contribuyan a la mejora del sistema educativo y
• proporcionar información útil para el plantel, los profesores y los padres de familia.

La prueba está dirigida al alumnado del último ciclo del nivel medio superior (cuatrimestre,
semestre, año, etcétera) que cursa la modalidad escolarizada de los diferentes tipos de bachi-
llerato (general, tecnológico y bivalente), ya sean de sostenimiento público o privado, en la
República Mexicana.
Por su diseño y tipo de aplicación, ENLACE MS no es una prueba apta para administrarse a
alumnos con necesidades especiales o que usen una lengua diferente del español.

3.1 Especificaciones técnicas

La prueba ENLACE MS se aplica cada año de manera censal, en las escuelas de todos los es-
tados de la República Mexicana que manifiesten su interés de participar. Es una evaluación
diagnóstica individual que consta de 110 reactivos de opción múltiple, cuyo resultado se utiliza
únicamente con fines de retroalimentación (examen de bajo impacto) y señala el nivel de do-
minio que alcanza el sustentante en relación a diversos indicadores de competencia asociados
a los dos campos disciplinares que evalúa la prueba.
Por sus características de aplicación y calificación, ENLACE MS es una prueba objetiva y
estandarizada, además, por su diseño, la evaluación se clasifica como criterial, ya que otorga un
diagnóstico general del nivel de dominio de los estudiantes, de acuerdo con un criterio fijado
previamente por especialistas.3
ENLACE MS · 2013 · 2014

3
La estructura y ficha técnica de la prueba fueron aprobadas por el Consejo Técnico el día 3 de septiembre de 2010.

21
 En la tabla 1 se sintetizan los rasgos del instrumento de evaluación de acuerdo con las
categorías establecidas en los lineamientos internos para las pruebas generadas en el Ceneval.

Tabla 1 | Características técnicas de la prueba ENLACE MS

Tipo de examen Diagnóstico
Cobertura Nacional
Periodicidad Anual
Cobertura de la población Censal
Competencias disciplinares básicas de Comunicación
Dominio explorado
(Comprensión Lectora) y Matemáticas
Modelo de diseño Dominio restringido, muestra de indicadores
Sensibilidad a la instrucción Media/Baja
Evidencias Reactivos de opción múltiple
Grupos de procesos cognitivos divididos en niveles
Taxonomía
de complejidad
Versiones de examen 1
Tipo de aplicación Lápiz y papel
Control de la aplicación Medio - Alto
Referente de calificación Criterial
Impacto Bajo
Calificación Cuatro niveles cualitativos de desempeño
Reporte de resultados Individual
ENLACE MS · 2013 · 2014

22
 En cuanto al diseño, elaboración, aplicación y calificación, la prueba ENLACE MS presenta
otra característica específica que, aunque se explica detalladamente en los apartados corres-
pondientes, vale la pena reiterar desde el inicio de este Manual Técnico. Debido a que, por
cuestiones de transparencia, los reactivos de la versión operativa se hacen públicos después de
ser aplicados, cada año, además de la aplicación de la prueba operativa, se realiza la aplicación
a una muestra representativa de una versión pretest que se ensambla y distribuye de manera
matricial, tiene la misma estructura que la versión operativa y presenta los reactivos que se
utilizarán para la evaluación nacional del siguiente año.
El pretest es de suma importancia en el diseño de recolección de datos de ENLACE MS, ya
que permite igualar la escala de calificación año con año y asegurar la comparabilidad de los
resultados.
Utilizar un instrumento adicional impacta, como se verá más adelante, en la calendarización
de las actividades (muchas de ellas deben realizarse con años de anticipación a la aplicación
operativa), la elaboración y validación de reactivos, así como en el piloteo, además, involucra
un ensamble especial para cada una de las pruebas y un proceso de equiparación adecuado a
las necesidades del instrumento.

3.2 Alcances y limitaciones

Para describir los alcances de ENLACE MS, es importante enfatizar que es una prueba con
cobertura de dominio restringido y referida a criterio, es decir, la evaluación se enfoca a un
conjunto limitado de conocimientos y habilidades (y no a la totalidad de los que se indican
en el MCC) que un grupo de expertos considera indicadores suficientes y representativos de
las competencias básicas de dos campos disciplinares que deben dominar los sustentantes al
egresar de bachillerato. Por lo mismo, el instrumento no incluye todas las temáticas y tareas
que los estudiantes del nivel medio superior pueden y deben dominar. Este aspecto debe ser
considerado para emitir interpretaciones válidas y planificar acciones de mejora que no dejen
fuera otros elementos de información que pueden y deben ser identificados mediante otras
estrategias particulares de medición.
Además, la prueba se diseñó para brindar un diagnóstico general e individual que permita al
alumno conocer de manera cualitativa sus fortalezas y debilidades en cada campo disciplinar.
ENLACE MS · 2013 · 2014

De este modo, los principales beneficiarios son los estudiantes que reciben retroalimentación
personalizada y, en segundo lugar, los profesores y las escuelas, que pueden identificar áreas
de oportunidad para mejorar las planificaciones y actividades en el aula. Estas áreas de mejora
corresponden únicamente a dos de los cinco campos disciplinares del MCC, todos igualmente
importantes para atender el perfil de egreso del bachillerato.

23
 Como ya se ha dicho, el diseño y propósitos de la prueba ENLACE MS se limitan a la emi-
sión de un diagnóstico general para el sustentante, por lo que es inadecuado utilizarla como
instrumento único para derivar conclusiones acerca de la EMS, los subsistemas, las escuelas
o el desempeño de las entidades federativas. Es importante hacer hincapié en los alcances y
limitaciones de la prueba, ya que utilizar los resultados de la evaluación para fines contrarios
ocasionaría interpretaciones carentes de validez. La prueba ENLACE MS no sirve para hacer
comparaciones entre alumnos, entre escuelas o entre subsistemas; las únicas comparaciones
útiles son las que puede hacer un mismo plantel o una misma entidad consigo misma, conside-
rando que los resultados de los alumnos evaluados en diferentes años corresponden a diferen-
tes generaciones que fueron expuestas también a distintas condiciones materiales, educativas
y variados factores sociales.
Las decisiones que se tomen a partir de los resultados deben considerar cuidadosamente
el contexto de la evaluación y las condiciones de cada escuela, por lo que no es válido sacar
conclusiones sobre el mejor o peor subsistema, plantel o plantilla docente.
ENLACE MS · 2013 · 2014

24
 4. Adaptación y diseño
de la prueba alineada a la RIEMS

D
e acuerdo con la Metodología Ceneval y como parte de la primera fase para desarrollar
pruebas eficaces (Ceneval, 2011), la adaptación de la prueba ENLACE MS implicó que
el Consejo Técnico revisara el perfil referencial (PR) establecido en 2008 para definir
los aspectos que se mantendrían y aquellos que, en congruencia con la RIEMS, orientarían las
actividades de medición hacia el nivel de desarrollo de los sustentantes en relación con el MCC.
Los miembros del Consejo (ver Anexo A) establecieron la importancia de dar continuidad al
proceso evaluativo y a las especificaciones técnicas propias del perfil original, pero instituyeron
como propósito prioritario obtener información acerca del desarrollo de los alumnos en rela-
ción con los objetivos y competencias determinadas por la RIEMS.
Considerando la necesidad de conservar la evaluación censal y objetiva de modo que se con-
tinuara contando con datos nacionales e individuales de diagnóstico, y tomando en cuenta la
complejidad del constructo de competencia, se optó por la perspectiva de medición de indicadores.
Esta expresión hace referencia a la identificación de indicadores de logro, que son comporta-
mientos manifiestos, evidencias representativas, señales, pistas, rasgos o conjuntos de rasgos
observables en la respuesta que da una persona a cierta tarea (Zabala y Arnau, 2007), y que
permiten emitir un diagnóstico acerca del nivel de dominio que el sustentante posee de una o
varias competencias. Dicha noción fue importante durante la adaptación del perfil de la prue-
ba, ya que se asume que, mediante reactivos de opción múltiple, no puede medirse de manera
directa una competencia, pero sí es posible tener información sobre sus indicadores.

4.1 Delimitación del objeto de medición y referentes del examen

Para delimitar operacionalmente un objeto de evaluación se deben seleccionar y definir las

áreas, los contenidos y la taxonomía en que estará organizado el examen; estas tareas for-
man parte del segundo proceso de construcción de pruebas en la Metodología Ceneval y
se identifican puntualmente con la fase de delimitación o adaptación del objeto de medida
(Ceneval, 2011).
Para delimitar el objeto de medición de la prueba ENLACE MS 2011-2014, se retomaron las
definiciones de las áreas, contenidos y procesos cognitivos correspondientes a la primera eva-
luación y se adaptaron según lo que marca la RIEMS. La concepción teórico-pedagógica más
importante que distinguió el trabajo de adaptación se identificó directamente con la educación
ENLACE MS · 2013 · 2014

por competencias y la evaluación de sus indicadores.

De acuerdo con Rosado (2007), es posible observar el nivel de competencia de un indivi-
duo cuando realiza una tarea determinada que depende de varios recursos: conocimientos,
creencias, habilidades en diversos campos, actitudes, valores, etcétera. Por tanto, educar con
un enfoque en competencias implica activar eficazmente distintos dominios del aprendizaje,

25
 además de asumir que existen y se alcanzan distintos niveles de complejidad en concordancia
directa con la naturaleza del campo disciplinar y las necesidades externas.

Las competencias movilizan recursos con los que el sujeto cuenta, pero no se reducen
a ellos. Además, un mismo recurso puede ser aprovechado para ejercitar distintas com-
petencias. De hecho, estas se articulan para conformar otras de mayor complejidad, con
lo cual una menor puede convertirse en recurso de otra superior (Rosado, 2007, p. 9).

Como se puede ver, el constructo de competencia es muy amplio y permite su evaluación

considerando diferentes niveles de desempeño o de dominio. Esto permitió que los respon-
sables del proceso de adaptación de ENLACE MS establecieran la factibilidad de mantener sin
cambio 70% de los contenidos de la prueba que estaba centrada en la medición de habilidades,
así como la calificación de los sustentantes en cuatro niveles cualitativos de desempeño. Dicha
responsabilidad recayó en un grupo de especialistas que conformaron el comité académico
diseñador (uno por campo disciplinar), el cual fue convocado después de hacer una solicitud
de apoyo a las direcciones escolares asociadas a los tres grandes subsistemas de EMS: bachille-
rato tecnológico, bachillerato general y bachillerato bivalente. Todas ellas enviaron listados de
personas recomendadas por su experiencia en la docencia, la investigación y la planificación
curricular (específicamente los encargados de la adaptación de programas a la Reforma). La
selección de los miembros del comité se hizo procurando que los grupos representaran a dife-
rentes planteles y subsistemas de la República (ver Anexo B, tabla B1).
Los expertos estudiaron las áreas, contenidos temáticos y procesos cognitivos de la prueba
ENLACE MS anterior, los referentes técnicos y operativos de la RIEMS4 y diferentes marcos
teóricos de pruebas estandarizadas nacionales e internacionales, entre ellas PISA, TIMSS, SA-
BER, ACREDITA-BACH, entre otras. Cada una de estas evaluaciones tiene objetivos distintos
pero en todos los casos evalúan aspectos de comprensión lectora y matemáticas y además, en
mayor o menor medida, incluyen reactivos de opción múltiple.
Se realizó también una revisión de los planes y programas de diferentes modalidades y
direcciones de EMS: DGB, CONALEP, CCH, Bachilleres y Bachilleratos Tecnológicos, con la
finalidad de identificar los contenidos comunes a todas las opciones de EMS y establecer el
contexto que apoyaría la redefinición de estos y de los procesos cognitivos por evaluar. De
acuerdo con Frade (2008), para delimitar los indicadores de una habilidad o una competencia
ENLACE MS · 2013 · 2014

es necesario ubicarlos en un plan de estudios dentro de los módulos o cursos que los integran,
para que así se parta de un escenario o contenido que sea el marco contextual para valorar el
desempeño del estudiante.

4
Los referentes técnicos y operativos de la RIEMS se pueden consultar en http://www.reforma-iems.sems.gob.mx/.

26
 Con este marco de referencia, los especialistas sesionaron de una a dos semanas para acordar
y definir los contenidos específicos de cada campo, su organización y el peso de cada uno en
la evaluación de acuerdo con una taxonomía diseñada especialmente para ENLACE MS. Dado
que la prueba pretende ser un diagnóstico general del nivel de dominio de los sustentantes, se
consideró únicamente una muestra representativa de todo el universo de conocimientos y habi-
lidades que pudieran establecerse como indicadores de desempeño en cada campo disciplinar.
El perfil de egreso establecido en el MCC determina que los alumnos deben dominar en
total 12 competencias comunicativas básicas y 8 relacionadas con las matemáticas. En el caso
de Comunicación, la selección de indicadores que se miden en la prueba se limitó a aquellas
competencias asociadas con la Comprensión Lectora dado que es el único atributo relacionado
con las competencias comunicativas que puede evaluarse con reactivos de opción múltiple. Por
ello, se seleccionaron únicamente 7 de las 12 competencias que integran el MCC. En cuanto a
Matemáticas, las competencias seleccionadas dependieron de que sus indicadores fueran me-
dibles mediante este tipo de reactivos y sin el uso de calculadora; considerando estos criterios,
se retomaron seis de las ocho competencias que establece el MCC.
La pertinencia y relevancia de los contenidos y taxonomía establecida para cumplir con los
propósitos de ENLACE MS fueron revisadas por especialistas reunidos en comités académicos
de validación (ver Anexo B, tabla B2). A continuación se presenta la descripción detallada de
las áreas, los contenidos temáticos y los grupos de procesos cognitivos (taxonomía) que con-
forman el examen.

4.1.1 Comunicación (Comprensión Lectora)

De acuerdo con la RIEMS, las disciplinas que engloba el campo de Comunicación son lectura
y expresión oral y escrita, literatura, lengua extranjera e informática. Las competencias básicas
respectivas se refieren a la capacidad de los estudiantes para comunicarse efectivamente en
español en diversos contextos y, por lo menos en lo esencial en una segunda lengua, haciendo
uso de distintos medios e instrumentos. Los estudiantes que hayan desarrollado estas com-
petencias podrán leer críticamente, comunicar y argumentar ideas de manera efectiva y con
claridad, oralmente y por escrito. Además, usarán las tecnologías de la información y la co-
municación de manera crítica para diversos propósitos comunicativos (véase. Acuerdo 444).6
ENLACE MS · 2013 · 2014

5
Las competencias y los productos de su operacionalización se describen detalladamente en los apartados dedicados a cada
campo disciplinar en este Manual.
6
Acuerdo Secretarial 444, disponible en http://dof.gob.mx/nota_detalle. php?codigo=5064951&fecha=21/10/2008.

27
 Para efectos de la prueba ENLACE MS alineada a la RIEMS, el comité académico diseñador
determinó los aspectos del MCC que eran susceptibles de evaluar con una prueba diagnóstica,
de aplicación censal, estandarizada y con reactivos de opción múltiple. Desde esta perspectiva,
los indicadores de competencias relacionados con la argumentación, la habilidad de escritura
y de aprovechamiento de tecnologías de información quedaron fuera del universo de medi-
ción. Así, la prueba ENLACE MS alineada a la RIEMS se asemeja a la evaluación que se hizo
de 2008 a 2010 ya que se aboca a la medición de habilidades, además de otros indicadores de
competencias relativas a la Comprensión Lectora, pero retomando las recomendaciones del
MCC en cuanto a orientar la evaluación y las acciones docentes hacia una reflexión acerca de la
naturaleza del lenguaje y a su uso como herramienta del pensamiento lógico. A continuación se
enuncian las 7 competencias disciplinares básicas cuyos indicadores se retoman en la prueba:
• Identifica, ordena e interpreta las ideas, datos y conceptos explícitos e implícitos en un texto,
considerando el contexto en que se generó y en el que se recibe.
• Evalúa un texto mediante la comparación de su contenido, sus conocimientos previos y
nuevos.
• Identifica el uso normativo de la lengua, considerando la intención y la situación comunicativa.
• Analiza un argumento preciso, coherente y creativo.
• Relaciona ideas y conceptos en composiciones coherentes y creativas, con introducciones,
desarrollo y conclusiones claras.
• Evalúa la secuencia o relación lógica en el proceso comunicativo.
• Identifica e interpreta la idea general y posible desarrollo de un mensaje escrito, recurriendo
a conocimientos previos y al contexto cultural.

Con este punto de partida, se determinó que la evaluación de la Comprensión Lectora en la

prueba ENLACE MS conceptualiza la lectura como una herramienta fundamental en todas las
formas de crecimiento intelectual, no solo en el ámbito académico como base del aprendizaje,
sino para actividades de tipo recreativo y para el desarrollo social.

Definición del área

La Comprensión Lectora en la prueba ENLACE MS se define como “la capacidad de un indi-

ENLACE MS · 2013 · 2014

viduo para comprender, analizar, interpretar, reflexionar, evaluar y utilizar textos escritos, me-
diante la identificación de su estructura, sus funciones y sus elementos, con el fin de desarrollar
una competencia comunicativa y construir nuevos conocimientos que le permitan intervenir
activamente en la sociedad”.

28
Contenidos (subáreas)

El contenido por evaluar está asociado con el tipo de texto del que se desprenden los reactivos
que miden la Comprensión Lectora. Los cuatro tipos de texto que contiene la prueba ENLACE
MS se eligieron por considerarse representativos del nivel educativo, y porque reflejan funciones
importantes de la lengua. Su descripción es la siguiente:
• Apelativo. Es una carta formal dirigida a una o varias personas, instituciones u organiza-
ciones, cuya intención es informar, llegar a un acuerdo, hacer una aclaración o lograr que se
realice una determinada acción.
• Argumentativo. Es un artículo de opinión que se refiere a fenómenos o hechos de la reali-
dad social de la región, el país o el mundo, desde un punto de vista personal fundamentado
en argumentos que siguen un proceso lógico de razonamiento, con el fin de promover en
el lector juicios de valor y actitudes.
• Expositivo. Es un artículo de divulgación científica que describe objetivamente un fe-
nómeno, hecho o avance tecnológico, por medio de la presentación ordenada de datos,
gráficos, ejemplos, conclusiones y opiniones especializadas, entre otros recursos, con la
intención de difundir un conocimiento.
• Narrativo. Es un cuento breve o microrrelato, escrito en prosa, con lenguaje connotativo,
pocos personajes y que describe diferentes acciones en un ambiente espacio-temporal, con
la intención de entretener y deleitar al lector.

El comité académico diseñador elaboró listas de cotejo que señalan los requerimientos de
forma y contenido para cada texto con el fin de asegurar que haya uniformidad entre ellos en
las evaluaciones anuales y que los reactivos asociados permitan cumplir con la evaluación de
los procesos necesarios, no sean ofensivos para algún grupo social y manejen un lenguaje claro,
sin regionalismos ni tecnicismos.

Procesos y niveles de complejidad

La prueba ENLACE MS concibe la lectura como una actividad multidimensional, por lo que al
evaluar la Comprensión Lectora se espera que los estudiantes demuestren su capacidad para
ENLACE MS · 2013 · 2014

obtener información, comprender los textos de manera general, interpretarlos y reflexionar

sobre su contenido y su forma. Los procesos cognitivos que se evalúan corresponden con los
procedimientos cognitivos mínimos que los sustentantes con diferentes grados de desarrollo
deben poner en práctica para utilizar de manera adecuada los textos.

29
 1. Extracción. Implica buscar, identificar y seleccionar información explícita de un fragmento
o de la totalidad del texto.
2. Interpretación. Implica identificar el tema central del texto, así como información implí-
cita relacionada con este; atribuir significado y sentido a palabras, oraciones, conceptos o a
la totalidad del texto, de acuerdo con su propósito comunicativo y su contexto.
3. Reflexión y evaluación. Implica valorar la información que contiene un texto, relacionarla
o contrastarla con los conocimientos previos; además, supone identificar la correspon-
dencia entre el contenido y la estructura del texto, y juzgar su pertinencia con el propósito
comunicativo con que fue escrito.

Con el fin de precisar aún más la medición, se desagregaron los procesos en tres niveles de
complejidad, de acuerdo con las características y tareas involucradas en cada uno. La definición
de los niveles de complejidad sirvió como referente para elaborar reactivos distintos que re-
presentaran la variabilidad en el desarrollo de la comprensión lectora, por esta razón y conser-
vando la subdivisión de procesos del primer perfil, los grupos de procesos de Interpretación y
Reflexión y evaluación, se desagregaron en sí mismos para optimizar las actividades posteriores
de construcción y calificación de la prueba (ver tabla 2).

Tabla 2 | Definición de niveles de complejidad por grupo de proceso cognitivo Comunicación

(Comprensión Lectora): ENLACE MS alineada a la RIEMS
Proceso cognitivo
Niveles Extracción Interpretación Reflexión y evaluación
Desarrollo de la Desarrollo de la
de la forma del contenido
comprensión interpretación
Identificar y selec- Identificar el tema Identificar el Identificar la es- Identificar de
cionar un elemento central de un párra- significado de una tructura formal del manera global
(hecho, fenómeno, fo, el cual NO está palabra o frase texto. Determinar si el propósito o la
acción, tópico, con- explícito e implica corta basándose en los recursos gráficos postura del autor,
cepto, entre otros) una inferencia local. el contexto. (cursivas, viñetas, los cuales NO están
que se encuentre Distinguir el carác- subtítulos, etcétera) explícitos.
1 en el texto de ter de dos o más utilizados por el
manera explícita. proposiciones en autor contribuyen a
Será muy evidente un mismo párrafo. la organización del
para el lector y se texto a nivel local.
puede encontrar en
cualquier parte del
ENLACE MS · 2013 · 2014

texto.

30
 Tabla 2 | Definición de niveles de complejidad por grupo de proceso cognitivo Comunicación
(Comprensión Lectora): ENLACE MS alineada a la RIEMS
Proceso cognitivo
Niveles Extracción Interpretación Reflexión y evaluación
Desarrollo de la Desarrollo de la
de la forma del contenido
comprensión interpretación
Identificar y selec- Integrar diferentes Inferir relaciones Identificar la co- Identificar los
cionar dos elemen- partes de un texto entre los párrafos rrespondencia de la recursos discursivos
tos relacionados para identificar la (problema-solución; estructura del texto (datos, ejemplos,
(hechos, fenó- idea central. Reco- causa-efecto; com- con el contenido. citas, argumentos,
menos, acciones, nocer una relación paración-contraste, Establecer el propó- hechos, gráficas,
tópicos, conceptos, (problema-solución; premisa-conclusión, sito de los recursos metáforas, compa-
entre otros) que causa-efecto; com- etcétera) y distin- gráficos (cursivas, raciones, hipérbo-
2 se encuentran a lo paración-contraste, guir e identificar el viñetas, subtítulos, les o adjetivación,
largo del texto de premisa-conclusión, sentido de las ana- etcétera) a nivel de entre otros) que
manera explícita concepto-ejemplo, logías, metáforas y dos o más párrafos. utiliza el autor para
y que carecen de etcétera). otro tipo de figuras lograr su propósito
marcadores. retóricas. y/o apoyar su punto
de vista. Contrastar
argumentos.

Identificar y selec- Seleccionar un re- Vincular la estructu- Identificar la Establecer una

cionar tres o más sumen o hacer otro ra, funciones y/o correspondencia comparación
elementos relacio- tipo de inferencias elementos del texto de la estructura, el entre el texto o
nados (hechos, fe- que impliquen para realizar infe- léxico y los recursos un fragmento, y
nómenos, acciones, coherencia global rencias globales. gráficos utilizados, su relación con
tópicos, conceptos, para demostrar una con las intenciones información exter-
entre otros) y comprensión com- comunicativas del na. Identificar los
3 distinguirlos, a pleta y detallada de texto, el destina- contraargumentos
partir de un criterio todo el texto. tario de este y su que se incluyan en
determinado, de contexto. el texto.
otros elementos
semejantes que
se encuentran a lo
largo del texto de
manera explícita.

4.1.2 Matemáticas

El MCC de la RIEMS establece como propósito del campo disciplinar de Matemáticas propiciar
el desarrollo de la creatividad y el pensamiento lógico-crítico en el alumnado. Entre otras ca-
pacidades, un estudiante que cuente con las competencias disciplinares de matemáticas podrá
ENLACE MS · 2013 · 2014

argumentar y estructurar mejor sus ideas y razonamientos. El enfoque pedagógico por com-
petencias reconoce que a la solución de cada tipo de problema matemático corresponden di-
ferentes conocimientos y habilidades, y el despliegue de diferentes valores y actitudes. Por ello,
los estudiantes deben razonar matemáticamente, y no simplemente responder ciertos tipos de

31
 problemas mediante la repetición de procedimientos establecidos. Esto implica que puedan
llevar las aplicaciones de esta disciplina más allá del salón de clases (véase Acuerdo 444).7
Estas prescripciones generales sirvieron al comité académico que adaptó la prueba ENLACE
MS en cuanto a su definición operacional, los contenidos matemáticos y los grupos de procesos
cognitivos que se evalúan con los reactivos de la prueba. Además, se retomaron las siguientes
6 competencias disciplinares básicas del MCC (de un total de 8), por considerar que son sus-
ceptibles de medirse mediante reactivos de opción múltiple y en condiciones estandarizadas.
• Interpreta modelos matemáticos mediante la aplicación de procedimientos aritméticos, al-
gebraicos, geométricos y variacionales, para la comprensión y análisis de situaciones reales,
hipotéticas o formales.
• Resuelve problemas matemáticos, aplicando diferentes enfoques.
• Interpreta los datos obtenidos mediante procedimientos matemáticos y los contrasta con
modelos establecidos o situaciones reales.
• Analiza las relaciones entre dos o más variables de un proceso social o natural para deter-
minar o aproximar su comportamiento.
• Cuantifica y representa matemáticamente las magnitudes del espacio y las propiedades físicas
de los objetos que lo rodean.
• Lee tablas, gráficas, mapas, diagramas y textos con símbolos matemáticos y científicos.

La estructura del instrumento para el campo de Matemáticas se organizó de manera sis-

temática, por un lado, a través de los contenidos matemáticos que engloban los temas o ele-
mentos conceptuales en los que un estudiante debe basarse para resolver un problema y, por el
otro, con los procesos matemáticos en los que se agrupan las tareas cognitivas que el estudiante
utiliza para responder un cuestionamiento o solucionar un problema.

Definición del área

El campo de Matemáticas en la prueba ENLACE MS mide “la capacidad de un individuo para

identificar, interpretar, aplicar, sintetizar y evaluar matemáticamente su entorno, haciendo uso
de su creatividad y de un pensamiento lógico y crítico que le permita solucionar problemas
cuantitativos, con diferentes herramientas matemáticas”.
ENLACE MS · 2013 · 2014

7
Acuerdo Secretarial 444, disponible en http://dof.gob.mx/nota_detalle. php?codigo=5064951&fecha=21/10/2008.

32
Contenidos matemáticos

Para afirmar que un sustentante posee un desarrollo suficiente de las competencias disciplinares
básicas de Matemáticas, independientemente del área de que haya cursado como bachiller, debe
conocer y manejar por lo menos tres contenidos matemáticos generales: cantidad, espacio y forma
y cambios y relaciones. Su descripción es la siguiente:
• Cantidad. Se refiere a la capacidad de cuantificar para describir el entorno. Incluye aquellos
conceptos involucrados en la comprensión y el orden de tamaños relativos, uso de números
para representar cantidades y atributos cuantificables de los objetos del mundo real y realizar
cálculos.
• Espacio y forma. Se refiere a la capacidad de reconocer patrones, imágenes, ubicaciones,
movimientos o cualidades espaciales de los objetos, así como codificar y decodificar infor-
mación de estos en contextos concretos (imágenes) y abstractos (descripciones).
• Cambios y relaciones. Se refiere a reconocer, interpretar, aplicar, sintetizar y evaluar de
forma numérica, algebraica y gráfica las relaciones entre dos o más variables. Admite la posi-
bilidad de inferir datos a partir del análisis de situaciones reales, experimentales o hipotéticas.

Procesos cognitivos

El dominio de los contenidos matemáticos se evalúa a través de tareas que implican el desplie-
gue de tres grupos de procesos cognitivos: reproducción, conexión y reflexión. Las definiciones
de los procesos describen conocimientos, actividades y tareas cognitivas progresivamente más
sofisticadas y relacionadas con la organización jerárquica que suele tener el aprendizaje de las
matemáticas (Reyes et al., 2012). La progresión en la complejidad de las tareas se refleja con
mayor claridad en las descripciones cualitativas de los cuatro posibles niveles de dominio en
que se ubica a los sustentantes después de su calificación.
Los grupos de procesos cognitivos que se evalúan en la prueba ENLACE MS son:
1. Reproducción. Incluye tareas que permiten determinar si el sustentante conoce y aplica la
técnica matemática. Implica esencialmente aplicar conocimientos y procedimientos matemá-
ticos a problemas directos, reconocer equivalencias, utilizar objetos y propiedades matemáti-
cas, así como extraer información de representaciones numéricas, simbólicas y gráficas.
ENLACE MS · 2013 · 2014

2. Conexión. Incluye problemas que se presentan a partir del planteamiento de situaciones

sencillas, académicas o de la vida cotidiana. Los problemas de este tipo plantean exigencias
en su interpretación y requieren que el sustentante reconozca la técnica matemática que hay
que utilizar, con el fin de solucionar problemas que impliquen equivalencias, uso de propie-
dades matemáticas y empleo de representaciones numéricas, simbólicas y gráficas.

33
 3. Reflexión. Incluye problemas que no son directos y se presentan a partir de situaciones
complejas retomadas de la vida real en las que se utilice más de una forma de representa-
ción de información (textual, numérica, simbólica o gráfica). Los problemas de este tipo
plantean exigencias en su interpretación y requieren que el sustentante reconozca la técnica
matemática que hay que utilizar, establezca relaciones, combine e integre información entre
distintas formas de representación o entre diferentes aspectos de una situación y utilice más
de un paso o proceso, con el fin de solucionar un problema.

Al igual que en el caso de Comunicación (Comprensión Lectora), el comité diseñador de

Matemáticas desglosó los procesos cognitivos en tres niveles de complejidad. Las definiciones
operacionales se presentan en la tabla 3.

Tabla 3 | Definición de niveles de complejidad por grupo de proceso cognitivo Matemáticas:

ENLACE MS alineada a la RIEMS

Niveles Reproducción
Resolución de tareas directas que
implican identificar conceptos ma-
temáticos en el mismo contexto en
que se aprenden cotidianamente,
1 y se resuelven con un solo paso o
cálculo matemático.
Proceso cognitivo
Conexión
Resolución de problemas que se
desprenden de situaciones cotidia-
nas en donde la tarea se precisa de
forma directa y se resuelve con un
cálculo o tarea matemática, selec-
ción y/o relación de modelos.
Reflexión
Resolución de problemas que
requieren de una interpretación
antes de reconocer la técnica
matemática que hay que utilizar;
además implican transitar y discri-
minar entre diferentes formas de
representación de las situaciones, y
aplicar un proceso matemático.

Resolución de tareas directas que Resolución de problemas que se
requieren realizar dos o tres cálcu- desprenden de situaciones cotidia-
los o tareas matemáticas básicas nas en donde la tarea se precisa
y/o identificación de modelos. de forma directa. Los problemas se
resuelven con dos o tres cálculos
2 o tareas matemáticas diferentes,
decodificación, recodificación,
selección y/o relación de modelos.
Resolución de problemas que
requieren de una interpretación
antes de reconocer la técnica
matemática que hay que utili-
zar; además implican codificar y
transitar entre diferentes formas
de representación de situaciones
cotidianas complejas y exigen la
aplicación de dos o tres operacio-
nes diferentes y/o dos procesos
matemáticos.

Resolución de tareas directas que Resolución de problemas que Resolución de problemas en

requieren realizar cuatro o más
cálculos o tareas matemáticas
básicas diferentes y/o aplicación de
modelos establecidos.
ENLACE MS · 2013 · 2014
requieren identificar y aplicar las contextos que impliquen diferentes
técnicas matemáticas necesarias. variables, que requieran recono-
Los problemas se resuelven con cer diferentes estructuras antes
cuatro o más cálculos o tareas de aplicar la técnica matemática

3 matemáticas diferentes, procesos pertinente y/o transitar entre dife-

básicos y complejos, decodificación
y/o recodificación de modelos y/o
identificación de sus elementos
faltantes.
rentes formas de representación de
situaciones; además, requieren de
cuatro o más operaciones diferen-
tes, tres o más procesos matemáti-
cos similares.

34
4.2 Estructura global de la prueba

Para todas las pruebas generadas en el Ceneval, la estructura se refiere a la distribución de los re-
activos por área y subárea en congruencia con la definición del constructo previamente estable-
cida. Los productos de las tareas de delimitación de contenidos constituyen la base conceptual y
operacional del examen y son el insumo para determinar su estructura. Esta debe corresponder
con los propósitos de la prueba y las características de los sustentantes, de modo que se trace el
camino para determinar de manera clara y precisa qué se quiere medir y por qué. Así, la cantidad
y dificultad de los reactivos de ENLACE MS se distribuyó considerando la relevancia de cada
contenido para el diagnóstico del nivel de dominio en el desarrollo de las competencias básicas
de cada campo disciplinar.
En total, la prueba consta de 110 reactivos, 50 que evalúan Comunicación (Comprensión
Lectora) y 60 Matemáticas. Además, su distribución por subárea y proceso cognitivo responde
también a un cuidadoso muestreo de contenidos por parte de los comités académicos que re-
visaron los documentos de la Reforma y mapearon la posibilidad de evaluar sus indicadores a
través de temas y procesos presentes en todos los planes y programas del bachillerato.
La estructura fue validada por el comité académico correspondiente antes de su aprobación
por parte del Consejo Técnico. El criterio principal fue asegurar que con ella se obtuviera una
muestra representativa de lo que todo bachiller debe dominar en congruencia con el MCC y el
perfil de egreso de la RIEMS. Para ello, los reactivos de la prueba cubren toda la gama de proce-
sos cognitivos que se indican en la estructura, por lo que evalúan contenidos que exigen un de-
sarrollo básico, intermedio y avanzado de las competencias disciplinares básicas. Los reportes
de resultados se construyen tomando en cuenta este abanico de dificultad en las tareas cogniti-
vas y los indicadores asociados, con la intención de ofrecer al alumno una descripción clara de
su nivel de dominio al egresar de la EMS. Además, estas descripciones pueden ser aprovechadas
por los diferentes usuarios de la prueba para conocer fortalezas y áreas de oportunidad.
En la tabla 4 se presenta la distribución de reactivos por procesos y contenidos temáticos
que guió las siguientes fases de construcción de la prueba ENLACE MS alineada a la RIEMS.
ENLACE MS · 2013 · 2014

35
 Tabla 4 | Estructura ENLACE MS alineada a la RIEMS
Número de reactivos por Procesos Total
Campo
Contenido Reflexión
Disciplinar Extracción Interpretación
y evaluación
Argumentativo 4 5 6 15

Narrativo 3 7 5 15
Comunicación
(Comprensión Expositivo 5 7 3 15
Lectora)
Apelativo 2 2 1 5

Reactivos por proceso 14 21 15 50

Matemáticas Reproducción Conexión Reflexión

Cantidad 6 7 7 20

Espacio y Forma 6 8 6 20

Cambios y relaciones 5 8 7 20

Reactivos por proceso 17 23 20 60

Total de reactivos en la prueba 110

ENLACE MS · 2013 · 2014

36
 5. Elaboración de reactivos 2013-2014

P
ara la elaboración de los reactivos de una prueba, la Metodología Ceneval contempla
diversas actividades, la primera tiene que ver con el establecimiento de un plan general
de elaboración de reactivos que permite renovar los bancos año con año o de acuerdo
con el esquema de aplicación de un instrumento. Posteriormente, se imparten talleres de ela-
boración de reactivos de los diferentes campos disciplinares, para capacitar a los especialistas
en los lineamientos de forma y contenido de la prueba ENLACE MS.
Antes de ser aceptados para la conformación de la prueba, los reactivos elaborados pasan
por fases de revisión técnica, validación y revisión de estilo a cargo de personal interno del
Ceneval y de otros cuerpos colegiados. Todas estas actividades se llevan a cabo en el Banco de
Reactivos para Asesores Externos (e-BRAE) desarrollado por el Ceneval.

5.1 Plan general de elaboración de reactivos

El plan anual de elaboración toma en cuenta que los requerimientos del proyecto hacen nece-
saria la operación y mantenimiento de un banco de reactivos suficiente para conformar, anual-
mente, varias versiones de la prueba operativa con reactivos de Comunicación (Comprensión
Lectora) y Matemáticas. Lo anterior responde al diseño de recolección de datos y, como se
mencionó anteriormente, implica que los procesos de elaboración se inicien con por lo menos
dos años de anticipación a la aplicación definitiva de la prueba.
Adicionalmente, se requiere elaborar reactivos extra que se utilizan para estudios experi-
mentales. Algunos de estos estudios implican la construcción de reactivos que evalúan indi-
cadores de competencias básicas de los campos disciplinares de Ciencias Sociales y Ciencias
Experimentales como los define la RIEMS. Además, con esto se pretende tener listo el banco
en caso de que las autoridades de la SEMS decidan incluir alguno de estos campos en alguna
evaluación de alcance nacional.
Los requerimientos de ENLACE MS implican mantener activo durante todo el año el pro-
ceso de elaboración de reactivos para pilotear una cantidad suficiente de ítems con buenas
características técnicas y de contenido.
En la tabla 5 se presentan los productos de elaboración anual de 2013 y 2014 que sirvieron
para complementar las pruebas operativas y pretest de ambos años que ya habían sido traba-
jadas en años anteriores. Se puede observar que en 2014 la cantidad de reactivos necesaria fue
ENLACE MS · 2013 · 2014

mucho menor debido al anuncio de las autoridades gubernamentales y del INEE al respecto
de la sustitución de la prueba ENLACE MS para años posteriores.

37
 Tabla 5 | Productos de la elaboración de reactivos ENLACE MS 2013-2014
Campo disciplinar Reactivos 2013 Reactivos 2014
Comunicación (Comprensión Lectora) 172 104
Matemáticas 159 116
Ciencias Sociales 147 47
Ciencias Experimentales 136 82
Total 614 349

5.2 Capacitación a colaboradores

Con el propósito de mantener la calidad de la prueba y contar con reactivos técnicamente

adecuados, el Ceneval imparte talleres de capacitación basados en la metodología institucional
y en los lineamientos para la elaboración de reactivos.
En 2013 se impartieron cuatro talleres de elaboración de reactivos tipo ENLACE MS a los
que asistieron 27 docentes y especialistas en la enseñanza de las asignaturas afines a los cuatro
campos disciplinares básicos que evalúa la prueba. En 2014, se realizaron cinco talleres con la
misma cantidad de participantes, con la finalidad de dar mantenimiento al banco de reactivos.
El requisito principal fue que los profesores contaran con experiencia en el aula y, de ser
posible, en la implementación de la Reforma. En estos talleres los especialistas aprenden a
elaborar reactivos de opción múltiple de acuerdo con los criterios técnicos y la metodología
institucional. Adicionalmente se informa a los asistentes de la historia y objetivos del Centro y,
sobre todo, de las particularidades de la prueba ENLACE MS; esto es importante para que los
ítems correspondan con el propósito, estructura y modelo taxonómico de la evaluación.
Para maximizar la validez de las interpretaciones que se derivan de los reactivos, Vidal et al.
(2000) enfatizan la importancia de elaborar reactivos claros, con un formato que incluya siem-
pre las siguientes partes: base del reactivo, opciones de respuesta con justificación, respuesta
correcta, referencia o bibliografía, fecha y nombre del autor. Además de facilitar el control de
la producción de reactivos, contar con las justificaciones de las respuestas correctas e incorrec-
tas reduce el riesgo de presentar opciones triviales que no aporten mucho a la interpretación
de los datos finales, y también promueve el diálogo entre elaboradores y capacitadores, ya que
ENLACE MS · 2013 · 2014

la retroalimentación se da de manera bidireccional, en cuanto a contenidos por parte de los

redactores y en cuestiones técnicas por el lado de los revisores.
Los elaboradores de ENLACE MS también son capacitados para almacenar los reactivos en
el e-BRAE, que cuenta con un sistema electrónico al que se puede acceder desde ubicaciones
externas y agiliza los posteriores procesos de verificación.

38
5.3 Revisión cualitativa

Si bien el Ceneval y sus pruebas han adquirido buena reputación gracias a los procedimientos
de calificación y los estándares de calidad internacional que caracterizan la metodología ins-
titucional en los aspectos estadísticos, a sus evaluaciones y a los análisis que se realizan, los
procesos de trabajo resaltan la importancia de la verificación y el cuidado del contenido en los
perfiles referenciales y los ítems de las pruebas.
Todos los reactivos que se elaboran pasan por tres fases de revisión cualitativa, la primera y
tercera a cargo del personal del Ceneval, mientras que los protagonistas de la fase intermedia
son los integrantes de los comités académicos de validación externa. A continuación se describe
cada una de ellas.

5.3.1 Revisión técnica

El primer filtro es la revisión técnica, que consiste en verificar que los reactivos correspondan
a una especificación del perfil referencial, al proceso cognitivo por evaluar y al tipo de texto
asociado o al contenido matemático, dependiendo del área correspondiente del reactivo. Ade-
más, el personal especializado del Ceneval supervisa que se cumpla con aspectos de formato y
otros lineamientos como los siguientes:
1. Base del reactivo. Debe incluir la información necesaria y suficiente para ser contestado,
implicar una sola tarea o cuestionamiento, cumplir con alguno de los formatos establecidos
(jerarquización, completamiento, elección de elementos, relación de columnas) y ser inde-
pendiente de los demás ítems, es decir, la información contenida en un reactivo no ha de
sugerir o requerir la solución de otro.
2. Opciones de respuesta. Debe tener solo una respuesta correcta y tres distractores. La res-
puesta correcta debe ser incuestionable y resolver el planteamiento de manera satisfactoria:
asimismo, los distractores han de ser plausibles y totalmente incorrectos. Para corroborar
esto, se revisan con especial cuidado las justificaciones o argumentaciones que los elabora-
dores indican para cada opción de respuesta.

En caso de que algún reactivo no cumpla con los criterios del Ceneval se proporciona
ENLACE MS · 2013 · 2014

retroalimentación al elaborador para su modificación, y solo hasta que se cumplen las condi-
ciones de calidad en contenido y forma, el reactivo es registrado como aceptado y listo para
la siguiente fase de verificación en la plataforma electrónica del Centro. El mismo proceso
se sigue para revisar los textos que se utilizan en la prueba de Comprensión Lectora o en los
estudios de Ciencias. Los textos deben cubrir diversos criterios en cuanto a la cantidad de

39
 palabras, las características que los identifican y los temas a los que hacen referencia, los cuales
se indican en una lista de verificación que los revisores técnicos tienen en cuenta para aceptar
o solicitar modificaciones.

5.3.2 Validación con especialistas

Los reactivos que cumplen con los lineamientos técnicos son sometidos a un proceso de vali-
dación con el fin de garantizar que correspondan al contenido definido en el perfil referencial y
representen, de manera clara y precisa, los indicadores de las competencias disciplinares básicas
evaluadas en la prueba, ya sean conocimientos, manejo de conceptos, definiciones, relaciones,
procedimientos, etcétera.
Los validadores son capacitados para revisar los reactivos en la misma plataforma en que
son elaborados. Un requisito para que sean parte del proceso es que participen de algún modo
en los procesos de planificación curricular, evaluación o enseñanza de las asignaturas afines
a los campos disciplinares y las directrices establecidas en la RIEMS. De manera adicional, es
importante que dominen los lineamientos técnicos del Ceneval.
Cada reactivo es revisado y validado por lo menos por tres especialistas en coordinación
con un representante del Ceneval. Los primeros se encargan de leer y analizar cada reactivo de
manera individual, así como de discutir colectivamente su contenido, emitir un dictamen y, en
su caso, hacer propuestas de mejora. El coordinador de mesa se ocupa de resolver preguntas
acerca del perfil referencial, del procedimiento, realizar los cambios necesarios a los reactivos a
solicitud de los especialistas e imprimir los informes de los ítems validados y aceptados.
Los productos y reactivos aceptados sirven para el ensamble de pruebas piloto que se
aplican en el año de su elaboración y para el ensamble de versiones operativas y pretest que se
aplican en el siguiente año. En la tabla 6 se presenta el resultado de los procesos de validación
de 2012 y 2013 cuyos productos fueron utilizados para ensamblar los instrumentos de 2013 y
2014, respectivamente. Asimismo se incluyen los productos de las validaciones de 2014, que
permitieron robustecer el banco de reactivos.

Tabla 6 | Reactivos validados 2012-2014 ENLACE MS alineada a la RIEMS

ENLACE MS · 2013 · 2014

2012 2013 2014 Total

963 559 318 1,840

40
5.3.3 Revisión de estilo

Únicamente los reactivos aceptados en la validación llegan a la tercera fase de verificación cua-
litativa. La revisión de estilo está a cargo de la Dirección General Adjunta de Difusión (DGAD)
del Ceneval y consiste en asegurar que los reactivos y los cuadernillos de la prueba cumplan
con los lineamientos editoriales del Centro. Para ello se verifica el empleo correcto y uniforme
del lenguaje, la puntuación, la ortografía, las abreviaturas y la presentación de tablas y otros
apoyos gráficos, así como de la bibliografía y las citas textuales.
La corrección de estilo profesional y competente de los reactivos aumenta la precisión y cla-
ridad de las preguntas, además de prevenir defectos de contenido, lo que incrementa la validez
de la misma evaluación. El procedimiento del Ceneval para la verificación de estilo implica una
retroalimentación constante entre los revisores técnicos y el personal de la DGAD, logrando
una alta calidad en forma y contenido.

ENLACE MS · 2013 · 2014

41
 6. Verificación cuantitativa

D
espués del proceso de validación, se lleva a cabo el ensamble de los cuadernillos para
el estudio piloto o verificación cuantitativa de los reactivos. Los reactivos de ENLACE
MS se pilotean anualmente, en el mes de noviembre en muestras de alumnos del últi-
mo ciclo de bachillerato, de modo que los reactivos que se ensamblan en las versiones pretest
y operativas se prueban con 1 o 2 años de anticipación.
Para los procesos de piloteo, desde el inicio del proyecto se estableció como requisito que
cada reactivo fuera respondido por al menos 200 alumnos. La selección de los Centros de
Trabajo (CT) y de los sujetos que conforman la muestra piloto está a cargo de la DGEP-SEP,
que también es responsable de la distribución y aplicación de los cuadernillos. Por motivos
de accesibilidad a los grupos de estudiantes, los estudios piloto se han realizado en el Distrito
Federal y en el Estado de México, entidades que cuentan con planteles representativos de todas
las modalidades y tipos de bachillerato.
En general, se procura que las condiciones de ensamble y aplicación piloto sean las mismas
cada año, las variaciones corresponden a la cantidad de sustentantes que responden las pruebas
y al número de reactivos totales que se requiere pilotear. En 2012 se pilotearon 660 reactivos
(495 para las pruebas pretest y operativas, y el resto para una prueba experimental) con la par-
ticipación de 6,882 alumnos, mientras que en 2013 se probaron 720 reactivos en una población
de 9,377 estudiantes. En la tabla 7 se presenta el detalle por campo disciplinar y el promedio de
observaciones por reactivo.
Los bloques de contenido y los cuadernillos se distribuyen de manera matricial, balanceando
el orden de presentación de los campos disciplinares, con un total de entre 26 y 30 reactivos
por sesión. La impresión de los materiales, la aplicación, la lectura óptica de hojas de respuesta
y la conformación de la base de datos del piloteo están a cargo de la DGEP-SEP.

Tabla 7 | Número de reactivos piloto y promedio de participantes 2012 y 2013

Año del piloteo de los reactivos
Campo Disciplinar Datos
Aplicación 2012 Aplicación 2013

Comunicación Número de reactivos piloteados 63 245

(Comprensión Lectora) Promedio de alumnos que respondieron las formas 313 313
Número de reactivos piloteados 178 184
Matemáticas
Promedio de alumnos que respondieron las formas 313 312
ENLACE MS · 2013 · 2014

Ciencias Número de reactivos piloteados 161 136

Experimentales Promedio de alumnos que respondieron las formas 313 312
Número de reactivos piloteados 93 155
Ciencias Sociales
Promedio de alumnos que respondieron las formas 313 312

43
 6.1 Calibración de reactivos

Para conocer la calidad estadística de los reactivos que integran el banco de ENLACE MS, estos
se analizan con base en el modelo de tres parámetros de la teoría de respuesta al ítem (TRI) y,
de manera complementaria, con la teoría clásica (TC). De esta forma se cuenta con informa-
ción suficiente para determinar la calidad psicométrica de los reactivos y seleccionar los más
adecuados para integrar las pruebas.
Los análisis de los reactivos se ejecutan mediante el programa BILOG-MG 3.0 e Iteman; con
el primero se obtienen parámetros de TC, TRI y las curvas características de los reactivos, mien-
tras que con el segundo se obtienen datos que permiten analizar las opciones de respuesta.
A continuación se describen en detalle los parámetros que se obtienen de los análisis esta-
dísticos de los reactivos con cada una de las teorías. En cuanto a los análisis realizados con base
en la TRI, se valora la calidad del reactivo mediante los siguientes indicadores:
• Índice de discriminación (a). Indica la cualidad que tiene el reactivo de diferenciar a los
sustentantes que dominan el conocimiento de aquellos que no. En el Ceneval se considera
como valor óptimo un índice a ≥ 0.45.
• Índice de dificultad (b). Indica la posición del reactivo en la escala de habilidad. Cuanto
más grande es el valor de dificultad, mayor es la habilidad o aptitud requerida para que el
examinado tenga una probabilidad alta de resolver correctamente el reactivo. El rango en
que se ubican los valores considerados óptimos es -2.5 ≤ b ≤ 2.5.
• Índice de pseudoadivinación (c). Permite conocer la probabilidad de que cada reactivo
sea contestado correctamente al azar. Lo ideal es que el valor sea c ≤ .30.

Para complementar la información, se aprovechan también los siguientes parámetros que

arrojan los análisis con teoría clásica:
• Grado de dificultad (GD). Se refiere al porcentaje de personas que responden correcta-
mente un reactivo de una prueba. Los valores que se consideran óptimos en este parámetro
son 20 ≤ GD ≤ 80.
• Correlación punto biserial (rpbis) o coeficiente de discriminación. Se refiere a la capa-
cidad que tiene el reactivo para distinguir a aquellos que dominan una tarea de los que no lo
hacen, además permite relacionar la tendencia de respuesta de cada reactivo con respecto
a la escala de la cual forman parte. La correlación óptima está indicada por un valor mayor
ENLACE MS · 2013 · 2014

a 0.20 aunque, de ser necesario, la DGEP-SEP autoriza el ensamble de reactivos con valor
positivo para dar estabilidad a la equiparación y la calificación.

Aunque la determinación de criterios estadísticos para la selección de reactivos de buena

calidad es importante en el ensamble de las pruebas, estos criterios son meros indicadores, ya

44
que la selección de reactivos para el pretest y la prueba operativa considera, además, sus carac-
terísticas cualitativas y la estructura del examen.
Es importante mencionar que, después de realizar los análisis, los parámetros estadísticos
de los reactivos se actualizan en la plataforma electrónica del Ceneval. Lo anterior permite
hacer un diagnóstico de la cantidad de versiones que se pueden ensamblar con reactivos cuyas
características psicométricas cumplen con la normativa establecida. Además, así se cuenta con
un inventario que apoya la modificación de los planes de elaboración, validación y piloteo de
acuerdo con las necesidades del proyecto y el tiempo que se tiene para la creación y renovación
de los bancos.
Para hacer este diagnóstico y el respectivo inventario, se hace una clasificación de los reacti-
vos de acuerdo con criterios de depuración de bancos que contemplan la categorización de los
reactivos en óptimos, subóptimos y deficientes. Solo los reactivos deficientes se eliminan del
banco, los óptimos quedan listos para integrar alguna versión y los subóptimos son considera-
dos para procesos de revisión y mejora de los instrumentos.
En la tabla 8 se incluye un detalle del dictamen de los reactivos que se probaron en 2012 y
2013 para preparar el ensamble de las pruebas pretest y operativas de ENLACE MS 2013 y 2014.
Para atender estos y otros procesos de calidad y mantenimiento de los bancos de reactivos,
los parámetros que se obtienen en las aplicaciones piloto y operativas se registran en la plata-
forma de seguridad desarrollada por el Ceneval mediante un archivo en Excel (delimitado por
tabulaciones) con los siguientes datos:
• Clave del reactivo
• Parámetros TC
• Parámetros TRI
• Modelo de calibración
• Cantidad de sustentantes

ENLACE MS · 2013 · 2014

45
 Tabla 8 | Dictamen de reactivos de acuerdo con los parámetros estimados en el estudio piloto
Año del piloteo de los reactivos
Campo
Dictamen
Disciplinar
Aplicación 2012 Aplicación 2013

Óptimo 8 66
Comunicación
Subóptimo 7 57
(Comprensión Lectora)
Deficiente 48 122

Total 63 245

Óptimo 18 15

Matemáticas Subóptimo 32 33

Deficiente 128 136

Total 178 184

Óptimo 11 8
Ciencias
Subóptimo 19 14
Experimentales
Deficiente 131 114

Total 161 136

Óptimo 6 26
Ciencias
Subóptimo 7 30
Sociales
Deficiente 80 99

Total 93 155
ENLACE MS · 2013 · 2014

46
 7. Ensamble de versiones

E
n esta fase se conforman cuadernillos con los reactivos aceptados en procesos previos
que integran la versión operativa y las formas del pretest. La prueba operativa se ensam-
bla con reactivos provenientes del pretest, y este a su vez se conforma con los reactivos
piloto. Ambas versiones se ensamblan con los reactivos que resultaron mejores en los procesos
de verificación. De manera periódica, de acuerdo con las solicitudes de la SEMS, se ensamblan
versiones de prueba extra que se presentan en los manuales para docentes o en materiales de
difusión.
La validez de las interpretaciones hechas a partir de los resultados depende, en gran parte,
de que el ensamble se realice de manera adecuada (Downing y Haladyna, 2012). Esto tiene que
ver con la disposición de los reactivos, la cual debe obedecer al diseño que se estableció desde
el inicio para que la evaluación sea congruente con los contenidos y niveles taxonómicos. Otro
aspecto que se toma en cuenta durante el ensamble son las condiciones de aplicación de la
prueba: sesiones, duración y control, entre otras.
El ensamble y la disposición de los reactivos deben asegurar que la información que arroja
la prueba depende únicamente de la respuesta del sustentante y no de otros factores. Esto con-
tribuye a la validez de la prueba, por lo que en el ensamble se controlan las siguientes variables:
• La uniformidad en el tamaño y orientación de los reactivos en el papel, asegurando por
ejemplo que las tablas o los textos no queden incompletos en una página y que las imágenes
sean nítidas, entre otros detalles.
• La calidad en la presentación, redacción y formato de los cuadernillos; todos se someten
a una revisión editorial con la finalidad de asegurar su calidad y después se envían a la Co-
misión Nacional de Libros de Texto Gratuito (CONALITEG), instancia responsable de su
impresión.
• El equilibrio en la posición o localización de las respuestas correctas, esto disminuye la
probabilidad de acertar por azar o por el sesgo natural a elegir las posiciones intermedias.
• El orden de presentación de los reactivos, de modo que se facilite la lectura y se minimice
cualquier carga cognitiva derivada de este aspecto. Para el ensamble de ENLACE MS se
alternan los bloques de reactivos por campo disciplinar.
• La cantidad de reactivos que se presentan en cada sesión, criterio que se verificó durante el
piloteo para asegurar que el tiempo asignado en cada sesión fuera suficiente para que los
alumnos respondieran todos los reactivos.
ENLACE MS · 2013 · 2014

En el caso de la prueba operativa ENLACE MS alineada a la RIEMS, los 110 reactivos que
integran la estructura se ensamblan en un cuadernillo dividido en cinco bloques: tres de Co-
municación (Comprensión Lectora) y dos de Matemáticas, los cuales se presentan intercalados
a los alumnos. En la tabla 9 se muestra la distribución de los reactivos de la prueba en función
del número de reactivos y los contenidos.

47
 Tabla 9 | Distribución de reactivos para el ensamble de la prueba operativa
Bloque Área Reactivos

1 Comunicación (Apelativo y Argumentativo) 20

2 Matemáticas (Cantidad y Espacio y Forma) 30

3 Comunicación (Narrativo) 15

4 Matemáticas (Cambios y Relaciones y Espacio y Forma) 30

5 Comunicación (Expositivo) 15

El pretest comparte esta estructura con la prueba operativa para los campos de Comu-
nicación (Comprensión Lectora) y Matemáticas, pero de manera adicional incluye reactivos
de Ciencias Sociales y Ciencias Experimentales que, en 2013 y 2014, permitieron realizar un
estudio exploratorio del desempeño de los alumnos en estos campos disciplinares.
El pretest difiere de la prueba operativa porque utiliza para su ensamble un diseño matri-
cial que divide el total de reactivos que lo componen en cuadernillos o formas, los cuales son
aplicados a una muestra representativa de la población. Esto implica que cada alumno contesta
únicamente una parte de los reactivos que lo conforman, evitando así que los resultados se
vean afectados debido a la fatiga. En la figura 1 se ejemplifica el diseño matricial que se utilizó
para el ensamble del pretest en 2013, año en que se replicó el diseño de ensamble de 2011 y el
de 2012 para realizar un comparativo de desempeño en Ciencias a lo largo de las tres aplica-
ciones (v. Apartado 10.1).
ENLACE MS · 2013 · 2014

48
 2011 2012
Campo disciplinar
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16
CL
CE
MT
CE
CS
MT
MT
CS
CE
MT
CL
CE

CL
MT

CS
MT
CE
Comunicación
(CL) CS
MT
CE
Matemáticas
(MT) CE
CL

Ciencias Sociales CL
(CS) CE
MT
CE
Ciencias CS
Experimentales MT
(CE)
MT
CS
CE
MT
CL
CE

CL
MT

CS
MT
CE
CS
MT
CE

CE
CL

Reactivos por forma 30 30 30 30 30 30 30 30 31 31 31 31 30 31 31 31

ENLACE MS · 2013 · 2014

Figura 1 | Diseño matricial del pretest 2013.

49
 Para dar continuidad al estudio del desempeño y cumplir con las funciones del pretest como
instrumento de equiparación año con año, en 2014 se eligieron los mejores reactivos de Cien-
cias del ensamble de 2013, y se incluyeron reactivos nuevos de Comunicación y Matemáticas
para atender a la estructura completa de la prueba (110 reactivos de Comunicación y Matemá-
ticas, y 110 de Ciencias Sociales y Ciencias Experimentales). Lo anterior implicó el ensamble
de 8 formas, como se muestra en la figura 2.

Número de Forma
Campo disciplinar
01 02 03 04 05 06 07 08
CL
MT
CE
CS
CE
MT
Comunicación CS
(CL) CE
MT
Matemáticas CL
(MT) CE
MT

Ciencias Sociales CL
(CS) MT
MT
Ciencias Experimentales CS
(CE) CE
CS
CE
MT
CL
CE

Cantidad de reactivos por forma 30 30 30 30 30 30 30 30

Figura 2 | Diseño de ensamble del pretest 2014. Se presenta el número de reactivos por forma y los campos
disciplinares que se evalúan en cada una.

7.1 Especificaciones estadísticas de ensamble

El pretest y, por tanto, la prueba operativa se ensamblan con reactivos previamente piloteados
ENLACE MS · 2013 · 2014

y calibrados. En un primer momento, los datos del piloteo son los que permiten integrar los
cuadernillos o formas del pretest tratando que tengan la misma cantidad de reactivos y que
sean lo más similares posibles en su nivel de dificultad. Esto permite controlar, desde el diseño,
la dificultad de los cuadernillos y exponer a los alumnos a una situación de evaluación similar
independientemente del cuadernillo o forma que contestan.

50
 Por otra parte, la prueba operativa se integra por los reactivos del pretest, aplicados un año
antes, de los cuales se obtienen los parámetros estadísticos con el modelo de tres parámetros de
la TRI y, complementariamente, los de la teoría clásica. Los reactivos del pretest que no presen-
tan parámetros óptimos son revisados por los especialistas quienes definen si los reactivos se
deben conservar o cambiar.
Además de que la selección de los reactivos es congruente con la estructura de la prueba y
se apega al contenido establecido en las especificaciones, para abonar a la calidad del ensamble
de la prueba operativa también se consideran las curvas características de los reactivos y la
función de información de los reactivos y del instrumento como un todo, de tal forma que se
asegure contar con ítems que se distribuyen a lo largo de toda la escala de habilidad.
En las siguientes páginas las figuras 3 y 4 muestran las funciones de información y las curvas
características correspondientes al campo disciplinar de Comunicación (Comprensión lectora)
de las pruebas operativas de ENLACE MS en 2013 y 2014, mientras que las figuras 5 y 6 ilustran
las funciones y curvas del campo de Matemáticas.8

Funciones de Información 2013 y 2014 | Comunicación

ENLACE MS · 2013 · 2014

Figura 3 | Funciones de información ENLACE MS Operativa 2013-2014, Comunicación (Comprensión lectora).

8
Para procesar las curvas y funciones se utilizaron los parámetros libres de los reactivos.

51
 Curvas Características 2013 y 2014 | Comunicación

Figura 4 | Curvas características ENLACE MS Operativa 2013-2014, Comunicación (Comprensión lectora).

Funciones de Información 2013 y 2014 | Matemáticas

ENLACE MS · 2013 · 2014

Figura 5 | Funciones de información ENLACE MS Operativa 2013-2014, Matemáticas.

52
 Curvas Características 2013 y 2014 | Matemáticas

Figura 6 | Curvas características ENLACE MS Operativa 2013-2014, Matemáticas.

ENLACE MS · 2013 · 2014

53
 8. Aplicación

E
n todos los años de aplicación de la prueba ENLACE MS, la versión operativa se ha
aplicado a los estudiantes que cursan el último grado de la EMS en instituciones educati-
vas que manifiestan su interés en participar, ya sean de carácter público, federal y estatal,
que cuenten con reconocimiento de validez oficial otorgado por la SEP o por las entidades fe-
derativas, o en instituciones de carácter autónomo y escuelas particulares incorporadas. Todos
los sustentantes contestan la prueba operativa en cinco sesiones de 50 minutos distribuidas en
2 días, únicamente una muestra representativa de la población responde un cuadernillo del pre-
test o algún cuadernillo con reactivos ensamblados para investigación, en una sesión extra de la
misma duración para la que se requiere un tercer día de aplicación. Adicionalmente, los alum-
nos de la muestra dedican otra sesión para responder el cuestionario de contexto (ver figura 7).

Días de aplicación
Sesión
1 2 3

Comunicación
1 Matemáticas Forma n
(Comprensión Lectora)

2 Matemáticas Comunicación Cuestionario de contexto

(Comprensión Lectora)

3 Comunicación
(Comprensión Lectora)

Corresponde a las áreas evaluadas con la prueba Operativa

Corresponde a una de las formas o cuadernillos que integran el Pretest o la prueba para investigación

Figura 7 | Ejemplo de administración de la prueba ENLACE MS por sesión y días de aplicación.

Para controlar el efecto que pudiese generar el orden de la presentación de las pruebas se
utiliza la técnica de contrabalanceo. La figura 8 muestra tres opciones de aplicación; en la pri-
mera, la prueba operativa se administra en los dos primeros días, el tercer día se aplica una de
las formas de la prueba pretest y el cuestionario de contexto; en la segunda opción la aplicación
de la prueba operativa se realiza los días uno y tres, y en la tercera opción, los dos últimos días.
ENLACE MS · 2013 · 2014

55
 Días de aplicación
Opciones
de aplicación
1 2 3

Operativa Operativa Forma n

1 ENLACE MS ENLACE MS y Cuestionario de contexto

Operativa Forma n Operativa

2 ENLACE MS y Cuestionario de contexto ENLACE MS

3 Forma n Operativa Operativa

y Cuestionario de contexto ENLACE MS ENLACE MS

Nota | Forma n: Es una de las formas que integran el Pretest o la prueba de investigación

Figura 8 | Aplicación de las pruebas ENLACE MS utilizando la técnica de contrabalanceo.

La aplicación de las pruebas ENLACE MS está a cargo de la DGEP-SEP y cuenta con el apoyo
de los titulares de las áreas estatales de evaluación de cada entidad federativa. Además, partici-
pan los representantes estatales de la SEMS y los titulares de las Oficinas de Servicios Federales
de Apoyo a la Educación en las entidades supervisando la logística de la aplicación. Existen a
su vez coordinadores regionales y responsables para cada plantel que deben asegurar que las
pruebas se apliquen de acuerdo con la normativa. Adicionalmente, en la evaluación participan
padres de familia invitados previamente por los directores de los planteles, así como observa-
dores externos que notifican cualquier incidencia.
En la tabla 10 se señala el número de sustentantes y escuelas que participaron en las aplica-
ciones de 2013 y 2014.

Tabla 10 | Participantes aplicación ENLACE MS 2013 y 20149

2013 2014

Sustentantes 1’012,952 1´135,422

Escuelas 13,835 14,125

ENLACE MS · 2013 · 2014

9
Los datos para cada entidad federativa se encuentran disponibles en http://enlace.sep.gob.mx/ms/.

56
 La aplicación está organizada de tal forma que asegura la participación de los alumnos, sin
afectar las actividades normales de la escuela. La prueba solo se aplica a los estudiantes del
último grado, por lo que no se suspenden clases ni actividades escolares para el resto de los
estudiantes. Debido a las condiciones censales de aplicación y al carácter estandarizado de la
prueba, no se contempla la participación de sustentantes con capacidades diferentes.

8.1 Diseño muestral

El diseño muestral que se utiliza en la aplicación de ENLACE MS permite contar con los
datos de un subconjunto representativo de la población que se somete a la prueba operativa,
el cuestionario de contexto y, mediante un esquema matricial, al pretest. Las condiciones de
seguridad y la logística son responsabilidad de evaluadores con experiencia que trabajan para
la DGEP-SEP.
Los datos de la muestra se utilizan, por un lado, para realizar los estudios relacionados con
variables de contexto y, por otro, para los análisis estadísticos necesarios en la equiparación
de las pruebas de un año a otro, definir los puntos de corte y llevar a cabo diversas investiga-
ciones de interés para la SEMS. En 2013 la muestra a la que se aplicó la prueba operativa y el
cuestionario de contexto estuvo conformada por 304,053 alumnos inscritos en 2,070 escuelas
seleccionadas. Por su parte, la muestra del pretest se conformó con 199,881 alumnos.
En 2014, la muestra estuvo conformada por 223,536 estudiantes que se encontraban cur-
sando la EMS en 1,932 escuelas; estos alumnos respondieron a la prueba operativa y al cuestio-
nario de contexto, mientras que 71,757 de estos respondieron la prueba pretest.
Para el diseño muestral y las posteriores interpretaciones de los resultados, es importante
considerar los niveles de desagregación en los que se trabajan los resultados de ENLACE MS. En
la tabla 11 se pueden observar dichos niveles, mientras que en el Anexo C se puede consultar a
detalle el procedimiento utilizado. ENLACE MS · 2013 · 2014

57
 Tabla 11 | Niveles de desagregación de la muestra

Nivel de desagregación Tipo de resultado

1 Nacional

Nacional por tipo de bachillerato

• General
• Técnico
• Tecnológico

Nacional por tipo de sostenimiento

2
• Público
• Privado

Nacional por nivel de urbanidad

• Rural
• Urbano

8.2 Diseño de equiparación

Desde sus orígenes, la prueba ENLACE MS tiene contemplado el uso del método de equipara-
ción horizontal para colocar en las misma escala las pruebas año con año. Este método implica
realizar procedimientos empíricos para establecer una relación estadística entre los puntajes
de dos versiones de una prueba. Dicha relación puede utilizarse para expresar los puntajes de
una prueba en términos de los puntajes de otra, para garantizar que se califica con base en la
misma escala.
La equiparación requiere de un diseño de recolección de datos y de una regla para trans-
formar los puntajes de una versión a los puntajes de otra. En relación con el primer aspecto,
lo usual en los exámenes estandarizados es que cada aplicación operativa incluya reactivos
ancla que permitan mantener las escalas mediante los procesos de equiparación y calificación
de los instrumentos (Downing y Haladyna, 2012). Como se ha venido señalando, en el caso de
la prueba ENLACE MS no es posible incluir reactivos ancla en las versiones operativas pues-
to que, por cuestiones de transparencia, la SEP solicita que cada año se hagan públicos. Para
lograr que las escalas de cada año sean equiparables, se recurre a un diseño de recolección de
datos que consiste en aplicar dos pruebas en el mismo periodo: la prueba operativa y el pretest.
ENLACE MS · 2013 · 2014

Ambas pruebas siguen las mismas condiciones de diseño y construcción; es decir que, además
de regirse por la Metodología del Ceneval, que implica apegarse a las normas y estándares ins-
titucionales, utilizan la misma estructura y especificaciones para la elaboración de reactivos. Lo
anterior busca garantizar que los reactivos midan lo mismo.

58
 Debido a que en un año los alumnos que contestan las pruebas operativa y pretest son los
mismos, es posible situar los parámetros de los reactivos de ambas pruebas en la misma métri-
ca y como los reactivos que integran el pretest conforman la operativa del año siguiente, ambas
pruebas comparten reactivos que constituyen los insumos para colocar en una escala común
los puntajes de los alumnos que contestan las pruebas en los diferentes años.
El diseño que permite equiparar las pruebas operativas de uno y otro año mediante la apli-
cación del pretest se puede ver gráficamente en la figura 9.

EQUIPARACIÓN HORIZONTAL

Aplicación 2011 Aplicación 2012 Aplicación 2013 Aplicación 2014

Pretest Pretest Pretest Pretest

2011 › 2012 › 2013 › 2014
Operativa › Operativa › Operativa › Operativa
ENLACE 2012 › ENLACE 2013 › ENLACE 2014 › ENLACE
MS MS MS MS
› › ›

Censal Muestra Censal Muestra Censal Muestra Censal Muestra

Figura 9 | Esquema de aplicación para la equiparación de la prueba ENLACE MS (hasta 2014).

Se puede apreciar que en un mismo periodo de aplicación se administra la prueba operativa

junto con el pretest. Cada integrante de la muestra contesta la prueba operativa y una de las
formas del pretest. Las flechas que salen de los cuadernillos indican que los reactivos que los
conforman se utilizan para integrar la prueba operativa del siguiente año.

ENLACE MS · 2013 · 2014

59
 9. Calificación

L
a etapa de calificación permite generar información para los sustentantes en cuanto a su
nivel de dominio en las competencias disciplinares básicas. Antes de realizar la califica-
ción, en 2013 se realizó un segundo estudio de factibilidad de mantenimiento de puntos
de corte para dar seguimiento a las acciones realizadas en 2011 para estudiar el efecto de la
adaptación del perfil referencial de la prueba en la escala de calificación (ver Anexo D).
A partir de los resultados, y considerando que en 2014 se realizó la última aplicación de la
prueba ENLACE MS, las autoridades educativas juzgaron pertinente mantener el mismo algo-
ritmo y la misma escala de calificación.

9.1 Algoritmo de calificación 2008-2014

Para asegurar la comparabilidad de los resultados año con año, de 2008 a 2014 se conservaron
los rangos de habilidad que se muestran en las tablas 12 y 13 para la calificación de los alumnos
y asignación en los niveles de dominio.

Tabla 12 | Rangos de habilidad (θ) utilizados en Comunicación (Comprensión Lectora)

Nivel de dominio Puntos de corte (habilidad)
Insuficiente Menores o iguales que -0.916000
Elemental -0.915999 – 0.096000
Bueno 0.096001 – 1.455000
Excelente Mayores o iguales que 1.455001

Tabla 13 | Rangos de habilidad (θ) utilizados en Matemáticas

Nivel de dominio Puntos de corte (habilidad)
Insuficiente Menores o iguales que -0.053000
Elemental -0.052999 – 1.176000
Bueno 1.176001 – 2.018000
Excelente Mayores o iguales que 2.018001
ENLACE MS · 2013 · 2014

61
 9.2 Procedimiento de equiparación

Para asegurar la comparabilidad entre las versiones de un año y otro, se aprovecha el diseño de
equiparación descrito y se utilizan los datos de la prueba operativa del año anterior, los del pre-
test y los de la prueba operativa del año que se desea equiparar. La equiparación se realiza para
cada una de las áreas que evalúa la prueba, es decir, se equipara el área de Comunicación (Com-
prensión Lectora) y luego, de forma separada, se hace la equiparación del área de Matemáticas.
Previo al procedimiento de equiparación, se depuran las bases de datos y se realiza la ca-
libración libre de los reactivos. Se estiman los parámetros de los reactivos a fin de identificar
aquellos con características psicométricas inadecuadas; además, se revisa nuevamente el con-
tenido, sobre todo el de los reactivos que presentan correlación punto biserial menor que
0.20. Los reactivos que presentan problemas se dejan fuera del proceso de equiparación y de
calificación.
Es importante señalar que existen reactivos del pretest que, debido a sus características psi-
cométricas, sufren modificaciones, por lo cual son diferentes a los que se incluyen en la prueba
operativa. Estos reactivos que cambian entre una aplicación y otra se identifican para dejarlos
libres en el proceso de equiparación.
Una vez identificados los reactivos que se utilizarán en el proceso, se llevan a cabo las si-
guientes dos fases para colocar los reactivos de un año y otro en la misma escala.
1. Se calibran, en conjunto, los reactivos de la prueba operativa del año anterior y los del
pretest. En esta fase se trabaja con dos versiones distintas de la prueba contestadas por los
mismos alumnos.
2. Se fijan los parámetros de los reactivos del pretest previamente calculados. Los reactivos
que permanecen iguales entre el pretest y la prueba operativa conservan los mismos pa-
rámetros, mientras que los parámetros de los reactivos que se dejan libres son estimados
debido a que se modificaron o tuvieron un comportamiento estadístico diferente entre la
aplicación del pretest y de la prueba operativa. De esta forma todos los reactivos se colocan
en la misma métrica.

La calibración de los reactivos y la equiparación se realiza con el programa BILOG-MG

3.0. La escala utilizada se estableció con una media y una desviación típica de 0 y 1, respecti-
vamente. El procedimiento descrito se realiza cada año y de esta manera se garantiza que las
ENLACE MS · 2013 · 2014

diferentes versiones de las pruebas se encuentren en la misma escala.

Una vez realizado el proceso de equiparación, se procede a calificar a los alumnos y ubicar-
los en el nivel de dominio que le corresponda, además de procesar los resultados nacionales
para cada una de las áreas.

62
9.3 Emisión de resultados

En la tabla 14 se presentan los datos nacionales de las aplicaciones 2013 y 2014 para el campo
disciplinar de Comunicación (Comprensión Lectora) y el de Matemáticas. Cada área de eva-
luación se califica de forma independiente y, para que los resultados del alumno se tomen en
cuenta en la descriptiva nacional, debe haber contestado más del 50% de los reactivos de cada
campo disciplinar. Esto implica que un alumno puede ser tomado en cuenta en los resultados
nacionales de Comunicación, pero no de Matemáticas, y viceversa.

Tabla 14 | Resultados nacionales ENLACE MS 2013 y 2014

Comunicación Matemáticas
Nivel
de dominio % de % de % de % de
N 2013 N 2014 N 2013 N 2014
alumnos alumnos alumnos alumnos
Insuficiente 162,840 16.4 191,553 19.1 284,006 28.3 270,690 26.6

Elemental 334,582 33.6 364,472 36.3 355,224 35.4 346,628 34.1

Bueno 437,118 43.9 402,755 40.1 202,394 20.2 202,968 20.0

Excelente 60,342 6.1 45,967 4.6 161,104 16.1 197.066 19.4

Total 994,882 100 1’004,747 100 1’002,728 100 1’017,352 100

Estos datos se pueden consultar en la página electrónica oficial de la prueba (http://enlace.

sep.gob.mx/ms/) que presenta ligas a los resultados por alumno, por escuela, por entidad y
nacional. Cada estudiante, mediante su número de folio, puede acceder a su reporte individual
en línea, en el que también puede conocer el porcentaje de alumnos que se ubicaron en cada
nivel de dominio por plantel, entidad y nacional. Los datos y porcentajes que se presentan en
los reportes individuales incluyen los resultados de la población que asiste a escuelas del mis-
mo tipo de sostenimiento (público o privado), que corresponda a la modalidad de bachillerato
(general, tecnológico, técnico), grado de marginación (muy alto, alto, medio, bajo, muy bajo) y
que haya respondido más del 50% de los reactivos del campo disciplinar.
La intención de presentar en conjunto únicamente los porcentajes que se obtuvieron en
ENLACE MS · 2013 · 2014

planteles con las mismas características es evitar que se hagan comparaciones que resultarían
inválidas dadas las diferencias de los bachilleratos en cuanto a recursos, propósito, etcétera;
por lo mismo, se incluye un breve párrafo que explica el propósito de la prueba en cada uno
de los reportes. La información se completa con la descripción de los niveles de desempeño y
la ubicación del alumno en los campos disciplinares evaluados. La posibilidad de conocer no

63
 solo la definición del nivel en que se está ubicado, sino las de los inferiores y superiores es la
herramienta más importante que brinda ENLACE MS para que el sustentante haga uso de sus
resultados para autodirigir sus procesos de aprendizaje, una vez que reconoce sus fortalezas
y debilidades. Además, se pueden consultar todos los reactivos con las respuestas que el estu-
diante eligió y compararlas con la opción correcta; cada pregunta incluye un enunciado que
describe lo que es capaz de hacer el sustentante que responde adecuadamente al reactivo.
En caso de que se requiera consultar el resultado de una escuela en particular, la liga elec-
trónica correspondiente pedirá que se ingrese la Clave del Centro de Trabajo (CCT) y que se
indique el turno para el que se quiere consultar los datos. La información que se despliega
incluye la ubicación, los datos generales de la escuela (tipo de sostenimiento, modalidad, grado
de marginación) y el número de sustentantes evaluados del último grado escolar en relación
con los programados para aplicar el examen.
La posibilidad de revisar los resultados por escuela representa una ganancia para estas y para
los docentes, porque cada pregunta se acompaña del porcentaje de estudiantes que la contestó
correctamente y se menciona la fortaleza o debilidad que los datos evidencian. De este modo,
se pueden conocer los contenidos y procesos que provocan más errores en el alumnado y me-
jorar la práctica educativa. De manera adicional, existe la posibilidad de solicitar a la DGEP la
impresión de carteles dirigidos a la comunidad educativa de los planteles participantes.
Cualquier consulta a los datos debe hacerse considerando el propósito para el que fue di-
señada la prueba: brindar un diagnóstico individual de fortalezas y debilidades en el desarrollo
de competencias disciplinares básicas en dos campos: Comunicación (Comprensión lectora)
y Matemáticas. Además, ENLACE MS es una prueba dirigida al alumnado; por lo mismo, no
puede utilizarse para evaluar el sistema educativo, los subsistemas, las escuelas o los docentes.
Por todo esto, los resultados solo deben ser usados para conocer el nivel de dominio de los
sustentantes y planear estrategias de estudio, secuencias didácticas o campañas particulares que
sean consecuentes con las necesidades que se detecten a través de los reactivos de la prueba.
Estas consideraciones se reiteran en la página electrónica y las autoridades de la SEMS se en-
cargan de recordarlas al público en general en las conferencias y eventos de prensa. El personal
del Ceneval también hace énfasis en los alcances y limitaciones de la prueba en todos los co-
mités que se organizan durante el desarrollo y mantenimiento del instrumento, pidiendo a los
participantes que socialicen la información para evitar malos usos de los datos y garantizar la
validez de las interpretaciones de la evaluación.
ENLACE MS · 2013 · 2014

A continuación se transcriben las descripciones para los niveles de dominio que redactaron
los especialistas y que se presentaron en los reportes de resultados de los sustentantes de la
prueba ENLACE MS 2011 a 2014. Aproximadamente en la misma proporción que la estruc-
tura de la prueba, la descripción de los niveles conserva 70% de los contenidos y enunciados
que se manejaban en los años anteriores (2008 a 2010).

64
9.3.1 Niveles de dominio Comunicación (Comprensión Lectora)

• Insuficiente. Ubicas elementos informativos como datos, hechos, citas, términos, expli-
caciones y acciones que se presentan de manera explícita en textos argumentativos, expo-
sitivos y apelativos. Haces uso del contexto inmediato en que se presenta una palabra para
identificar su significado. Relacionas párrafos de un cuento o de una carta formal para
reconocer el vínculo entre el contenido y la intención comunicativa del autor.
• Elemental. Localizas, relacionas y comprendes elementos de información que aparecen
a lo largo de distintos tipos de texto. Identificas el tema central de uno o varios párrafos.
Reconoces elementos discursivos (hechos y opiniones) y estructurales (nudo y diferentes
acciones) y su propósito comunicativo. Relacionas información explícita del texto con co-
nocimientos previos para elaborar conclusiones simples.
• Bueno. Identificas enunciados que sintetizan apartados de un texto. Seleccionas y distin-
gues elementos de información explícitos a lo largo de un artículo de divulgación científica,
con base en un criterio específico (causa-efecto, comparación-contraste, concepto-ejemplo,
problema-solución). Interpretas el significado de una figura retórica. Vinculas información
que aparece en distintas partes del texto para reconocer el tema o asunto central. Recono-
ces la función de recursos discursivos (opiniones, explicaciones que apoyan argumentos y
descripciones) y elementos estructurales para inferir cuestiones implícitas, como la postura
del autor, un contraargumento, el responsable de solucionar el problema planteado en una
carta, entre otros.
• Excelente. Estableces relaciones entre elementos de información presentados de distinta
manera a lo largo del texto (imágenes, tablas, glosario). Identificas el sentido de enunciados
connotativos y retomas elementos implícitos de una narración para inferir posibles motivos
y acciones de los personajes. Reconoces la frase que sintetiza el texto. Relacionas el con-
tenido con información externa para realizar inferencias, establecer hipótesis e identificar
premisas, conclusiones o soluciones. Evalúas la pertinencia de recursos como citas y tablas,
además de la estructura en que se organiza un texto para lograr su propósito comunicativo.

9.3.2 Niveles de dominio Matemáticas

ENLACE MS · 2013 · 2014

• Insuficiente. Eres capaz de resolver problemas simples donde la tarea se presenta directa-
mente. Efectúas operaciones básicas con números enteros. Ejecutas operaciones aritméticas
con signos de agrupación. Encuentras equivalencias entre fracciones simples. Resuelves
problemas que requieren la identificación de figuras planas y tridimensionales, así como las
partes que las conforman. Localizas puntos en un plano y/o determinas sus coordenadas.

65
 Encuentras relaciones gráficas o algebraicas sencillas entre dos variables y realizas cálculos
con base en ello.
• Elemental. Resuelves problemas relativos a porcentajes. Realizas operaciones básicas con
fracciones. Sabes utilizar fórmulas y convertir unidades. Ordenas series de números. Descri-
bes el comportamiento de sucesiones numéricas y la relación entre ellas. Enuncias en lenguaje
común una expresión algebraica y viceversa. Resuelves problemas geométricos bidimensio-
nales y tridimensionales simples que involucran distintos elementos de una figura. Construyes
figuras tridimensionales a partir de otras. Resuelves sistemas de ecuaciones lineales.
• Bueno. Identificas la combinación de operaciones y procedimientos necesarios para re-
solver un problema. Traduces una relación lineal que se presenta de manera gráfica, a una
expresión algebraica y viceversa. Determinas la solución de problemas que involucran uni-
dades físicas. Realizas cálculos complicados con razones y proporciones. Aplicas el con-
cepto de mínimo común múltiplo o máximo común divisor para resolver situaciones de la
vida real. Calculas áreas y perímetros de composiciones geométricas simples. Identificas la
gráfica y la expresión de relaciones cuadráticas con una o dos variables. Realizas inferencias
acerca de una variable si conoces el valor de otra con la que guarda relación directa o indi-
recta. Resuelves ecuaciones cuadráticas con una incógnita que solucionan problemas reales.
• Excelente. Realizas diferentes procedimientos matemáticos y los integras para resolver
problemas de la vida real, tales como conversiones, ecuaciones, análisis de gráficas y tablas,
entre otros. Efectúas conversiones y estimaciones para resolver problemas reales. Identi-
ficas la gráfica de una recta a partir de condiciones dadas. Utilizas el teorema de Pitágo-
ras para solucionar problemas geométricos. Resuelves problemas de mayor complejidad
que implican el manejo de figuras, tanto planas como tridimensionales, y las propiedades
geométricas de figuras incompletas. Puedes realizar cálculos a partir de dos funciones linea-
les o cuadráticas que se muestran de manera independiente y mediante distintas represen-
taciones (numéricas, textuales, gráficas, entre otras).

9.4 Segundo estudio de factibilidad de mantenimiento de puntos de corte

En 2011, los resultados de un primer estudio para investigar la posibilidad de mantener los
puntos de corte y la escala de calificación indicaron que era factible conservar el esquema origi-
ENLACE MS · 2013 · 2014

nal para emitir los resultados nacionales de la prueba alineada a la RIEMS (ver Manual Técnico
2011-2012). De cualquier manera, al siguiente año se planificó un estudio de seguimiento que
implicó la aplicación, en 2013, de una prueba extra denominada Extendida.
La prueba Extendida tuvo como objetivo comparar el rendimiento de un mismo grupo de
alumnos al contestar la estructura original de la prueba y la estructura alineada a la RIEMS. Así,

66
la prueba Extendida se integró con los 90 reactivos de Matemáticas de la prueba operativa del
2009 (antes de la reestructuración de la RIEMS) y se aplicó a una muestra de alumnos repre-
sentativa en el ámbito nacional que también contestó los 60 reactivos de la prueba operativa
de 2013 (alineada a la RIEMS).
En contraste con los hallazgos del estudio de 2011, la comparación de los resultados de cada
sustentante mostró diferencias significativas cuando se obtuvo su calificación considerando los
reactivos de las estructuras de prueba antes y después de la RIEMS. Por esta razón se planteó
la necesidad de extender los estudios hacia la aplicación de 2014 para conocer las causas del
fenómeno y complementar la información con datos del campo disciplinar de Comunicación
(Comprensión Lectora). Más adelante, y una vez que se conoció que la última aplicación de
ENLACE MS se llevaría a cabo en ese año, se determinó mantener la escala de calificación sin
cambios para asegurar los comparativos históricos de 2008 a 2014.
En el Anexo D se describe de forma detallada el método utilizado para el segundo estudio
de mantenimiento de puntos de corte, los resultados y las conclusiones.

9.5 Complementos

9.5.1 Cuestionario de contexto

Se emplean para contar con información relacionada con variables de contexto, también lla-
madas de contraste, que permitan explicar los resultados y derivar estudios sobre la prueba.
Algunas de estas variables son el subsistema educativo, el nivel socioeconómico, la motivación,
el compromiso académico, las actividades extraescolares, la situación laboral, los recursos cog-
nitivos y no cognitivos, la trayectoria académica, las características de las escuelas de proceden-
cia y el contexto familiar.
Para ello, en el mismo periodo de la aplicación operativa, el Ceneval distribuye tres cuestio-
narios de contexto: uno que se aplica a una muestra de alumnos con representatividad nacio-
nal; otro para una muestra de maestros que tienen a su cargo las asignaturas relacionadas con
Matemáticas y otro más que responden en línea los directores de los planteles que participan
en la aplicación. Las preguntas dirigidas a los directores recaban información acerca de las
características de la escuela, mientras que el cuestionario dirigido a los docentes se centra en
ENLACE MS · 2013 · 2014

variables asociadas a la función educativa.

Los cuestionarios de los alumnos se aplican en una sesión de 50 minutos, mientras que los
docentes y directivos no tienen un tiempo límite. Los datos se utilizan para derivar estudios
acerca de las variables que impactan el desempeño académico de los participantes.

67
 9.5.2 Manual para docentes y directivos

Con el objetivo de que la comunidad educativa y el público en general conozcan los propósitos,
características técnicas y la forma en que ENLACE MS puede aprovecharse en el ámbito aca-
démico, en la planificación de políticas públicas o de campañas sociales, el Ceneval publicó
anualmente un Manual para docentes y directivos en la página electrónica de la prueba. En los do-
cumentos se hace hincapié en los alcances y limitaciones de ENLACE MS y se presentan suge-
rencias en cuanto a las actividades que en el plantel o en el aula pueden organizar los docentes
para mejorar las habilidades de los sustentantes.
Asimismo, en los manuales se explican los procesos que se siguieron para la construcción
del instrumento y se promueve la reflexión acerca del tipo de reactivos que se usan para la
evaluación, sus alcances y su traducción en niveles de desempeño. Los resultados de la prueba
pueden alcanzar verdadera trascendencia si son utilizados por los directivos y profesores para
identificar las necesidades de aprendizaje del alumnado, así como las áreas de oportunidad
para mejorar la forma en que se enseñan los contenidos que se han identificado como los más
difíciles en el nivel educativo.
Algo muy importante en el enfoque de los manuales es la insistencia en evitar las compa-
raciones entre alumnos, entre escuelas, y sobre todo en evitar los ejercicios de preparación
exclusivamente para la prueba. En aras de convencer a los lectores acerca de la inconveniencia
de ello, en los diversos apartados se reitera que la prueba realiza la medición de una muestra
representativa de los contenidos a través de los cuales se pueden evaluar indicadores de com-
petencias disciplinares básicas (únicamente aquellos que pueden ser evaluados con reactivos
de opción múltiple), pero que de ninguna manera incluyen todos los temas que forman parte
del MCC.
Por el perfil referencial de la prueba y las razones expuestas anteriormente, ENLACE MS
no distribuye guías para el sustentante, ya que se busca desterrar las prácticas de preparación
para los procesos evaluativos que dejan de lado la formación constante y las actividades de au-
toaprendizaje para la resolución de problemas, congruentes con el enfoque por competencias.
ENLACE MS · 2013 · 2014

68
 10. Estudios adicionales

U
na de las intenciones del Ceneval es aprovechar los documentos técnicos y las propuestas
de investigación que se generan mediante la metodología institucional, para presentar
al público otros estudios que se pueden realizar con los datos obtenidos mediante los
instrumentos de evaluación. En 2013 y 2014 se realizaron diferentes estudios con las pruebas de
ENLACE MS que se reportan a continuación.

10.1 Análisis exploratorio de Ciencias 2013 y 2014

En el trabajo de adaptación y diseño de la estructura de la prueba ENLACE MS alineada a la

RIEMS, no solo se trabajaron los perfiles referenciales de los campos disciplinares de Comu-
nicación y Matemáticas; los especialistas también diseñaron y validaron los perfiles necesarios
para evaluar las competencias básicas que el MCC determina para las Ciencias Sociales y las
Ciencias Experimentales.
Los procesos de construcción del banco y de verificación cualitativa y cuantitativa, sirvieron
para que, desde 2011, se aplicaran reactivos de los campos de Ciencias al interior del pretest.
En 2013 y 2014 se consideró importante aprovechar los datos de estas aplicaciones para rea-
lizar un estudio exploratorio y comparar la media nacional de desempeño de los alumnos en
Ciencias Sociales y Ciencias Experimentales durante las aplicaciones de ENLACE MS desde
que se ajustó el perfil a las competencias de la RIEMS.
Para hacer posible el comparativo de desempeño, en 2013 se diseñó una estrategia de en-
samble que permitió administrar, durante la aplicación Operativa de la prueba ENLACE MS,
los reactivos del Pretest 2011 y 2012 en un mismo período de aplicación de manera matricial.
Se utilizaron 16 formas o cuadernillos, ocho de ellas (01 a la 08) integradas por los reacti-
vos de Ciencias Experimentales y Ciencias Sociales aplicados en 2011, y las otras ocho (09 a
la 16), por los de 2012. Además, para completar el ensamble de las 16 formas y conservar las
condiciones de años anteriores, se intercalaron bloques de reactivos nuevos de las áreas de
Comunicación (Comprensión Lectora) y Matemáticas, que fueron utilizados para conformar
la prueba Operativa de 2014.
Dicha estrategia de ensamble se modificó en 2014, año en el que solo se utilizaron 8 formas
para realizar el estudio. Estas formas contenían los mejores reactivos de la aplicación anterior,
considerando la estructura completa de la prueba ENLACE MS (110 reactivos de Comunica-
ENLACE MS · 2013 · 2014

ción y Matemáticas, y 110 de los campos de Ciencias).

El comparativo del desempeño de los alumnos en cada uno de los años se obtuvo a partir
de la media de habilidad global (es decir, por generación). La habilidad de los alumnos se esti-
mó con base en el modelo de tres parámetros de la teoría de respuesta al ítem (TRI).

69
 Para el estudio de 2013, el procedimiento de análisis requirió, en primer lugar, depurar las
bases de datos y calibrar de manera libre los reactivos de las pruebas aplicadas cada año. La
calibración se llevó cabo mediante el programa BILOG-MG 3.0 y permitió identificar los re-
activos que poseen características psicométricas inadecuadas, los cuales se dejaron fuera de la
estimación de la habilidad.
Para colocar en la misma escala los reactivos de Ciencias de 2011, 2012 y 2013, se realizó la
estimación de los parámetros de los reactivos del Pretest aplicado en 2013, los cuales sirvieron
para establecer la escala de referencia. Un año después, los parámetros que se estimaron en
2013 se fijaron en los reactivos iguales aplicados en 2011, 2012 y 2014, con el fin de estimar la
habilidad de los sustentantes en los diferentes años de aplicación y para cada campo disciplinar
de Ciencias.
Una vez que se contó con los resultados de la habilidad, se obtuvo la media por año de ma-
nera global y se comparó el desempeño de los sustentantes a través de las aplicaciones.
La tabla 15 permite observar, en los datos de Ciencias Sociales, que el desempeño de los
alumnos mostró un ligero aumento en la media de habilidad a lo largo de los años; sin embar-
go, este aumento es mínimo y en algunos casos alcanza apenas 0.0004 logits.
En el caso de Ciencias Experimentales, el ligero incremento de habilidad volvió a los niveles
iniciales en 2014.

Tabla 15 | Estadísticos descriptivos estudio de Ciencias 2011-2014

Ciencias Sociales Ciencias Experimentales
Año
de aplicación Desviación Desviación
n Media n Media
estándar estándar
2011 68,297 -0.009264 0.768107 119,518 -0.013553 0.648543

2012 73,422 -0.001012 0.759379 128,446 -0.013185 0.665945

2013 99,569 0.001092 0.774264 174,101 0.000401 0.657212

2014 31,873 0.007051 0.786974 55,824 -0.012890 0.716093

Para complementar estos hallazgos, el informe del estudio exploratorio incluye un análisis
ENLACE MS · 2013 · 2014

cualitativo de los indicadores de competencia que resultan de menor o mayor complejidad para
los sustentantes. De este modo se cuenta con una descripción de las tareas que se pueden y
deben reforzar en los planes y programas de estudio para apoyar el desarrollo de una compe-
tencia científica integral por parte de los alumnos.

70
 Si bien el estudio permitió suponer que ha existido una mejora en el desempeño de los sus-
tentantes en los campos de Ciencias, también se pudo observar que esta mejora fue mínima.
En consecuencia la SEMS se dio a la tarea de planificar actividades y materiales de apoyo para
incidir en el desarrollo de las competencias científicas a partir del ciclo escolar 2015-2016.
Es importante considerar que, por las condiciones en que se realizó la aplicación de las prue-
bas y los reactivos de Ciencias, los resultados de estos estudios fueron útiles únicamente para
realizar inferencias confiables y válidas a nivel nacional. Los datos no pueden ser utilizados para
establecer comparaciones por tipo de bachillerato, sostenimiento, grado de urbanidad o por
cualquier otro tipo de desagregación, y no son suficientes para afirmar que la mejora en el des-
empeño de Ciencias pudiera ser considerable al interior de uno u otro plantel.

10.2 Estudios de ganancia educativa 2010-2013 y 2011-2014

Los estudios de ganancia educativa permiten obtener información respecto de la aportación

real que la escuela o un grado escolar significa para el nivel de conocimiento o habilidad de los
estudiantes. Esta información se puede calcular a partir de las diferencias entre mediciones de
desempeño obtenidas al ingreso y al egreso de un curso escolar o nivel educativo. De acuerdo
con Gaviria (2008), la ganancia educativa de los alumnos se puede valorar a través de expresio-
nes empíricas de la distancia que existe entre el nivel actual de conocimientos y un nivel previo.
Las técnicas para medir la ganancia educativa implican el uso de métodos como el escala-
miento o la equiparación vertical que se utilizan para vincular puntuaciones de pruebas que
evalúan el mismo constructo, difieren en el nivel de dificultad y están destinados a distinto grado
o año escolar. De esta forma los puntajes de las pruebas se pueden colocar en una misma es-
cala para hacer válidas las comparaciones entre ellas.
Gaviria y Castro (2010) señalan que los modelos de ganancia educativa tienen las siguientes
características comunes:
• Utilizan como variables dependientes las respuestas de los estudiantes en diferentes pruebas.
• Son modelos cuantitativos que incluyen dos o más medidas de rendimiento.
• La relación lineal del crecimiento depende del número de mediciones.
• Suelen tratarse estadísticamente a través de modelos mixtos de crecimiento.
• Pretenden tener efectos sobre la actuación escolar.
ENLACE MS · 2013 · 2014

Los mismos autores consideran que, para realizar inferencias válidas a partir de un escalamien-
to o equiparación vertical, se debe asegurar la adecuación de las escalas entre las medidas de ren-
dimiento. La validez de las conclusiones que se obtengan depende también de la distancia entre
los niveles o grados que se evalúen, es decir, a mayor distancia, menor validez en las inferencias.

71
 Para realizar los estudios de ganancia educativa dentro del proyecto ENLACE MS, y par-
tiendo del supuesto de que las pruebas ENLACE de los diferentes grados escolares miden
constructos semejantes, se optó por tomar como medida de ingreso los resultados de la prueba
ENLACE 3º de Secundaria, y para la medida de egreso, los correspondientes a ENLACE MS.
Este proceso se apoyó con el diseño y aplicación de diferentes pruebas ancla que, desde 2008,
se han distribuido de manera matricial a muestras representativas de estudiantes de 3º de Se-
cundaria y del último ciclo de bachillerato (ver figura 10), con el objeto de probar el mejor
diseño de ensamble y el mejor método de equiparación.

Aplicación a alumnos de Bachillerato

Aplicación a alumnos de Secundaria

Prueba ENLACE 3° Prueba ENLACE

de Secundaria Fin de la EMS
(Aplicación censal) (Aplicación censal)

Prueba ancla

(Aplicación matricial
a muestra controlada

Figura 10 | Diseño de recolección de datos de las pruebas ENLACE 3° de Secundaria y media superior.

En 2013, después de probar la eficacia del ensamble de la prueba y de identificar el método

de transformación lineal media-sigma como el más adecuado para equiparar las pruebas de EN-
LACE, se realizó el primer estudio formal para conocer la ganancia educativa que representó
cursar la EMS para los alumnos de la generación 2010-2013.
Debido a los buenos resultados y a la robustez de la metodología, en 2014 se realizó un se-
gundo estudio de ganancia educativa con los datos de los alumnos de la generación 2011-2014.
ENLACE MS · 2013 · 2014

72
10.2.1 Participantes

Para el primer estudio, se trabajó con la cohorte de alumnos de los centros de EMS de la
Republica Mexicana que inició sus cursos de bachillerato en el 2010 y los finalizó en 2013,
específicamente aquellos que contestaron las pruebas ENLACE en 3º de Secundaria y a fines
del bachillerato. La cantidad de participantes cuyos resultados en las dos pruebas pudieron ser
rastreados e identificados fue de 633,142 para el área de Comprensión Lectora y de 638,256
para Matemáticas.
En el segundo estudio, la población objeto fue la cohorte de alumnos que inició sus cursos
de bachillerato en el 2011 y los finalizó en 2014. La cantidad de alumnos contemplados para
realizar el estudio de ganancia educativa de la generación 2011-2014 fue de 670,906 para el área
de Comprensión Lectora y de 679,055 para Matemáticas.10

10.2.2 Materiales

El estudio de ganancia educativa consideró las respuestas de los alumnos que aplicaron las
pruebas operativas de ENLACE 3° de Secundaria, ENLACE MS y la prueba Delta (ancla).
La prueba operativa de 3° de Secundaria está integrada por 176 reactivos: 64 de Español,
62 de Matemáticas y 50 reactivos que corresponden a alguna asignatura cuya evaluación se
va rotando cada año (Historia, Ciencias Naturales, Formación Cívica). Los resultados de los
alumnos para las dos primeras áreas se consideraron como la medida de ingreso, mientras que
sus resultados en ENLACE MS se toman como medida de egreso.
La prueba que se utilizó como ancla fue aplicada al final de los ciclos escolares de Secun-
daria y bachillerato de ambas generaciones participantes, y se integró por entre 139 y 135
reactivos. La diferencia en la cantidad de reactivos en las diferentes aplicaciones obedece a la
modificación y eliminación de algunos que no discriminaban adecuadamente a los alumnos
de Secundaria y de bachillerato, o bien, que presentaron problemas en sus parámetros o su
contenido.
La evaluación del área de Habilidad Lectora se conformó por 47 reactivos, mientras que
la prueba de Matemáticas en 2010 se integró por 92 reactivos y en 2011, 2013 y 2014, por 88
reactivos. La estructura con la que se trabaja para el estudio de ganancia educativa toma en
ENLACE MS · 2013 · 2014

cuenta únicamente los reactivos que se mantienen iguales entre los años de aplicación, dicha
estructura se presenta en la tabla 16.

10
La diferencia entre estas cantidades se debe a que algunos alumnos respondieron menos del 50% de alguna de las áreas y, en
esos casos, no se consideraron sus resultados.

73
 Tabla 16 | Estructura de la prueba ancla (reactivos semejantes)
Total de reactivos Total de reactivos
Prueba Área
2010-2013 2011-2014
Habilidad Lectora 46 47
Delta
Habilidad Matemática 68 83

Total Prueba 114 130

10.2.3 Procedimiento

En congruencia con las necesidades y características del proyecto ENLACE MS, el análisis de
reactivos, la calificación y el procedimiento de equiparación de las pruebas se trabajan con base
en la TRI. La estimación de los parámetros y de la habilidad de los alumnos se llevó a cabo
mediante el programa BILOG-MG 3.0.
Para igualar las puntuaciones entre las pruebas ENLACE 3° de Secundaria y ENLACE MS se
utilizó el método de transformación lineal media-sigma que implica ajustar la escala cambiando
la media y la desviación estándar de las puntuaciones pero conservando la misma forma en su
distribución (Hambleton et al., 1991).
Las tareas de igualación o equiparación de las puntuaciones se enfocaron, en primer lugar,
en determinar las constantes de transformación lineal y, en segundo, en colocar las puntua-
ciones de los alumnos en la misma escala. La transformación lineal de las puntuaciones de las
pruebas operativas de ENLACE 3° de Secundaria y de ENLACE MS se resume en siete pasos.
Los primeros cinco se refieren a la estimación de parámetros y a la obtención de las constantes
de transformación, los cuales se realizaron con los datos de la muestra. Los dos pasos siguien-
tes corresponden con la transformación lineal de las puntuaciones, por lo que se trabajó con
los resultados de los mismos alumnos en los dos momentos de evaluación.
1. Estimación de los parámetros de los reactivos de la prueba Delta 2010 o 2011 fijando los
parámetros utilizados para la calificación de la prueba operativa ENLACE 3° de Secundaria
2010 o 2011.
2. Una vez que se colocaron en la misma escala Delta 2010 o 2011 y ENLACE 3° de Secun-
daria 2010 o 2011, se calculó la media y la desviación estándar de la dificultad (b) de los
ENLACE MS · 2013 · 2014

reactivos iguales con Delta 2013 o 2014.

3. Calibración conjunta de las pruebas ENLACE MS y Delta aplicadas en 2013 o 2014.
4. Una vez que se colocaron en la misma escala Delta 2013 o 2014 y ENLACE MS 2013 o
2014, se calculó la media y la desviación estándar de la dificultad (b) de los reactivos iguales
con Delta 2010 o 2011.

74
5. Con las medias y desviaciones estándar obtenidas en el paso 2 y 4 se calcularon las cons-
tantes de transformación lineal, las cuales permiten colocar la habilidad de los alumnos de
bachillerato en la escala de Secundaria.

La transformación lineal, para colocar la habilidad de los alumnos de bachillerato en la escala

de Secundaria, se realiza mediante la siguiente fórmula:

(1)

Las constantes m y n se obtienen mediante:

(2)

(3)

Donde:
• θb→s = Habilidad de los alumnos de bachillerato transformada a la escala de Secundaria
• θb = Habilidad de los alumnos de bachillerato estimada de manera libre
• σs = Desviación estándar de los reactivos de Delta 2010 o 2011 (aplicados en Secundaria)
que son iguales a Delta 2013 o 2014
• σb = Desviación estándar de los reactivos de Delta 2013 o 2014 (aplicados en bachillerato)
que son iguales a Delta 2010 o 2011
• bs = Media de dificultad (b) de los reactivos de Delta 2010 o 2011 (aplicados en Secundaria)
que son iguales a Delta 2013 o 2014
• bb = Media de dificultad (b) de reactivos de Delta 2013 o 2014 (aplicados en bachillerato)
que son iguales a Delta 2010 o 2011

6. Mediante la Clave Única del Registro de Población (CURP), se identificó a los alumnos que
aplicaron tanto la prueba operativa ENLACE 3° de Secundaria11 como la de ENLACE MS.
Una vez identificados, se consolidó la base de datos con la información correspondiente a
la habilidad obtenida por los alumnos en ambas pruebas, así como las características de los
ENLACE MS · 2013 · 2014

planteles en los que cursaron la EMS: tipo de bachillerato, tipo de sostenimiento, nivel de
marginación, subsistema y entidad federativa.

11
Base de datos proporcionada por la DGEP-SEP.

75
 7. Mediante la fórmula (1), se transformó la habilidad que obtuvieron los alumnos en ENLACE
MS para colocarla en la misma escala de ENLACE 3º de Secundaria.

Como última tarea, se calculó la media y la desviación estándar de la habilidad de los alum-
nos en ambas pruebas, para cada uno de los comparativos realizados, y se graficaron los resul-
tados. El incremento o decremento que se observa al comparar las medias que se estiman al fi-
nalizar Secundaria vs. Bachillerato representa para este estudio la medida de ganancia educativa.

10.2.4 Resultados

Tanto para la primera generación (2010-2013) como la segunda (2011-2014), los datos obteni-
dos en el estudio indican una mejora en el rendimiento de los alumnos después de haber cur-
sado la educación media superior. Esta mejora es consistente y se obtiene en la comparación
de los resultados de los estudiantes sin importar si se les agrupa por subsistema, por nivel de
marginación, tipo de sostenimiento o entidad federativa.
Las figuras 11 y 12 muestran la evolución del desempeño en Español/Comprensión Lec-
tora y Matemáticas, a nivel nacional, de la cohorte de alumnos 2010-2013 y la de 2011-2014.
Como se aprecia en las gráficas, la media de las puntuaciones incrementó notablemente (línea
azul), en particular para la primera generación, lo que refleja una mejora general en el desem-
peño de los estudiantes y permite afirmar la existencia de una ganancia educativa en las dos
áreas que evalúan las pruebas.
Es importante considerar que el estudio de ganancia educativa se realizó con los datos que
se pudieron empatar entre las bases de ENLACE 3° de Secundaria y ENLACE MS, por lo que se
sugiere generar conclusiones que tomen en cuenta la cantidad de alumnos que se recuperaron
para el estudio. Por otro lado, los comparativos de este estudio son de carácter general, por lo
que para extender las interpretaciones deben considerarse las características contextuales de las
entidades, subsistemas, planteles y otras variables propias de los alumnos.
ENLACE MS · 2013 · 2014

76
 Puntuaciones ENLACE

2010 2013

Figura 11 | Ganancia Educativa nacional 2010-2013 ENLACE 3° de Secundaria/Español vs. ENLACE MS/
Comprensión Lectora.
Puntuaciones ENLACE

2011 2014 N=670,906

ENLACE MS · 2013 · 2014

Figura 12 | Ganancia Educativa nacional 2011-2014 ENLACE 3° de Secundaria/Español vs. ENLACE MS/
Comprensión Lectora.

77
 Un comportamiento similar se observa en las figuras correspondientes a los resultados del
estudio de ganancia educativa del área de Matemáticas (figuras 13 y 14).

Puntuaciones ENLACE

2010 2013

Figura 13 | Ganancia Educativa nacional 2010-2013 ENLACE 3° de Secundaria/Habilidad Matemática vs.

ENLACE MS/Matemáticas.
Puntuaciones ENLACE
ENLACE MS · 2013 · 2014

2011 2014 N=679,055

Figura 14 | Ganancia Educativa nacional 2011-2014 ENLACE 3° de Secundaria/Habilidad Matemática vs.

ENLACE MS/Matemáticas.

78
 11. Reflexiones acerca de la prueba

L
a prueba ENLACE MS fue creada en 2008 con la intención de proporcionar un diagnóstico
general de fortalezas y debilidades para los alumnos del último grado de bachillerato, en
dos habilidades básicas para la vida, de tal forma que los datos apoyen las acciones para
mejorar la calidad de este tramo educativo trascendente en la vida profesional y académica. Des-
pués de la implementación de la RIEMS, la SEMS solicitó al Ceneval que se diera continuidad a
la evaluación y, a la vez, se recabara información diagnóstica acerca del desarrollo de las com-
petencias disciplinares básicas de los estudiantes, de acuerdo con el perfil de egreso del MCC.
A partir de 2011 y hasta 2014, ENLACE MS evaluó indicadores de competencias básicas del
campo disciplinar de Comunicación, en específico las que tienen que ver con Comprensión
Lectora y el de Matemáticas. La nueva estructura de la prueba mantuvo la medición de 70% de
los contenidos que se evaluaron entre 2008 y 2010, además de que los resultados continuaron
ubicando a los sustentantes en cuatro posibles niveles de desempeño (insuficiente, elemental,
bueno y excelente) para permitir las comparaciones año con año.
Para asegurar que la adaptación de la prueba cumpliera con lineamientos de calidad estric-
tos, se siguió la Metodología Ceneval para la construcción de instrumentos de evaluación y
cada fase de esta se organizó retomando los estándares internacionales de calidad en medición
educativa que la APA y la AERA publican periódicamente.
Durante el desarrollo de la prueba, ha resultado muy importante la participación de especia-
listas con actividades y grados de profesionalización muy diferentes. Desde su origen, la prueba
ENLACE MS se planificó con la participación de investigadores con reconocimiento nacional
e internacional que asesoraron y aprobaron las decisiones importantes y las modificaciones
que se requirieron en congruencia con la RIEMS. De la misma manera, el apoyo de docentes
y personas con contacto directo en las aulas de bachillerato fue determinante durante las fases
de delimitación del objeto de medida y elaboración de reactivos. Los comités académicos esta-
blecieron diálogos y discusiones para llegar a acuerdos en cuanto a los contenidos que podían
mantenerse en la prueba y los que se debían añadir para realizar la evaluación de indicadores
de competencias de todos los subsistemas de bachillerato. Esto implicó revisar e identificar los
contenidos comunes en los planes y programas de las diversas modalidades de EMS que existen
en nuestro país, de modo que se pudiera aprovechar una prueba estandarizada para evaluar
indicadores de competencias definidos en términos operacionales y aplicables en contextos
relacionados con el currículo.
Llegar a un consenso en la redacción de especificaciones y delimitaciones implicó un inter-
ENLACE MS · 2013 · 2014

cambio en los puntos de vista y experiencias en el plano docente con la intención de equilibrar
la dificultad de la prueba y adecuarla al nivel del alumnado de EMS. Esta misma experiencia de
retroalimentación caracterizó al proceso de revisión cualitativa, a las reuniones de validación y
a la posterior corrección de reactivos.

79
 Todo el trabajo de adaptación que inició en 2009 se vio materializado con la integración de
diferentes versiones de la prueba, no solo para calificar a los sustentantes sino para verificar
constantemente la calidad de los reactivos. Las formas piloto se ensamblan y aplican con ante-
rioridad a la versión operativa y al pretest, de modo que en la aplicación definitiva se incluyen
siempre los mejores ítems.
El esfuerzo del personal externo e interno del Ceneval por seguir la metodología y cumplir
los requerimientos de tiempos y calidad de la DGEP-SEP, no ha evitado que la prueba sufra
críticas, en particular por el mal uso que se hace de los resultados. La prueba ENLACE MS no
está diseñada para hacer comparaciones entre subsistemas, entre escuelas o entre docentes;
es por ello que las interpretaciones que se hagan al respecto carecen de validez. El diseño y la
adaptación del instrumento la caracteriza como una evaluación diagnóstica individual, por lo
que su función principal es brindar una retroalimentación para cada estudiante, de modo que
conozca el nivel de dominio que posee en cada habilidad y ponga en práctica estrategias para
mejorarlo.
La posibilidad que ofrece la página electrónica de ENLACE MS de consultar los resulta-
dos año con año responde a la necesidad de disponer de un diagnóstico general que muestre
las áreas de fortaleza y debilidad. Las comparaciones que pueden ser de utilidad son las que
haga cada entidad con ella misma año con año, las que pueda derivar el director de plantel en
relación con su propia escuela, entre otras, aunque esto de ninguna manera debe llevar a un
veredicto en cuanto a las capacidades de los docentes o los programas, más bien puede repre-
sentar indicios que apoyen la planificación de campañas internas, actividades extracurriculares,
etcétera.
Es común encontrar que algunos centros escolares se promocionan a sí mismos haciendo
uso de los resultados de su alumnado en las pruebas ENLACE. Hacer esto carece de funda-
mento porque la valoración de escuelas requiere de la suma de más y diferentes metodologías
de medición. El hecho de que sea posible consultar los resultados de cada escuela no implica
que deban compararse entre ellos, tanto porque cada centro tiene sus condiciones particulares
en cuanto a número de alumnos, tipo de sostenimiento, modalidad, etcétera, como porque los
resultados positivos o negativos pueden deberse a multitud de variables que no están relacio-
nadas con la calidad del plantel en sí.
Además de la fuente de información y retroalimentación individual que representan los
resultados de ENLACE MS, un propósito que se ha visto cumplido en los cuatro años de
ENLACE MS · 2013 · 2014

aplicación ha sido la creciente concientización en la población acerca de la importancia de la

lectura y las matemáticas. Por otro lado, la aplicación periódica de evaluaciones puede ayudar
al cambio cultural que se requiere para que el sustentante se haga responsable de su propio
proceso de aprendizaje, teniendo un marco de referencia que le ayude para conocer sus forta-
lezas y debilidades.

80
 Los interesados en el nivel medio superior pueden utilizar los resultados de la prueba para:
• Mejorar la práctica educativa después de analizar los errores y aciertos más comunes del
alumnado, así como las concepciones que poseen acerca de los contenidos evaluados en la
prueba. Esto debe hacerse considerando que la prueba ENLACE MS únicamente evalúa una
muestra representativa de los indicadores de desarrollo de las competencias básicas corres-
pondientes a dos campos disciplinares Comunicación (Comprensión Lectora) y Matemáticas.
• Planificar intervenciones en el aula, en el plantel, en un estado o en todo el país que forta-
lezcan el desarrollo de habilidades básicas.
• Contar con datos que sirvan para detectar tendencias en el plantel y contar con una línea
base que permita comparar con los resultados de aplicaciones posteriores y establecer el
efecto que han tenido determinadas acciones educativas.
• Caracterizar a la población de un plantel o entidad federativa en términos de su distribución
por niveles de logro, siempre y cuando la proporción de alumnos evaluados sea significativa.
• Promover investigaciones que detecten factores (económicos, sociales, de infraestructura,
de enseñanza-aprendizaje, entre otros) asociados al nivel de logro de las distintas muestras
de población, sobre las cuales pueda actuarse.

A partir de la suspensión de la prueba ENLACE MS después de su aplicación en 2014, en el

Ceneval se trabaja con las diferentes reflexiones y áreas de oportunidad derivadas de 7 años de
trabajo en el diseño, construcción y mantenimiento del instrumento. Para ello, el Estudio de
Validez de la prueba emitido por la Universidad Autónoma de Aguascalientes (Martínez Rizo,
2015) y el INEE ha resultado de mucha utilidad.
Es importante señalar que, derivado de los resultados de dicho Estudio, las fortalezas con-
ceptuales y operacionales de la prueba se retomaron para la conformación de Planea MS (Plan
Nacional para las Evaluaciones de los Aprendizajes del nivel medio superior). Asimismo, se
planteó un esquema para que Planea MS supere las limitaciones de ENLACE MS mediante el
uso de una nueva escala de calificación y la publicación periódica de información contextual y
bases de datos que permitan a los usuarios un mejor aprovechamiento de los resultados.
ENLACE MS · 2013 · 2014

81
 Referencias

• AERA, APA y NCME (1999). The Standards for Educational and Psychological Testing.
Washington, DC: AERA Publications.
• Angoff, W.H. (1984). Scales, norms and equivalent scores. Princenton, NJ: Educational
Testing Service.
• Ceneval (2011). Prontuario de normas técnicas y estándares del Ceneval. México: Ceneval.
• Ceneval (2012). Contenidos mínimos del Manual Técnico. México: Ceneval.
• Chávez, C. y Saade, A. (2009). Procedimientos básicos para el análisis de reactivos. Cuader-
no técnico 8. México: Ceneval, A.C.
• Delors, J. (1996). La educación encierra un tesoro. Informe de la Comisión Internacional de
Educación para el siglo XXI. UNESCO. Madrid: Santillana.
• DGEP (2010). Normas operativas. ENLACE 2010, Educación Media Superior. Unidad de
Planeación y Evaluación de Políticas Educativas, SEP. Disponible en: http://enlace.sep.gob.
mx/ms/docs/ EMS2010_Normas_Operativas.pdf.
• Diario Oficial de la Federación (2008). Acuerdo 442 Disponible en: http://dof.gob.mx/
nota_detalle.php ?codigo=5061936&fecha= 26/09/2008/.
• Diario Oficial de la Federación (2008b) Acuerdo 444 Disponible en: http://dof.gob.mx/
nota_detalle. php?codigo=5064951&fecha=21/10/2008.
• Downing, S. y Haladyna, T. (eds.) (2012). Manual para el desarrollo de pruebas a gran escala.
Méxic: Ceneval
• Du Toit, M. (2003). IRT from SSI: BILOG-MG, MULTILOG, PARSCALE, TESTFACT. Lin-
colnwood, IL: Scientific Software International.
• Efron, B. (1979). Bootstrap methods: Another look at the jackknife. The Annals of Statis-
tics, 7, 1-26.
• Frade R., L. (2008). Planeación por competencias. México: Medición de Calidad.
• Freudenthal, H. (1983). Didactical Phenomenology of Mathematical Structures. Mathema-
tics Education Library. Chicago: D. Reidel Publishing Company.
• Gaviria, J.L. (2008). Informe de validación de puntos de corte en las pruebas de Matemá-
ticas y Comprensión Lectora de ENLACE Media Superior. Universidad Complutense de
Madrid, impreso.
• Gaviria, J.L. y Castro, M. (2010). Modelos de valor añadido en educación. Universidad Com-
ENLACE MS · 2013 · 2014

plutense, Seminario Ceneval-INEE, mayo 2010.

• Gravemeijer, K y Terwel, J. (2000). Hans Freudenthal, un matemático en Didáctica y teoría
curricular. Journal of Curriculum Studies, 32, 6, pp.777- 796.

82
• Hambleton, R., Swaminathan, H. y Rogers, H. (1991). Fundamentals of item response
theory, Newbury Park, CA, Sage Publications.
• Kolen, M. y Brennan, J. (2004). Test Equating, Scaling, and Linking: Methods and Practices.
EU: Springer.
• Martínez Rizo, F. (Coord.) (2015). Las pruebas ENLACE y EXCALE. Un estudio de vali-
dación. México: INEE
• Michaelides, M.P., y Haertel, E.H. (2004). Sampling of Common Items: An Unrecognized
Source of Error in Test Equating. Technical Report. Disponible en http://www.cse.ucla.
edu/products/ reports/r636.pdf
• Mitzel, H.C., Lewis, D.M., Patz, R.J., y Green, D.R. (2001). The bookmark procedure:
Psychological perspectives (Cap. 9). En G.J. Cizek (Ed.), Setting performance standards:
Concepts, methods and perspectives. Mahwah, NJ: Lawrence Erlbaum.
• Múñiz, J. (1997). Introducción a la teoría de respuesta a los ítems. Madrid: Pirámide.
• Niss, M. (1999). Aspects of the nature and state of research in mathematics education.
Educational Studies in Mathematics, 40, 1-24.
• OECD (2006): Assessing Scientific, Reading and Mathematical Literacy: A Framework for
PISA 2006. París: OCDE.
• OECD (2009). PISA 2009. Assessment framework. Key competencies in reading, mathe-
matics and science. Disponible en: http://www.oecd.org/dataoecd/11/40/44455820.pdf.
• Pajares, R., Sanz, A. y Rico, L. (2004). Aproximación a un modelo de evaluación: el proyecto
Pisa 2000. Madrid: Ministerio de Educación, Cultura y Deporte.
• Reyes L., S. y Zúñiga B., A. (2013, 2014). Manual para docentes y directivos. Evaluación
Nacional de Logro Académico en Centros Escolares de Educación Media Superior. Dispo-
nible en: http://www.enlace.sep.gob.mx/content/ms/docs/2014/Manual_Docente_EN-
LACEMS_2014.pdf.
• Reyes L., S., et al. (2012). Niveles de dominio en habilidad matemática. La estrategia de
evaluación de ENLACE Media Superior. México: Ceneval.
• Rosado, D. (2007). Competencias genéricas y el perfil del egresado en la educación media
superior. SEMS. Documento de trabajo.
• Steen, L. (1990). On the Shoulders of Giants: New Approaches to Numeracy. National
Research Council, Washington, D.C.: National Academy Press.
• SIMCE (2005). Diseño de instrumentos con metodología de enseñanza de habilidades.
ENLACE MS · 2013 · 2014

Chile: Copiapó.
• Subsecretaría de Educación Media Superior (2008). Reforma Integral de la Educación Me-
dia Superior en México: La Creación de un Sistema Nacional de Bachillerato en un marco
de diversidad. México: SEP.

83
 • Subsecretaría de Educación Media Superior (2009). Competencias Disciplinares Básicas
para la Educación Media Superior. México: SEP.
• Treffers, A. (1987). Three Dimensions. A Model of Goal and Theory Description in Mathe-
matics Instruction: The Wiskobas Project. Dordrecht: Kluwer Academic Publishers.
• Vidal, R. (2009). ¿Enlace, Exani, Excale o PISA?. México: Ceneval. Disponible en: http://
archivos.ceneval.edu.mx/archivos_portal/3065/Enlace_Exani_Excali_Pisa.pdf.
• Vidal, R., Leyva, Y., Tristán, A. y Martínez R., F. (2000). Manual Técnico del Centro Nacio-
nal de Evaluación para la Educación Superior. México: Ceneval.
• Zabala, A. y Arnau, L. (2007). 11 ideas clave. Cómo aprender y enseñar competencias. Bar-
celona: Graó.
ENLACE MS · 2013 · 2014

84
 Anexo A
Consejo Técnico ENLACE Media Superior

Tabla A1 | Consejo Técnico 2013-2014

Consejero Puesto y adscripción

Dr. Rodolfo Tuirán Gutiérrez Subsecretario de Educación Media Superior. SEP.

Lic. Ana María Aceves Estrada Directora General de Evaluación, DGEP. SEP.

Lic. Alejandro Miranda Ayala Coordinador de Asesores. SEMS.

Mtro. Daniel Hernández Franco Asesor de la SEMS.

M. en C. Jesús Urzúa Macías Coordinador Sectorial de Desarrollo Académico. SEMS.

Dr. Eugenio González Nagel Asesor externo de Ceneval. IEA-ETS.

Dr. José Luis Gaviria Soto Asesor externo de SEP. Universidad Complutense.

Ing. Roberto Peña Resendiz Director de Evaluación de Políticas y Sistemas Educativos. SEP.

Lic. Carlos Goñi Carmona Director de Evaluación y Análisis del Proceso Educativo. SEP.

Mtro. Andrés Sánchez Moguel Director de Pruebas y Medición. INEE.

Mtra. Luz María Solis Segura Exdirectora de Educación Media Superior. ANUIES.

Dra. Rosamaría Valle-Gómez Tagle Directora General de la DGEE. UNAM.

Dra. Carmen Villatoro Alvaradejo Coordinadora del Bachillerato a Distancia. UNAM.

Dra. Teresa Bracho González Profesora investigadora. FLACSO.

Dr. en Quím. Rafael López Castañares Director General. Ceneval.

Dra. Rocío Llarena de Thierry Directora General Adjunta de Programas Especiales. Ceneval.

Dra. Lucía Monroy Cazorla Directora General Adjunta de los EXANI. Ceneval.

Tabla A2 | Autoridades y especialistas que formaron parte del Consejo Técnico

Consejero Puesto y adscripción

Dr. Miguel Szekely Pardo Exsubsecretario de Educación Media Superior. SEP.

Lic. Miguel Ángel Martínez Espinosa Exsubsecretario de Educación Media Superior. SEP.

Dra. Araceli Ortega Díaz Excoordinadora de Asesores. SEMS.

Dr. Rafael de Hoyos Navarro Excoordinador de Asesores. SEMS.

Mtro. Juan Manuel Espino Bravo Exasesor de la SEMS.

M. en C. Daffny Rosado Moreno Excoordinador Sectorial de Desarrollo Académico. SEMS.

ENLACE MS · 2013 · 2014

M. en A. Ed. Maricruz Moreno Zagal Directora General Académica. ANUIES.

Dr. Eduardo Backhoff Escudero Exdirector de Pruebas y Medición. INEE.

Lic. Sergio Martínez Dunstan Exdirector de Lectura, Calificación y Análisis de Resultados. SEP.

Mtro. Rafael Vidal Uribe Exdirector del Ceneval.

85
 Anexo B
Grupos de trabajo Delimitación
del objeto de medición

Tabla B1 | Comité Académico Diseñador

Comunicación (Comprensión Lectora)

Especialista Adscripción

Mtra. Eleonora Achugar Díaz Editora y profesional independiente

Profra. Bertha A. Carvajal García DGECyTM, Yucatán

Lic. Argentina Robledo UAM

Mtra. Inés Pucci ENAH

Profra. Margarita Linares Urenda COLBACH

Lic. Ma. del Carmen González Lozano IPN

Profra. Luz María Estrella Martínez CECYT

Profra. María Elena Cruz Trejo CONALEP

Matemáticas

Especialista Adscripción

Mtra. Zinnya del Villar Islas IIMAS

Mtra. Ma. Clementina Pérez Duarte Noroña Colegio particular

Profra. Maritza Huitrón Miranda CONALEP, Estado de México

Prof. Antonio Ix Chuc CECYTEC, Campeche

Tabla B2 | Comité Académico Validador de Especificaciones

Comunicación (Comprensión Lectora)

Especialista Adscripción

Dra. Nancy Mazón Parra UNAM

Mtra. Silvia Teresa Lizárraga Rocha CIEES

Mtro. Enrique Lepe García INEE

Matemáticas

Especialista Adscripción

Mtro. Salvador Zamora Muñoz IIMAS

Act. Erick Mier Moreno AMAT

ENLACE MS · 2013 · 2014

87
 Anexo C
Diseño Muestral
Levantamiento de datos ENLACE MS

Introducción

E
l presente anexo describe la metodología utilizada en el diseño muestral de la prueba
ENLACE MS alineada a la RIEMS, el cual se implementó con el fin de llevar a cabo la
aplicación de la prueba operativa con un control más riguroso a un subconjunto repre-
sentativo de la población estudiada. De esta manera, se cuenta con datos confiables para la cali-
bración de reactivos y el proceso de calificación. La muestra sirve además para la aplicación de la
prueba pretest, que se utiliza para colocar año con año los puntajes de los alumnos en la misma
escala, las pruebas empleadas para realizar estudios experimentales y el cuestionario de contexto.
Desde la primera aplicación de los instrumentos que han integrado el proyecto ENLACE MS,
la muestra se ha seleccionado según el procedimiento general que se describe en este documen-
to, sin embargo, los responsables del mismo han cambiado y se han realizado algunos ajustes.
El diseño muestral de 2008 estuvo a cargo de especialistas del INEE y la desagregación de
la población se realizó en dos niveles: nacional y estatal. Para 2009 se utilizó el mismo diseño
que el año anterior pero, en este caso, el Ceneval fue responsable de seleccionar las escuelas que
conformarían la muestra, mientras que el INEE fue responsable de validar el trabajo.
A petición de la SEMS, el diseño de 2010 estuvo a cargo de la empresa Investigaciones So-
ciales, Políticas y de Opinión Pública, S.A. de C.V (INVESPOP), cuyos especialistas eliminaron
el nivel de desagregación estatal, ya que consideraron que los resultados en ese nivel no per-
mitían generar resultados confiables ni realizar inferencias generalizables. Para las aplicaciones
de 2011 y 2012 se utilizó el mismo diseño muestral planteado en 2010, con la particularidad de
que, en 2011, la DGEP-SEP realizó la selección de las escuelas, mientras que en 2012, 2013 y
2014 la empresa INVESPOP verificó la pertinencia de continuar con el mismo diseño y selec-
cionó la muestra donde se aplicaron los instrumentos de evaluación, de acuerdo con los reque-
rimientos extra que determinaron la DGEP-SEP, la SEMS y el Ceneval en cada aplicación. A
continuación se presenta el documento metodológico elaborado por INVESPOP para el 2013.

Marco Metodológico

La muestra de escuelas que se considera en la aplicación de la prueba ENLACE-MS en 2013

siguió el diseño original aplicado desde 2010. No obstante, en su definición se manifestó la
ENLACE MS · 2013 · 2014

intención de reorientar su concepción para considerar que no sólo los instrumentos accesorios:
pretest, prueba delta y cuestionarios de contexto, fueran aplicados a una muestra sino también
la prueba misma. Es decir, que en vez de que fuera censal, como lo ha sido desde su inicio, se
ajustara el diseño y se considerara su aplicación a sólo un subconjunto del alumnado elegible.
Asimismo, se dio a conocer que el número de los instrumentos accesorios, pretest y delta, se
incrementaría en 2013 al pasar de 13 a 23 formas: 16 para el primero y 7 para el segundo.
89
 Después de analizar las ventajas y desventajas del planteamiento de reducir la cobertura
de la prueba, junto con otros elementos de decisión, se optó por mantener la aplicación de la
prueba a nivel censal. Ante ello, y dado que el diseño muestral que se ha usado en los últimos
años había sido revisado en 2012 para verificar su vigencia, y se conservó, lo que siguió para
seleccionar la muestra ENLACE 2013 del nivel educativo Medio Superior fue considerar la
actualización del marco de muestreo, debido a la participación voluntaria de las escuelas de
la Prueba que implica la inclusión y/o exclusión de centros escolares.
Como en los años anteriores, la Dirección General de Evaluación de Políticas (DGEP) de la
Secretaría de Educación Pública (SEP) fue la encargada de proveer los insumos para conformar
el marco de muestreo de 2013. Lo nuevo para este año fue que la información estuvo disponi-
ble a nivel de alumno por el planteamiento de reestructuración de la prueba.
Conforme al diseño original, se consideró como unidad básica a la escuela-turno y en donde
aplicaba, se incluyó la extensión del plantel. Así, el identificador único de las unidades de mues-
treo se conformó con la Clave del Centro de Trabajo (CCT), el turno y la extensión del plantel.
El siguiente paso consistió en la reconstrucción de los estratos. Las 32 entidades federativas
del país; la modalidad de la escuela: bachillerato general, bachillerato tecnológico o técnico pro-
fesional; el tipo de sostenimiento: público y privado y el ámbito que circunscribe a los planteles
a nivel de localidad: urbano o rural, fueron usados en su conformación. Dada la importancia
de disponer de una muestra nacional confiable y con precisión suficiente, cada entidad fue
concebida en sí misma como un estrato. Es decir, que se hiciera una selección independiente
de escuelas dentro de cada entidad a fin de asegurar que se capta adecuadamente la variabilidad
que existe al interior de ellas.
Las cifras para 2013 mantuvieron el comportamiento ascendente tanto por el número de es-
cuelas como por el número de alumnos sujetos a evaluación. En total, fueron 13,917 planteles
turno registrados en el marco de muestreo, mismos que conglomeraron a 1’125,427 alumnos.

Población objetivo

Alumnos que cursas el último grado de Educación Media Superior en instituciones educativas
de carácter público, federal y estatal, en los planteles particulares con reconocimiento de va-
lidez oficial otorgado por la SEP o por las entidades federativas, así como en las instituciones
ENLACE MS · 2013 · 2014

de carácter autónomo y en sus escuelas particulares incorporadas1. Los criterios para definir la
elegibilidad de los alumnos entre la varidad de sistemas en el país son:

1
Fuente: http://enlace.sep.gob.mx/ms/?p=aplica

90
 Cuadro 1 | Criterios para considerar el último grado de los alumnos sujetos a evaluación a través
de ENLACE--MS
Plan de estudios Ingreso Alumnos a evaluar

Anual Anual del último grado

Semestral Anual del sexto semestre

Semestral Semestral de quinto y sexto semestre

Cuatrimestral Anual del último cuatrimestre

Cuatrimestral Cuatrimestral de los tres últimos cuatrimestres

Alcance de la encuesta

Los dominios de estudio definidos en 2010 se mantienen vigentes, a saber:

a. A nivel nacional,
b. Por modalidades de los centros escolares,
c. Por el tipo de sostenimiento y
d. Por el ámbito que circunscribe el plantel

Marco de muestreo

El marco muestral de 2013 consistió en un listado exhaustivo de las escuelas que se suscribie-
ron para participar en la Prueba 2013. Las variables consideradas fueron:
a) Para identificar cada escuela se empleó la clave del centro de trabajo (CCT), el turno y la
extensión del plantel; esta última se refiere a las instalaciones periféricas que pueden tener
los centros escolares y conforme a lo ofrecido en años anteriores, pueden ocurrir hasta 8
extensiones asociadas a una misma CCT. Cada instalación periférica, para fines de la evalua-
ción se contabiliza como un plantel independiente aunque para fines administrativos son
considerados como una misma.
b) El modalidad de la escuela consideró tres valores posibles de Bachilleratos:
i. General
ENLACE MS · 2013 · 2014

ii. Tecnológico
iii. Técnico

91
 c) El tipo de sostenimiento que distingue entre escuelas públicas y privadas.
d) El ámbito que circunscribe al plantel a nivel de localidad según el tamaño de su población2
e) La matrícula de cada escuela comprendió el total de alumnos con las condiciones definidas
en la población objetivo.

Estratos de la población

De acuerdo con el diseño que se ha seguido desde 2010, los estratos se conformaron a par-
tir de: las 32 entidades federativas del país; la modalidad de la escuela: bachillerato general,
bachillerato tecnológico o técnico profesional; el tipo de sostenimiento: público o privado y
el ámbito que circunscribe a los planteles a nivel de localidad: urbano o rural. Asimismo, se
mantuvieron los estratos especiales considerados para no dejar fuera del proceso de selección
a planteles en los que no se pudo recuperar el ámbito de la localidad.
Dada la importancia de disponer de una muestra nacional confiable y con precisión sufi-
ciente, se consideró importante que cada entidad fuese concebida en sí misma como un estrato.
Es decir, que se hiciera una selección independiente de escuelas dentro de cada entidad a fin de
asegurar que se capta adecuadamente la variabilidad que existe al interior de ellas. Cabe men-
cionar que tal estrategia de estratificar por entidad no implica que se pueden derivar resultados
válidos para cada una por separado ya que no son consideradas dominios de estudio3.
Las variables asociadas en la conformación de estratos fueron codificadas de acuerdo con
los siguientes criterios.

Variables para construir estratos, según diseño de 2010

Entidad Modalidad Sostenimiento Ámbito

2 posiciones: 2 posiciones: 2 posiciones: 2 posiciones:

BG = Bachillerato General
La clave de la entidad Pu = Público Ru = Rural
BT = Bachillerato Tecnológico
según el INEGI Pv = Privado Ur = Urbano
TP = Técnico Profesional
ENLACE MS · 2013 · 2014

2
Recuperado a partir del Censo 2010. Principales resultados por Localidad. Sistema de Integración Territorial, ITER. Instituto Na-
cional de Estadística y Geografía (INEGI).
3
En la definición de los dominios de estudio subyace la propiedad de tener información con confianza y precisión propia de cada
una de las unidades de estudio que permita hacer inferencias estadísticas válidas en cada una de ellas.

92
 Combinar estos criterios permitió disponer de un esquema de estratificación óptima dentro
de las entidades que incluyó la totalidad de modalidades de bachilleratos existentes en cada una
pero, a su vez, atendió el requerimiento de disponer de resultados diferenciados según el tipo
de sostenimiento del plantel y por ámbito: urbano o rural: Asimismo, se aseguró que el proceso
de muestreo permitiera estimar los errores propios del método de recolección aplicado4.
En total, en el marco de 2013 se conformaron 244 estratos.

Esquema de muestreo

En consonancia con el diseño de 2010, los centros escolares, identificados como escuelas
turno e incluso extensión cuando aplicaba, fueron considerados como unidades primarias de
muestreo (UPM), Una vez que fueron clasificadas en su estrato correspondiente se procedió a
seleccionarlas directamente con probabilidad de selección proporcional al tamaño (PPT). Este
principio de selección quiere decir que una unidad de muestreo con 10,000 alumnos tuvo el
doble de probabilidad de ser seleccionada que una de 5,000 alumnos.
Dentro de cada escuela seleccionada la aplicación de la Prueba y sus instrumentos acceso-
rios a los alumnos se mantuvo de manera censal.
Así el esquema de muestreo fue estratificado con probabilidad de selección de las unidades
muestrales proporcional al tamaño, en una sola etapa.

Tamaño de la muestra

El tamaño de la muestra fue el mismo que se ha empleado desde 2010. La fórmula para deter-
minarlo, fue:
ENLACE MS · 2013 · 2014

4
Al tratarse de un esquema muestral y no censal, se tiene obligadamente una consecuencia en términos de error de muestreo. Para
ello, se necesitan un mínimo de dos piezas de información por etapa, para poder calcular los errores estándar correspondientes.

93
 donde:
n = tamaño de la muestra
= cuartil de una distribución normal asociado a un nivel de confianza deseado
p = proporción que se estima a partir de la muestra
= Error absoluto máximo que se está dispuesto a aceptar
deff = Efecto de diseño que es la pérdida o ganancia en la eficiencia de diseño, por tratarse
de un diseño complejo
TNR = Tasa de no respuesta esperada

Ponderadores

Al igual que en 2010 los ponderadores de diseño se obtuvieron con el inverso de la probabilidad
de selección y siguen la misma estructura que se definió en 2010.
Así, la probabilidad de selección de la i-escuela-turno dentro del h-estrato está dada por:

donde:
nh = es el número de escuelas por turno seleccionadas en el estrato h
Mi = es la matrícula de la escuela-turno seleccionada
Mh = es el total de la matrícula de alumnos en el estrato h

Por lo tanto, el factor de expansión es igual a:

Igual que en el diseño de referencia, se destaca la importancia del ajuste de los ponderadores
posterior a la aplicación de la prueba para corregir los efectos de la no respuesta.
ENLACE MS · 2013 · 2014

94
 Estratos 2013, número de escuelas y total de alumnos
Entidad Alumnos Escuelas Número de estratos
Aguascalientes 12,955 173 5
Baja California 33,207 277 7
Baja California Sur 6,781 72 6
Campeche 8,041 106 6
Chiapas 27,651 340 7
Chihuahua 6,846 93 7
Coahuila 49,980 674 10
Colima 31,272 433 7
Distrito Federal 70,494 422 9
Durango 16,383 207 6
Guanajuato 46,344 753 7
Guerrero 40,915 347 7
Hidalgo 29,174 322 9
Jalisco 77,011 893 10
México 135,144 1,357 11
Michoacán 39,456 624 7
Morelos 16,401 164 8
Nayarit 12,233 196 7
Nuevo León 46,940 339 8
Oaxaca 37,568 622 7
Puebla 64,346 1,256 8
Querétaro 19,187 208 8
Quintana Roo 13,743 138 6
San Luis Potosí 31,410 439 9
Sinaloa 36,427 382 6
Sonora 30,131 289 8
Tabasco 27,196 267 9
Tamaulipas 32,609 332 8
Tlaxcala 13,264 162 7
Veracruz 74,717 1,558 8
Yucatán 19,921 247 7
Zacatecas 15,894 188 6
subtotal por entidades 1,123,641 13,880 241
BG* 514 15 1
ENLACE MS · 2013 · 2014

BT* 416 13 1
TP* 856 9 1
Total: 1,125,427 13,917 244

95
 Anexo D
Estudios acerca de la estabilidad de la escala

Introducción

E
l presente documento tiene como objetivo dar a conocer los argumentos que sustentan
la propuesta para el cambio en la escala de calificación de la prueba ENLACE MS. La
justificación principal corresponde con la necesidad de adaptar la escala ante la mo-
dificación de la estructura de la prueba a partir de la RIEMS. Los ejercicios que respaldan la
propuesta fueron realizados por la Dirección General de Evaluación de Políticas de la SEP
(DGEP-SEP), el asesor técnico Dr. José Luis Gaviria y el Centro Nacional de Evaluación para
la Educación Superior, A.C. (Ceneval).
Es importante mencionar que la postura de Ceneval es consecuente con la conveniencia
de ajustar los puntos de corte y la escala de calificación, tomando en cuenta que diferentes
ejercicios han permitido atribuir el comportamiento de la escala, a lo largo de las aplicaciones,
a la modificación que se hizo a la estructura del examen en 2011. De otra forma, si se siguen
utilizando los mismos puntos de corte para la calificación, los resultados pueden derivar en
conclusiones erróneas.
Para comprender el fundamento técnico-metodológico de la decisión, se presenta en primer
lugar una breve contextualización respecto de los cambios que se han realizado a la estructura
de la prueba ENLACE MS. Por esta razón, en 2011 se realizó un primer estudio de factibilidad
de mantenimiento de los puntos de corte y de la escala de calificación, específicamente para el
campo disciplinar de Matemáticas. Además de presentar los resultados obtenidos con dicho
estudio, se incluye la justificación de por qué se continuó, en ese año, con los mismos puntos
de corte y con la misma escala. En un siguiente apartado se describe un segundo estudio de
factibilidad de los puntos de corte que se planteó para la aplicación de 2013. Este estudio se
hizo para el campo disciplinar de Matemáticas lo que permitió contar con evidencia a favor de
modificar la escala de calificación y los puntos de corte. Finalmente, se presentan las conclu-
siones a partir de los datos recopilados.

Antecedentes

La prueba ENLACE MS, desde 2008 y hasta 2010, se concretó como una evaluación diagnós-
tica de dos habilidades básicas para la vida (Habilidad Lectora y Habilidad Matemática), con el
ENLACE MS · 2013 · 2014

objetivo de determinar en qué medida los jóvenes que egresan de la educación media superior
son capaces de aplicar a situaciones del mundo real los conocimientos y las habilidades adqui-
ridos a lo largo de este nivel educativo.

97
 En 2011 la evaluación tuvo algunas modificaciones, en respuesta a la solicitud de la Subse-
cretaría de Educación Media Superior (SEMS) de dar seguimiento a la Reforma Integral de la
Educación Media Superior (RIEMS), que centra sus esfuerzos en promover un perfil de egreso
definido en términos de competencias. Por ello, la nueva estructura de la prueba se abocó a
evaluar indicios de competencias básicas asociadas a dos de los cuatro campos disciplinares es-
tablecidos en el Marco Curricular Común.1 De esta manera, la evaluación del área de Habilidad
Lectora cambió para abarcar el campo disciplinar de Comunicación (Comprensión Lectora), y
la del área de Habilidad Matemática, para el campo de Matemáticas.
Los cambios en el área de Comprensión Lectora fueron mínimos, la manera en que se con-
cibió el constructo se mantuvo y la evaluación continúa realizándose a partir de cuatro tipos de
textos (expositivo, narrativo, argumentativo y apelativo) y tres procesos cognitivos (extracción,
interpretación y reflexión y evaluación). El total de reactivos asociados a esta área también se
conservó (50), aunque se redistribuyeron los subtotales por tipo de texto. Los cambios más
notables entre las estructuras de 2008 y 2011 en el área de Comprensión Lectora se encuentran
en la distribución de los reactivos por grupo de proceso. En el perfil 2008 hay mayor cantidad
de reactivos en los procesos cognitivos de interpretación y de extracción, mientras que, en el
perfil del 2011, la cantidad de reactivos ubicados en el proceso de extracción disminuyó para
incrementar el número de reactivos en los procesos que evalúan reflexión y evaluación. Lo
anterior resulta congruente con el enfoque comunicativo-funcional que establece la RIEMS
(ver tablas 1 y 2).
La redistribución de reactivos por grupo de procesos implicó eliminar, construir y modi-
ficar algunas especificaciones para conformar la nueva estructura. En total se eliminaron 13
especificaciones, se crearon otras 13, se hicieron modificaciones mínimas a 11 y 26 se dejaron
sin cambio.
En el área de Matemáticas se hicieron mayores adaptaciones. Respecto a la definición del
constructo, se mantuvieron los mismos procesos cognitivos (reproducción, conexión y re-
flexión), pero solo se conservaron tres de los cuatro contenidos matemáticos originales (canti-
dad, cambios y relaciones, espacio y forma) que permiten evaluar únicamente las competencias
disciplinares básicas. Esto implicó una disminución en el número total de reactivos de 90 a 60,
ya que se eliminaron 20 especificaciones del contenido de matemáticas básicas (el cual corres-
pondía a competencias disciplinares extendidas),2 cinco especificaciones del área de cantidad
y otras cinco de cambios y relaciones que evaluaban habilidades meramente académicas, sin
ENLACE MS · 2013 · 2014

aplicación en la vida cotidiana.

1
La estructura de la RIEMS se basa en el Acuerdo 444 publicado en el Diario Oficial el martes 21 de octubre de 2008.
2
El área de matemáticas básicas incluía reactivos relacionados con geometría analítica y trigonometría.

98
 Tabla D1 | Estructura de Habilidad Lectora ENLACE MS 2008-2010
Número de reactivos por proceso
Área Tipo de texto Total
Extracción Interpretación Reflexión y evaluación
Argumentativo 4 4 2 10

Habilidad Narrativo 5 7 2 14
Lectora Expositivo 7 8 2 17
Apelativo 4 3 2 9
Total de reactivos 20 22 8 50

Tabla D2 | Estructura de Comunicación (Comprensión Lectora) ENLACE MS basada en la RIEMS

Número de reactivos por proceso
Área Tipo de texto Total
Extracción Interpretación Reflexión y evaluación
Argumentativo 4 5 6 15

Comunicación Narrativo 3 7 5 15
(Comprensión Lectora) Expositivo 5 7 3 15
Apelativo 2 2 1 5
Total de reactivos 14 21 15 50

La distribución de los reactivos de ambas estructuras se presenta en las tablas 3 y 4. En ellas

se puede observar que la estructura 2008 contenía mayor cantidad de reactivos en el proceso
cognitivo de conexión, mientras que en la estructura basada en la RIEMS los reactivos se dis-
tribuyen de manera más homogénea en los tres procesos.

Tabla D3 | Estructura de Habilidad Matemática ENLACE MS 2008

Contenido Número de reactivos por proceso
Área Total
Matemático Reproducción Conexión Reflexión
Cantidad 7 13 5 25

Habilidad Espacio y Forma 5 10 5 20

Matemática Cambios y Relaciones 9 11 5 25
Matemáticas Básicas 5 10 5 20
Total de reactivos 26 44 20 90
ENLACE MS · 2013 · 2014

99
 Tabla D4 | Estructura de Matemáticas ENLACE MS basada en la RIEMS
Contenido Número de reactivos por proceso
Área Total
Matemático Reproducción Conexión Reflexión
Cantidad 6 7 7 2
Matemáticas Espacio y Forma 6 8 6 20
Cambios y Relaciones 5 8 7 20
Total de reactivos 17 23 20 60

La reestructuración del área de Matemáticas implicó eliminar 46 especificaciones, crear 16

nuevas, hacer modificaciones mínimas en 6 y mantener 38 sin cambio.

Primer estudio de factibilidad

de mantenimiento de los puntos de corte

Aunque ambas áreas de la prueba ENLACE MS tuvieron modificaciones, el campo disciplinar

de Matemáticas es el que presentó mayores cambios: la eliminación de una subárea completa,
además de la incorporación de 16 especificaciones nuevas. Por esta razón, se planeó un estudio
que utilizó los datos de la aplicación 2011 para comprobar la factibilidad de seguir usando, para
la calificación, los puntos de corte originales. El objetivo fue explorar empíricamente si los
cambios realizados en la estructura de la prueba de Matemáticas impactaban de manera signifi-
cativa en los resultados de los alumnos y, por tanto, era necesario modificar los puntos de corte.
Además, se realizaron comparaciones para verificar si los posibles cambios en los resultados
se debían al contenido eliminado de matemáticas básicas. Para ello se comparó el rendimiento
de una muestra de estudiantes que respondió los reactivos del área de Matemáticas, con la
estructura del 2008, así como los de la estructura del 2011. La muestra estuvo compuesta por
3,159 alumnos de diferentes escuelas del Distrito Federal y del Estado de México, entre otras
razones porque son dos entidades en las que hay representatividad por tipo de bachillerato,
sostenimiento y grado de urbanidad.
Los resultados del primer estudio mostraron que la media de calificación obtenida a partir
de los reactivos de la estructura de ENLACE MS 2011 ( x-=0.58662012) cambió apenas 0.02 logits
ENLACE MS · 2013 · 2014

al compararla con la media obtenida por los alumnos cuando se les calificó con los reactivos de
la estructura de 2008 ( x-=0.60540601).3 Tampoco se observaron diferencias significativas en el

3
El rendimiento de los alumnos se estima con base en el modelo de tres parámetros de la Teoría de Respuesta al Ítem (TRI) por lo
que las medias de habilidad se presentan en una escala logística estandarizada.

100
desempeño de los alumnos cuando se comparó la media de calificaciones obtenidas a partir
de la estructura completa de 2008, con la de la misma estructura pero sin matemáticas básicas
(x- = 0.60496551). Con base en los resultados y debido a que la media de habilidad de 2011 es
semejante a la estimación que hubiera resultado de mantenerse la estructura de la prueba an-
terior, se concluyó que la estimación de la calificación de los alumnos que aplicaron la prueba
basada en la RIEMS no se vio afectada significativamente por los cambios realizados.4

Segundo estudio de factibilidad

de mantenimiento de los puntos de corte

En 2012, una revisión de los resultados de las aplicaciones operativas y una comparación del
desempeño de los alumnos a lo largo de los años permitió observar pequeñas variaciones cer-
canas a la media de 2008 para el campo disciplinar de Comunicación (Comprensión Lectora).
Sin embargo, la tendencia para el campo de Matemáticas reflejó un incremento sostenido en el
desempeño de los alumnos que se consideró digna de análisis.
En las figuras 1 y 2 se aprecia de manera gráfica el comportamiento de la media de habilidad
de los alumnos, a lo largo de las aplicaciones, para cada campo disciplinar.5

Figura 1 | Medias de habilidad para Comunicación (Comprensión Lectora).

Figura 2 | Medias de habilidad para Matemáticas.
ENLACE MS · 2013 · 2014

4
Para consultar a detalle los análisis que se realizaron y los resultados obtenidos con este estudio véase el Anexo D del Manual
Técnico de la prueba ENLACE MS en su edición 2011-2012. Material disponible en: http://enlace.sep.gob.mx/content/ms/docs/
Manual_Tecnico_ENLACE%20MS_2011_2012.pdf.
5
La estimación de los datos se realizó considerando las bases censales oficiales.

101
 El comportamiento variacional que presenta el campo de Comunicación (Comprensión
Lectora) es similar al que se ha visto en otras pruebas como las del Programa de Evaluación
Internacional de los Estudiantes (PISA), en donde los resultados de México y de otros países
muestran esa misma tendencia; sin embargo, el comportamiento ascendente en el área de Ma-
temáticas resulta atípico.
Por lo anterior, se optó por realizar un segundo estudio en 2013 para determinar si resulta
factible continuar utilizando los mismos puntos de corte y la escala de calificación. Para la apli-
cación operativa, el diseño de ENLACE MS se complementó con una prueba que se denominó
Extendida. La prueba Extendida se integró con los mismos reactivos de Matemáticas de la
prueba operativa del 2009 (antes de la reestructuración de la RIEMS) y se aplicó a una muestra
de alumnos representativa en el ámbito nacional que también contestó la prueba operativa de
2013 (ver figura 3). Su objetivo fue conocer si la mejora en el rendimiento de los sustentantes,
a lo largo de los años, en el campo disciplinar de Matemáticas, se debe a un efecto en la escala
provocado por los cambios en la estructura de la prueba o a las características de los sustentan-
tes. La muestra que respondió la prueba Extendida estuvo conformada por 2,719 alumnos de
30 escuelas, pertenecientes a 16 entidades federativas.
ENLACE MS · 2013 · 2014

Figura 3 | Diseño para el segundo estudio de factibilidad de puntos de corte para el área de Matemáti-
cas de la prueba ENLACE MS. La prueba Extendida se integró con los 90 reactivos del área de
Matemáticas que se utilizaron en la prueba Operativa ENLACE MS, aplicada en 2009.

102
 Considerando el objetivo del segundo estudio de factibilidad se plantearon dos hipótesis:
• Si el cambio en la estructura de la prueba no impacta en la estimación de los resultados, año
con año, entonces la media de habilidad obtenida para los alumnos de la muestra tendrá
que ser la misma, tanto si se calcula con la prueba Extendida 2013 (mismos reactivos que
en 2009), como con la prueba Operativa de 2013.
• Si las características de los sustentantes son las que determinan la tendencia ascendente en
el desempeño de los estudiantes en Matemáticas, entonces se observarán diferencias signi-
ficativas en la media de habilidad de diferentes generaciones, 2009 y 2013, que contestan la
misma prueba (Operativa 2009 o Extendida 2013).
Para comprobar dichas hipótesis se realizaron los siguientes ejercicios de análisis:
• Ejercicio 1. Comparar la media de habilidad de un mismo grupo de alumnos que contesta-
ron dos instrumentos diferentes (prueba Extendida 2013 con 90 reactivos y Operativa 2013
con 60 reactivos). Para calcular la media de habilidad de los alumnos en la prueba Extendida
2013 se fijaron los parámetros de los reactivos de 2009; de esta forma se colocaron los datos
del 2013 en la misma escala. Para obtener la media de habilidad de los alumnos en la prueba
Operativa ENLACE MS 2013 se fijaron los parámetros de los reactivos obtenidos con la
equiparación de la prueba Operativa 2012.
• Ejercicio 2. Comparar la media de habilidad de dos grupos de alumnos que contestaron
el mismo instrumento en periodos diferentes (alumnos que contestaron 90 reactivos en
el 2009 y otros que contestaron los mismos reactivos en el 2013). Se utilizó la media de
habilidad para los alumnos que aplicaron la prueba Extendida 2013 (n=2,719) y la media
de habilidad de los sustentantes que respondieron el área de Habilidad Matemática en la
aplicación de la prueba ENLACE MS 2009 (n=176,040). Posteriormente y para conocer si
las diferencias entre las medias eran significativas, se utilizó la prueba t de Student con un
nivel de significancia de 0.05.

La intención del ejercicio 1 es comparar los resultados usando una escala común pero con
los parámetros fijos de una y otra aplicación (2009 y 2012), esto permite observar si la escala,
“antes” y “después” de la reestructuración de la RIEMS arroja el mismo cálculo de habilidad
para el mismo grupo de alumnos; con el segundo ejercicio se busca contar con más elementos
para dejar claro si el cambio en la estructura de la prueba es la causa del aumento en la media
de habilidad o si los resultados se deben a una mejora considerable en el desempeño de los
ENLACE MS · 2013 · 2014

alumnos.

103
 Resultados Ejercicio 1

Al comparar la media de habilidad de los alumnos que contestaron la prueba Operativa 2013 y
la prueba Extendida se encontró una diferencia cercana a 0.6 logits (ver tabla 5).

Tabla D5 | Estadísticos de muestras relacionadas. Prueba Extendida 2013 y Operativa 2013

Pruebas Media de habilidad (θ) N Desviación típ. Error típ. de la media
Extendida 2013 0.31350797 2,719 1.043182486 0.020005789
Operativa 2013 0.86872088 2,719 1.151912434 0.022090974

Para comprobar si estas diferencias son significativas se aplicó la prueba t de Student para
muestras relacionadas. Los resultados de la tabla 6 indican que hay diferencias estadísticamente
significativas entre las medias de habilidad obtenidas mediante la calificación de una y otra prueba.

Tabla D6 | Prueba T de muestras relacionadas. Prueba Extendida 2013 y Operativa 2013

Diferencias relacionadas
95% Intervalo de confianza
Desviación Error típ. de para la diferencia Sig.
Media t gl
típ. la media (bilateral)
Inferior Superior

0.555212912 0.697330620 0.013373163 0.528990317 0.581435506 41.517 2718 .000

Resultados Ejercicio 2

Al comparar la media de habilidad de dos grupos de alumnos que contestaron la prueba Ex-
tendida (90 reactivos de matemáticas) en periodos diferentes (2009 y 2013) se encontró una
diferencia de 0.15 logits (ver tabla 7).
ENLACE MS · 2013 · 2014

104
 Tabla D7 | Estadísticos de grupo. Prueba Operativa 2009 y prueba Extendida 2013
Pruebas Media de habilidad (θ) N Desviación típ. Error típ. de la media
Operativa 2009 0.15788466 176,040 1.078664203 0.002570873
Extendida 2013 0.31350797 2,719 1.043182486 0.020005789

La distribución de los alumnos de acuerdo con su habilidad estimada en la prueba ENLACE

MS 2009 y de los alumnos que contestaron la prueba Extendida en 2013 se presenta en las
figuras 4 y 5.

Figura 4 | Distribución de los alumnos de acuerdo con su habilidad estimada en el área de Matemáticas
de la prueba ENLACE MS 2009; n = 176,040; x- = 0.15788466 y DE = 1.078664203.
Figura 5 | Distribución de los alumnos de acuerdo con su habilidad estimada en el área de Matemáticas
de la prueba Extendida 2013; n = 2,719; x-= 0.31350797 y DE = 1.043182486.

Para comprobar si estas diferencias son significativas se aplicó la prueba t de Student para
muestras independientes. Los resultados indican que las diferencias entre las medias de habili-
ENLACE MS · 2013 · 2014

dad de los alumnos que responden en 2009 y en 2013 en el área de Matemáticas son estadísti-
camente significativas (ver tabla 8).

105
 Tabla D8 | Prueba T de muestras independientes. Prueba Operativa 2009 y prueba Extendida 2013
Prueba de Levene
para la igualdad Prueba T para la igualdad de medias
de varianzas
Error típ. 95% Intervalo de confianza para
Sig. Diferencia la diferencia
F Sig. t gl de la
(bilateral) de medias
diferencia Inferior Superior

Se han asumido 3.920 .048 -7.469 178757 .000 -0.155623304 0.020835129 -0.196459670 -0.114786938
varianzas iguales
Habilidad No se han asumido
varianzas iguales
-7.715 2808.499 .000 -0.155623304 0.020170299 -0.195173409 -0.116073199

Redefinición de puntos de corte 2013

De modo complementario y debido a las conclusiones del segundo estudio de factibilidad de

mantenimiento de los puntos de corte, se realizó un ejercicio para redefinir las puntuaciones
del campo disciplinar de Matemáticas. Se convocó a un grupo de expertos en la materia, quie-
nes revisaron el contenido de la prueba de 2013 y determinaron los puntos de corte mediante
el método Bookmark que conjunta tanto el juicio de expertos como el análisis empírico.
El establecimiento de puntos de corte se realizó con base en los estadísticos de los reactivos
estimados de forma libre, es decir, sin reescalar los puntajes. Una vez establecidos los nuevos
puntos de corte se observó que la distribución de los alumnos en los niveles de logro deja de
tener la tendencia ascendente, incluso la distribución es parecida a la de 2010, último año don-
de se aplicó la estructura original de la prueba (ver tabla 9).

Tabla D9 | Porcentaje de alumnos por nivel de desempeño: Matemáticas 2010 vs 2013

Dictamen 2010 2013
Insuficiente 40.60 40.98
Elemental 39.10 37.83
Bueno 15.10 16.68
Excelente 5.30 4.51
ENLACE MS · 2013 · 2014

106
Conclusiones

Si bien los datos obtenidos en 2011 indicaban que era posible mantener los puntos de corte
en el campo disciplinar de Matemáticas, los resultados obtenidos en los dos últimos ejercicios
de factibilidad de los puntos de corte muestran evidencia de que el cambio en la estructura ha
impactado la escala que se ha utilizado como referencia para la equiparación y la calificación
de la prueba. Si bien se espera un cambio en el rendimiento de los alumnos a lo largo de las
aplicaciones, las diferencias no deberían ser tan grandes como las que se están obteniendo, por
lo que se considera necesario modificar la escala de calificación y los puntos de corte.
El ejercicio de redefinición de los puntos de corte constituye otra evidencia de la convenien-
cia de modificarlos, ya que, de acuerdo con los expertos que participaron en el ejercicio para el
campo disciplinar de Matemáticas, la forma en que se distribuyen los alumnos en los niveles de
dominio al modificar los puntos de corte se asemeja más a lo que experimentan en las aulas y
en los cursos de actualización de alumnos y profesores en que participan regularmente.
Por otra parte, la tendencia de los datos censales de las aplicaciones operativas permite ob-
servar que, aunque los resultados del campo disciplinar de Comunicación (Comprensión Lec-
tora) parecen estables, también presentan una tendencia que se analizó mediante la aplicación
de pruebas extra en 2014. Se tiene la hipótesis de que la tendencia ligeramente descendente
se puede deber al incremento del número los reactivos en los niveles cognitivos más comple-
jos. En el caso de Matemáticas, y al eliminar la subárea de matemáticas básicas que contenía
contenidos especializados, la prueba pudo haber inducido un efecto contrario, ocasionando la
tendencia ascendente de los datos.
Considerando los resultados de los estudios de factibilidad, se concluye que el efecto que
han tenido los cambios sobre la escala de calificación en la prueba ENLACE MS, resulta tan
sutil que fue difícil identificar de un año a otro, por lo que solo en un transcurso de tiempo más
largo se pudo observar de manera clara el efecto. Ahora se cuenta con evidencia suficiente para
advertir que las variaciones en los datos son atribuibles al cambio en la estructura de la prueba,
más que al nivel de habilidad de los alumnos.
Tomando en cuenta todos los datos generados, el Ceneval considera conveniente modifi-
car los puntos de corte y la escala de calificación para los dos campos disciplinares que evalúa
ENLACE MS.6
ENLACE MS · 2013 · 2014

6
Las autoridades educativas determinaron mantener la escala sin cambio, dado que la prueba ENLACE MS se aplicaría por última
vez en 2014. Lo anterior permitió mantener la comparabilidad de los resultados a través del tiempo.

107
www.ceneval.edu.mx